2024年7月1日
BigCodeBench: 继 HumanEval 之后的新一代代码生成测试基准
摘要： HumanEval 是一个用于评估大型语言模型 (LLM) 在代码生成任务中的参考基准，因为它使得对紧凑的函数级代码片段的评估变得容易。然而，关于其在评估 LLM 编程能力方面的有效性越来越多的担忧，主要问题是HumanEval 中的任务太简单，可能不能代表真实世界的编程任务。相比于 HumanEv 阅读全文
posted @ 2024-07-01 12:03 HuggingFace 阅读(124) 评论(0) 推荐(0) 编辑