HumanEval

HumanEval — набор задач для оценки качества генерации кода языковыми моделями, разработанный командой OpenAI и представленный в 2021 году вместе с моделью Codex. Бенчмарк содержит 164 задачи на Python: каждая включает сигнатуру функции, docstring и набор unit-тестов для автоматической верификации решений.

Модель получает сигнатуру и документацию функции и должна сгенерировать её тело. Корректность проверяется запуском тестов без участия человека. Основная метрика — pass@k: доля задач, для которых хотя бы одно из k сгенерированных решений проходит все тесты. Наиболее распространён показатель pass@1 — вероятность того, что первое предложенное решение верно. Оригинальный Codex при выходе в 2021 году показал pass@1 около 28,8%.

HumanEval стал одним из первых стандартизированных бенчмарков для code generation и ввёл единый воспроизводимый протокол сравнения моделей. До его появления оценка кода сводилась к субъективным экспертным суждениям или разнородным соревновательным задачам. Бенчмарк был принят практически всеми ведущими лабораториями и вошёл в обязательный набор отчётности при выпуске новых систем.

К 2025–2026 годам большинство крупных моделей превысили отметку 85–90% pass@1, что фактически насытило бенчмарк и сделало его малоинформативным для разграничения лучших систем. Индустрия переключилась на более сложные наборы: HumanEval+ с расширенными тестами, LiveCodeBench с актуальными задачами из соревнований и SWE-bench для оценки работы с реальными репозиториями. Тем не менее HumanEval сохраняет роль исторической базовой линии.

Пример

“При выпуске GPT-4o компания OpenAI сообщила о pass@1 на HumanEval свыше 90%, тогда как оригинальный Codex в 2021 году показывал около 28,8% — разрыв наглядно иллюстрирует прогресс в генерации кода за три года.