Cursor AI показал ошибки AI-бенчмарков для кода
Cursor опубликовал пять графиков о том, как оценивает модели для программирования, и фактически поставил под удар почти все публичные AI-бенчмарки. Главный тезис: важен не только процент решённых задач, но и цена в токенах, тип реальных запросов и связь офлайн-оценок с тем, как модель ведёт себя в продукте у разработчиков на практике.
AI-обработка оригинала Habr AI; редакция Hamidun News
11 марта 2026 года Cursor AI опубликовал объяснение того, как сравнивает модели внутри продукта, и этим неожиданно ударил по всей индустрии AI-бенчмарков для кода.
Почему AI-бенчмарки часто ошибаются при выборе модели для кода?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что важнее корректность ответа и скорость выполнения (медианное число токенов на завершение).
Почему обычные бенчмарки для AI кода неправильные?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что нужно учитывать корректность ответа и медианное число токенов на завершение.
Что предложил Cursor вместо таблиц лидеров?
Компания показала графики, которые лучше описывают реальную пользу для разработчика, чем привычные проценты решённых задач.
- 29 окт. 2026 г.Baidu выпустила Unlimited-OCR 2: OCR ускорился до 7 раз на 100 страницах
- 29 окт. 2026 г.Anthropic в S-1 показала: 11 900 клиентов платят от $100 тысяч в год
- 29 окт. 2026 г.SpaceX получила $40 млрд на GPU от Apollo и обещает неооблакам вымирание
- 28 окт. 2026 г.AdaPRA поднял Qwen 80B на 24,5 пункта в data science-лидербордах
Вопросы и ответы по материалу
Почему AI-бенчмарки часто ошибаются при выборе модели для кода?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что важнее корректность ответа и скорость выполнения (медианное число токенов на завершение).
Почему обычные бенчмарки для AI кода неправильные?
Модель для программирования нельзя оценивать только по доле решённых задач. Cursor показал, что нужно учитывать корректность ответа и медианное число токенов на завершение.
Что предложил Cursor вместо таблиц лидеров?
Компания показала графики, которые лучше описывают реальную пользу для разработчика, чем привычные проценты решённых задач.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.