Claude Haiku 5.5 пришёл в Devin: 58,4% на FrontierCode при цене в восемь раз ниже Sonnet 5

Claude Haiku 5.5 появился в Devin, и главная цифра релиза такая: 58,4% на FrontierCode 1.1. Это проприетарный бенчмарк команды Devin, который оценивает модели на реальных инженерных задачах по качеству решения и по тому, можно ли его смёрджить в основную ветку. По этой шкале младшая модель линейки обходит Sonnet 5 (56,2%), а стоимость одной задачи, по данным Windsurf, примерно в восемь раз ниже.

Что показал FrontierCode 1.1

Лидерборд собран из одиннадцати позиций, и Haiku 5.5 оказывается в его середине. Выше стоят GPT-6.1 Sol, GPT-6 Sol, SWE-2, Claude Fable 5.1, Sonnet 5.5 и Opus 5.5. Ниже расположились Kimi K3, Gemini 3.7 Flash, Sonnet 5 и GPT-6 Luna. Разрыв с вершиной остаётся заметным: до Sonnet 5.5 (64,4%) не хватает 6 пунктов, до Opus 5.5 (65,3%) почти 7. Зато разрыв с Sonnet 5 в 2,2 пункта идёт в пользу Haiku.

Ключевые цифры из публикации:

• Claude Haiku 5.5: 58,4%
• Claude Sonnet 5: 56,2%
• Kimi K3: 58,2%
• Gemini 3.7 Flash: 56,3%
• GPT-6 Luna: 56,1%
• Claude Sonnet 5.5: 64,4%
• Claude Opus 5.5: 65,3%
• Стоимость задачи у Haiku 5.5: примерно 1/8 от Sonnet 5

Стоит учитывать и разброс. Haiku 5.5 и Kimi K3 разделяют 0,2 пункта, то есть на этом бенчмарке это практически одна лига. На графиках стоимости за прогон ось идёт от $0,02 до $20, и модели, судя по ним, различаются по цене на порядки. Точные значения по каждой модели в тексте не приведены, поэтому надёжной остаётся только заявленная пропорция «примерно в восемь раз».

Fusion: слабая модель в роли помощника

Вторая часть анонса касается Devin Fusion. Haiku 5.5 вошёл в линейку sidekick-моделей, то есть помощников, которые работают рядом с ведущей моделью. Если взять Haiku 5.5 в этой роли, Fusion держит 66,2 балла на FrontierCode. Это выше, чем у Opus 5.5 в одиночку (65,3%). При этом, по словам авторов, снижаются стоимость и задержка.

Логика понятна. Дорогая модель планирует и принимает ключевые решения, дешёвая берёт на себя объёмную работу. Разница в 0,9 пункта в пользу связки невелика, и бенчмарк не раскрывает доверительные интервалы. Главный аргумент здесь в другом: качество на уровне флагмана при меньших расходах.

Попробовать можно уже сейчас в Devin CLI, где Opus 5.5 выступает ведущей моделью. Есть также Devin Desktop.

Где это пригодится на практике

Сначала об оговорках. FrontierCode принадлежит самому Devin, его методику и состав задач мы не видим, а результаты опубликованы в собственном блоге. Для независимого сравнения этого мало. Но для выбора модели внутри конкретного продукта такие данные полезны: команда измеряет то, что реально происходит в её агенте.

Что можно сделать:

• Если задачи в основном рутинные (правки по тикетам, небольшие рефакторинги, тесты), стоит протестировать Haiku 5.5 вместо Sonnet 5. По заявленным цифрам он не хуже по качеству и заметно дешевле.
• Для сложных многошаговых изменений оставьте Opus 5.5 ведущей моделью, а Haiku поставьте помощником через Fusion.
• Прежде чем переключать весь поток, прогоните 20–30 собственных задач из репозитория и сравните долю изменений, которые прошли ревью. Именно этот показатель бенчмарк и пытается измерить.
• Считайте стоимость на задачу, а не на токен: так сравнение с Sonnet 5 будет честнее.

Если заявленная пропорция в восемь раз подтвердится на вашем коде, экономия при больших объёмах агентной работы станет ощутимой статьёй бюджета.