Sonnet 4.6 с MCP-сервером Sourcegraph обошёл Fable 5: 0,698 против 0,568

Claude Sonnet 4.6 с MCP-сервером Sourcegraph набрал 0,698 на девяти задачах CodeScaleBench и обогнал Claude Fable 5, который получил 0,568. Sonnet работал без исходного кода на диске и обращался к кодовой базе только через инструменты поиска. Fable 5 имел полный локальный чекаут репозитория и никакого retrieval. Дешёвая модель выиграла шесть задач из девяти, а за каждый балл качества стоила почти вдвое меньше.

CodeScaleBench — это бенчмарк самой Sourcegraph для кодинг-агентов в крупных многорепозиторных кодовых базах. Для сравнения взяли девять задач, где основная работа состоит в поиске нужного кода. Fable 5 — первая общедоступная модель в линейке Anthropic класса Mythos, уровня выше Opus. На релизе она показала state-of-the-art на большинстве публичных бенчмарков, включая кодинговые оценки Cursor и Cognition.

Поиск против чтения с диска

Условия двух конфигураций противоположны.

• Sonnet 4.6 + Sourcegraph MCP server. Исходников на диске нет. Агент ищет по коду, разрешает символы и идёт по ссылкам между репозиториями.
• Fable 5 с локальным чекаутом. Весь репозиторий лежит рядом, модель читает файлы напрямую, retrieval-инструментов нет.

Итоговые цифры:

• Sonnet 4.6 с Sourcegraph: средний балл 0,698, победа в 6 задачах из 9.
• Fable 5 с локальным кодом: средний балл 0,568.
• Стоимость за пункт качества у Fable почти вдвое выше. Sonnet обходится примерно в половину.

Дешёвая модель с инструментом оказалась выше и по качеству, и по цене. Для команд, которые считают расходы на агентов, второй показатель важен не меньше первого.

Где именно возникает разрыв

Преимущество Sonnet распределено по задачам неравномерно. Основной вклад дают задачи, где нужно найти, как символ реально используется в нескольких репозиториях. Лидируют трассировка уязвимостей и прослеживание зависимостей между организациями. Именно здесь прямое чтение локальной копии даёт мало: нужного кода в ней может не быть вовсе или он лежит слишком далеко.

На простых задачах разницы почти нет. Трассировка конфига и аккуратная миграция закрываются обеими схемами на высоком уровне, и результаты у них близки. Там, где потолок уже достигнут, выигрывать нечем.

Есть и обратный пример. На одной из задач с кросс-организационными зависимостями фронтирная модель с полным локальным чекаутом всё же вышла вперёд. Эта деталь говорит в пользу методологии: тест не подогнан под заранее известный победитель.

Sourcegraph выложила results explorer. В нём для любой задачи рядом показаны прогоны обеих схем: полный промпт, диалог и каждый вызов инструмента. Можно увидеть, где один агент находит нужный файл, а другой до него так и не добирается.

Оговорки, которые нельзя пропускать

Во-первых, это девять задач, а не весь CodeScaleBench. Доступ к Fable 5 ограничили через несколько дней после релиза, поэтому в сравнение попали только задачи с валидными прогонами Fable, завершёнными до этого срока. Автор материала сам называет результат ранним сигналом, а не устоявшимся бенчмарком.

Во-вторых, бенчмарк принадлежит компании, которая продаёт инструмент-победитель. Это не отменяет открытости прогонов, но независимое воспроизведение на других задачах лишним не будет.

В-третьих, тест измеряет навигацию по коду. Задачи, где нужно глубокое рассуждение внутри одного файла, остались за рамками. Sourcegraph называет их следующим направлением для измерений, и именно там преимущество retrieval может пропасть.

Что проверить при сборке агента с ограниченным бюджетом

Практический вывод для команд, которые строят агентов на реальных кодовых базах, такой: перед апгрейдом модели стоит оценить качество поиска по коду. На кросс-репозиторных задачах — поиск уязвимостей, анализ зависимостей, оценка влияния изменений — связка из более дешёвой модели и хорошего retrieval может превзойти дорогую модель без него.

Стоит взять собственные 10–20 типичных задач и разделить их на два класса: «найти, где это используется» и «разобраться в одном сложном участке». Первый класс прогнать на связке «средняя модель + MCP-поиск», второй на флагмане с локальным кодом. Сравнивать нужно стоимость за единицу качества, а не только итоговый балл. Именно по такой метрике Sonnet 4.6 с Sourcegraph выиграл у Fable 5.