Модель на 8B параметров обошла Claude Opus 4.8 в генерации научных идей

Проблема: разнообразие в генерации идей

В исследовательском конвейере один из первых этапов — генерирование идей. Большие языковые модели (LLM) всё чаще используются для автоматизации этого процесса, но большинство работ в этой области фокусируются на качестве отдельных идей, игнорируя их разнообразие. Это создаёт узкое место: модель может генерировать высококачественные, но похожие друг на друга предложения.

Методология: set-level reinforcement learning

Исследователи из Salesforce AI Research (авторы: Manya Wadhwa, Pranav Narayanan Venkit, Hiroaki Hayashi, Yu Li, Tuhin Chakrabarty, Chien-Sheng Wu) предложили другой подход. Они обучили модель на 8B параметров с использованием set-level reinforcement learning objective — целевой функции, которая оценивает весь набор идей, а не каждую идею отдельно.

В одной генерации модель пишет K структурированных карточек идей (idea cards), привязанных к исходным научным статьям (document-grounded ideation). Ключевой момент: при совместной оценке набора каждая идея взвешивается по расстоянию от идей, написанных ранее. Это обучает модель сознательно отстраняться от собственных предыдущих предложений и генерировать максимально разнообразные наборы.

Результаты: выше, чем Claude Opus и GPT-6

На контаминационно-чистом бенчмарке (исключающем данные, на которых можно было бы обучать модели) 8B модель достигла более высокой creative utility — метрики, которая комбинирует качество и разнообразие — чем Claude Opus 4.8 и GPT-6 Astra.

В пилотном исследовании с четырьмя экспертами наборы идей от 8B модели оценены как столь же обещающие, как и выходы Claude Opus 4.8. Эксперты отметили, что идеи от Salesforce модели содержат немного больше уникальных предложений.

Важный результат: когда кодирующий агент (coding agent) запускал proof-of-concept эксперименты на основе сгенерированных идей, success@k (доля идей, приводящих к успешной реализации) Salesforce модели оказалась сопоставима с Claude Opus 4.8. Это означает, что увеличенное разнообразие не влияет на практическую исполняемость идей — они остаются реализуемыми.

Значимость исследования

Результаты демонстрируют, что меньшая модель, обученная на целевую функцию (set-level reinforcement learning), может превзойти значительно большие закрытые модели в специализированной задаче — генерации разнообразных, но качественных научных идей. Это важно для исследовательских организаций, которые стремятся автоматизировать идеирование на ранних этапах конвейера.

Проект опубликован Salesforce AI Research с открытым исходным кодом и контаминационно-чистым бенчмарком, что позволяет сообществу воспроизвести и развить результаты.