Безопасность и правоHabr AI→ оригинал

Нейросеть для текста deepvk vs OpenAI: бенчмарк на судебных актах

На корпусе из 858 решений Суда по интеллектуальным правам локальная deepvk USER2-base показала результат почти на уровне OpenAI text-embedding-3-large и Voyage. Автор протестировал 7 эмбеддингов и 4 реранкера и пришёл к выводу, что для русского юридического RAG связка USER2-base + jina-reranker-v3 выглядит самым практичным вариантом по качеству, цене и независимости от API.

AI-обработка оригинала Habr AI; редакция Hamidun News
Нейросеть для текста deepvk vs OpenAI: бенчмарк на судебных актах
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью

Русская нейросеть для текста deepvk USER2-base показала результаты, почти сравнимые с OpenAI и Voyage в тесте на корпусе судебных документов.

Нужен ли дорогой API для юридического RAG?

Для узкого юридического RAG не всегда нужен дорогой API — локальная модель может показать сравнимые результаты.

Влияет ли реранкер на качество поиска по судам?

Польза реранкера зависит от силы базовой модели — не универсальный инструмент.

Какие модели сравнивали в тесте?

Тестировали deepvk USER2-base, OpenAI и Voyage на корпусе из 858 актов Суда по интеллектуальным правам.

На каких документах проводился бенчмарк?

На корпусе из 858 актов Суда по интеллектуальным правам и текстах четвёртой части ГК РФ.

Сюжет

Вопросы и ответы по материалу

Нужен ли дорогой API для юридического RAG?

Для узкого юридического RAG не всегда нужен дорогой API — локальная модель может показать сравнимые результаты.

Влияет ли реранкер на качество поиска по судам?

Польза реранкера зависит от силы базовой модели — не универсальный инструмент.

Какие модели сравнивали в тесте?

Тестировали deepvk USER2-base, OpenAI и Voyage на корпусе из 858 актов Суда по интеллектуальным правам.

На каких документах проводился бенчмарк?

На корпусе из 858 актов Суда по интеллектуальным правам и текстах четвёртой части ГК РФ.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…