SAMPA: система на Whisper для определения границ португальской речи

Исследователи разработали SAMPA — систему на основе модели Whisper для автоматического определения просодических границ (точек разделения между речевыми единицами) в португальской речи Бразилии. На стандартном тесте система показала точность F1=0.731, а при кроссдатасет-тестировании на MuPe-Diversidades достигла F1=0.796.

Как устроена SAMPA

В основе системы лежит Whisper large-v3 — многоязычная модель от OpenAI для преобразования речи в текст. Авторы дообучили её на португальских записях из датасета NURC-SP (архив устной речи бразильского португальского) и научили модель вставлять специальные маркеры в местах просодических границ. Система обучалась на записях с разными говорящими, разными стилями речи и разными условиями записи, что помогло ей справиться и с новыми примерами.

Ключевые детали подхода:

• Базовая модель: Whisper large-v3 от OpenAI
• Дообучение: датасет NURC-SP с вручную размеченными записями
• Точность на основном тесте: F1=0.731
• Точность на независимом датасете MuPe-Diversidades: F1=0.796
• Модель использует морфосинтаксические, семантические и просодические сигналы

Почему это важно для португальского

Для английского языка обработка просодии хорошо развита благодаря обилию размеченных данных и годам исследований. Португальский же исторически полагался в основном на правила и традиционные методы машинного обучения — это менее точно и гибко, чем нейросетевые подходы.

SAMPA показывает, что можно эффективно адаптировать готовую большую модель к другому языку, используя относительно небольшой набор размеченных записей. Это открывает путь для аналогичных решений и для других языков за пределами английского — русский, испанский, китайский и другие могут получить аналогичные системы через адаптацию Whisper.

Что это значит

Корректное определение просодических границ важно для практической обработки португальской речи: естественный синтез речи звучит убедительнее, если правильно расставлены паузы и интонации; автоматическое маркирование текстов становится возможным без ручного редактирования; анализ устных документов и архивов речи ускоряется.

Исследование демонстрирует, что принцип переноса обучения (transfer learning) работает эффективно — вместо обучения модели с нуля авторы адаптировали готовый Whisper, что значительно быстрее и требует меньше данных. Это может стать шаблоном для развития обработки речи в других языках и регионах.