В России научили ИИ понимать тонкости русской речи
Новая система распознавания речи хорошо умеет улавливать смысл сказанного и обладает устойчивостью к сложным акустическим условиям
Учёные Новосибирского государственного университета представили обновлённую диалоговую модель, созданную на базе Whisper OpenAI и глубоко адаптированную под особенности русского языка.
Стандартные инструменты распознавания речи передают весь текст строчными буквами, без заглавных букв в начале предложений, без оформления имён собственных и без четкого структурирования фраз. Новая система корректно оформляет текст и лучше улавливает смысл сказанного, предлагая точные формулировки.
Перекрестное обучение нейросетей
Разработчики из лаборатории прикладных цифровых технологий дообучили ИИ-модель с помощью записей разговорной речи длительностью более 500 часов. Чтобы охватить разные ситуации и формы общения, часть исходных данных синтезировали с помощью нейросетей. Получилось, что одни модели ИИ создавали обучающие примеры для других, расширяя словарный запас и улучшая устойчивость к сложным акустическим условиям.
Тестирование на выступлениях политиков
Система протестирована на записях выступлений учёных и политиков, например Алексея Савватеева, Андрея Ланькова и Владимира Жириновского. По словам исследователей, ИИ уверенно справляется с обработкой живой речи, а наибольшие трудности вызывает речь, насыщенная специальной терминологией, например математические лекции.
Трудности перевода
Помимо распознавания, модель точно переводит русскую речь на английский язык. Сейчас обработка голосового запроса занимает около 40 секунд, но в НГУ планируют сократить это время до пяти. Российские ученые продолжают укреплять свои позиции в сфере речевых технологий, делая голосовые сервисы более понятными и удобными для пользователей.
