В Башкирии создают базы данных для обучения нейросетей родному языку
В Республике Башкортостан стартовала масштабная работа по формированию открытых датасетов для обучения систем искусственного интеллекта башкирскому языку.
Регион стал первым в России, где принимают системные меры по сохранению национального языка, оцифровывая архивы, литературу и аудиозаписи. Созданные массивы данных лягут в основу голосовых помощников, переводчиков и образовательных платформ.
Сбор больших данных для нейросетей
Координацией проекта занимается межведомственная рабочая группа при правительстве республики и АНО по сохранению и развитию башкирского языка. Ведомства уже заключили соглашения с ключевыми держателями контента в регионе. В кооперацию вошли телерадиокомпания «Башкортостан», издательство «Китап», республиканская библиотека для слепых, Башкирский институт развития образования и Башкирский государственный педагогический университет.
Перед разработчиками и лингвистами стоят масштабные задачи по очистке и структурированию информации, ведь далеко не все данные из архивов пригодны для обучения нейросетей. На текущем этапе специалисты уже обработали массив примерно из 75 тысяч страниц текста и около 130 часов аудиозаписей. В базу будут включены не только современные книги, но и подшивки газет, журнальные публикации, теле- и радиопередачи, а также специализированные образовательные материалы.
Первым результатом работы стала открытая публикация озвученных аудиокниг. Они включают 476 аудиофрагментов из 14 произведений, в том числе народные эпосы «Акбузат» и «Алдар и Зухра». Каждый звуковой фрагмент сопровождается синхронизированным текстом на башкирском и русском языках, что крайне важно для обучения алгоритмов машинного перевода и распознавания речи.
Оцифровка диалектов и исторических материалов
Современные инструменты ИИ не могут сами решить задачу распознавания башкирского текста из старых архивов. При оцифровке советских газет алгоритмы сталкиваются с похожими символами, сложными переносами слов, смешением русской и башкирской типографики, а также устаревшей версткой. Для проверки распознавания разработчики применяют частотный анализ и подключают орфографические словари. В одном из пилотных кейсов лингвисты собрали корпус из 840 тысяч словоформ.
Газеты и журналы нужны не только для наращивания объема текстового корпуса – они содержат новости, интервью, официальную лексику, разговорные конструкции, сатиру и примеры игры слов. Нейросеть же должна понимать не только прямое значение выражений, но и то, как люди пишут и общаются в различных контекстах.
Специалисты учитывают и региональные особенности речи. В разных районах Башкортостана существуют свои диалекты – от северо-западного говора до речи жителей Кугарчинского района. В цифровую среду переносятся исторические материалы, фольклор, топонимика и записи живой речи. Чем разнообразнее массив данных, тем точнее языковая модель сможет понимать башкирский язык.
Интеграция в цифровые сервисы
Формирование качественных датасетов открывает путь к созданию полноценной цифровой экосистемы. Башкирский язык уже интегрирован в крупные коммерческие сервисы – например, в «Яндекс Переводчике» он поддерживается с 2015 года. Сегодня в сервисах компании представлены 24 языка народов России, а для семи из них, включая башкирский, доступны передовые технологии синтеза и распознавания речи.
Однако машинный перевод остается лишь одной из сфер применения. Обученные на новых датасетах модели позволят создавать умные клавиатуры с предиктивным набором текста, системы автоматического субтитрирования видео и образовательные платформы. Голосовые помощники смогут реагировать на запросы пользователей на башкирском языке, понимая специфическую фонетику и интонации, а алгоритмы смогут выделять команды из потока речи даже в условиях фонового шума.
Открытые датасеты дадут основу и для независимых разработок. Стартапы и ИТ-компании получат доступ к очищенным и размеченным данным для создания собственных нишевых приложений.
Технологический суверенитет и сохранение культуры
Все материалы проходят процедуру согласования с правообладателями, а документы на произведения, принадлежащие государству, оформляют для открытого использования. Это гарантирует легальность датасетов и защищает разработчиков от исков.
Сохранение языка в XXI веке невозможно без его цифровой среды. Если ИИ не понимает башкирский язык, носители речи вынуждены переходить на более распространенные языки для взаимодействия с поисковыми системами и умными устройствами. Создание качественных языковых моделей делает родную речь более конкурентоспособной в глобальном информационном пространстве.
Успешная реализация проекта докажет эффективность государственно-частного партнерства в сфере языковых технологий. В будущем аналогичные межведомственные рабочие группы и центры компетенций смогут тиражировать подходы к оцифровке наследия других коренных народов страны.
