В Башкортостане сохраняют родной язык с помощью ИИ
В Республике Башкортостан создают датасеты башкирского языка и культуры для технологий искусственного интеллекта. Республика стала первым регионом России, который выстраивает системную работу с ИИ для сохранения наследия и создания повседневных сервисов.
Искусственный интеллект становится популярным инструментом для работы и творчества. Однако то, что выдает по заданию человека нейросеть, зависит от того, какую базу знаний в нее загрузили. Чем точнее информация, тем достовернее выдаваемый результат. Эксперты уверены, что вопросу обучения моделей нужно уделить особое внимание.
Экосистема для работы с ИИ
Главная задача проекта – сформировать открытые и юридически корректно оформленные текстовые, аудио- и визуальные датасеты башкирского языка и культуры, которые будут использованы для обучения современных систем искусственного интеллекта. В Башкортостане выстраивают целую систему, которая будет работать эффективно, учитывая интересы государства, общества и представителей ИТ-бизнеса.
«Мы видим, как ИИ-решения проникают во все сферы экономики и жизни, и отмечаем яркие примеры их применения. При этом фрагментарные успехи недостаточны. Необходимо сформировать целостную инфраструктуру, экосистему и, по сути, рынок для ИТ-компаний и разработчиков ИИ-решений. Ещё одна задача – сформировать доверие общества к искусственному интеллекту и объяснить его практическую пользу. Для этого планируем провести масштабную информационно-разъяснительную кампанию. Особое внимание уделим школам и подготовке педагогов, расширению программ дополнительного образования, связанных с цифровыми технологиями», – отметил глава Башкортостана Радий Хабиров.
Работа по созданию открытых текстовых, аудио- и визуальных датасетов башкирского языка и культуры для обучения систем искусственного интеллекта уже идет. Сформирована межведомственная рабочая группа, в которую вошли представители органов власти, вузов, научных организаций, библиотек, музеев, СМИ, издательств и общественники. Особое внимание уделяется юридической стороне и согласованию прав на использование материалов.
Нейросеть заговорит без ошибок
Первым результатом общей работы стала публикация открытого набора данных с озвученными аудиокнигами на башкирском языке. В него вошли 476 аудиофрагментов из 14 произведений, в том числе башкирские эпосы «Акбузат», «Алдар и Зухра» и произведения Мифтахетдина Акмуллы. Каждый аудиофрагмент сопровождается текстом на башкирском и русском языках.
В перспективе накопленные материалы позволят создавать цифровые сервисы, которые смогут понимать и воспроизводить башкирскую речь, воспроизводить знания по истории и культуре народа, а также создавать изображения с национальными орнаментами, элементами одежды и другими культурными особенностями без ошибок и стереотипов. На основе датасетов появятся переводчики и голосовые помощники на башкирском языке, а также функция автоматического создания субтитров.
Пользователи получат более точный голосовой ввод, автоматический перевод, возможность быстро озвучивать тексты на башкирском языке. На основе датасетов будут созданы образовательные сервисы, востребованные в школах и культурных учреждениях.
Время единых правил
Программист Айгиз Кунафин считает, что Башкортостан становится первопроходцем, показывая пример, как можно выстроить системную работу по подготовке языковых данных для искусственного интеллекта:
«Раньше развитием башкирского языка для технологий искусственного интеллекта в основном занимались отдельные энтузиасты. У нас было мало ресурсов, поэтому активисты собирали материалы буквально по крупицам – использовали то, что удавалось найти самостоятельно. Сегодня работа впервые ведется централизованно. Мы можем использовать уже существующие архивы, систематизировать их, проверять качество материалов и полностью контролировать, какая информация попадает в датасеты. Это позволяет значительно ускорить процесс и сделать его более качественным».
Башкортостан подает пример системной работы с культурным и историческим материалом, который будет использован именно для обучения ИИ. Этот опыт смогут использовать и другие регионы России для сохранения родных языков и работы с культурным наследием. Тренд на подготовку достоверных материалов для обучения нейросетей может стать федеральным. В современных условиях целесообразно создавать единый каталог языковых датасетов и общие правила передачи культурных материалов разработчикам ИИ.
