Разработка российских студентов поможет людям с нарушениями слуха
В перспективе на основе российской технологии можно будет создавать системы и для глухонемых из других стран
В России двое студентов Алтайского государственного технического университета (АлтГТУ) — Дарья Функ и Данил Голотовский — вышли в финал конкурса «Лучшие проекты информатизации на Алтае» со своими системами автоматизированного перевода русского жестового языка (РЖЯ). Эти проекты упростят получение образования, трудоустройство и повседневное общение для россиян с нарушениями слуха.
Обе разработки используют современные технологии искусственного интеллекта и компьютерного зрения. Проект Дарьи Функ — кроссплатформенное приложение, которое в реальном времени переводит жесты в текст или речь. Программа анализирует видеопоток, выделяя ключевые точки тела и лица, и с высокой точностью распознаёт жесты даже в условиях помех.
Данил Голотовский пошёл дальше, создав алгоритм, который преобразует не отдельные жесты, а целые фразы в связный текст с учётом грамматики. Его разработка уже сейчас располагает базой из 1000 жестов, причём на каждый приходится по 20 примеров выполнения разными людьми. В дальнейшем Голотовский планирует добавить функцию обратного перевода — преобразование текста в язык жестов с помощью 2D-аватара.
