В России нейросети «научили учиться» на 40 % быстрее
Российские разработчики представили новый метод обучения нейросетей, позволяющий почти в два раза ускорить «учебный процесс» для ИИ и снизить требования к «железу»
Учёные из российской компании Smart Engines придумали технологию, которая сделает работу нейросетей примерно на 40 % быстрее, чем у существующих моделей. Это значит, что ИИ-системы смогут обрабатывать данные и выдавать проверенные результаты значительно быстрее, не требуя при этом сверхмощного дорогостоящего «железа», потребляющего много энергии.
Округление без потери качества
Генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров, объяснил суть новшества. Разработчики предложили новую схему квантования, позволяющую сократить размер и сложность модели, но при этом не потерять в качестве распознавания и анализа.
В обычных нейросетях миллионы дробных чисел задают параметры обработки текста, изображений или речи. Компьютер хранит такие числа в двоичном коде в виде нулей и единиц, и чем больше битов на одно число, тем выше точность и тем больше требуется памяти и времени на вычисления. Обычно используется формат в 32 бита. Новый метод с помощью квантования записывает эти же значения в более компактном виде, с меньшим числом битов. Благодаря этому данные считываются быстрее, и модель начинает работать заметно быстрее, почти не теряя в точности.
Smart Engines применил нетипичную схему, при которой модель работает с данными, эквивалентными 4,6 битам вместо стандартных 8 бит. Качество не теряется, так как она умеет работать с небольшими погрешностями, а сжатие разработчики делают так, чтобы самые важные данные оставались точными. В итоге упрощённые модели могут обрабатываться любым ноутбуком или смартфоном.
Не просто цифра
Ускорение на 40 % означает, что сложные задачи, такие как распознавание объектов на изображениях или обработка текста, можно выполнять быстро и дёшево. В Smart Engines уже используют эту технологию в своих программных продуктах для распознавания документов и изображений.
Изобретение может изменить подход к разработке ИИ. Сложные модели вроде генеративных сетей или больших языковых моделей (которые обучаются на миллиардах данных и требуют огромных вычислений) традиционно нуждаются в мощных серверах. При снижении требований ИИ сможет стать «ближе» к пользователю, на тех же телефонах или планшетах.
Но главное — разработка помогает решить практическую задачу. Много вычислительных ресурсов тратится именно на обучение и адаптацию ИИ-моделей. Улучшение алгоритмов как раз и представляет собой способ получить быстрый ИИ без увеличения затрат и энергоёмкости.
