ИИ на диете: как российские математики учат нейросети «худеть» без потери интеллекта
Учёные из ВШЭ доказали, что размер не главное. Их новая разработка – Procrustes GPT – позволяет моделям «худеть» на 36%, почти не теряя при этом интеллекта.
Гигабайты «массы»
Да, большие языковые модели (LLM) требуют коррекции: они невероятно умны, но чудовищно прожорливы. Их вес измеряется гигабайтами, а для работы им нужны целые серверные фермы. И вот, кажется, найден способ усадить этих гигантов на жёсткую диету, сохраняя до 95% эффективности. Исследователи из НИУ ВШЭ (Институт ИИиЦН) предложили элегантное решение – метод Procrustes GPT, который может изменить правила игры на глобальном рынке искусственного интеллекта.
«В основе нашей работы лежит изящная математическая концепция – задача Прокруста. Как и мифический герой, подгонявший путников под своё ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения её сути. Именно эта идея дала имя нашему методу – Procrustes GPT – и стала ключом к сжатию без значительной потери качества», – объясняет технологию разработки Екатерина Гришина, стажёр-исследователь НУЛ матричных и тензорных методов в машинном обучении НИУ ВШЭ.
Суть нового метода, разработанного в Высшей школе экономики, звучит как математическое волшебство. Procrustes GPT позволяет сократить размер большой языковой модели на 25–36%. Тяжеловесный «мозг» нейросети становится легче на треть, но при этом не теряет способности писать поэмы, решать задачи и вести диалоги. В чём секрет?
Метод Прокруста
Традиционные методы «похудения» ИИ, такие как квантование или прайнинг (удаление «лишних» связей нейронов), обычно требуют мучительного дообучения – модель нужно снова гонять через тренировки, чтобы она не поглупела. Procrustes GPT действует иначе. Это метод так называемой training-free оптимизации. Он проводит структурную редукцию матриц весов, словно хирург, который аккуратно отсекает лишнее, не нарушая работу всего организма. Это не просто экономия места на диске. Это фундаментальное снижение затрат на хранение и, что критически важно, на инференс – то есть на сам процесс генерации ответов. Модель требует меньше вычислений, а значит, работает быстрее и дешевле.
Главный бенефициар этой технологии – не только «большой бизнес» с его дата-центрами, но и «маленькие железки». Интернет вещей (IoT), мобильные устройства, умные колонки, автомобильные компьютеры – всё это оборудование с ограниченными ресурсами. Раньше запустить там полноценную современную LLM было немыслимо. Теперь это становится реальностью.
ProcrustesGPT открывает дверь для интеграции ИИ повсюду. Смартфон сможет обрабатывать сложные запросы на месте, не отправляя данные в облако. Умный пылесос получит не просто алгоритм уборки, а зачатки настоящего диалога. Кроме того, снижение вычислительной нагрузки напрямую ведёт к снижению энергопотребления. Для дата-центров, которые потребляют электричество как небольшие города, это не просто экономия бюджета, а вклад в «зелёное» будущее ИТ. Российская разработка попадает в самое сердце мирового тренда на демократизацию ИИ.
Гонка за «лёгким весом»
Последние пять лет мировое научное сообщество лихорадочно ищет способы обуздать растущие аппетиты нейросетей. Одним из громких событий стал SliceGPT, представленный в 2024 году. Этот метод, как и новая разработка, был ориентирован на структурную редукцию (prune) пост-тренинг. Он показал, что можно удалять целые «срезы» модели, не проваливая точность на конкретных задачах. Это был важный шаг к тому, чтобы доказать: дообучение – не всегда обязательная жертва.
Примерно в то же время набирал популярность метод GPTQ. Он работал по принципу квантизации, то есть «огрубления» весов модели. GPTQ стал индустриальным стандартом для многих open-source моделей, позволяя им работать на видеокартах среднего уровня.
С 2024 года научные архивы (arXiv) пестрят новыми идеями. Совсем свежие разработки, такие как DeltaLLM (2025 год), предлагают использовать низкоранговые матрицы для компрессии.
Как видно, Procrustes GPT укладывается в мейнстрим training-free оптимизации. Авторы не пытаются изобрести велосипед, а предлагают более совершенный двигатель для него, делая акцент на красивых структурных преобразованиях матриц, что выделяет Procrustes GPT на фоне чисто статистических методов.
Большое будущее компактного разума
Появление Procrustes GPT, разработанного в НИУ ВШЭ, усиливает научный потенциал России в области ИИ, но главное – проект имеет прямой выход на глобальный рынок. Любой стартап или корпорация, работающие с open-source LLM, смогут интегрировать этот подход, чтобы снизить требования к своему «железу» и сократить счета за электричество.
В ближайшие годы начнётся бум исследований на стыке структурного сжатия и методов адаптации. Учёные будут учиться не просто «обрезать» нейросети, но и «наращивать» мышцы в нужных местах, не увеличивая общую массу. Procrustes GPT уже сейчас делает искусственный интеллект доступнее, прокладывая дорогу в мир, где мощный ИИ будет жить не только в гигантских облаках данных, но и в каждом кармане.
