В МФТИ учат роботов понимать мир и экономить ресурсы
Ученые Московского физико-технического института (МФТИ) разработали метод, позволяющий большим языковым моделям анализировать происходящее на видео, отслеживать движение объектов и их взаимодействие и прогнозировать последующие действия. Технология даст возможность экономить вычислительные ресурсы и может быть востребована для анализа окружающей обстановки роботами. Результаты опубликованы в журнале Technologies.
Роботы выходят за пределы заводских цехов в реальный мир, и для понимания ими окружающей среды требуются колоссальные вычислительные мощности, что делает автономные системы дорогими и зависимыми от облачной инфраструктуры. Ученые МФТИ разработали алгоритм, позволяющий роботам анализировать видеопоток, отслеживать объекты и прогнозировать события с опорой на большую языковую модель. Вместо ресурсоемкой последовательной обработки каждого кадра система преобразует видеоряд в компактный «граф событий». В этой структуре вершинами становятся ключевые объекты, а связями – их пространственные и временные отношения. Такой подход сохраняет глубинный смысл происходящего и радикально снижает требования к вычислительным ресурсам, имитируя принципы человеческого восприятия.
Триумф на полигоне
Алгоритм прошел успешные испытания на мобильном роботе Husky с манипулятором. Машина получала команды на русском языке, например: «Подъехать к столу и взять предмет», и выполняла их, анализируя обстановку через видео в реальном времени. На тестовом наборе данных STAR система правильно ответила на 99% вопросов о взаимодействии объектов и в 97% случаев верно спрогнозировала следующее действие. Хотя сегодня это исследовательский прототип, а не серийный продукт, он наглядно доказывает жизнеспособность концепции.
Значение для отрасли и России
Разработка находится на стыке компьютерного зрения, больших языковых моделей и периферийных вычислений (edgecomputing). Это прямой путь к созданию автономных роботов, не зависящих от мощных удаленных серверов. Для граждан технология повысит надежность и доступность сервисных, медицинских и домашних помощников. Для России это шанс снизить стоимость программно-аппаратных комплексов и ускорить внедрение автономных машин в промышленность и логистику. Это соответствует задаче войти к 2030 году в число 25 ведущих стран по уровню промышленной роботизации, поддерживая развитие федеральных проектов.
Мировой контекст
Мировая робототехника движется в схожем направлении, делая ставку на интеллектуализацию. В 2022 году исследователи AIRI представили алгоритмы оценки глубины без дорогих лидаров, а в 2024 году специалисты ИПУ РАН объединили языковые модели с данными сенсоров. К 2025 году глобальные гиганты, такие как Google (модель Gemini Robotics On-Device) и Nvidia (платформа Isaac GR00T N1), представили системы типа «зрение – язык – действие». Российский подход выгодно отличается акцентом на вычислительную экономию, позволяя выполнять обработку интеллекта непосредственно на борту робота.
Перспективы и вызовы
В ближайшие годы алгоритм найдет применение в роботах и манипуляторах с ограниченной вычислительной мощностью: на складах, в контроле производства, при сортировке и обследовании опасных территорий. Экспортный потенциал носит долгосрочный характер: наиболее востребованным продуктом станет программный модуль или SDK для интеграторов в странах, нуждающихся в недорогой автоматизации. Главным ограничением остается нехватка размеченных данных, содержащих текстовое и графовое описание видеосцен. Без расширения таких датасетов модель не сможет конкурировать с коммерческими системами. Также потребуются испытания в более сложных, динамичных условиях.
Разработка МФТИ воплощает переход от роботов с жесткими скриптами к автономным системам, способным понимать контекст и выбирать действия самостоятельно. Главная ценность метода в высокой точности и радикальном сокращении объема обрабатываемой информации. В ближайшие два-три года нас ждут расширение обучающей выборки, испытания на новых платформах и пилотные проекты с промышленными предприятиями. В случае успешной доработки технология станет фундаментальным российским программным компонентом для роботов нового поколения, укрепляя технологический суверенитет страны.
