«Сбер» дает возможность бесплатно создавать цифровых аватаров
Разработчикам открыли доступ к Kandinsky Avatar 1.0 – семейству российских генеративных моделей искусственного интеллекта, способных создавать реалистичных говорящих аватаров на основе фотографии и аудиозаписи.
Kandinsky Avatar 1.0 – первая полностью российская модель, помогающая создавать реалистичных цифровых персонажей. Для этого достаточно загрузить изображение человека или вымышленного героя, добавить запись речи и краткое текстовое описание сцены. Нейросеть самостоятельно синхронизирует движения губ с голосом, обеспечит мимику, повороты головы и жесты. Можно даже задать персонажу определенные эмоции, по запросу он будет грустным, радостным, счастливым или в гневе. Модель создаёт ролики продолжительностью до одной минуты с частотой 24 кадра в секунду и работает с речью на разных языках.
Как сообщает «Сбер», код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Моделью также можно будет воспользоваться в популярных инструментах для запуска и интеграции нейросетей ComfyUI и Diffusers.
Возможности Kandinsky Avatar 1.0
Сервис будет полезен для блогеров и авторов контента – имея сценарий и аудиозапись на выходе можно получить готовый ролик с говорящим ведущим. Удобен такой формат и для образовательных платформ, виртуальный преподаватель обойдется дешевле. С помощью Kandinsky Avatar 1.0 также можно делать анимацию с говорящими персонажами, приложения для персональных видеооткрыток и личных аватаров.
«Видеоаватары позволяют создавать учебные и рекламные ролики, видеоинструкции и персональные обращения к клиентам. Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Ее можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь от сообщества поможет нам понять, как модель работает в разных сценариях и что необходимо улучшить. Этот опыт мы используем в следующих версиях Kandinsky и при внедрении видеоаватаров в сервисы “Сбера”», – отмечает Денис Димитров, управляющий директор по исследованию данных «Сбербанка».
Kandinsky Avatar доступна в двух версиях. Kandinsky Avatar 1.0 Pro – флагманская модель, генерирующая видео в HD-разрешении с более высокой детализацией изображения. Kandinsky Avatar 1.0 Lite – облегчённая версия, рассчитанная на менее производительное оборудование, в том числе домашние видеокарты, создаёт ролики в SD-разрешении.
Продукт выдержал конкуренцию
В данном сегменте уже существует серьезная конкуренция, в том числе с зарубежными моделями. Например, HeyGen тоже предлагает создание цифровых аватаров и многоязычную адаптацию видеоконтента. Но тестовые испытания показали преимущества модели от «Сбера».
Авторы продукта отмечают, что Kandinsky Avatar 1.0 Pro сравнили с похожими по функционалу открытыми моделями. Участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная, какая модель создала видео. Ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого из конкурентов: в 63% случаев в сравнении с Kling Avatar 2, в 60% – с LongCat-Avatar-1.5 и в 54% – с HeyGen IV. Самый большой отрыв модель показала в синхронизации губ с речью.
Помощь своим и экспортный потенциал
Выход Kandinsky Avatar 1.0 показывает переход российских генеративных моделей от создания отдельных изображений и к специализированным инструментам производства цифровых персонажей и видеоконтента. Особенно важно, что российская разработка дает технологическую основу для создания продуктов других компаний: разработчиков образовательных платформ, рекламных сервисов, видеоредакторов, систем дистанционного обслуживания и корпоративного ПО.
Открытые исходники снижают барьер входа на рынок генеративного видео для российских ИТ-компаний и небольших студий. Вместо разработки собственной модели с нуля они могут адаптировать существующую технологию под свои задачи.
Разработка будет интересна большому кругу пользователей – от профи до любителей: небольшим видеостудиям, рекламным агентствам и свободным создателям цифрового контента. А возможность работать с разными языками увеличивает экспортный потенциал модели и создает предпосылки для ее дальнейшего развития.
