AI Covers: создай собственный музыкальный хит
Разработчики из Новосибирска придумали приложение «AI Covers», позволяющее создавать каверы песен с помощью ИИ в едином интерфейсе. Продукт открывает большие возможности для творчества и обучения.
Хотели сделать «все в одном»
Приложение создали магистранты факультета автоматики и вычислительной техники Новосибирского государственного технического университета НЭТИ Михаил Киреенко и Данил Матвеев под руководством преподавателя кафедры автоматизированных систем управления Егора Антонянца. Оно объединяет и автоматизирует все этапы создания каверов.
В программе несколько модулей, каждый выполняет определенную задачу. Первый отвечает за разделение аудио на вокал и инструментальные партии. Второй преобразует голос с помощью нейронной сети, передавая тембр и интонации. Третий модуль соединяет вокал с минусовкой и другими компонентами трека. Четвертый модуль дает возможность обучать собственные голосовые модели, чем выгодно отличает новое приложение от уже существующих сервисов. Именно эта особенность превращает AI Covers в инструмент для собственного музыкального творчества пользователя.
«ИИ анализирует исходный вокал и воссоздаёт его с помощью различных голосовых моделей. Пользователь может не только работать с готовыми моделями, но и обучать систему на основе собственного голоса», — объясняет Егор Антонянц.
Не только удобно, но и уникально
Получается, что новую разработку отличает высокий уровень кастомизации. Это уже персональные музыкальные композиции, а не стандартизированная история. Пользователи могут генерировать уникальные вокальные партии, а также использовать технологию для обучения.
В последние годы в России наблюдается рост интереса к использованию ИИ-инструментов в музыкальной сфере, однако аналогов этому приложению пока не существует. Его появлению предшествовали многочисленные эксперименты по интеграции AI-решений в производственные процессы, к примеру, трансформеры речи в текст, голосовые ассистенты, нейросетевые обучающие платформы.
Приложение скоро станет доступным для всех желающих. Сейчас авторы стараются обеспечить поддержку большего количества форматов и создают онлайн-версию проекта.
Твой пропуск в мир музыки
«AI Covers» решает проблему фрагментированности музыкальных AI-инструментов, объединяя весь цикл создания каверов в одном приложении, добавляя возможность обучения моделей под конкретного пользователя.
Совсем скоро все желающие получат доступный инструмент для творчества и смогут генерировать уникальные вокальные партии, обучая модели на собственном голосе.
Новинку можно использовать не только для творчества и развлечения, но и в музыкальном образовании, расширяя пользовательскую базу. Приложение можно вывести на международный рынок параллельно развивая в сторону платформы, где пользователи могут делиться своими треками. Такие продукты усиливают технологический суверенитет России и повышают уровень IT-образования, а также создают крепкую базу для создания новых образовательных и развлекательных приложений.
