Stability AI представила новую ИИ-модель для композиторов

Поделиться

AI_corporations-min

Компания Stability AI представила новую итерацию Stable Audio с расширенным набором функций для создания звуковых клипов.

Our new model takes AI music generation to the next level by letting you generate high-quality audio up to 3 minutes. Everyone can generate audio up to 3 minutes in length, including our free plan users! https://t.co/0xqQcrHLbwhttps://t.co/MlV0jiULEF

— Stable Audio (@stableaudio) April 3, 2024

Модель первого поколения может генерировать аудиофайлы длиной до 90 секунд. Stable Audio 2.0 создает треки в два раза длиннее и с большим количеством пользовательских настроек.

Предыдущая версия в качестве промптов использовала только текст, а новая способна воспринимать в качестве референса звуковые клипы. ИИ может подбирать стиль генерируемого им аудио, что дает более точные результаты.

Представители Stability AI утверждают, что модель может создавать «структурированные композиции, включающие вступление, развитие и концовку». Еще одним улучшением по сравнению с предыдущим поколением стала возможность создания звуковых эффектов.

Stable Audio основана на диффузионной модели. От других ИИ-алгоритмов ее отличает способ обучения: в процессе тестирования модель получает коллекцию звуковых клипов с ошибками и задание восстановить оригинальный звук.

В новой версии используется специализированная реализация технологии, известная как латентная диффузионная модель. Как и другие нейронные сети, такие модели обучаются на наборе данных, похожем на файлы, которые они будут обрабатывать в процессе генерации. Но перед началом обучения датасет преобразуется в математическую структуру, что делает процесс разработки ИИ более эффективным.

Измененный таким образом набор данных называется латентным пространством и он содержит только самые важные детали. Менее значимые удаляются, что уменьшает общий объем информации, которую модели ИИ приходится обрабатывать в процессе обучения. Это позволяет сократить количество оборудования и снизить затраты.

Инженеры Stability AI также добавили новую нейронную сеть, основанную на архитектуре Transformer, разработанной Google в 2017 году. В основном она используется для построения языковых моделей. Transformer учитывает большое количество контекстной информации при интерпретации данных, что позволяет ему получать максимально точные результаты.

«Сочетание этих двух элементов приводит к созданию модели, способной распознавать и воспроизводить крупномасштабные структуры, которые необходимы для создания высококачественных музыкальных композиций», — говорится в пресс-релизе Stability AI.

Stable Audio 2.0 доступен для пользователей бесплатно, а API позволит другим компаниям интегрировать ИИ-модель в свои приложения.

Ранее компания Adobe представила Project Music GenAI Control, помогающий людям создавать и редактировать музыку без профессионального опыта.

Напомним, в феврале Stability AI анонсировала Stable Diffusion третьего поколения.

Это интересно

Похожие новости

Топ событий крипторынка на первой неделе ноября

В Америке выберут нового президента, ФРС США огласит решение...

Google готує підтримку гарнітур розширеної реальності у Play Store

Google активно працює над тим, щоб додати підтримку розширеної...

Первый пенсионный фонд Великобритании инвестирует в Bitcoin

Британский специалист по пенсионному обеспечению Картрайт руководил...

Первое шпионское фото Redmi K80: что ты такое?!

В ближайшие недели Xiaomi представит миру линейку "народных" флагманов...

Проблеми з камерою в iPhone 14 Plus? Apple запустила безплатну програму ремонту

Apple офіційно повідомила, що деякі моделі iPhone 14 Plus...