Meta* представила AudioCraft — ИИ-инструмент для создания музыки и звуков по текстовому описанию

Похожие разработки есть и у Google.

Meta* представила AudioCraft — ИИ-инструмент для создания музыки и звуков по текстовому описанию
  • AudioCraft с открытым исходным кодом на GitHub состоит из трёх моделей, пишет The Verge.
  • MusicGen предназначена для создания мелодий по текстовому описанию и обучена на 20 тысячах часов музыки, права на которую принадлежат Meta* или которая была лицензирована специально для этих целей.
  • AudioGen генерирует звуки и эффекты окружающей среды с помощью текстовых подсказок — например, лай собаки или шаги. EnCodec обеспечивает обработку звука.
  • Издание прослушало несколько записей, сделанных с помощью AudioCraft, которые компания предоставила СМИ. Сгенерированный свист или сирены звучали «довольно естественно», а звуки гитары кажутся искусственными, отмечает The Verge. Сама Meta* признала, что пока наборы данных, используемых для обучения моделей, «не отличаются разнообразием».

Текстовый запрос: свист и ветер

Текстовый запрос: танцевальный поп-трек с запоминающимися мелодиями, «тропическими ударными», оживлёнными ритмами, идеальный для пляжа

  • В начале 2023 года похожий сервис показала Google — нейросеть MusicLM. Разработчики сообщали, что не планируют делать её доступной или выкладывать исходный код, но «для поддержки будущих исследований» они опубликовали набор из 5,5 тысяч пар «музыка-текст».

*Meta признана в России экстремистской организацией и запрещена.

129129
157 комментариев

Скоро сможет написать симфонию, а ты - нет, кожаный ублюдок.

202

Мой батя отрыжкой пивной симфонию хуярит, скрипты так не могут.

47

А сможет ли он сделать мне музыку/песню, которую я слышал на улице, и могу ее описать туц туц пуруру туц пук среньк?

3

А кто ты без сурса, на котором ты тренировался?

2

Нет кожаных ублюдков - некому и симфонии писать.

1

не сможет, симфония слишком многоуровневая структура для этой фигни. К тому же в музыке много неформализуемого, чего текущее поколение алгоритмов постичь не может