Новая нейросеть которая генерирует звуки окружения. Работа саунд дизайнеров должна стать проще

Нейросеть TANGO (ссылка на Github), умеет генерировать пенье птиц, шум толпы, апплодисменты, звуки природы и так далее.

Пример грома и аплодисментов:

TANGO обучен на небольшом наборе данных AudioCaps, поэтому он может не генерировать хорошие аудиообразцы, связанные с понятиями, которые он не видел в обучении (например, пение). Из-за этой же причины TANGO не всегда может тонко управлять своими генерациями по текстовым подсказкам. Например, очень похожи поколения для подсказок Рубка помидоров на деревянном столе и Резка картошки на металлическом столе. Нарезание овощей на столе также производит аналогичные звуковые сэмплы.

Но на гитхабе есть инструкция как натренировать нейросеть на своём дата сете. Так что если у вас завалялось несколько сотен или тысяч размеченных аудиофайлов они могут сослужить вам службу) Ну или ждем когда сообщество сделает всю работу 😐

Нейроновости - новости обо всем что касается нейронок. Midjourney, Stable Diffusion, ChatGPT и о тех о которых вы могли не слышать.

Мой канал с гайдами по SD. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

2222
14 комментариев

Учитывая весь объем подобных звуков в открытом доступе - freesound.org, soundly и прочие, подобная вещица не принесет пользы даже людям далеким от звука, не то что саунд-дизайнерам.

11
Ответить

Допустим ты делаешь игру. Тебе нужен звук, напр., рычания собаки. Парочку ты найдешь на фрисаунде, но тебе нужно много - у тебя игра про собак. А дальше что, сам рычать будешь?

2
Ответить

Ну на фрисаунд половина звуков с шипением, всем таким и из разряда - я постучал палкой по железке, значит готов звук удара о железку.

Ответить

саунд дизайнеров должна стать прощеШутка в том, что все за эти 20+ лет должно было стать проще.

Работа художников, дизайнеров мира, уровней, моделлеров, программеров. И еще дешевле, так как инструменты то упрощают, в теории, работу.

Но нет. Все становится толкьо сложнее и запутаннее. А в конце от очередного издетельства нам в рожу плюют РАЗРЯБОТЬКА ДАРАЖАИТЬ.

3
Ответить

Работа становится проще, но и объем работы сильно больше. Строитель на стройке что раньше херачил, что сейчас. Просто сейчас он за тоже время строит не кирпичный сарай, а бетонную пятиэтажку.

2
Ответить

Просто нужно разрабатывать идеальную игру для железа начала 200х

1
Ответить

Не, ну давай. Иди работай за зарплату 2007 года, вперед

Ответить