Вопрос по нейросетям
Насколько возможно на данный момент с помощью нейросетей сделать локализацию игры? Почему этим никто не занимается?
Взять оригинальные голоса персонажей, прогнать через какую-то нейросеть, и чтобы она в итоге выдала те же реплики, с теми же голосами и интонациями только переведённые на какой либо другой язык. Насколько это реализуемо на данный момент?
Перевод нейросетями ≠ Литературный перевод
И != авторский тогда уж
Да вполне же давно. Голос Тодда в фэйковом выступлении я бы ни вжысь не отличил. Именно интоннации все его. Которые казалось бы хуй ты достоверно подделаешь. А там не то, что достоверно, это именно они и есть.
Ну я и песни слышал разными голосами, типо песня "Восьмикласница" в исполнении Тесака. Но интересно именно почему это не реализуют в играх. Это ведь намного проще чем переводить с помощью актёров озвучивания
Нейросети еще тупые
Но это в плане самой сетке "фантазировать". А если наборот копировать, то ахуй там уже прогресс. С голосами как раз.
Ну смотри:
Перевод отдельно, дубляж отдельно, они не очень связаны.
МТ (machine translation) уже довольно много где используется, но качество готового перевода все ещё не подходит для перевода чего-то особенно объемного — в рамках игр это выражается в разном переводе имён, названий локаций, названий предметов/умений, неспособность в игры слов и каламбуры. Существует МТПЕ (machine translation post edit), когда переводчик редактирует продукт МТ, но иногда это будет занимать больше времени, чем перевод с нуля. Некоторые крупные игровые студии кстати используют МТПЕ с собственными движками.
С дубляжом чуть сложнее: нейросеть не умеет полноценно передавать эмоции, интонации и оттенки, как и специфические акценты произношения (немецкий акцент в английском будет отличаться от немецкого акцента в русском), а угрожающая интонация английского отличается от русского. В рамках песен это работает, да — есть оригинальная мелодика, интонации, которые можно использовать, но этот подход не подойдёт для монологов, диалогов с эмоциями, стонов и криков (как ГРАНАТА! в battlefield). Ну и оригинальная манера произношения все равно мелькает даже в измененных песнях, если оригинальный язык певца отличается от языка нейроголоса.
Имею отношение к сфере локализации, поэтому немного знаю эту тему.