Sony запатентовала аналог системы NVIDIA DLSS для «умного» апскейлинга разрешения в играх

Здесь тоже используется нейросеть, но немного по-другому.

Sony запатентовала аналог системы NVIDIA DLSS для «умного» апскейлинга разрешения в играх

Патент был обнаружен пользователем Reddit. Он описывает нейросеть, обучаемую большим количеством изображений в разных разрешениях, и способную увеличивать размер данного изображения на основе полученного опыта.

Устройство обработки информации для получения множества эталонных изображений, полученных путём визуализации объекта, который должен быть воспроизведён, получения множества преобразованных изображений, полученных путём увеличения или уменьшения каждого из множества эталонных изображений, выполнения машинного обучения на основании множества изображений, подлежащих изучению, которые включают в себя множество преобразованных изображений, и генерирования предварительно обработанных данных, которые используются для генерирования воспроизводимого изображения, представляющего внешний вид объекта.

Патент Sony

Звучит очень сложно и запутанно, но по сути процесс сводится к тому, что система генерирует несколько кадров, потом многократно уменьшает и увеличивает их, запоминая особенности полученного множества изображений, учится и в итоге способна сразу производить кадры в конкретном заданном разрешении.

Отчасти это напоминает работу технологии DLSS от NVIDIA — там тоже задействована нейросеть, которая учится на множестве последовательных кадров, а потом может «восстанавливать» изображения изначально сгенерированные в Full HD до, например, 4К. Это позволяет видеокарте тратить меньше времени и ресурсов на производство каждого кадра и выдавать больше fps без видимой потери качества и детализации.

На данный момент на PlayStation 4 Pro используется менее эффективный алгоритм «шахматного» рендеринга, который создаёт видимые артефакты и требует производить изначальные кадры в 50% от итогового разрешения, тогда как NVIDIA DLSS работает «чище» и требует рендерить кадры размером всего в 25% от отображаемых в итоге.

Подробнее о DLSS 2.0 читайте в нашем интервью с NVIDIA.

Материал дополнен редакцией
161161
131 комментарий
134
Ответить

Но ведь в Series X есть просто DLSS 2.0 (((

1
Ответить

Надеюсь, что Майки тоже не сидят сложа руки

6
Ответить

Но... У маек нет рукавов...

126
Ответить

Комментарий недоступен

46
Ответить

DirectML, который уже давно был заявлен Майками, просто отдельной новости не удостоился

16
Ответить