ML в действии: как нейросети меняют мир игровой графики

Вот ведь невероятно, как быстро нейросети вошли в нашу жизнь и стали неотъемлемой частью работы многих специалистов. Не обошли нейронки и сферу геймдева. Потому что стабильность и качество кадров — вот что действительно важно для игроков. Сюжет, адаптивный ИИ — всё это, конечно, тоже важно, но графика… Графика влюбляет с первых кадров.

Но чем выше разрешение и сложнее графика, тем сложнее поддерживать эту стабильность. Ведь разрешение 1080p требует от видеокарты обработки около 2 миллионов точек, а вот при 4K уже более 8 миллионов!

Отсюда вопрос: а так ли нужна пиксельная точность? Или можно найти оптимальный баланс между качеством и производительностью?

Уже при создании Xbox One и PlayStation 4 стало ясно, что будущее игр принадлежит технологии апскейлинга. Это то самое, когда видеочип создает изображение в одном разрешении, а затем алгоритм увеличивает его до большего.

Потом на горизонте появились NVIDIA и AMD с своими технологиями — DLSS и FSR. DLSS (отдельно про эту технологию у нас тоже есть материал, кстати) работает на основе нейросетей, и у NVDIA появились даже специальные вычислительные блоки.Теперь нейросеть научилась улучшать изображение в любой игре, и благодаря этому оно выглядит просто потрясающе!

Но их конкуренты не остались в стороне: AMD выпустила FSR 2.0 с нейросетями, а Intel представила свой апскейлер XeSS. А ещё Sony, которая готовит к осеннему выходу PLAYSTATION’S SPECTRAL SUPER RESOLUTION (PSSR).

Чего ждать?

Предполагается, что качество изображения у PSSR должно превосходить FSR 2.0 от AMD. Ведь новая методика PLAYSTATION’S SPECTRAL SUPER RESOLUTION, основанная на машинном обучении, даст возможность улучшать разрешение до 8K, а преобразование с Full HD до 4K займет всего 2 миллисекунды. Библиотека PSSR будет занимать всего 250 мб, а внедрение её в игры не потребует особых усилий.

Потрясающая технология, круче которой только тот, кто ее придумал. Учитесь, друзья. За ML будущее.