Нейросеть научили переносить художественный стиль на изображения, но с сохранением содержимого
Предыдущие решения заставляли делать выбор между стилизацией и достоверностью.
Исследователи представили новый инструмент под названием GANILLA - Генеративно-состязательную сеть для перевода фото в иллюстрацию. Целью своей разработки они видели перенос художественного авторского стиля на фото, но с сохранением информации на фото, то есть не видоизменяя объекты на фото.
Предыдущие решения успешно обучались художественному стилю и могли его восстановить на фото, однако нейросеть старалась слишком усердно - многие объекты на фото теряли свои очертания частично или полностью, как будто нейросеть пытается нарисовать ранее увиденные объекты на изученных иллюстрациях взамен тех, что уже там есть. Либо же, нейросеть старалась недостаточно, тогда фото почти не менялось, приобретая лишь редкие признаки стиля. Помимо этого, на картинах часто появлялись нежеланные артефакты.
GANILLA очевидно справляется с этой проблемой, сохраняя все объекты на исходном фото в том виде, в котором они были изначально.
Авторы отмечают, что для обучения было использовано два разных классификатора: первый для сравнения форм, второй для сравнения стиля. Нейросеть при обучении ориентировалась на обе оценки.
Авторы так же выложили исходный код своего решения в открытый доступ.