«Яндекс» улучшила качество видеоряда старых мультфильмов с помощью нейросетей

Специалисты «Яндекса» разработали технологию DeepHD и применили её к советским мультфильмам. Обработка изображения происходит в два этапа, при этом каждый использует свою нейросеть. Список мультфильмов можно найти по запросу. Также технологию испытали на фильмах.

Технология DeepHD

На первом этапе нейросеть устраняет помехи и искажения изображения, вызванные его сжатием. Завершив первый этап, нейросеть передаёт результат нейросети-генератору. И уже генератор, получив картинку с небольшими разрешением и детализацией, улучшает её, повышая чёткость и добавляя недостающие текстуры.

О технологии DeepHD рассказал Александр Крайнов в рамках YAC 2018:

Обучение нейросети-генератора

Нейросеть учится улучшать качество изображения с помощью картинок с высоким разрешением. Их намеренно уменьшают и пропускают через нейросеть-генератор. На выходе получаются два изображения: первое — большой оригинал, а второе — созданное генератором. Контроль соответствия осуществляют две дополнительных нейросети: классификатор и дискриминатор.

Первая штрафует генератор при добавлении к изображению того, чего нет в оригинале. Вторая нейросеть ищет различия между оригиналом и созданным изображением. Генератор справляется с задачей, если дискриминатор выбирает искусственную картинку вместо оригинала.

Несмотря на широкое использование нейросетей для создания, распознавания и улучшения изображений, ИИ поддаётся иллюзиям подобно человеку. В середине сентября 2018 года команда учёных из Брауновского университета (США) представила нейросеть, восприятие изображений которой ограничено физиологией зрительной коры головного мозга приматов. Исследуя принятие решений данной моделью, учёные намерены лучше понять человеческое зрение и улучшить компьютерное.