Команда Google Brain разработала технологию, повышающую детализацию фотографий

Google Brain разработала новую утилиту, которое способно создать детализированные изображения, взяв за основу крошечные, мозаичные исходники.

Сперва взгляните на изображение ниже. В левой колонке находятся исходные изображения разрешения 8×8. В центре — результат работы программы от Google Brain. Для сравнения мы поместили реальные изображения в правую колонку. Как вы видите, программа отобразила потрясающее количество деталей, получив на вход всего лишь 64 пикселя.

Как работает эта технология?

Мы все понимаем, что невозможно создать более детализированное изображение, чем есть в исходнике. Так как же Google Brain удается это сделать? Все дело в умелом сочетании двух нейронных сетей.

Первая сеть, пытается сравнить исходное изображение с другими изображениями высокого разрешения. Она сжимает изображения и пытается найти сходства.

Вторая сеть, основная, использует реализацию PixelCNN для добавления реалистичных деталей в исходник. Проще говоря, основная сеть обрабатывает большое количество тематических изображений высокого разрешения. Далее, когда разрешение изображения увеличивается, сеть добавляет определенные детали. Например, если в верхней части изображения присутствует коричневый пиксель, то основная сеть может распознать это как бровь.

Для создания окончательного изображения на последнем этапе происходит совмещение результатов двух нейронных сетей.

Важно отметить, что созданное изображение не является реальным. Добавленные детали — это всего лишь предположения, или, как говорят на жаргоне, “галлюцинации”. Дальнейшее развитие технологии может быть полезным при слежке и в судебно-медицинской экспертизе.

О том, какие еще интересные применения есть у нейронных сетей, читайте в нашей шпаргалке по разновидностям нейронных сетей и их применениях.