Написать пост

Команда Google Brain разработала технологию, повышающую детализацию фотографий

Аватар Глеб Умаров

Google Brain разработала новую утилиту, которое способно создать детализированные изображения, взяв за основу крошечные, мозаичные исходники.

Сперва взгляните на изображение ниже. В левой колонке находятся исходные изображения разрешения 8×8. В центре — результат работы программы от Google Brain. Для сравнения мы поместили реальные изображения в правую колонку. Как вы видите, программа отобразила потрясающее количество деталей, получив на вход всего лишь 64 пикселя.

Команда Google Brain разработала технологию, повышающую детализацию фотографий 1

Как работает эта технология?

Мы все понимаем, что невозможно создать более детализированное изображение, чем есть в исходнике. Так как же Google Brain удается это сделать? Все дело в умелом сочетании двух нейронных сетей.

Первая сеть, пытается сравнить исходное изображение с другими изображениями высокого разрешения. Она сжимает изображения и пытается найти сходства.

На данный момент этот блок не поддерживается, но мы не забыли о нём!Наша команда уже занята его разработкой, он будет доступен в ближайшее время.

Вторая сеть, основная, использует реализацию PixelCNN для добавления реалистичных деталей в исходник. Проще говоря, основная сеть обрабатывает большое количество тематических изображений высокого разрешения. Далее, когда разрешение изображения увеличивается, сеть добавляет определенные детали. Например, если в верхней части изображения присутствует коричневый пиксель, то основная сеть может распознать это как бровь.

Для создания окончательного изображения на последнем этапе происходит совмещение результатов двух нейронных сетей.

Превью видео LhF_56SxrGk

Важно отметить, что созданное изображение не является реальным. Добавленные детали — это всего лишь предположения, или, как говорят на жаргоне, “галлюцинации”. Дальнейшее развитие технологии может быть полезным при слежке и в судебно-медицинской экспертизе.

О том, какие еще интересные применения есть у нейронных сетей, читайте в нашей шпаргалке по разновидностям нейронных сетей и их применениях.

Следите за новыми постами
Следите за новыми постами по любимым темам
19К открытий19К показов