Нейросеть научилась «открывать» закрытые глаза на фотографиях

Facebook представила алгоритм на генеративно-состязательных нейросетях (ГСН), который редактирует фотографию человека с закрытыми глазами на основании единственного изображения его лица.

Принцип работы

Сначала система обрабатывает фото с открытыми глазами, запоминает их цвет, форму, разрез и другие детали. Затем она получает портрет того же человека, но уже с закрытыми глазами, и ретуширует его.

В системе ГСН одна сеть училась распознавать черты лица и передавала данные второй сети, которая отвечала за итоговый результат. В процессе работы они постоянно обменивались информацией, и благодаря этому картинка получалась более реалистичной. Алгоритм учитывал ракурс снимка, освещение, макияж и другие детали.

Эффективность

В статье исследователи показали в сравнении результаты работы своей системы с аналогичным инструментом в Adobe Photoshop Elements.

Однако иногда и алгоритм Facebook дает сбой: добавляет слишком много ресниц или меняет цвет кожи вокруг век. В ближайшее время исследователи собираются исправить это, а также научить систему более точно определять цвет радужки глаза. Несмотря на это, большинство участников тестовой группы и так не смогли отличить фотографии, обработанные алгоритмом, от реальных портретов.

Применение

По мнению разработчиков, технологию можно будет использовать при реставрации картин, генерации изображений, а также для решения задач систем компьютерного зрения и в других областях.

В июне 2018 года ученые представили алгоритм Generative Query Network (GQN) на нейросетях, который исследует двумерную сцену и определяет, как она будет выглядеть в трехмерном пространстве.