Мессенджер Allo от Google превращает селфи в стикеры с помощью нейронных сетей

В прошлом мае на конференции Google I/O 2016 компания объявила о запуске нового мессенджера Allo, который отличается от своих конкурентов интеграцией с умным помощником Google Assistant. Это открывает целый набор непривычных для чат-приложения особенностей, в том числе возможность планировать события и искать информацию. Проект развивается: в феврале был анонсирован запуск настольной версии, а пару дней назад стало известно о том, что в Allo появится очень интересная функция — преобразование селфи в иллюстрации.

Как это работает?

Google отказалась как от традиционного подхода к преобразованию фото в иллюстрации с помощью машинного зрения, который подразумевает анализ отдельных пикселей и распознавание особенностей цветов, форм и текстур, так и от написания огромной нейронной сети с нуля под эту задачу.

Вместо этого разработчики поэкспериментировали с уже имеющимися у них нейронными сетями общего назначения. Обнаружилось, что некоторые из миллионов нейронов обладают необходимыми качествами для решения проблемы: они могут фокусироваться на вещах, которые они не были натренированы замечать, а также умеют абстрагироваться от лишних шумов на фотографиях.

Для того, чтобы стикер можно было легко сопоставить с человеком, которого он изображает, Google привлекла команду художников, разработавших дизайн для отдельных элементов, а также в процессе привлекала людей для оценки реалистичности оформления.

Например, жюри просили ранжировать фотографии в зависимости от того, насколько прически на них соответствовали нарисованной на иконке, а художник, основываясь на этих данных, создавал финальную иллюстрацию:

А вдруг я воспринимаю себя не так, как меня нарисовали?

Соответствовать ожиданиям — сложная задача, поэтому разработчики выбрали именно модель иллюстраций-стикеров, которые не претендуют на точную передачу черт лица, а позволяют превратить фотографию в объект искусства и стереть границы между самоидентификацией и тем, как человека видят другие люди (и компьютеры). К готовым изображениям можно по желанию добавлять дополнительные объекты: С точки зрения качества реализации, этот продукт от Google выигрывает у конкурентов (например, Bitmoji), но он доступен только внутри Allo, что сильно ограничивает возможность его использования и распространения.