Нейросеть для превращения эскизов в изображения pix2pix начала работать в браузере

Разработчик Заид аль-Яфии (Zaid Alyafeai) из Университета нефти и ископаемых имени короля Фахда создал браузерную версию системы pix2pix — она в реальном времени превращает наброски пользователя в фотографии. Пока сервис умеет перерисовывать только кошек, фасады зданий и обувь. Исходный код проекта опубликован на GitHub.

Алгоритм

Библиотека TensorFlow.js загружает на компьютер пользователя нейросетевую модель — это позволяет проводить вычисления на устройстве пользователя. Во время рисования обуви или кошек пользователь рисует деталь изображения, и система в режиме реального времени превращает ее в «фотографию»:

При рисовании фасадов домов алгоритм разбивает изображение на области с объектами разных типов. Например, крыша или окно будут иметь разные цвета. В этом режиме можно рисовать не линии, а прямоугольники:

pix2pix

Специалисты из Калифорнийского университета в Беркли представили алгоритм pix2pix на генеративно-состязательной нейросети в 2016 году. Изначально авторы создали систему, которую требовалось развернуть на компьютере. Сторонние специалисты смогли перенести ее в браузер, но алгоритм принимал в качестве входных данных только завершенный набросок и работала на сервере, поэтому сервис закрыли.

В августе 2018 года Microsoft обучила систему искусственного интеллекта XiaoIce считывать картинку и генерировать китайские стихи с описанием того, что на ней изображено. По словам ученых, современная китайская поэзия требует большого воображения и творческого использования языка, что является сложной задачей даже для человека.