Инструмент pix2code генерирует код пользовательского интерфейса на основе изображений

На GitHub появился инструмент pix2code, который автоматически преобразовывает дизайнерские макеты графических пользовательских интерфейсов (GUI) в готовый код, проще говоря — создает на основе изображения небольшую программу.

Разработчики из копенгагенской компании UIzard Technologies, придумавшие pix2code, ставят своей целью помочь ускорить процесс создания IT-проектов и упростить переход от идеи к реализации.

Демонстрация инструмента

Как работает pix2code?

Для преобразования изображений в программный код используются техники глубинного машинного обучения. Модель способна генерировать код на основе одного входного изображения с точностью более 77% и ориентирована на три платформы — iOS, Android и веб. На ускорителе Nvidia Tesla K80 оптимизация 109 × 106 параметров для одного набора данных (для одной платформы) занимает чуть меньше 5 часов.

Авторы сообщают, что наборы данных для тренировки и исходный код будут выложены в открытый доступ примерно в сентябре этого года.

Можно будет использовать его в своих проектах?

Нет, конкретно pix2code создан и будет существовать в качестве эксперимента и обучающей базы. Но ребята в UIzard Technologies советуют следить за их новостями — они готовятся выпускать на рынок похожий продукт.

Более подробную информацию можно получить на странице проекта и в репозитории на GitHub, а прочитать технический обзор — в посвященной инструменту исследовательской работе.