Написать пост

Нейронную сеть обучили верстать сайты по картинке

Новости

Разработчики из FloydHub представили нейронную сеть-верстальщика с открытым исходным кодом, генерирующую шаблонные макеты в несколько сотен итераций.

В мае 2017 года был представлен pix2code — инструмент, автоматически генерирующий пользовательские интерфейсы с помощью машинного обучения. На основе этого алгоритма разработчики из FloydHub решили создать собственную нейронную сеть, которая умеет верстать шаблоны сайтов с обыкновенных картинок.

Три главных шага

Работа натренированного алгоритма разделяется на три этапа:

  1. Загрузка изображения с желаемым дизайном:
  2. Автоматическая конвертация картинки в HTML-разметку:%save-sc0%
  3. Выдача готового макета:

Как проходит обучение?

Для достижения такого результата разработчики во время тренировки сопровождали все загружаемые в модель изображения набором соответствующих HTML-тегов. Алгоритм выявляет зависимости и учится предсказывать необходимые конструкции для разметки, последовательно анализируя поступающую информацию. На основе условных пар «картинка — набор тегов» формируется датасет, который и помогает сети в дальнейшем ориентироваться в новых входных данных.

Как показал эксперимент, для верстки простого шаблонного макета нейронной сети требуется порядка 550 итераций.

Нейронную сеть обучили верстать сайты по картинке 1
В течение трех лет глубокое обучение изменит представление о фронтенд разработке. Оно увеличит скорость прототипирования и снизит входной барьер для создания программного обеспечения.

Подробно по всем этапам разработки самой сети можно пройтись в источнике. А если хочется опробовать новинку сразу в действии, на GitHub есть инструкция по запуску.

Следите за новыми постами
Следите за новыми постами по любимым темам
16К открытий17К показов