В MIT разработали нейросеть Image2Lego. Она превращает 2D-картинки в 3D-модели из конструктора LEGO

Исследователи из Массачусетского технологического института (MIT) разработали алгоритм на нейронных сетях Image2Lego, который составляет инструкцию по сборке 3D-модели из конструктора LEGO по 2D-изображению. 

Как работает Image2Lego

1. Пользователь загружает обычное изображение: например, с самолётом. 

2. Алгоритм распознаёт самолёт на фотографии и загружает его в нейросеть Image2Lego. 

3. Натренированная Image2Lego преобразовывает 2D-картинку в 3D-модель самолёта с помощью нейронных сетей и показывает, как он должен выглядеть, если собрать его из кубиков LEGO. 

4. Алгоритм создаёт инструкцию по сборке модели и сообщает, какие детали для этого понадобятся. 

На что способен Image2Lego

Собрать самолёт — это ещё цветочки. Image2Lego может по изображению лица создать инструкцию для сборки детально проработанного 3D-лица. 

Вот, какую инструкцию предлагает Image2Lego по сборке лица актёра Криса Прэтта:

Читать полный текст исследования →

Источник: GitHub