Нейросеть Shap-E создаёт 3D-модели по тексту в стиле первой PlayStation

Shape-E – это вторая попытка OpenAI создать модель, которая могла бы создавать 3D-модели. Получить доступ к файлам и документации можно на странице GitHub. Все разработки Shap-E находятся в открытом доступе. 

Установить Shape-E можно через pip:

			pip install -e .
		

Вот примеры моделей, сделанных Shape-E:

1. sample_text_to_3d.ipynb — образец 3D-модели, созданный по текстовой подсказке.
2. sample_image_to_3d.ipynb — образец 3D-модели, основанный по изображению. Чтобы улучшить результат, нужно удалить фон из входного изображения.
3. encode_model.ipynb — образец 3D-модели с пакетом многоракурсных рендеров и облаком точек. Shape-E может кодировать их в скрытую форму и визуализировать обратно. Для этого нужно установить Blender 3.3.1 и выше и задать для переменной BLENDER_PATH путь к исполняемому файлу Blender.

Первой попыткой была Point-E, которая вышла в конце 2022 года одновременно с ChatGPT. Главной причиной неудачного запуска Point-E стали беспорядочные результаты, которые сильно отличались от промптов.

Shap-E находится на ранней стадии разработки, но уже может создавать 3D-модели по промптам, и модели потенциально можно распечатать.

Исследователи в качестве примера показали модели “дорожный конус”, “стул, похожий на дерево” и “самолет, похожий на банан”. Результаты сильно напоминают графику на первой PlayStation.

Больше примеров можно посмотреть здесь.

Нагенерированные модельки можно подправить в 3ds Max, Autodesk Maya или Blender.

Хотя качество визуализации Shap-E отстаёт от качества конкурентов, она гораздо быстрее генерирует 3D-модели: ей требуется 13 секунд на основе текстовой подсказки.

Также рендеринг Shap-E отличается мягкими краями, четкими тенями и меньшей пикселизацией, чем у Point-E. При этом для генерации 3D-модели не нужна картинка-референс.

Сейчас OpenAI продолжает работать над Shap-E. Исследователи отмечают, что грубые результаты могут быть сглажены с помощью других генеративных 3D-программ.

В будущем OpenAI направит свои усилия на создание 3D-моделей огромных размеров.