4D и прочие радости современной многомерной жизни

На прошлой неделе в Кремниевой долине проходила крупнейшая в мире конференция по стерео — 27-я Stereoscopic Displays and Applications conference. Свой репортаж о мероприятии написал Дмитрий Сергеевич Ватолин — старший научный сотрудник лаборатории компьютерной графики и мультимедиа кафедры АСВК ВМК МГУ.

На этой неделе был на крупнейшей в мире конференции по стерео: они себя скромно называют «The World’s Premier Conference for 3D Innovation».

В общем я с прискорбием констатирую, что жалкое 3D, которым мы занимаемся, полностью морально устарело, ибо было два совершенно замечательных доклада про 4D. (Шучу, multiview мы тоже занимаемся )

Пленоптические камеры

Сразу к делу.

Есть такая тема — пленоптические камеры. В принципе сама идея известна с 1992 года со статьи «Single Lens Stereo with Plenoptic Camera» — с одной линзой стерео — это, конечно, интересно как факт, но не очень практично. Впрочем, через 20 лет после изобретения принципа компанией Lytro была выпущена первая в мире коммерческая серийная пленоптическая камера.

В чем суть: внутри камеры помимо обычных линз перед сенсором стоит матрица линз, в итоге камера может сделать ОДНОВРЕМЕННЫЙ снимок как бы с несколькими фокусными расстояниями и из нескольких точек. Там все довольно просто — чистая оптика, но чтобы снимок был качественным, разрешение сенсора должно быть огромным. А у первой камеры сенсор был всего 10 мегапикселей.

Кому интересно, можете почитать на Mobile Review обзор, в котором человек плюется и ругается, что камера не оправдала его ожиданий. Очень дельный обзор первой камеры есть на Хабре.

А теперь самое интересное! В 2012 они выпустили первую камеру с сенсором 10 мегапикселей, в 2014 — камеру с 40 мегапикселями, а в 2016 – планируют к выпуску камеру с 164 мегапикселями! И последнее — уже реальная революция. Не то, чтобы телескоп Хаббл (по разрешению) в кармане, но что-то близкое. И фото с камеры уже начинают на что-то походить!

Короче — на приглашенном докладе профессор из Беркли рассказал как раз про их эксперименты с новым сенсором на 164 мегапикселя и показал первые снимки и, что забавнее, пленоптическое видео с такого сенсора!

Помимо фишки, что на компьютере можно менять постфактум фокусное расстояние, из пленоптической фотографии можно получать постфактум стереоснимки. Правда с очень небольшой стереобазой, зато можно брать например, 4 снимка из каждого угла, между ними получается 6 вариантов стереобаз (причем с самым большим расстоянием — для диагональных), по которым реально можно бита на три поднять точность получающейся глубины объектов. Причем кроме того (отдельно) можно получать глубину из резкости (независимо от карт диспаритета). Т.е. у пленоптических снимков аж два источника получения глубины объектов, а у обычных снимков — ни одного. Но понятно, что нормально их глубина будет эксплуатироваться только с ростом разрешения. И скорее всего им потребуется еще пара поколений, чтобы довести все до уровня полного «Вау!»

Впрочем даже сейчас, даже снимки камеры прошлого поколения (40 мп) выглядят прикольно. Посмотреть можно тут,  или тут (классическое фото). Я рекомендую в правом верхнем углу, где «CHOOSE PLAYER MODE» сразу выбрать «Advanced Player».

При этом когда вы будете водить мышкой над картинкой, она будет «вращаться» — вы увидите многоракурсную (в двух измерениях матрицы) базу картинки, откуда, собственно, и возникло название 4D — картинка реально имеет 4 измерения. Также можно кликнуть на любой объект сцены, при этом плеер знает глубину этого объекта и картинка будет перестроена так, чтобы объекты на этой глубине были в фокусе. Очень забавная игра 

У камеры на 164 мегапиксела в общем-то все то же самое, только разрешение будет еще в 2 раза выше по каждому измерению, т.е. снимки будут ближе по качеству к тому, к чему мы привыкли.

Да, и как я уже говорил — они идут к тому, чтобы снимать пленоптическое видео. Там масса проблем с потоками данных, но они уже показали первое видео с 10 FPS, причем для этого видео у них уже в первом приближении есть карта глубин. В общем — в очень интересном направлении все развивается, причем достаточно быстро. Фактически растет количество камер глубины, выпускаемых на разных типах сенсоров.

GoPro и 4D

Также на 4D замахнулась GoPro! Вообще камеры GoPro — это маленькая революция. Они умудряются с небольшими объективами давать качество, которое еще недавно было доступно только с дорогими профессиональными камерами. При этом камеры устойчивы к падениям, ударам и т.п.

Но видимо камеры недостаточно массово продавались компания решила не останавливаться на достигнутом, и сейчас они работают над поддержкой массивов камер.

Что это дает? Во-первых, вам приходится сразу покупать не одну камеру, а минимум 16, что положительно сказывается на продажах. Шучу  Но это правда. Во-вторых, вы ставите камеры в распечатанный на 3D принтере каркас, берете Google Jump Assembler и собираете из 16 камер 360 стереовидео. Заливаете его на YouTube (они недавно реализовали его поддержку), берете шлем, или на худой случай Google Cardboard, и наслаждаетесь.

Пример такого ролика:

Подробнее про Google Jump Camera тут. Как развлекается GoPro, можно посмотреть тут.

Но это не 4D, заметит внимательный читатель. Да, это не 4D. Именно поэтому GoPro сейчас работает над развитием проекта, когда вы ставите 16 (или больше) камер не по кругу, а в линейку, при этом разрешение камер таково, что позволяет (правда, с некоторой потерей разрешения) не только плавно двигаться в направлении линейки камер, но и выдвигать виртуальную камеру на некоторое расстояние вперед (!), пересчитывая картинку нового положения по тому же принципу, что для пленоптической системы! Это уже пошел Computatinal Imaging, который, собственно, и заявлялся на конференции.

И, конечно, они работают над матрицами из 64 и 128 камер GoPro, которые не только позволят еще улучшить продажи фактически дадут еще 3 измерения перемещения виртуальной камеры (!). Т.е. получится 5D видео, ну или 4.5D, поскольку по глубине перемещение будет все же довольно ограничено.

3D не умерло

Впрочем и это не все. Были продвижения и в старом добром 3D.

Например, Intel рассказал про свои успехи с Intel RealSense. Суть очень простая – они уже поставляют камеры глубины для ноутбуков, планшетов и телефонов.

Пока это в принципе младенчество технологии, но скоро станет реальным управление жестами, легкое построение 3D моделей людей (производители 3D принтеров уже заждались таких решений), разные забавные приложения типа трехмерной лепки и т.д. и т.п. Что-то уже сейчас доступно тут, но большинство приложений в прототипах.

Наиболее прикольным для меня лично было показанное видео с домашним роботом-пылесосом, который понимал голосовые команды типа «Убери тут» (и рука показывает где). На таком уровне интерфейс вполне совместим с каждой домохозяйкой 

Конференция вполне оправдало свое громкое «The World’s Premier Conference for 3D Innovation» оправдывала.

Были интересные алгоритмические вещи. NVIDIA, например, показала новый шлем.


Также вы можете прочитать вот эту серию статей о том, как работает 3D и почему оно работает не так, как надо.