На выбор доступны rpm- и deb-пакеты приложения. Поддерживаются дистрибутивы Ubuntu, Debian, Fedora и openSUSE. Бета-версия Microsoft Edge планируется обновлять примерно каждые 1,5 месяца. Как скоро будет готова стабильная финальная версия браузера — компания не сообщила.

Отметим, что альфа-тестирование Linux-версии приложения началось ещё в октябре 2020 года. Тестовые версии проекта также есть на iOS, macOS, а также шлемах смешанной реальности HoloLens 2 и т.д.

Где скачать бета-версию Microsoft Edge для Lunux?

Делается это на ресурсе Microsoft Edge Insider. Для скачивания deb-пакета перейдите по ссылке. Для загрузки rpm-версии, нужно кликнуть сюда.

Источник: Microsoft Edge Insider

Журналист издания Том Уоррен рассказал, как с ним на прошлой неделе связался идейный лидер Kinect и HoloLens Алекс Кипман. Для этого он использовал новинку от Microsoft. По словам Уоррена, он надел шлем HoloLens 2, после чего попал в «виртуальную комнату для встреч», в которой представитель ИТ-гиганта находился рядом с его кофейным столиком.

Это ощущалось как встреча в Microsoft Teams из будущего.

Основной для Microsoft Mesh стала облачная платформа Azure. Кипман заявил, что в компании надеются на то, что архитекторы, инженеры и дизайнеры заметят потенциал новинки.

А для ещё большего её распространения компания намерена сделать сервис доступным на множестве разных устройств: начиная от смартфонов и заканчивая компьютерами и различными шлемами, в том числе HoloLens 2.

Прямо сейчас Microsoft Mesh доступна лишь для владельцев последней и то, после регистрации на платформе виртуальной реальности AltspaceVR. На прочих девайсах платформа появится позже.

Источник: The Verge

Как это работает?

Для совершения голографического звонка один из абонентов использовал очки смешанной реальности, а другой находился в специальной комнате, оборудованной 3D-камерами. Созданное с помощью этих камер объемное изображение передавалось в очки Microsoft HoloLens.

Во время демонстрации использовались частоты из диапазона 26,6–27,2 ГГц, скорость передачи данных превышала 2 Гбит/с, а время задержки оставалось на очень низком уровне.

Как еще можно использовать сеть 5G?

Представители компаний также продемонстрировали применение сети пятого поколения на примере онлайн-трансляции с 360-градусной камеры в VR-шлеме. Кроме того, эту технологию можно использовать в области удаленных путешествий и покупок, а также для организации групповых звонков. Впрочем, пока планы по строительству 5G-сетей замедляет неопределенность с выделением частот.

Напомним, что это не первое событие в области внедрения сети 5G в России. Так, например, весной 2018 года «Ростелеком», Huawei и «Таттелеком» на территории Иннополиса открыли тестовую зону сети пятого поколения.

Как это работает?

Технология под названием Magnetic Resonance Fingerprinting (MRF) подразумевает исследование импульсов различной мощности вместо традиционных снимков магнитно-резонансной томографии (МРТ). Полученные данные заносятся в таблицу для вычисления точных показателей для каждого вида биологической ткани.

Обработка такого объёма данных возможна благодаря использованию квантовых алгоритмов. В качестве платформы для вычислений исследователи собираются применять облако Azure. С появлением квантовых компьютеров разработчики планируют запускать выполнение расчетов на них, что повысит производительность алгоритмов. Для визуализации трёхмерных результатов медицинского обследования учёные намереваются использовать гарнитуру HoloLens.

Исследователи со всего мира вкладывают силы в развитие технологий для диагностики и лечения онкологических заболеваний. В апреле 2018 года Google представила модифицированный микроскоп для выявления рака.

Сам факт получения патента говорит о том, что устройство уже находится в стадии прототипа и может быть представлено достаточно скоро. Устройство оснащено кнопками и курком и скорее всего будет работать, как приложение на видео ниже, в котором в качестве указки используется iPhone.

Почему компания приняла такое решение?

Пропуск второй версии продукта даст компании больший запас времени для серьёзного улучшения возможностей устройства. Возможно, причиной такого решения стал серьёзный отрыв Microsoft от конкурентов в сфере смешанной реальности. Она уже выпустила версию HoloLens для разработчиков (мы даже публиковали цикл статей о разработке под HoloLens) и открыла доступ к платформе для разработки Holographic, в то время как её ближайший конкурент, Magic Leap, ещё даже не представил готовый к использованию продукт.

Microsoft не сообщила никаких точных деталей. Представитель компании сказал:

Смешанная реальность — это будущее компьютеров, а Microsoft HoloLens — это будущее и настоящее смешанной реальности. Нашей целеустремлённости не нужны планы.

Посмотрим, действительно ли Microsoft будет использовать такой подход и окупится ли он в ближайшие годы. Перенос выпуска следующей версии устройства на 2019 год даст разработчикам время разобраться со всеми нюансами создания контента, поэтому к тому времени, когда компания будет готова пустить HoloLens в массы — а на выставке Computex в прошлом июне Microsoft сказала, что рассчитывает продать 80 миллионов устройств к 2020 году — у нас уже будет повод купить его.

Но мы-то знаем, что в IT-сообществе зарождается новый тренд, судите сами: после Windows 8 вышла Windows 10, а следующим после Angular 2 будет Angular 4. Так что HoloLens скорее следует правилу, чем является исключением. А чтобы вы не выпали из другого важного тренда — разработки ПО для смешанной реальности — читайте наше руководство по разработке приложений для Microsoft HoloLens.

Программист под псевдонимом KennyW поставил себе задачу перенести игру Portal в дополненную реальность. Основная часть работы была сделана на 3D-движке Unity. Тем, кто захочет сделать что-то подобное, мы рекомендуем прочитать цикл наших статей, посвящённых созданию приложений смешанной реальности в Unity 3D.

В игре предоставляется знаменитое переносное устройство создания порталов (ASHPD), которое создает червоточины на поверхности реальных объектов. Однако проходить через них настоятельно не рекомендуется. Зато имеется куб, которым можно управлять, перемещая его по порталам.

Разработчик KennyW уже давно занимается проектами, связанными с виртуальной реальностью. В прошлом году он создал прототип Pokémon для того же HoloLens от Microsoft.

Кенни Вонг пообещал поделиться результатом своих трудов на GitHub после того, как закончит работу над этим проектом.

Компания Microsoft начала продажу HoloLens в первом квартале 2016 года. Изначально устройство использовалась для презентаций и научно-исследовательских работ. Однако после появления данного оборудования в продаже, многие программисты начали адаптировать его для использования в компьютерных играх.

Общие советы по тестированию

Принципиально тестирование голографических приложений мало чем отличается от тестирования обычных приложений: вам нужно всё проверить до мельчайших деталей, чтобы всё работало как надо, чтобы нигде не падала производительность, не было графических артефактов, чтобы были правильные данные и т.д. Ввиду особенностей приложений смешанной реальности вам придется запускать его в разных помещениях, при разном уровне освещения, смотреть на голограммы под разным углом и на разных расстояниях. И не забывайте, что чем раньше вы достигнете производительности 60 кадров в секунду, тем лучше (вспоминаем ч. 3).

Тестирование в Unity

Первым делом работоспособность приложения необходимо проверить в Unity. Нажимаем на Play, смотрим, ходим. Для имитации нажатий можно использовать следующий код в Update методе GestureTest:

То же самое можно использовать для имитации голосовых команд, если у вас на компьютере не работает микрофон.
Стандартные утилиты Unity, такие как FrameDebugger и Profiler, тоже могут быть очень полезны:

Проблема в том, что Unity не отображает в полной мере все недостатки приложения, особенно те, которые связаны с производительностью. Если в Unity ваше приложение выдаёт стабильные 60 кадров в секунду, то не факт, что те же 60 кадров вы увидите на устройстве.

Для того, чтобы протестировать приложение на эмуляторе, вам необходимо собрать Solution Visual Studio. Воспользуемся скриптом, созданным в части 2.

По завершении процесса сборки, если всё прошло хорошо и в консоли нет ошибок, откроется директория, содержащая Solution Visual Studio. Запустите проект, вы должны увидеть следующее:

Эмулятор

Первым делом попробуем загрузить приложение на эмулятор. Чтобы сделать возможным запуск эмулятора, вам необходимо активировать Hyper-V (панель управления → программы и компоненты → включить или отключить компоненты Windows). Напоминаю, что Hyper-V не работает на Windows 10 Home. Также не забудьте включить режим разработчика в настройках.

Настройки, необходимые для запуска проекта на эмуляторе, представлены на картинке.

Обязательно ставим Release, т.к. под другими конфигурациями эмулятор на данный момент не работает. Установим BreakPoint в классе VoiceTest. Однако, когда вы произнесёте «», ничего не произойдет. Чтобы это исправить, уберите у каждого проекта оптимизацию кода (ПКМ → Properties → Build). Запуск выполнять через F5 (Start Debugging). Высветится окно “You do not have permission to run the emulator“, ставим галочку “Join the Hyper-V Administration Group“, жмём Retry:

После чего вы наконец-то сможете увидеть окно эмулятора:

Что есть что в эмуляторе:

1. Закрыть Окно эмулятора, завершить отладку
2. Свернуть Окно
3. Переключится на эмуляцию человеческого ввода (см. ниже)
4. Прямое управление с клавиатуры и мыши
5. Развернуть на максимум
6. Увеличить/уменьшить размер окна
7. Справка
8. Device Portal (см. ниже)
9. Дополнительные инструменты

Основное назначение элементов, думаем, вам ясно. Единственное, что нуждается в пояснении – это эмуляция ввода. При нажатии на иконку человека, в приложении вы сможете:

1. Перемещаться вперёд-назад-влево-вправо, используя клавиши W, S, A, D соответственно.
2. Управлять взглядом, зажав ПКМ и двигая мышью, или используя стрелки на клавиатуре.
3. Выполнить AirTap, нажав ПКМ.
4. Выполнить Navigation или Manipulation, зажав ПКМ.
5. Выполнить Bloom, нажав на клавишу F2.

Дополнительные инструменты высвечиваются при нажатии на соответствующую клавишу:

Всего нам доступно 5 вкладок:

1. Simulation. Показывает координаты положения человека в виртуальном пространстве, угол поворота головы, нажатие AirTap.
2. Room – позволяет загрузить комнату в эмулятор. Можно выбрать либо готовые (всего доступно 5 вариантов), либо создать модель своей комнаты через Device Portal.
3. Account – ввести данные учётной записи Microsoft.
4. Network – параметры адаптеров.
5. Optional Settings – дополнительные настройки, например, включить/отключить ускорение графики.

Опробуйте все добавленные ранее возможности. Нажмите на автомобиль, попробуйте голосовой ввод, загрузите комнату и попробуйте установить автомобиль.

Дополнительными средствами отладки в эмуляторе являются Performance Profiler и Graphic Debugger. Первое позволит получить детальный анализ производительности, время вызова методов, графики нагрузки на CPU и GPU. Graphic Debugger позволяет покадрово рассмотреть отрисовку графических объектов.

Запуск на устройстве

Работать с устройством можно либо через USB (в таком случае, выбираем в качестве target-платформы Device), либо через Wi-Fi, если вы подключены к одной сети. Обязательно нужно активировать режим разработчика на Hololens. Для этого выполните Bloom, зайдите в настройки, закрепите окно, зайдите в раздел Update → For Developers. В том же разделе, если вы пролистаете ниже, можно включить Device Portal. Сделайте это сразу.

При первом запуске через Visual Studio или Device Portal вам потребуется PIN, который генерируется автоматически на устройстве. Просто надевайте очки, заходите в настройки Update → Pair Device, запомните PIN и введите его в появившемся на ПК окне.

Всё готово к работе. Осталось только ввести адрес устройства:

1. Для запуска через USB — http://127.0.0.1:10080.
2. Для запуска через Wi-Fi вам необходимо знать адрес устройства. Посмотрите в настройках Network & Internet, или, надев очки, спросите у Кортаны (“Hey Cortana! What’s my IP-address?”). Адрес выглядит примерно так: https://192.168.88.212.

Эти же IP-адреса будут использоваться для входа в Device Portal.

Device Portal

Своего рода консоль для управления и мониторинга устройства.

При первом запуске вас попросят создать логин и пароль для входа в устройство. В дальнейшем эти данные будут использоваться при повторном подключении Hololens к вашему либо чужому компьютеру.

Как видно на скриншоте, в Device Portal находится 13 вкладок (слева), которые позволяют получить подробную информацию о производительности, состоянии сети, файловой системы и т.д. А также статус устройства, уровень заряда, температуру и кнопки управления загрузкой (правый верхний угол). В рамках статьи мы не будем рассматривать их все подробно, расскажу о самом интересном.

Первое — это загрузка приложений. Если у вас по каким-либо причинам не получается загрузить приложение через Visual Studio, то это всегда можно сделать через Device Portal. Соберите App package вашего приложения. Для этого, в Visual Studio, выберите в Solution Explorer startup project (название жирным шрифтом), ПКМ -> Store → Create App Package. В первом окне “Create your package” вам предложат создать Package для загрузки в Store, выбираем ответ No. В следующем, Select and configure packages, укажите следующие настройки:

Версия и директория могут быть любыми. По завершении процесса сбора, если всё прошло хорошо и высветилось сообщение “Package Creation Completed“, зайдите в Device portal, в раздел Apps, загрузите ppxbundle и 2 appx файла:

Нажимаем Go, ищем в списке приложений наше. Как только нашли, выполняем запуск. Теперь мы можем:

1. Посмотреть производительность во вкладке System Performance:

1. Во вкладке Mixed Reality Capture сделать скриншот или посмотреть глазами пользователя:

1. Отслеживать положение в пространстве и выполнить SpatialMapping комнаты, которую потом можно загрузить в Unity (вспоминаем ч. 4). Для лучшего результата придётся несколько раз пройтись по комнате, каждый раз обновляя результат. Впоследствии полученный Mesh комнаты можно экспортировать как файл с расширением *.obj.

Заключение

Мы закончили цикл статей, которые помогут начинающим разработчикам начать писать свои приложения смешанной реальности. Как было отмечено в начале, за этой технологией будущее, а это значит, что создавать программы надо здесь и сейчас. Удачи вам в ваших начинаниях!

Выражаем благодарность Тимуру Ахметову, разработчику из компании HoloGroup и департаменту стратегических технологий Microsoft за предоставленный материал.

Для справки: HoloGroup является одним из первых разработчиков для HoloLens в России и 1 сентября 2016 года выпустила первое русскоязычное приложение HoloStudy.

Смешанная реальность

Как было отмечено в первой части, Hololens — это устройство, позволяющее комбинировать реальный и виртуальный мир. Представьте, что можно поместить у себя на стене таблицу Менделеева или поставить на столе макет дома. В прошлый раз мы с вами создали голограмму автомобиля и научились с ней взаимодействовать.

Однако автомобиль каждый раз появляется на одном и том же месте, что не очень удобно. Можно, конечно, воспользоваться классом GestureTest и перетащить автомобиль в любую точку окружающего пространства. Но проблема в том, что часть автомобиля может оказаться за стеной. Или вы захотите поставить его на пол. А теперь представьте: вы захотите написать игру, в которой из стен должны появляться враги и нападать на пользователя (аналог — RoboRaid). Иными словами, вы хотите, чтобы голограммы взаимодействовали с объектами реального мира, а объекты реального мира — с голограммами. В таких случаях необходимо обладать информацией об окружающем пространстве.

В Hololens есть 4 камеры для анализа поверхностей, а также камера глубины и IMU-сенсор, благодаря чему можно провести очень точный геометрический анализ окружающего пространства: стен, столов, стульев и даже человеческого тела. При этом данные сохраняются на устройстве и обновляются по мере необходимости. Представьте, что можно без проблем расположить голограмму на голове ничего не подозревающего товарища.

Spatial Mapping

Процесс комбинирования голограмм и реального мира называется Spatial Mapping. Сначала приложение предоставляет устройству ограничитель, выполненный в виде многогранника, который отвечает за свою часть пространства. По мере сканирования ограничитель формирует набор полигонов. Чем больше полигонов, тем точнее геометрические данные и тем больше нагрузка на устройство. Так, например, на картинке сверху считывание идёт из расчёта 500 полигонов на кубический метр.

Непрерывное перемещение пользователя в пространстве и изменение положения объектов (например, передвижение стола) также влияют на точность Spatial Mapping. При разработке приложений это необходимо учитывать. Затем на основе полигонов определяются типы поверхностей, будь то пол, стол или стена, и вы сможете научить голограммы взаимодействовать с ними.

Spatial Anchor

Положение голограмм в пространстве можно фиксировать, присваивая им объекты Spatial Anchor (далее по тексту — пространственные якоря). Таким образом, при следующей загрузке приложения вы сможете увидеть их ровно на том же месте, на котором оставили в прошлый раз.

Spatial Mapping в Unity

HoloToolkit содержит готовые компоненты для работы со Spatial Mapping, основными из которых являются:

1. Spatial Mapping, основной компонент.
2. Remote Mapping, позволяющий делиться данными об окружающем пространстве.
3. Spatial Understanding — решение, предоставленное разработчиками «Young Conker», позволяет получить более детальный анализ поверхностей. Что значит более детальный? Это значит, что ваши стены, пол и потолок разбиваются на плоскости, что позволяет оптимизировать положение голограмм.

В части 2 мы добавили SpatialPerceptions в Capabilities. Если вы ещё не сделали этого, сделайте, т.к. иначе Spatial Mapping работать не будет. Если вы хотите впоследствии работать с Remote Mapping, включите в Capabilites поддержку сети. Добавьте в сцену префаб SpatialMapping.

Основными компонентами префаба являются три скрипта:

1. SpatialMappingObserver. Является оболочкой для Surface Observer, сканера поверхностей. Позволяет задать количество полигонов на кубометр, объём в пространстве (наш ограничитель) и частоту обновлений.
2. ObjectSurfaceObserver. Позволяющий загрузить в Unity модель комнаты.
3. SpatialMappingManager. Управляет текущим источником поверхностей, т.е. компонентами 1) и 2). Позволяет настраивать параметры отображения и материал для поверхности.

Первым делом добавьте модель комнаты в ObjectSurfaceObserver. Во вкладке Project в строке поиска введите “SRMesh“. Добавьте его в поле Room Model. После этого вы должны увидеть в Unity следующую картину:

Это — наша тестовая комната. Вы можете загрузить свою собственную модель комнаты. О том, как это можно сделать, я расскажу в следующей части.
Настройте префаб так же, как на картинке. Обязательно отключите AutoStartObserver, мы будем делать это из кода.

Создайте пустой объект, добавьте скрипт SurfaceMeshesToPlane. Скрипт позволяет отобразить доступные для работы поверхности в виде объекта SurfacePlane. Вы можете указать скрипту, какие поверхности отобразить, а какие удалить.

Теперь попробуем просканировать комнату. Приложение может сканировать непрерывно, в течение определённого времени или до тех пор, пока не будет предоставлено достаточное количество поверхностей. Всё зависит от ваших текущих задач. Напишем простой скрипт, позволяющий реализовать каждый из перечисленных сценариев:

Если вы не удаляли поверхности, то должны увидеть следующую картину в Unity (белая поверхность — пол, синяя — стол):

Попробуем установить автомобиль на горизонтальную поверхность. В первую очередь добавьте компонент BoxCollider родительскому элементу автомобиля. Настройте коллайдер так, чтобы автомобиль полностью находился внутри. Напишем скрипт, реализующий данную возможность:

Теперь автомобиль будет двигаться вместе с вами по комнате. Каким образом вы будете его устанавливать — голосом или жестами — зависит от вас. Как это сделать вы уже знаете.

SpatialAnchor в Unity

Для работы с пространственными якорями в Unity есть специальный компонент WorldAnchor, а также класс WorldAnchorStore, предназначенный для сохранения якорей на устройстве.

Теперь представьте: вот вы установили один раз автомобиль и хотите, чтобы он оставался на том же самом месте и при следующем запуске программы. Первым делом добавьте свойство в скрипт PlaceObjectOnHorizontalSurface, а в методе Awake уберите установку поля в true:

Прикрепите к родительскому объекту Car следующий скрипт (все пояснения в комментариях):

Учтите: если вы захотите переставить автомобиль в другое место, вам придётся удалить компонент WorldAnchor, затем после установки создать его заново и сохранить.

В данной статье мы изложили основные принципы взаимодействия голограмм с окружающим пространством. Фактически наше приложение готово. Мы можем смело загружать его на устройство. О том, как это сделать, будет рассказано в следующей статье.

Выражаем благодарность Тимуру Ахметову, разработчику из компании HoloGroup и департаменту стратегических технологий Microsoft за предоставленный материал.

Для справки: HoloGroup является одним из первых разработчиков для HoloLens в России и 1 сентября 2016 года выпустила первое русскоязычное приложение HoloStudy.

Разработка

Все материалы, используемые в статье, можно скачать по ссылке.

Добавьте папку Article в папку Asset вашего проекта. Выберите префаб Car, переместите его в вашу сцену. Значения transform задайте как на скриншоте.

Transform объекта

Вид основной сцены представлен на рисунке:

Теперь необходимо изменить компонент Shader у каждого материала нашей машины. Стандартные шейдеры Unity не подходят, т.к. они оказывают высокую нагрузку на HPU. Для наших целей хватит и шейдеров HoloToolkit, например, Standart Fast. Задайте следующие настройки шейдера:

• Rendering Mode → Fade
• Metallic = 0.4

В дальнейшем, возможно, вам придётся создавать свои шейдеры, но в рамках данного цикла статей этот процесс рассматриваться не будет. И напоследок: не забудьте включить предзагрузку шейдеров в настройках проекта, т.к. их компиляция в Runtime может сказаться на производительности.

Существует три основных типа взаимодействия пользователя с голограммами:

• Взаимодействие взглядом (Gaze);
• Взаимодействие жестами (Gesture);
• Взаимодействие голосом (Voice).

Взаимодействие взглядом

Для того, чтобы можно было взаимодействовать с автомобилем (или с отдельной его частью), необходимо добавить компонент Collider (в меню Сomponent → Physics, или в инспекторе Add Component → Physics). Добавьте Mesh Collider для каждой двери автомобиля. Добавьте в сцену префаб Cursor. Создайте для него простой скрипт:

Прикрепите скрипт к префабу. Теперь, при наведении взгляда на дверь автомобиля, высветится курсор:

Можно поэкспериментировать, добавив взаимодействие при наведении взгляда на нужный объект, например, подсветку объекта. Или осуществить нажатие на объект при длительном удержании взгляда. Однако, такие функции есть даже у приложений для CardBoard, ввиду ограниченных возможностей которого нельзя реализовать более сложный интерактив (если я ошибаюсь — просветите меня).

Взаимодействие жестами

Следующий способ взаимодействия — взаимодействие жестами. Он активируется тогда, когда одна или обе ваши руки попадают в поле зрения устройства. К сожалению, Hololens на данный момент располагает ограниченным набором жестов:

• нажатие (Air-Tap);
• удержание (Hold);
• удержание + движение руки (Manipulation и Navigation).

Существует также Bloom-жест, предназначенный для вызова меню или постановки работающего приложения на паузу. Все жесты описаны в операционной системе, а разрабатывать свои на данный момент нельзя, но, надеюсь, эту возможность рано или поздно добавят. Самый распространенный — Tap (он же AirTap, он же «щелчок»). На картинке можно увидеть, как он выполняется.

Hololens также распознаёт Double Tap — двойной AirTap. Hold — просто опускаем указательный палец, не поднимая вверх. Navigation и Manipulation используются в связке Hold + движение руки.

В Unity управление жестами реализуется с помощью двух классов: GestureRecognizer и InteractionManager. Первый просто распознаёт указанные жесты, а второй определяет тип взаимодействия, позволяя получить более детальную информацию. Оба класса принадлежат пространству имён UnityEngine.VR.WSA.Input, поэтому обязательно добавляйте его в свои скрипты. Мы будем использовать GestureRecognizer. Сделаем так, чтобы при нажатии на дверь запускалась анимация её открытия. Создадим сначала простой класс CarController:

Теперь создадим класс GestureTest:

Окей, а если нужно повернуть автомобиль? Или рассмотреть какую-то из его частей отдельно? Давайте слегка поменяем наш код, чтобы можно было «оторвать» у автомобиля дверь. В список распознаваемых жестов добавьте GestureSettings.ManipulationTranslate, и подпишитесь на события _recognizer. Полностью код будет выглядеть вот так:

Здесь необходимо дать небольшое пояснение, почему мы использовали Manipulation. Дело в том, что при манипуляции устройство считывает координаты положения руки в абсолютной величине. Это очень удобно использовать при перемещении голограмм в пространстве: они будут следовать за вашей рукой. В случае, если вам необходимо ограничить перемещение, повернуть объект или выполнить Scale объекта, лучше использовать Navigation. При Navigation подразумевается, что передвижение вашей руки происходит вдоль оси X, Y или Z. Как только срабатывает событие OnStart, в пространстве рисуется нормированный куб с координатами вершин -1, 0 и 1, где 0 — центр, который расположен в точке зажатия пальцев. Вместо cumulativeDelta (см. события Manipulation) мы получаем вектор normalizedOffset, значение X, Y или Z которого меняется от -1 до 1, при этом оставшиеся две координаты будут равны 0.

В таком случае, вместо GestureSettings.ManipulationTranslate в метод SetRecognizableGestures добавится GestureSettings.NavigationX (при навигации по оси X). Почему вместо? Потому что Navigation и Manipulation не совместимы в рамках одного экземпляра GestureRecognizer, более того, вы не сможете добавить одновременно навигацию по всем трём осям. Вам придётся создавать несколько классов, отвечающих за то или иное взаимодействие, при этом вы не сможете использовать несколько GestureRecognizer одновременно, даже если они отвечают за разные типы взаимодействий. Переключаться между ними придётся в Runtime, один из способов сделать это — голосовое управление, речь о котором пойдёт ниже.

Взаимодействие голосом

Hololens имеет на борту 4 микрофона и прекрасно распознаёт человеческую речь. Речь можно использовать как для ввода текста, так и для выполнения команд.

В предыдущем примере мы сделали так, чтобы пользователь мог убрать двери автомобиля и заглянуть внутрь. А если захочется детально рассмотреть двигатель? Или выхлопную систему? Можно воспользоваться предыдущим примером и разобрать автомобиль как конструктор. А можно сказать «Покажи мне двигатель» и сразу всё увидеть. Давайте так и сделаем. В качестве «распознавателя голоса» будем использовать класс KeywordRecognizer :

Для того, чтобы работали голосовые команды, необходимо в Capabilities активировать микрофон. В части 2 мы выполнили этот шаг. Осталось поменять код CarController, чтобы осуществить задуманное:

Распознавание голоса в Hololens не очень удобное, так как устройство пока дружит только с английским языком. Зато оно точное и универсальное, и его можно использовать, например, чтобы переключаться между разными GestureRecognizer. При этом, в отличие от GestureRecognizer, у вас может быть несколько KeyWordRecognizer, работающих одновременно. Но делать так не рекомендуется, так как это приводит к дополнительной нагрузке на программу и путанице.

Мы познакомились с основными способами пользовательского взаимодействия с голограммами в Hololens. В следующей части мы научимся взаимодействовать с окружающим пространством.

Выражаем благодарность Тимуру Ахметову, разработчику из компании HoloGroup и департаменту стратегических технологий Microsoft за предоставленный материал.

Для справки: HoloGroup является одним из первых разработчиков для HoloLens в России и 1 сентября 2016 года выпустила первое русскоязычное приложение HoloStudy.

Всемирно известный астрофизик выступит в конце первого дня мероприятия и поделится своими мыслями касаемо искусственного интеллекта и того, какое он может оказать влияние на будущее человеческого рода.

В дополнение к выступлению Хокинга Microsoft также представит первую демку для шлема виртуальной реальности HoloLens.

Future Decoded — ведущее мероприятие в Великобритании, посвященное исследованиям того, как технологическая революция может изменить мир. Конференция будет проходить в Лондоне 1 и 2 ноября.

Узнать больше о предстоящей конференции можно здесь.

Начало работы

Создайте проект Unity 3D. Выберите название и директорию. Вид приложения — 3D:

Откроется главное окно Unity. Первым делом настроим проект для работы на HoloLens. Сохраняем сцену, для простоты назовём её Main.

Зайдите во вкладку File → Build Settings. Добавьте открытую сцену. В качестве целевой платформы укажите Windows Store и следующие настройки:

Обязательно выделяем Unity C# Projects.

В разделе Others в Player Settings выделяем две настройки: Use 16-bit depth buffer и Virtual Reality Supported. Последняя настройка автоматически добавит Windows Holographic SDK. Затем в разделе Publishing Settings в Capabilities необходимо выбрать Microphone, Internet Client и Spatial Perception. Зачем это нужно, вы узнаете позже.

Теперь перейдем к настройке графики (в меню: Edit → Project Setting → Quality). Выставляем по умолчанию Fastest. Данная опция рекомендуется, но не является финальной, и в дальнейшем вы можете экспериментировать с настройками. Для примера установим значение Texture Quality в Full Res.

Здесь же необходимо сразу прояснить требования к производительности для приложений HoloLens. Так как пользователь активно взаимодействует с окружающим пространством, обновления визуального отображения голограмм должны происходить с минимальной задержкой при максимально высоком качестве картинки. Также надо учесть, что на каждое приложение выделяется не более 900 МБ оперативной памяти. По-хорошему, необходимо достичь стандартных 60 кадров в секунду и поддерживать это состояние на всём жизненном цикле приложения. В противном случае значительно возрастает нагрузка на HPU и увеличивается расход энергии и температура. Это также отражается на качестве голограмм, которые начинают отображаться с задержкой, неправильно взаимодействовать друг с другом и с объектами реального мира, нарушая законы физики и здравого смысла. О способах повышения производительности вы узнаете в следующих статьях нашего цикла. Один из них — использование 16-битного буфера глубины, и соответствующую опцию мы как раз включали в Player Settings.

С настройками проекта мы разобрались. До создания первого приложения остаётся сделать всего пару шагов.

Настройте камеру (Camera main) для работы с HoloLens. То, что видит ваша камера — это то, что видит пользователь. А поскольку пользователь должен видеть реальный мир с добавлением голограмм, то и фон у камеры должен быть прозрачным. Чтобы задать его выберите камеру, в инспекторе поменяйте значение Clear Flag на Solid Color, а в Background задайте #00000000 (черный цвет со значением альфа-канала 0, или RGBA = (0,0,0,0)). Позицию и поворот камеры сбросьте в (0,0,0). Наконец, установите значение Near Clip Plane равным 0.85 для того, чтобы голограммы не рендерились слишком близко от пользователя.

Для удобства тестирования приложения в Unity добавьте скрипт SimpleCameraMover и прикрепите его к камере:

Теперь можно поворачивать и перемещать камеру — иными словами, имитировать движение пользователя.

Дополнительно необходимо скачать HoloToolkit — набор скриптов и компонентов, созданных для ускорения разработки под HoloLens. Далее копируем репозиторий с GitHub, и, следуя инструкциям, импортируем в Unity. В принципе, вы можете обойтись без него и писать все классы сами. В некоторых случаях это будет оправдано. Но всё же рекомендуем добавлять его во все ваши проекты, так как он значительно упрощает работу.

Напоследок, рекомендуем добавить в папку Assets/Editor скрипт для автоматической сборки проекта:

В будущем, возможно, вам понадобятся несколько методов, выполняющих разные сборки проекта: с разными сценами, иконками, настройками графики и так далее.

Всё готово к работе. Текущее состояние проекта можно сохранить отдельно и использовать как «заготовку» на будущее.

Выражаем благодарность Тимуру Ахметову, разработчику из компании HoloGroup и департаменту стратегических технологий Microsoft за предоставленный материал.

Для справки: HoloGroup является одним из первых разработчиков для HoloLens в России и 1 сентября 2016 года выпустила первое русскоязычное приложение HoloStudy.

Что же это такое?

HoloLens впервые был анонсирован 21 января 2015 года на Windows 10 Event. 30 марта были выпущен «Development Edition», позволяющий разработчикам прикоснуться к новинке. Microsoft HoloLens представляет из себя очки дополненной реальности, то есть устройство, позволяющее создавать виртуальные объекты в реальном мире. В отличие от Oculus, CardBoard или Gear VR, HoloLens — полноценный портативный компьютер, позволяющий работать без проводов или смартфона. Выигрышным преимуществом также можно назвать высокое качество картинки, которое достигается благодаря наличию 24-х ядерного графического процессора HPU (Holographic Processor Unit), разработанного специально по заказу Microsoft. Те счастливчики, которые уже успели прикоснуться к этому чуду техники, уверенно заявляют, что за этим будущее.

Мы начинаем цикл статей, в которых объясним начинающим разработчикам некоторые тонкости разработки под HoloLens на примере простого приложения.

Приложения для Microsoft HoloLens

HoloLens работает на ОС Windows 10, а это значит, что на устройстве есть поддержка Универсальной платформы Windows (UWP). UWP определяет жизненный цикл приложения: развёртывание, запуск, активация, остановка, возобновление, закрытие и удаление. Всё эти процессы происходит в специальной «оболочке», называемой «смешанная реальность». Для запуска приложения его необходимо выбрать в стартовом меню и разместить в окружающем пространстве. Приложение может быть представлено в двух видах: двумерном и голографическом (далее по тексту — 2D и Holographic соответственно). В первом случае пользователь имеет дело с окнами фиксированного размера, во втором — объемными голограммами. При этом в приложении можно добавить поддержку обоих видов, чтобы пользователь мог переключаться между ними в реальном времени. Например, это может понадобиться, когда пользователь должен ввести данные с клавиатуры.

Инструменты

Перед тем, как приступить к разработке, необходимо установить соответствующие инструменты. Нам потребуется компьютер соответствующей конфигурации:

• 64-битный процессор CPU с 4-мя ядрами (или несколько процессоров с общим количеством 4 ядер);
• 8 Гб оперативной памяти или более;
• поддержка в BIOS следующих функций:Hardware-assisted virtualization;Second Level Address Translation;Hardware-based Data Execution Prevention;
• GPU (эмулятор может работать с неподдерживаемым GPU, но значительно медленнее);
• DirectX 11.0 или более поздней версии;
• WDDM 1.2 или более поздней версии драйвера.

Отдельно следует рассказать про ОС. Вам понадобится 64-битная версия Windows 7, 8, 8.1 или 10. Лучше всего подходит Windows 10, так как не все инструменты SDK поддерживаются на старых версиях. Если у вас нет доступа к устройству, тестировать приложение придётся на эмуляторе, который работает только на ОС Windows 10 с поддержкой Hyper-V, то есть Professional или Enterprise. Если есть устройство, то подойдет и Home Edition.

Для разработки приложений необходимо установить следующие инструменты:

• Visual Studio 2015 с Update Подойдёт любое издание, даже Community. Не забудьте вместе с VS установить Windows 10 SDK и Tools 1.4.
• Эмулятор HoloLens (см. выше).
• Unity 3D4.0f3 (последняя актуальная версия на момент написания статьи), специальная сборка Unity с поддержкой HoloLens.

Всё необходимое можно скачать по ссылке.

Использование Unity 3D необязательно. Для 2D приложений хватит связки XAML + C#/C++, а Holographic приложение можно разрабатывать с помощью DirectX 11. В последнем случае, всю графику придётся прописывать кодом, что несколько усложняет процесс разработки, поэтому использование движка Unity всё же рекомендуется.

Теперь мы готовы к тому, чтобы создать наше первое приложение.

Выражаем благодарность Тимуру Ахметову, разработчику из компании HoloGroup и департаменту стратегических технологий Microsoft за предоставленный материал.

Для справки: HoloGroup является одним из первых разработчиков для HoloLens в России и 1 сентября 2016 года выпустила первое русскоязычное приложение HoloStudy.