Как AR-стартап Ninsar участвовал в акселераторе MTS StartUp Hub

Егор Сеченский, Олег Новиков

Фаундеры Ninsar

MTS StartUp Hub — точка входа для стартапа в экосистему МТС. Когда мы стали его резидентами, уже имели несколько пилотов приложений с навигацией в дополненной реальности и по карте в городской среде. В статье расскажу, как сотрудничество с Хабом помогло нам запустить AR-гид с «Аптекарским огородом».

Мы искали развития и чувствовали в себе больший потенциал

AR-стартап Ninsar начался с карманной навигации. Он родился на одной из студенческих конференций. Из-за запутанного расположения корпусов, было тяжело искать нужные аудитории. И основатель проекта Егор Сеченский с первыми членами команды решили эту проблему — с первой версией интерактивного приложения AR-навигации.

Мы разработали приложение, которое помогало ориентироваться в незнакомых местах. Пользователь мог выйти на автобусной остановке, открыть приложение и указать интересующее его мероприятие. И приложение строило маршрут и предлагало на выбор два способа навигации: по 2D-карте, к чему мы уже привыкли, или в режиме дополненной реальности, где направление движения указывалось стрелками через камеру телефона. Личный гид – разработанный нами персонаж, кот, – сопровождал пользователя на всём его пути.

А вот и тот самый кот

Мы развивались, общались с клиентами в России и за рубежом. Нашим проектом интересовались технопарки, банки, крупные компании, университеты. Всем хотелось добиться вау-эффекта, но реализация идеи упиралась в бюджет. Тогда мы решили сместить фокус на туристическое направление. Это позволило добавить к навигации разработку контента, а значит, сделать проект более комплексным и интересным.

Контент в нашем случае — это объединение пространства и того, что о нём можно узнать. Плюс возможность интерактивного взаимодействия с объектами, находящимися в этом пространстве. Выхода на туристические компании у нас не было, тем более — на что-то заметное и известное. Но тут появился MTS StartUp Hub.

Хаб помог заколлабиться напрямую с известной локацией — «Аптекарским огородом»

MTS StartUp Hub принял нас в число резидентов и предложил сотрудничество с PR-подразделением МТС, которое отвечает за ESG-повестку. Вместе мы разработали AR-гид по «Аптекарскому огороду». Получили информацию по самым популярным маршрутам и объектам «Аптекарского Огорода», после чего запустили разработку приложения для трёх платформ: iOS, Android и Huawei.

Пилот нашего решения был запущен в рамках большого проекта — «Место силы». Одним из мест силы и стал «Аптекарский огород». Внутри приложения можно было найти информацию о строении пруда и разных типах растений, их отличиях и свойствах. Помимо этого, МТС работал с другой компанией, которая создавала аудиогид по тому же маршруту. Мы интегрировали его в наше приложение и разработали контент, который воспроизводился в конкретных точках.

Приложение можно использовать несколькими способами:

• включить режим тура с  маршрутом в дополненной реальности по пятнадцати ключевым объектам, на каждом из которых расположен AR-контент, необычная информация и мини-игры (например, около дуба Гофмана можно собирать желуди;
• использовать приложение в свободном формате, навигируя от вашего местоположения до интересующей точки на карте.

Проект оказался очень масштабным по разработке

Мы отрисовали 2D- и 3D-карту «Аптекарского Огорода», использовали гироскоп и акселерометр в смартфоне для отслеживания движения пользователя. А также интегрировали систему меток на улице и в помещении. При построении маршрута выбирался наиболее короткий путь. И если пользователь хотел отойти от предложенного маршрута, то приложение его перестраивало.

Мы разработали разный функционал для интерактивного взаимодействия с пользователем: AR-контент, игры в дополненной реальности, мини-факты, режим камеры, режим фото с персонажем — котом, собираемые виртуальные призы. И полностью переработали и создали новый UI.

Было много трудностей, которые приходилось оперативно решать

В «Аптекарском огороде» GPS срабатывает с разной точностью и стабильностью. Отличительная черта «Огорода» в множестве троп, которые находятся близко друг к другу.

GPS определяет диаметр, в котором находиться пользователь, но в его рамках пользователь может находиться где угодно. При множестве узких и пересекающихся тропинок это вызывает определённую визуальную дисгармонию на карте.

Дороги, которые ведут в разные места, могут находиться на расстоянии от пользователя, поэтому позиционирование должно быть точнее. Так что самые коварные узкие тропы из навигации мы убрали.

Метки на объектах и AR-контент

Холмистая местность «Аптекарского огорода» добавляла дополнительные испытания при разработке.

Кроме того, в помещении GPS не работает. Поэтому, когда человек входит в здание, всплывает подсказка. Пользователь сканирует специальную метку. Метки зафиксированы расположены недалеко друг от друга. Так что на пути между ними, есть запас хода без накопления ошибок в маршрутизации.

Метки в «огороде» устанавливались в разных условиях. Столбы, к которым они крепились, стояли на разной высоте, наклонялись — или вовсе падали, — и их переставляли. Тогда как раз наступала весна, снег менялся на слякоть, это влияло на точность позиционирования и требовало устранения подобных ошибок через непрерывное тестирование.

Неточность позиционирования мы побороли, много раз пройдя по маршруту огорода. Сканировали метки на разных устройствах, ловили баги, записывали логи, исправляли несоответствия между фактической ошибкой и тем, как предписано системой. Наша маленькая команда работала над проектом по сути многомиллионного масштаба в режиме нон-стоп. Но в результате мы сделали максимум.

Появлялись баги, которые можно было устранить только находясь в «Аптекарском огороде»

Качество визуализации дополненной реальности, в частности персонажа, который сопровождает пользователя, и AR-контента, который в нашем случае почти всегда привязан к земле, напрямую зависит от уровня высоты. Поэтому нам было важно правильно улавливать уровень высоты — иначе могло получиться так, что персонаж идёт по воздуху.

Так что для отлова багов надо было присутствовать на месте, чтобы понимать, в какой момент и из-за чего они произошли.

Навигация AR и на карте

Яндекс- или Google-карты «Огорода» не отображали реальное пространство

Некоторые тропы не были отмечены на картах, у других не совпадали толщина и длина, углы поворота. И если где-то появляется расхождение, оно накапливается в системе как ошибка, которую просто не видно.

Мы прошли по всем маршрутам огорода множество раз, накопили данные о путях, которые отличались от готовых карт, и построили свою, по которой можно было ориентироваться, вовсе не сканируя метки.

Что наше приложение умеет делать

• работать на трёх платформах (iOS, Android, Huawei);
• производить 2D-навигацию, AR-навигацию и бесшовную навигацию снаружи и внутри помещений (как свободную, так и в рамках запланированных гидов);
• отображать контент (текстовые справки, фотогалерею, аудиогид)
• визуализировать интерактивный контент (AR-анимацию, мини-игры, другие форматы взаимодействия с пользователем, которые мы разработали, фото с котом);
• показывать персонального гида-кота с набором анимаций, которые можно было увидеть зазевавшимся посетителям.

Это было сложно, полезно и интересно

Мы получили крутой стартаперский опыт. У нас был очень небольшой бюджет, сжатые сроки и масштабный функционал, который нужно было реализовать своими силами. Мы боролись за качество до конца, прошли сквозь огонь и воду, чтобы запустить продукта.

Сейчас мы продолжаем поддерживать связь с MTS STartUp Hub и ждём новых возможностей для сотрудничества. Мы всё еще очень любим AR-контент, и сейчас активно развиваемся в машинном обучении и блокчейне и решении для ML-разработчиков.