В Caltech разработали систему CARA, помогающую слепым ориентироваться в пространстве

Исследователи из Caltech на базе очков виртуальной и дополненной реальности Microsoft HoloLens разработали систему CARA для слепых и слабовидящих людей. Она, как утверждается, поможет им ориентироваться в пространстве.

Принципы работы

Устройство будет распознавать объекты вокруг человека и говорить об этом пользователю. К примеру, определить товары на полках, предупредить о препятствии. При этом каждый предмет получает свой «голос» и «имя». Чем выше будет голос у системы, тем ближе находится предмет перед человеком.

Также система будет учитывать положение того или иного предмета. Иначе говоря, если предмет находится слева, то и его «голос» будет звучать с левой стороны.

При этом CARA поддерживает три режима. В первом гарнитура сможет объяснить точное местонахождение вещей, на которые смотрит человек. Второй режим просканирует комнату, чтобы определить положение и цвета предметов. В третьем режиме система позволит сконцентрироваться на одном объекте.

Тестирование

Для проверки CARA исследователи разработали тестовый маршрут для слепых добровольцев. Сначала по нему прошли учёные с гарнитурами, что позволило системе запомнить окружение. После этого добровольцы смогли выполнить то же с первой попытки, ориентируясь исключительно по голосовым указаниям.

Пока что CARA находится на ранней стадии тестирования, однако в будущем ожидается появление подобных систем и на рынке. Как минимум, гарнитуры такого рода смогут пригодиться в банках, гостиницах и торговых центрах. Больше информации о проекте доступно в библиотеке Caltech.

Многие компании выпускают устройства или приложения для людей с ограниченными возможностями. В октябре 2018 года Google запустила приложение Voice Access.