В Японии к Олимпийским Играм разработали систему визуализации фехтования. Благодаря ИИ и AR зрители видят движение меча, которое невозможно отследить глазом

Rhizomatiks совместно с Dentsu Lab Tokyo разработали технологию под названием «Система отслеживания и визуализации фехтования». 

Система отслеживает движения меча и визуализирует их с помощью дополненной реальности. Человеческий глаз не способен делать это без AR — слишком большая скорость.

Зацените, как это выглядит:

Раньше работало с неудобными метками

Работать над проектом начали ещё в 2012 году — 9 лет назад.

Уже тогда они придумали использовать дополненную реальность, Motion Capture, высокоскоростную камеру, самодельные маркеры и программы для отслеживания и визуализации быстрого движения спортсменов. 

Тогда разработчики системы использовали светоотражающие маркеры для определения наконечников меча, а это доставляло неудобство спортсменам.

В 2017 году маркеры заменили на ленты — это тоже оказалось не очень удобно. 

Потом задействовали искусственный интеллект

В 2016 году разработчики начали работать над системой, которая могла бы обнаруживать положение наконечника меча только по изображению с камеры — без каких-то дополнительных меток.

Это оказалось не так просто, поскольку мечи двигаются очень быстро, а их форма сильно меняется, когда они изгибаются. Ещё одна сложность — ширина мечей: она составляет всего несколько пикселей, даже если снимать в 4K.  

Так работает алгоритм обнаружение наконечникам меча

Поэтому разработчики решили применить нейронные сети для обнаружения объектов с каскадным классификатором на основе YOLO v3 в сочетании со специальной аппаратной и конфигурацией камеры.

В итоге, алгоритм удалось научить отслеживать положение наконечника меча. Чтобы покрыть всё поле матча, понадобилось 24 камеры. Из-за того, что снимать поединок надо очень детально, одна камера покрывает всего 8 метров.

Коротко: как это в итоге работает

Архитектура системы отслеживания и визуализации фехтования

24 высокоскоростные камеры захватывают изображение по всему полю поединка. 

С помощью Motion Capture и алгоритма Deep Learning для обнаружения объектов под названием YOLO 3 система отслеживает положение наконечника меча.

На изображение с помощью дополненной реальности накладывается след от мечей.

Видео с AR подсказкой для зрителей транслируется в эфир.  

Источник: Rzhizomatiks