Нейросеть научилась повторять баскетбольные движения

Специалисты из компании DeepMotion и Университета Карнеги — Меллона создали виртуального агента на основе двух нейронных сетей, который выполняет баскетбольные движения и трюки. Одна из нейросетей отвечает за передвижение агента, вторая — за движение рук и управление мячом.

Обучение

Сначала исследователи обучили агента передвигаться в виртуальной среде, а затем — контролировать мяч во время сложных трюков. Для этого они использовали метод обучения с подкреплением: виртуальный агент взаимодействует с окружающей средой и получает награду за правильные действия.

В качестве исходных данных алгоритмы получали записи движений реальных баскетболистов. Точно записывать движения мяча сложно, поэтому алгоритмы «просматривали» видео и самостоятельно подбирали наиболее точные и верные движения.

Развитие

Исследователи продолжат работу над созданием спортивных виртуальных агентов. Они планируют использовать алгоритм для работы с другими видами спорта, в которых игровые движения сильно влияют на баланс персонажа, например, с футболом.

В июне 2018 года разработчики из Facebook представили алгоритм на нейросетях, который при прослушивании скрипичных и клавишных композиций имитирует движения рук музыканта в дополненной реальности.