Исследователи из Беркли научили нейросеть выполнять трюки по видео с YouTube

Команда учёных из Калифорнийского университета в Беркли создала фреймворк, который обучает ИИ движениям по видео с YouTube. Метод объединяет компьютерное зрение и обучение с подкреплением. Теперь ИИ может овладеть сложными движениями, просто посмотрев видео.

Обучение нейросети

Сначала нейросеть тренируется понимать позу в каждом кадре без необходимости захвата видео. Затем обучение с подкреплением помогает агенту имитировать увиденное. ИИ анализирует отдельное изображение и рассчитывает вероятное положение объекта по завершении движения.

Метод подойдёт для обучения роботов движениям. Сейчас нейросеть выполняет 20 акробатических трюков: колесо, сальто вперёд и назад, а также элементы боевых искусств. Благодаря этому методу человекоподобный робот Atlas от Boston Dynamics научился делать сальто:

В конце августа 2018 года команда учёных того же университета создала ИИ, который переносит танцевальные движения одного человека из видео на другого. Алгоритм создаёт фейковую запись на основе видео с танцем. На новой записи другой человек выполняет те же движения.