DeepMind научила нейросеть проходить видеоигры по роликам на YouTube

DeepMind, дочерняя компания Google, рассказала о новом методе обучения нейронных сетей прохождению видеоигр с консоли Atari. Для этого ИИ анализировал записи игр с YouTube и запоминал правильные тактики и ходы игрока.

Для чего?

В техническом документе разработчики объяснили, что нейросеть в общем случае плохо справляется с задачами, которые требуют навыков исследования и принятия решений. Традиционные машины заточены под определенные алгоритмы и ограничены рамками заложенных в них функций. Исследователи из DeepMind приводят в пример их предыдущую разработку — нейросеть AlphaGo, которая обучена играть в определенную игру — го — со строгими правилами.

В случае с видеоиграми, подразумевающими проверку правильных путей и выигрышных маршрутов, количество шагов для достижения цели вырастает экспоненциально с ростом количества вариантов. Разработчики говорят, что в игре Montezuma’s Revenge с Atari, на которой они тренировали нейросеть, прохождение первого уровня насчитывает около 100 «шагов», что подобно 10018 возможных действий.

Поэтому в DeepMind разработали новый метод обучения нейросетей специально для победы в такого рода видеоиграх.

В чем суть метода?

Новая техника основана на анализе видеороликов с YouTube с прохождением игр людьми. Нейросеть просматривает все шаги игрока, отсеивает лишние и неэффективные, а затем запоминает удачные и применяет их уже в своем прохождении:

Этот метод позволяет тренировать нейронную сеть, лишь однажды загрузив в нее несколько роликов с YouTube. Разработчики могут устанавливать цели, например пройти уровень быстрее или получить больше очков, тем самым обучая ИИ.

Что дальше?

Такая технология может быть полезной для обучения роботов работе в новых условиях без непосредственного присутствия их в этой среде. Например, машине, предназначенной для работы на Марсе, можно показать фрагменты съемки ландшафта или видео с условиями планеты прежде, чем отправлять ее туда.

Исследователи искусственного интеллекта часто пользуются видеоиграми для обучения нейросетей. Например, DeepMind обучала нейросеть многозадачности с помощью Quake, а ученые из университета Фрейбурга научили машину побеждать в игре Q*bert, используя баги.