Организация Илона Маска OpenAI обучает роботов в виртуальной реальности

Некоммерческая исследовательская организация OpenAI из Сан-Франциско, занимающаяся искусственным интеллектом при поддержке Илона Маска, сделала очередной важный шаг в развитии робототехники. Был разработан новый алгоритм, который позволяет человеку обучать ИИ выполнению задач через демонстрацию действий в виртуальной реальности. Такой метод основан на обучении через повторение действий человека и получил название «one-shot-imitation learning».

Суть работы алгоритма

На демонстрации специалисты OpenAI пытаются научить робота складывать разноцветные кубики. Сначала человек в VR-шлеме сам выполняет это задание в виртуальном пространстве. Весь процесс наблюдается программой с помощью нейронной сети, которая была обучена на основе сотен тысяч моделированных изображений. Эта часть основана на более ранних разработках OpenAI, касающихся обучения ИИ с помощью моделированных данных с изменяемыми параметрами. Такой подход быстрее и эффективнее по сравнению с отбором реальных изображений. Вместо этого специалисты OpenAI использовали виртуальные изображения стола и кубиков, меняя стили фона, освещение и текстуры. Всё это позволяет алгоритму при анализе данных с камеры, установленной на роботе, воспринимать объекты, даже не имея их предварительного изображения.

OpenAI

facebook.com

После этого алгоритм анализирует информацию с видеосенсоров и передаёт её на вторую нейронную сеть (имитационную сеть), которая управляет конечностью робота. Нейронная сеть пытается определить намерение, с которым выполняется действие, и имитирует действия человека, которые он бы совершил в подобной ситуации. Загвоздка в том, что кубики цветные и располагаются по-разному. Но программа уже умеет составлять по два кубика, независимо от первоначальных настроек:

Джош Тобин, один из инженеров OpenAI, объясняет:

Наш робот научился выполнять задачу, даже с условием того, что его действия должны отличаться от изначальной демонстрации. Однократно продемонстрировав выполнение задачи, мы можем повторять процесс, меняя условия. А чтобы научить робота выстраивать из кубиков другую фигуру, достаточно лишь раз продемонстрировать действия.

Каково будущее подобных алгоритмов?

В перспективе искусственный интеллект будет способен перенимать модели поведения гораздо быстрее, а затем использовать навыки, адаптируясь к непредсказуемым изменениям среды. Тобин отметил:

Младенцы рождаются со способностью имитировать действия других людей. Имитация — один иp инструментов, позволяющих человеку быстро учиться новым навыкам. И мы стремимся к тому, чтобы наши роботы могли делать то же самое.