Команда Google DeepMind представила новый ИИ, способный самостоятельно учиться выполнять задачи

Последняя разработка от группы исследователей Google DeepMind — UNREAL — это чрезвычайно быстрый агент, который позволяет решать более сложные задачи, чем прохождение игр.

Специалисты DeepMind представили проект UNsupervised REinforcement and Auxiliary Learning или UNREAL, который частично использует механизм сновидений животных для ускорения обучения. Скорость обучения в среднем равняется 87% от человеческой. С результатами можно ознакомиться в статье.

Как объясняют лондонские эксперты из DeepMind, агент использовал специальные методы обучения, чтобы освоить игру Go и некоторые из игр Atari 2600.

Однако особенностью UNREAL является тот факт, что он использует механизмы сновидений животных.

Подобно тому, как животные размышляют о позитивных и негативных событиях, наш агент предпочтительно воспроизводит последовательности продуктивных событий.

Исследователи использовали этот концепт, чтобы обучить агента фокусироваться на тех визуальных зацепках, которые приводят к получению наибольшего количества опыта в кратчайшие сроки.

Мы обучали агента предсказывать время непосредственного получения выгоды, предоставляя ему небольшой исторический контекст. Для того, чтобы агент легче справлялся с тем контекстом, в котором извлечение выгоды — редкость, мы обучали его как на ситуациях с выгодным исходом, так и на неблагоприятных. Агент, который обучался на положительных историях чаще, может обнаружить визуальные признаки выгоды намного быстрее.

Другая задача относилась к способу контроля пикселей на экране, чтобы агент научился понимать, какое действие в данном случае будет более полезно и даст ему больший счет в игре.

Используя способы, описанные выше, исследователи протестировали агента на 57 играх от Atari и на 13 уровнях игры Labyrinth.

Один из важных достижений в их работе — не просто создание агента, который хорошо играет в какую-либо игру, а то, что агента не нужно настраивать для каждой игры.

Как отмечают исследователи, главная цель DeepMind — выйти на новый уровень в ИИ с помощью программ, которые “могут научиться решать любые сложные проблемы без необходимости обучения их способам решения этих проблем”.

“Мы надеемся, что эта разработка позволит нам расширить возможности наших агентов для взаимодействия с более сложными средами”, — говорят исследователи.