Ученые из OpenAI создали алгоритм, который помогает роботам учиться на неудачном опыте
Новости Отредактировано
Алгоритм, названный Hindsight Experience Replay, интерпретирует неудачи как своеобразные успехи. Такой подход ускоряет решение не только текущей задачи, но и расширяет спектр решаемых задач в целом.
1К открытий1К показов
Компания OpenAI, которая специализируется на исследованиях в области искусственного интеллекта, выпустила алгоритм с открытым исходным кодом — Hindsight Experience Replay (HER), который интерпретирует неудачи как успехи.
Различия в мышлении
Человек отличается от робота тем, что может учиться и на ошибках, и на победах. Мы узнаем, какие методы работают для достижения цели, а какие нет, а также накапливаем информацию о том, как потерпели неудачу, и можем применить эти знания в решении последующих задач.
Роботы могут использовать в обучении схожую технику проб и ошибок, где будут получать вознаграждения за любой результат, приближающий к цели.
Отличие Hindsight Experience Replay от других ИИ
Идея алгоритма Hindsight Experience Replay состоит в получении опыта в решении какой-то смежной задачи, если изначальная цель не была достигнута. Также ИИ учитывает и провалы, чтобы избежать повторных ошибок в будущем.
Каждое выполненное HER действие, даже если это неудача, воспринимается как частичный успех. Благодаря такому алгоритму задачи постоянно меняются в зависимости от полученного результата, а робот учится. В итоге первоначальные цели достигаются путем решения смежных задач.
Исследователи смоделировали робота, использующего данный алгоритм, и сравнили его с роботом без данной модификации:
1К открытий1К показов
Stack Overflow навсегда запретил публикацию контента, созданного с помощью ИИ, из-за частых ошибок в таких ответах. Решение принято после того, как платформа столкнулась с массовым потоком низкокачественного контента, который затруднял поиск достоверных ответов
Раскатываем модель PyTorch на двух разных сетапах: проводим тренировку и выбираем оптимальный вариант.
В новом выпуске рубрики «Ретроперспектива недели» мы общаемся с Кириллом Мокевниным — автором тг-канала «Организованное программирование», разработчиком-преподавателем и сооснователем популярной онлайн-школы для разработчиков Хекслет.
По данным инсайдера Bloomberg Марка Гурмана, iOS 18.2 выйдет в начале декабря. Обновление представит новые ИИ-функции, такие как Genmoji, Image Playground, Visual Intelligence и интеграцию ChatGPT в Siri