Нейросети научились целенаправленно запоминать и забывать информацию

«Память — драгоценнейший ресурс, поэтому люди научились запоминать только то, что им действительно нужно. Теперь это доступно и машинам».
запоминать

Сегодняшние разработки в области глубокого обучения уже во многом превосходят человека: от шахмат и Go до распознавания лиц и объектов. Но есть области, где искусственный интеллект существенно уступает настоящему. В особенности это касается способности людей непрерывно обновлять свою память и «удалять» из нее лишнюю информацию.

А вот машины так не умеют. Любые полученные навыки, вне зависимости от важности, тут же перезаписываются новыми данными. Однако новое исследование, проведенное учеными из Facebook AI Research и Лёвенского католического университета, показало, что естественные механизмы запоминания весьма успешно перекладываются и на искусственные нейросети.

Правило Хебба

Еще в 1940-х годах канадский психолог Дональд Хебб сформулировал теорию: «Между клетками, которые возбуждаются одновременно, возникает прочная связь». Именно по этому принципу и обучаются люди: повторяющееся синхронизированное возбуждение нейронов усиливает связи в мозгу и препятствует стиранию усваиваемой информации из памяти.

Взяв за основу это правило, исследователи разработали нейронные сети, обучение которых происходит по такому же механизму. Теперь, изучая что-то новое, ИИ умеет блокировать изменения в ранее освоенных важных параметрах.

Серия тестов продемонстрировала состоятельность проведенной работы. К примеру, сети, которую натренировали распознавать цветы, вдруг начинали показывать птиц. Возврат к цветам показал, что существенная часть предыдущего навыка распознавания у алгоритма сохранилась.

И хотя пока что отличия новой разработки от обычных нейросетей в подобных испытаниях не столь разительны, у этой идеи есть «большое будущее в машинном обучении». Дальнейшие исследования в этом направлении помогут сделать ИИ более гибкими и способными быстро адаптироваться к изменяющимся условиям окружающей среды.

Источник: MIT Technology Review

Ещё интересное для вас:
— Тест «Насколько хорошо вы разбираетесь в C#?»
— Блиц-тест «Настоящий ли ты фронтендер?»
— Меньше готовить, больше кодить: обзор питания с доставкой на дом.