Разработан алгоритм автоматического подбора структуры нейросети

Исследователь IBM Мартин Уистуба (Martin Wistuba) опубликовал результаты работы над технологией автоматического подбора структуры нейронной сети. По словам Уистубы, по сравнению с некоторыми существующими методами его технология работает в 50 000 раз быстрее, а количество ошибок увеличивается всего на 0,6 %.

Эволюционной алгоритм автоматического подбора

Существует большое количество различных структур нейронной сети. Разработчики подбирают ту, что им необходима для решения конкретной задачи. Зачастую это делается вручную, путём сравнения результатов, полученных от разных структур. Процесс получается очень долгий и ресурсоёмкий.

Уистуба в рамках своей работы рассматривает архитектуру нейронной сети как последовательность нейронных клеток. В процессе обучения структура мутирует, изменяя свою внутреннее строение под конкретную задачу. В процессе работы архитектура может значительно измениться и усложниться:

Разработчик протестировал алгоритм на задаче распознавания визуальных образов, использовав специальные подборки данных CIFAR-10 и CIFAR-100. Это коллекции изображений, созданные и размеченные специально для целей машинного обучения. На представленном графике Уистуба отобразил процесс мутаций и увеличения точности. Самый заметный прогресс подбора структуры наблюдался в первые 10 часов работы, затем результаты продолжили улучшаться, но значительно медленнее:

Внедрение алгоритма автоматического подбора структуры нейросети не только позволит серьёзно сэкономить ресурсы. Эта технология даёт возможность заниматься исследованиями искусственного интеллекта более широкому кругу разработчиков. В дальнейших планах Уистубы — реализация его разработки в облачных сервисах IBM и расширение спектра возможных задач.

В конце 2017 года Google опубликовала разработку искусственного интеллекта, способного создавать нейронные сети без помощи человека. Новая технология позволила реализовать эволюционные изменения во внутренней структуре ИИ.