DeepMind проверила IQ у ИИ-моделей

В своем блоге DeepMind, дочерняя компания Google, рассказала об эксперименте с тестированием моделей искусственного интеллекта на навыки обобщения и абстрактного мышления. Специалисты разработали генератор, который формулирует вопросы, основанные на понятии прогрессии, свойствах цвета, формах или размерах и их взаимосвязях. Подобные задачи встречаются в IQ-тестах для людей.

Точность прохождения IQ-теста

Большинство моделей отвечали на вопросы с точностью в 75 %. При этом исследователи обнаружили строгую корреляцию между эффективностью выполнения задач и способностью выявлять основополагающие абстракции. Им удалось увеличить эффективность, тренируя алгоритмы объяснять свои ответы, показывать, какие взаимосвязи и свойства необходимо рассмотреть в том или ином вопросе.

Однако у некоторых моделей плохо получается «переносить» изученные взаимосвязи на новые свойства, к примеру, если она тренировалась выявлять логические последовательности относительно цвета объектов, а в задаче требуется установить зависимость по их форме.

Команда выяснила, что если нейросеть правильно экстраполировала имеющиеся у нее знания о взаимосвязях на новую комбинацию значений, то точность выполнения заданий повышалась до 87 %. В случае некорректной экстраполяции она падала до 32 %.

Подробный ход исследования и результаты разработчики опубликовали в статье.

В феврале 2018 года разработчики Facebook AI Research также обучили искусственный интеллект объяснять свои действия. В целом, этот прием позволяет отследить логику решения задачи и выявить проблемы, которые мешают с ней справиться.