В MIT разработали нейросеть TbD-net с прозрачной аргументацией в принятии решений

Ученые MIT создали нейронную сеть Transparency by Design Network (TbD-net), способную показать процесс принятия решения. Разработка предназначена для обнаружения объектов на изображениях по текстовому запросу. Прозрачность аргументации и возможность вносить правки во время обучения позволили добиться точности в 99,1 %.

Структура TbD-net

Transparency by Design Network состоит из модулей — подсетей, предназначенных для решения конкретной задачи. Работа нейросети похожа на конвейер — запрос пользователя разбивается на отдельные подзадачи. TbD-net на каждом этапе отмечает выбранные объекты на изображении. Это позволяет контролировать процесс и вносить необходимые правки.

Например, запрос «подсчитать количество больших металлических цилиндров на изображении» обращается к модулям, работающим с параметрами «размер», «материал», «форма» и «количество». Первая подсистема отмечает на картинке все большие объекты. Вторая выбирает из уже отмеченных металлические, третья оставляет только цилиндры, а четвёртая подсчитывает их количество.

Для обучения нейросети использовался набор учебных и тестовых данных CLEVR. Первоначальный результат тестирования показал точность 98,7 %. Однако именно благодаря прозрачности аргументации и возможности вносить осмысленные поправки в процесс обучения TbD-net удалось достигнуть финального точности в 99,1 %.

Похожие решения

Над проблемой прозрачности аргументации ИИ работают многие ученые и разработчики. В 2017 году Управление перспективных исследовательских проектов Министерства обороны США запустило проект XAI. Он нацелен на разработку систем искусственного интеллекта типа «стеклянный ящик», в противовес преобладающему типу «черный ящик». Суть проекта в том, чтобы сделать происходящие внутри нейросетей процессы очевидными и объяснимыми.

В феврале 2018 года группа исследователей совместно с командой Facebook AI Research продемонстрировала систему обработки изображений, способную указать причины сделанного выбора. Как и в случае с TbD-net, эта разработка отмечает на картинках участки и объекты, повлиявшие на принятие решения.