Google рассказала о технике визуализации внутренних процессов нейросети

В своем блоге Google рассказала о собственных исследованиях, призванных разъяснить логику, с которой нейронные сети принимают решения. Компания разработала систему, которая отслеживает работу отдельных нейронов, опубликовала на Distill статью на эту тему и выпустила Lucid — набор инструментов для исследований в области интерпретации нейросетей.

Ранние разработки

В 2015 году ранние попытки визуализировать то, как нейронные сети воспринимают изображения, привели к созданию психоделических картин. Вскоре после этого Google опубликовала код как проект DeepDream, переросший в небольшое арт-движение, а ученые из Сассекского университета даже приспособили его для воссоздания галлюцинаций. Однако исходные намерения компания не забросила.

В 2016 году в Google опубликовала на Distill статью о техниках, способных отразить деятельность отдельных нейронов в сети. Это позволило визуализировать процесс распознавания изображения: как нейроны в центре сети обнаруживают все виды объектов и как с каждым слоем сети усложняется картина.

Строительные блоки интерпретируемости

Под этим заголовком Google 6 марта опубликовала статью на Distill, в которой рассказала о сочетании функции визуализации с другими техниками интерпретируемости, чтобы понять аспекты того, как нейросети принимают решения. Это позволяет ученым как бы «стоять посреди нейросети», фиксировать принятие решений в конкретный момент и отслеживать их влияние на результат.

Например, можно увидеть, как нейросеть распознает пушистое ухо и как этот выбор повлиял на вероятность предположений «лабрадор-ретривер» или «гончая».

Google сравнивает свою технику с МРТ. Раньше на запрос о том, какой задействован нейрон, система отвечала расплывчато, например, «нейрон 538 немного активен» — это мало о чем говорило даже экспертам. Техника Google предполагает визуализацию каждого нейрона, так что можно видеть, какие из них активировались для выполнения задачи.

Кроме того, можно увидеть, как одно изображение воспринимается на разных слоях. Это позволяет проследить переход от комбинации очень простых фигур до высокоуровневых структур вроде ушей, мордочек, голов и ног.