Японские ученые создали нейросеть, превращающую мысленные образы в изображения

В конце декабря ученые из университета Киото опубликовали работу о глубокой реконструкции изображений, основанной на анализе мозговой активности. Ученые создали технику декодирования мысленных образов, которая помогает «расшифровывать» не только образы букв или простых геометрических фигур, но более сложные изображения с множеством слоев цвета и структур.

Один из исследователей, Юкиясу Камитани (Yukiyasu Kamitani), так описал свою работу:

Мы исследовали методы реконструкции или воссоздания изображений, которые видит человек, путем анализа активности его мозга. Наш предыдущий метод предполагал, что изображение состоит пикселей или простых форм. Но теперь известно, что мозг обрабатывает визуальную информацию иерархически, выделяя разные уровни свойств или компоненты разного уровня сложности.

Чтение мыслей?

Исследование длилось 10 месяцев. Трем людям показывали фотографии людей и животных, геометрические формы и буквы в течение разного количества времени и с помощью функциональной магнитно-резонансной томографии следили за мозговой активностью.

В некоторых случаях измерения проводили, пока человек смотрел на изображение. В других – когда он в мыслях представлял то, что только что увидел. На этих данных и обучалась нейросеть.

Ученые отметили, что реконструировать изображение, полученное из воспоминаний, гораздо сложнее, чем то, которое человек видит перед собой, поскольку в этом случае активность мозга выражена слабее.