Сбер AIJ 11.12.24
Сбер AIJ 11.12.24
Сбер AIJ 11.12.24

Японские ученые создали нейросеть, превращающую мысленные образы в изображения

Новости

С помощью фМРТ ученые следили за мозговой активностью в то время, когда люди смотрели на изображение или представляли его мысленно. Обученная на этих данных нейросеть смогла частично декодировать мысленные образы обратно в изображения.

3К открытий3К показов

В конце декабря ученые из университета Киото опубликовали работу о глубокой реконструкции изображений, основанной на анализе мозговой активности. Ученые создали технику декодирования мысленных образов, которая помогает «расшифровывать» не только образы букв или простых геометрических фигур, но более сложные изображения с множеством слоев цвета и структур.

Превью видео b7kVwoN8Cx4

Один из исследователей, Юкиясу Камитани (Yukiyasu Kamitani), так описал свою работу:

Мы исследовали методы реконструкции или воссоздания изображений, которые видит человек, путем анализа активности его мозга. Наш предыдущий метод предполагал, что изображение состоит пикселей или простых форм. Но теперь известно, что мозг обрабатывает визуальную информацию иерархически, выделяя разные уровни свойств или компоненты разного уровня сложности.
Превью видео jsp1KaM-avU

Чтение мыслей?

Исследование длилось 10 месяцев. Трем людям показывали фотографии людей и животных, геометрические формы и буквы в течение разного количества времени и с помощью функциональной магнитно-резонансной томографии следили за мозговой активностью.

В некоторых случаях измерения проводили, пока человек смотрел на изображение. В других – когда он в мыслях представлял то, что только что увидел. На этих данных и обучалась нейросеть.

Японские ученые создали нейросеть, превращающую мысленные образы в изображения 1

Ученые отметили, что реконструировать изображение, полученное из воспоминаний, гораздо сложнее, чем то, которое человек видит перед собой, поскольку в этом случае активность мозга выражена слабее.

Следите за новыми постами
Следите за новыми постами по любимым темам
3К открытий3К показов