Нейронная сеть DGMM научилась воспроизводить то, что видит ваш мозг

Ученые мечтают воссоздать ментальные образы через сканирование мозга, но современные методы дают очень неточные результаты. Но трое китайских исследователей, похоже, решили эту проблему. Они разработали алгоритм нейронной сети DGMM, который намного лучше справляется с воспроизведением изображений, полученных из результатов функциональных МРТ.

Команда тренирует свою сеть для воссоздания образов, подавая ей скан зрительной коры мозга человека, который смотрит на изображение, а затем просят сеть воссоздать исходное изображение на основе этих данных. После достаточного количества практики сеть начинает понимать, как соотносить воксели, и генерирует точные изображения без шума.

И насколько эффективна DGMM?

Результаты вы можете увидеть на картинке выше. Новая техника, DGMM (Deep Generative Multiview Model), выдаёт результаты, очень близкие к исходным данным. Все остальные подходы настолько неточны и зашумлены, что многие результаты либо читаются с трудом, либо неверны вовсе.

Первоначальные испытания проводились на людях, которые смотрели на простые изображения. Придётся проделать много работы, прежде чем понять, работает ли метод со сложными изображениями и видео. Тем не менее, даже такой результат — это серьёзный прорыв. Эта технология может помочь при разработке контролируемых мозгом устройств, или же оказать помощь врачам при анализе психических заболеваний, анализируя сны или галлюцинации.