Нейронная сеть научилась считывать визуальные образы из мозга (видео)

Исследователи из Университета Пердью смогли создать своеобразную технологию чтения мыслей. Они научили искусственный интеллект декодировать сигналы фМРТ во время того, пока люди смотрели какое-либо видео. Критически важную роль здесь сыграл тип алгоритма, называемый сверточной нейронной сетью, с помощью которого сейчас появилась возможность распознавать лица и объекты. Статья опубликована в журнале Cerebral Cortex.

Схема мозговой активности на фМРТ. Источник: Purdue Engineering.


Сверточные нейронные сети – это специфический алгоритм глубокого обучения, который позволяет изучать то, как мозг обрабатывает статические изображения и другие зрительные стимулы. В этой работе они впервые использовались для того, чтобы обрабатывать динамичные сцены, что стало ещё одним шагом к расшифровке мыслей.

Исследователи изучили 11,5 часов фМР-сканирования мозга трёх женщин, которые просмотрели 972 видеоклипа с присутствием людей или животных в городской или природной среде. Эти данные использовались для того, чтобы обучить свёрточную сеть прогнозировать в процессе просмотра видео активность зрительной коры головного мозга.

Затем на основе этого учёные создали модель, которая смогла точно декодировать данные фМРТ в определённые категории изображений. После этого настоящие видео запускались вместе с интерпретацией компьютером мозговой активности. Стоит сказать, что итог компьютерной обработки оказался не слишком качественным, но это только начало.

Исследователи также смогли использовать эту модель для того, чтобы на основании данных, полученных от одного человека, предсказать и декодировать мозговую деятельность другого человека, так называемое кодирование и декодирование по перекрёстным темам. Этот вывод важен, поскольку он демонстрирует потенциал для широкого применения таких моделей как в изучении функций мозга, так и в помощи людям с нарушением зрения.

«Мы полагаем, что вступаем в новую эру машинного интеллекта и нейронаук, где исследования фокусируются на пересечении этих двух важных областей. Наша миссия в целом заключается в продвижении искусственного интеллекта с использованием концепций, вдохновлённых самим мозгом. В свою очередь, мы хотим использовать искусственный интеллект, чтобы лучше понять мозг», — отмечают авторы работы.


Текст: Анна Хоружая

Neural Encoding and Decoding with Deep Learning for Dynamic Natural Vision by Haiguang Wen, Junxing Shi, Yizhen Zhang, Kun-Han Lu, Jiayue Cao, and Zhongming Liuy in Cerebral Cortex. Published online October 2017

doi:10.1093/cercor/bhx268

 

Читайте материалы нашего сайта в FacebookВКонтакте и канале в Telegram, а также следите за новыми картинками дня в Instagram.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *