Специалисты Московского государственного психолого-педагогического университета (МГППУ) предложили новый способ улучшить управление компьютером с помощью взгляда. Этот способ основан на использовании магнитных полей, возникающих во время работы мозга. Посвященная ему статья опубликована в журнале Frontiers in Neuroscience.
МЭГ-установка МГППУ. Фото Андрея Прокофьева
Управление с помощью взгляда все чаще используется парализованными людьми, которые не могут выходить в интернет и общаться с родственниками и друзьями с помощью обычных устройств – тачскрина, клавиатуры, мыши. Эта функция, под названием “управление глазами”, даже включена в стандартный набор “специальных возможностей” операционной системы Windows10. Для такого управления используется подключаемое к компьютеру устройство отслеживания взгляда – айтрекер, который с помощью видеокамеры определяет положение зрачка пользователя компьютера и по нему вычисляет, в какое место на экране он смотрит. Задержки взгляда на клавишах экранной клавиатуры или интернет-ссылках используются в качестве замены “кликов” по ним компьютерной мышью или касаний пальцем при использовании тачскрина.
Однако у технологии управления с помощью взгляда есть серьезный недостаток: она не умеет различать задержки взгляда, с помощью которых пользователь делает такие “клики”, и непроизвольные задержки взгляда, которые случаются, например, когда пользователь хочет что-то рассмотреть. Избежать непроизвольные задержки невозможно – взгляд легко выходит из-под сознательного контроля. В результате происходят ложные срабатывания – непреднамеренные “клики”. Они не создают больших проблем при наборе текста, но во многих других случаях, например, при использовании интернет-ссылок, серьезно мешают нормальной работе с компьютером.
В проекте, который выполнялся в 2014-2016 и 2018-2020 годах при поддержке Российского научного фонда в рамках сотрудничества между МГППУ и Национальным исследовательским центром “Курчатовский институт”, участники экспериментов играли в специально разработанную модификацию компьютерной игры “Линии” – в этой модификации ходы делаются с помощью задержек взгляда. Используя метод магнитоэнцефалографии (МЭГ), исследователи бесконтактно регистрировали слабые магнитные поля, которые возникают при работе мозга. На основе анализа траекторий взгляда данные МЭГ, записанные во время задержек взгляда, были разделены на две группы: соответствующие задержкам, с помощью которых делались ходы, и соответствующие предположительно непроизвольным задержкам. К этим данным были применены искусственные нейронные сети, разработанные одним из авторов исследования – выпускником Санкт-Петербургского государственного университета Иваном Зубаревым, в настоящее время аспирантом Университета Аальто (Финляндия). Нейросети смогли различить намеренные и непроизвольные задержки взгляда у большинства участников эксперимента. Такой результат с использованием МЭГ получен впервые.
“Мы пытаемся научиться “на лету” определять, является ли задержка взгляда намеренной или непроизвольной, – объясняет руководитель исследования, ведущий научный сотрудник МЭГ-центра Сергей Шишкин. – Для этого мы применяем технологию “интерфейс мозг-компьютер” (ИМК), она больше известна как самостоятельная технология, которую разрабатывают для помощи инвалидам, для реабилитации после инсультов, а также для использования в играх. В основе ИМК – классификация сигналов мозгового происхождения, которые возникают, когда пользователь ИМК выполняет определенные мысленные действия. Довольно многие исследователи пытались объединить ее с “глазоуправлением” – так мы для краткости называем управление с помощью взгляда. Действительно, взгляд очень подходит для того, чтобы указать место на экране – пользователь может, например, с помощью взгляда навести на это место курсор. А с помощью ИМК удобно сделать “клик” – для этого можно вообразить движение рукой, ИМК распознает его, и результат будет подобен нажатию левой кнопки мыши. Но эта комбинация взгляда и ИМК оказывается крайне неудобной, ведь ИМК работает медленно, и пользователю приходится каждый раз надолго задерживать взгляд. К тому же мысленные действия, нужные для ИМК, довольно плохо сочетаются с намеренной задержкой взгляда. Мы используем гораздо более естественный подход: пользователю достаточно лишь задерживать взгляд, и само это действие, как оказалось, уже изменяет рисунок мозговых сигналов так, что намерение “кликнуть” удается распознать”.
“Точность определения “намеренности” задержки взгляда у нас пока что недостаточна для немедленного практического использования технологии, – говорит первый автор исследования старший научный сотрудник МЭГ-центра МГППУ Анастасия Овчинникова. – Наш анализ показывает, что невысокая точность прежде всего связана, по-видимому, с тем, что во время эксперимента не удается записать достаточно много данных для обучения нейросетей. Эта проблема часто возникает, когда для классификации мозговых сигналов используют глубокие искусственные нейронные сети, подобные тем, которые использовали мы. В настоящее время мы работаем над задачей расширения выборки МЭГ-данных, используемых в классификации.”
Исследователями уже получены первые подтверждения, что точность классификации повышается, если дополнительно записывать МЭГ у одно и того испытуемого во время игры в “Линии” с помощью взгляда и обучать нейросети на увеличенном объеме данных. К сожалению, такое увеличение выборки имеет определенные сложности – оно требует, чтобы испытуемый несколько раз участвовал в эксперименте. Поэтому Анастасия и ее коллеги собираются проверить и другие способы увеличения объема данных, которые могут существенно улучшить работу нейросетей.
“Мы уже выяснили в наших предыдущих исследованиях, проводившихся на базе Курчатовского института, – говорит Сергей Шишкин, – что у намеренных задержек взгляда при “глазоуправлении” есть специфический портрет в электрических потенциалах, генерируемых мозгом, то есть в электроэнцефалограмме (ЭЭГ). Однако он не напрямую связан с намерением или с удержанием взгляда. То, что мы при “глазоуправлении” видим в ЭЭГ во время намеренных задержек взгляда – это так называемая волна ожидания. Она говорит о том, что человек чего-то ждет. Очевидно, в данном случае он ждет, когда компьютер сработает на “клик” – например, выделится шарик, на который смотрит участник эксперимента. Но в данных МЭГ мы видим совсем другой рисунок работы мозга. Мы готовим к публикации новую большую статью, где он будет подробно описан. По-видимому, он связан с намеренным удержанием взгляда в одном месте. Так или иначе, напрашивается возможность объединить данные ЭЭГ и МЭГ, и за счет этого дополнительно повысить точность классификации. В итоге мы можем получить очень эффективный гибридный интерфейс для взаимодействия с компьютером. Возможно, он когда-нибудь окажется полезным не только для инвалидов”.
МЭГ в настоящее время является очень громоздкой и дорогой технологией, и установка МГППУ пока что остается единственной многоканальной МЭГ-системой в России. Однако исследователи рассчитывают на быстрое развитие новой технологии компактных магнитометров с оптической накачкой, которые могут радикально повысить доступность МЭГ. В этом случае разрабатываемые в МГППУ технологии смогут получить широкое распространение.
Текст: МГППУ
Ovchinnikova, A. O., Vasilyev, A. N., Zubarev, I. P., Kozyrskiy, B. L., & Shishkin, S. L. (2021). MEG-Based Detection of Voluntary Eye Fixations Used to Control a Computer. Frontiers in Neuroscience, 15, 38. https://doi.org/10.3389/fnins.2021.619591
