Нейросеть заподозрит аутизм при помощи смартфона

Научная группа из Университета Дьюка (психиатры, педиатры, нейроученые и компьюерщики) опубликовала в журнале  npj Digital Medicine резульаты годового тестирования мобильного приложения для скрининга аутизма.

Credit: Duke University


Приложение для iPhone  и iPad было создано и выложено на App Store в 2016 году. Исследовательская программа получила название Autism and Beyond. Вообще, надо сказать, когда в 2015 году впервые сообщалось об этой программе, говорили, что начало работ было оплачено Управлением военно-морских исследований США (Office of Naval Research): военные надеялись научиться диагностировать у участников боевых действий посттравматическое стрессовое расстройство и черепно-мозговые травмы, однако в качестве «побочного» плода разработок появилось гражданское приложение, гораздо более важное: ведь расстройство аутистического спектра сейчас диагностируется у одного американского ребенка из 68.

Идея проста: сначала родители проводят 20-минутное анкетирование, по которому можно заподозрить расстройство аутистического спектра у ребенка. А затем родители показывают своему ребенку специальное видео на экране мобильного устройства, на котором всего несколько минут показывают разные фрагменты: мыльные пузыри и прочее. Одновременно фронтальная камера снимает лицо ребенка, а нейросеть строит мимическую модель лица из точек (своеобразный граф), отслеживая эмоциональную реакцию на ключевые моменты видео.

Принцип работы приложения. Как видно из скриншотов, приложение на каждом экране предлагает родителям присоединиться к исследованию


Например, на появление радужных пузырей ребенок должен улыбнуться, где-то испугаться и так далее. После чего приложение загружает видео реакций на сервер, а дальше программа может предположить наличие у ребенка расстройства аутистического спектра и направить семью к специалисту.

Как сообщается в статье, за год исследования было зарегистрировано около 10 000 скачиваний приложения, в результате чего 1756 семей с детьми в возрасте от 12 до 72 месяцев заполнило анкеты и провело 5618 скринингов, загрузив на сервер 4441 видео с мимическими реакциями ребенка. По словам исследователей, пригодными для изучения оказались 87,6 % видео.

Автоматическое кодирование и валидирование эмоций


Как оказалось, результаты, которые выдает нейросеть, вполне коррелируют с данными анкетирования, а, значит, впервые дают психологам возможность масштабирования скрининга расстройств аутистического спектра, который раньше был возможен только в клинических условиях.


Текст: Алексей Паевский

 

Automatic emotion and attention analysis of young children at home: a ResearchKit autism feasibility study
Helen L. Egger, Geraldine Dawson, Jordan Hashemi, Kimberly L. H. Carpenter, Steven Espinosa, Kathleen Campbell, Samuel Brotkin, Jana Schaich-Borg, Qiang Qiu, Mariano Tepper, Jeffrey P. Baker, Richard A. Bloomfield Jr. & Guillermo Sapiro

npj Digital Medicinevolume 1, Article number: 20 (2018)
doi:10.1038/s41746-018-0024-6

Читайте материалы нашего сайта в FacebookВКонтактеЯндекс-Дзен и канале в Telegram, а также следите за новыми картинками дня в Instagram.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *