Научная группа из Университета Дьюка (психиатры, педиатры, нейроученые и компьюерщики) опубликовала в журнале npj Digital Medicine резульаты годового тестирования мобильного приложения для скрининга аутизма.
Credit: Duke University
Приложение для iPhone и iPad было создано и выложено на App Store в 2016 году. Исследовательская программа получила название Autism and Beyond. Вообще, надо сказать, когда в 2015 году впервые сообщалось об этой программе, говорили, что начало работ было оплачено Управлением военно-морских исследований США (Office of Naval Research): военные надеялись научиться диагностировать у участников боевых действий посттравматическое стрессовое расстройство и черепно-мозговые травмы, однако в качестве «побочного» плода разработок появилось гражданское приложение, гораздо более важное: ведь расстройство аутистического спектра сейчас диагностируется у одного американского ребенка из 68.
Идея проста: сначала родители проводят 20-минутное анкетирование, по которому можно заподозрить расстройство аутистического спектра у ребенка. А затем родители показывают своему ребенку специальное видео на экране мобильного устройства, на котором всего несколько минут показывают разные фрагменты: мыльные пузыри и прочее. Одновременно фронтальная камера снимает лицо ребенка, а нейросеть строит мимическую модель лица из точек (своеобразный граф), отслеживая эмоциональную реакцию на ключевые моменты видео.
Принцип работы приложения. Как видно из скриншотов, приложение на каждом экране предлагает родителям присоединиться к исследованию
Например, на появление радужных пузырей ребенок должен улыбнуться, где-то испугаться и так далее. После чего приложение загружает видео реакций на сервер, а дальше программа может предположить наличие у ребенка расстройства аутистического спектра и направить семью к специалисту.
Как сообщается в статье, за год исследования было зарегистрировано около 10 000 скачиваний приложения, в результате чего 1756 семей с детьми в возрасте от 12 до 72 месяцев заполнило анкеты и провело 5618 скринингов, загрузив на сервер 4441 видео с мимическими реакциями ребенка. По словам исследователей, пригодными для изучения оказались 87,6 % видео.
Автоматическое кодирование и валидирование эмоций
Как оказалось, результаты, которые выдает нейросеть, вполне коррелируют с данными анкетирования, а, значит, впервые дают психологам возможность масштабирования скрининга расстройств аутистического спектра, который раньше был возможен только в клинических условиях.
Текст: Алексей Паевский
Automatic emotion and attention analysis of young children at home: a ResearchKit autism feasibility study
Helen L. Egger, Geraldine Dawson, Jordan Hashemi, Kimberly L. H. Carpenter, Steven Espinosa, Kathleen Campbell, Samuel Brotkin, Jana Schaich-Borg, Qiang Qiu, Mariano Tepper, Jeffrey P. Baker, Richard A. Bloomfield Jr. & Guillermo Sapiro
npj Digital Medicinevolume 1, Article number: 20 (2018)
doi:10.1038/s41746-018-0024-6
Читайте материалы нашего сайта в Facebook, ВКонтакте, Яндекс-Дзен и канале в Telegram, а также следите за новыми картинками дня в Instagram
