Ученые разработали метод машинного обучения для восстановления пропущенных или скрытых данных в сложных динамических системах, описывающих климатические изменения и биологические процессы. Новый подход превзошел по точности все современные аналоги, сократив ошибки в предсказании «упущенных» данных в десятки раз. Благодаря этому технология будет полезна при обработке медицинских сигналов, прогнозировании погоды и экономических процессов. Результаты исследования, поддержанного грантом Российского научного фонда (РНФ), опубликованы в журнале IEEE Transactions on Neural Networks and Learning Systems.
Во многих отраслях науки ученым приходится анализировать большие объемы сложных данных. Например, климатологи выявляют закономерности в многолетних погодных записях и по ним прогнозируют возможность экстремальных погодных явлений в будущем. Врачи по записям ЭЭГ (электроэнцефалограммы) находят нарушения в работе мозга. Однако часто в подобных наборах данных есть пропуски и искажения, связанные со сбоем в показаниях метеостанций, «шумами» при записи мозговой активности или вовсе потерей значений. Чтобы такую неполную информацию можно было использовать для прогнозирования, нужны алгоритмы, способные корректно восстанавливать утраченные данные.
Существующие инструменты, в том числе новейшие нейросети, пока недостаточно хорошо справляются с этой задачей из-за того, что процессы, которые нужно описать (изменения в погоде, активность нервных клеток и другие), очень изменчивы, причем часто на разных временных масштабах, поэтому их сложно анализировать.
Ученые из Саратовского национального исследовательского государственного университета имени Н.Г. Чернышевского (Саратов) и Российского экономического университета имени Г.В. Плеханова (Москва) в рамках междисциплинарного проекта РНФ, выполняемого в Национальном исследовательском университете «Высшая школа экономики» (Москва), разработали метод машинного обучения NGRC-MDS, способный справиться с этой проблемой.
За основу авторы взяли алгоритм резервуарных вычислений нового поколения (NG-RC) — очень быструю и экономичную с точки зрения вычислений нейросеть, которую уже используют для прогнозирования. Однако существующая версия NG-RC плохо справляется с анализом неполных данных. Дело в том, что этот алгоритм ищет закономерности в существующей информации на строго определенных временных интервалах.
«Представим, что для предсказания погоды он рассматривает данные с интервалом в 10 минут. Но в реальности погода меняется не так постоянно: есть быстрые процессы (резкие порывы ветра) и очень медленные (плавные изменения атмосферного давления). Поэтому одинаковый шаг в 10 минут позволит отлично уловить быстрые изменения, но совершенно бесполезен для понимания длительных», — рассказывает участник проекта, поддержанного грантом РНФ, Артем Бадарин, кандидат физико-математических наук, ведущий научный сотрудник Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова, ведущий научный сотрудник Саратовского государственного университета имени Н.Г. Чернышевского.
С помощью математических инструментов авторы усовершенствовали работу модели так, чтобы она не просто «считывала» равномерные шаги во времени, а анализировала структуру всех данных и выделяла в них ключевые периоды изменений — от самых быстрых до самых медленных. В результате алгоритм смог, меняя масштаб наблюдений, подбирать индивидуальные отрезки времени в прошлом, которые лучше всего помогают предсказать будущее состояние системы.
Ученые проверили эффективность разработки на трех классических моделях, описывающих поведение сложных систем — работающих групп нейронов, атмосферы и популяций живых организмов. Новый метод превзошел по точности все современные алгоритмы-аналоги, используемые для восстановления неполных данных, и позволил сократить ошибку при прогнозировании в десятки раз.
«Предложенная технология открывает путь к надежному прогнозированию экстремальных погодных явлений в климатологии, раннему предупреждению эпилептических приступов по ЭЭГ в медицине и предсказанию рыночных кризисов в экономике — там, где данные обычно многомасштабны и зашумлены, и при этом критически важна каждая секунда предсказания. В дальнейшем мы планируем развивать этот метод для анализа макроэкономических процессов совместно с коллегами из ВЭБ.РФ, а также исследовать применимость данного алгоритма для медицинской диагностики с нашими клиническими партнерами — Национальным медико-хирургическим центром имени Н.И Пирогова, Национальным медицинским исследовательским центром терапии и профилактической медицины Минздрава России, Пловдивским медицинским университетом и другими», — подводит итог участник проекта, поддержанного грантом РНФ, Александр Храмов, доктор физико-математических наук, член-корреспондент РАН, директор Научно-исследовательского института прикладного искусственного интеллекта и цифровых решений РЭУ имени Г.В. Плеханова, главный научный сотрудник Саратовского государственного университета имени Н.Г. Чернышевского.
Текст: пресс-служба РНФ
