Новый метод использует камеры устройства для измерения пульса и частоты дыхания, что может помочь персонализированному телездравоохранению.

Телездравоохранение стало для врачей важнейшим способом оказания медицинской помощи, сводя к минимуму личные контакты во время COVID-19. Но с назначениями по телефону или Zoom врачам сложнее получить важные показатели жизнедеятельности пациента, такие как его пульс или частота дыхания, в режиме реального времени.

Команда Вашингтонского университета разработала метод, в котором камера смартфона или компьютера человека снимает его пульс и дыхательный сигнал с видеозаписи его лица в реальном времени. Исследователи представили эту новейшую систему в декабре на конференции Neural Information Processing Systems.

Теперь команда предлагает лучшую систему для измерения этих физиологических сигналов. Эта система с меньшей вероятностью будет отключена из-за различных камер, условий освещения или черт лица, таких как цвет кожи . Исследователи представят эти результаты 8 апреля на конференции ACM по вопросам здоровья, вмешательства и обучения.

«Машинное обучение довольно хорошо классифицирует изображения. Если вы дадите ему серию фотографий кошек, а затем скажете ему, чтобы он нашел кошек на других изображениях, он сможет это сделать. Но для того, чтобы машинное обучение было полезным при дистанционном зондировании здоровья, нам необходимо система, которая может идентифицировать интересующую область на видео, которая содержит самый сильный источник физиологической информации — пульс, например, — а затем измерять ее с течением времени », — сказал ведущий автор Синь Лю, докторант Университета Пола Г. Аллена. Школа компьютерных наук и инженерии.

«Все люди разные, — сказал Лю. «Таким образом, эта система должна иметь возможность быстро адаптироваться к уникальной физиологической характеристике каждого человека и отделять ее от других вариаций, таких как то, как они выглядят и в какой среде они находятся».

Система команды сохраняет конфиденциальность — она ​​работает на устройстве, а не в облаке — и использует машинное обучение, чтобы фиксировать тонкие изменения в отражении света от лица человека, что коррелирует с изменением кровотока. Затем он преобразует эти изменения как в пульс, так и в частоту дыхания.

Первая версия этой системы была обучена с использованием набора данных, который содержал как видеозаписи лиц людей, так и «правдивую» информацию: пульс и частоту дыхания каждого человека, измеренные стандартными полевыми приборами. Затем система использовала пространственную и временную информацию из видео для расчета обоих показателей жизнедеятельности. Он превзошел аналогичные системы машинного обучения на видеороликах, в которых испытуемые двигались и разговаривали.

Но хотя система хорошо работала с некоторыми наборами данных, она все еще боролась с другими, которые содержали разных людей, фоны и освещение. По словам команды, это распространенная проблема, известная как «переоснащение».