RhythmNet使用AI通过脸部估计您的心率

 
可穿戴式心率监测器是一回事，但是仅凭一个人的面部镜头就能估算出人的心跳的系统又如何呢?这就是中国科学院研究人员在Arxiv.org上发表的预印本论文中着手设计的。在其中，他们描述了RhythmNet，这是一种端到端的可训练心率估计器，它利用AI和光电容积描记法(PPG)(一种检测皮肤组织中血容量变化的光学技术)来应对头部运动和照明变化的挑战。
正如研究人员所解释的，基于PPG的HR估算是可能的，因为皮肤光吸收会随着血容量脉冲(BVP)的变化而周期性地变化。真皮和皮下层微血管中的诸如血红蛋白之类的染色体吸收了不成比例的光，因此当血液通过下面的静脉和动脉泵出时，颜色会发生微小变化。它们是人眼看不见的，但是可以像嵌入可穿戴设备中的RGB传感器一样轻松捕获。
为了训练RhythmNet，该团队创建了一个大规模的多模式语料库-VIPL-HR1，该语料库可在开放源代码中使用-包含2,378个可见光视频和107个对象的752个近红外视频。每个剪辑都是通过网络摄像头和红外传感器以及智能手机的组合捕获的，并且包含头部运动，头部姿势(带有注释的偏航，俯仰和横滚角)，照明和设备使用情况的变化。
RhythmNet由多个组件组成，其中包括一个面部检测器，该检测器可以在给出人脸视频的情况下向上定位81个面部地标。一个单独的组件执行对齐和皮肤分割，以去除眼睛区域和其他非面部区域，然后从相隔0.5秒的视频帧生成时空图，以表示心率信号。这些图被输入到机器学习模型中，该模型经过训练可以从时空图预测心率，然后将每分钟的估计心跳计算为各个片段中所有估计率的平均值。
研究人员在MAHNOB-HCI和MMSE-HR以及它们各自的两个广泛使用的数据库上评估了他们的系统。他们报告说，对于使用VIPL-HR1测试的大多数样本(71%)，RhythmNet的心率估计误差均低于每分钟5次搏动，并且与每分钟47次搏动与每分钟147次搏动之间的地面真实性密切相关。此外，他们说，MAHNOB-HCI和MMSE-HR的错误率没有超过每分钟8.28次，这优于之前进行了模型比较的工作。
该小组表示，计划研究其方法在其他生理状态测量任务中的有效性，例如通过视频测量呼吸速率和血压。它还希望开发一种更强大的心率估计模型，该模型可以利用分布学习和多任务学习技术。
“心率是一个重要的生理信号，反映了一个人的身体和情绪状态。传统的心率测量通常依靠接触式监护仪，这可能会带来不便和不适。”该论文的合著者写道。 “ [我们提出的[系统] [仅从表面上]在数据库内和跨数据库测试方案中都实现了有希望的心率估计准确性。”