近年来,因为新冠肺炎疫情的流行,非接触式的人体生命体征检测成为了研究的热点,其在智能家居、医疗健康等领域都有着广泛的应用,如睡眠检测[1]、婴幼儿监护[2]、驾驶员体征检测[3]以及疲劳驾驶监测[4]、姿态检测[5-6]等。
在最近的几十年时间里,基于雷达的生命体征信号提取技术已经非常成熟,这也为后续应用奠定了基础。文献[7]验证了每个人的通气变量和气流曲线组成了一个特定的特征,可以利用雷达检测到的呼吸信号进行人员识别。研究[8]表明,呼吸模式的个体性能可以长期保持。文献[9]提取了呼吸信号峰值功率谱密度、堆积密度与线性包络误差3个特征,将这些特征送入反向传播神经网络得到了90%的识别准确率。文献[10]利用动态分割技术检测一段呼吸信号内各种独特的特征与模式,结合最近邻算法(K-Nearest Neighbor,KNN)对6 个实验对象进行了测试和验证,得到了95%的准确率。文献[11]采用快速傅里叶变换(Fast Fourier Transform,FFT)的方法提取呼吸信号频域特征,送入支持向量机(Support Vector Machine,SVM)算法中分类,在小数据集上得到比较高的准确率。基于人工提取特征的方式较为复杂,提取的特征单一,对于呼吸模式如频率、呼气与吸气面积等特征相近的人没有办法很好地区分开。有学者[12]将雷达采集到的呼吸或心跳信号直接送入卷积神经网络(Convolutional Neural Networks,CNN)自动提取特征,降低了提取特征的复杂度,最高得到82%的准确率。文献[13]提出了基于呼吸样本空间(BSS)的身份识别算法,将包含时距信息的BSS 序列送入CNN 中建模以获得分类结果,得到接近85%的准确率。
目前的研究大部分是基于呼吸特征进行身份验证,其忽略了心电信号也具有特征性[14],可以用来识别个体。虽然非接触的雷达难以恢复出人体心电信号,但是本文尝试用心跳信号来代替接触式测量的心电信号,提出将心跳信号与呼吸信号结合的方式进行身份验证,本文将基于胸腔信号样本(Chest Cavity Signal,CCS)进行身份验证。首先通过毫米波雷达FMCW 提取人体回波信号,再对回波信号进行预处理,包括多帧背景消除,胸腔位置确定,选取整个胸腔区域对应的多距离单元信号作为相位信号样本,相位解绕,相位差分,将相位差分信号进行变分模态(VMD)分解得到纯净的呼吸信号与心跳信号再胸腔信号恢复,最后将纯净的信号样本切成小段并转换为图片即为胸腔信号样本CCS。纯净CCS 信号样本融合了呼吸与心跳的时域、频域特征。为了避免人工提取特征造成的特征丢失,特征不足以及模型复杂等问题,本文将CCS样本送入二维卷积神经网络(2D CNN)中自动提取特征,得到模型准确率高达97.5%。
本文将利用毫米波雷达检测到的人体呼吸、心跳信号进行后续的身份验证。在正常情况下呼吸与心跳导致的胸部振动情况如表1所示[15]。
表1 体征信号引起的胸腔振动情况
体征信号呼吸心跳频率/Hz 0.1~0.5 0.8~2.0振幅/mm 1~12 0.1~0.5震动面积/cm2 50 10
毫米波雷达通过探测距离雷达R 处人体目标回波的相位信号来反映呼吸心跳引起的胸腔振动。式(1)为胸腔振动距离与相位的关系。
式中,Δφ 为相位变化,ΔR 为距离变化,λ 为波长。在本文中使用到的毫米波雷达波长λ 为5 mm,当胸腔位移为1.25 mm时,回波信号的相位变化为π。
毫米波雷达FMCW 发射的信号频率是随时间变化,并且一般是呈线性变化,所以也被称为LFMCW。如图1所示为FMCW 发射信号与接收信号的示意图。当发射信号遇到待测目标后,反射的回波信号会被雷达接收天线所接收,从频域上来看,发射信号与接收信号波形上保持一致,在时间上有一定的延时t0。
图1 FMCW信号示意图
式(2)为FMCW雷达的发射信号。
式中,fc为发射信号的起始发射频率,B 为雷达调制带宽,T为FMCW一个Chirp的周期。
式中t0为时间延迟。假设雷达与目标间存在传播距离为R,则传播的过程中产生了t0=2R/c的时间延迟,c为光速。
将发射信号与接收信号混频得到中频信号,中频信号由式(4)表示:
式中,Δφ 为中频信号的相位,fb为频率。Δφ 与目标距离R呈线性关系,由此验证式(1)。
雷达原始数据是指将发射信号与接收信号混频,再经过AD 采样得到的中频信号,其包含着被测物体的距离、速度和角度等信息。在对雷达原始数据做FFT 时,可以获得距离曲线,表达为R(n,m),距离曲线包含着目标的距离信息(红色框出),同时也混杂噪声、静态物体干扰等(蓝色框出)。如图2(a)所示距离曲线频谱峰值所在的位置代表着目标的位置。如图2(b)频谱图中明亮区域代表反射回波功率大,存在被测物体,深色区域则代表没有物体。
图2 距离维FFT结果图
杂波抑制方法主要是用来消除与实验目标无关的冗余干扰,达到提高目标信杂比的效果。在本实验中,静态的桌椅、墙壁等均属于要去除的范围。本文采用多帧联合的方法来消除干扰项。
在环境中静态干扰是不变的,但是人体目标的相位是随胸腔振动每一帧变化的,且有一定的周期性。所以在多帧时间下,多帧信号的平均值可以被当作前文所提到干扰与噪声。背景干扰的表达式如式(5):
式中,N代表中频信号总共有N帧,n代表每帧的采样点数,m 代表第几帧数据。得到背景干扰项式(5)后就可以计算去除了冗余干扰后的信号,如式(6):
在图2 的距离FFT 结果图中可以明显看出,人体目标周围存在一定的干扰。经过多帧联合背景消除后,如图3所示回波信号的距离曲线与频谱更加清晰。每个距离单元代表着距离为4.4 cm,根据图像可判断出经过滤波后的信号峰值集中在0.6 m左右,与实验中人体目标距离雷达的真实距离一致。
图3 滤波后的距离FFT结果图
目前大部分研究都是在多帧信号中连续提取单个目标(最大能量处)距离单元的相位获得胸腔振动信号,也就是只提取一个点的振动波形。但是人体目标不是一个点,而是一个范围,表1 中提到呼吸引起的胸腔振动面积达到50 cm2,如果只提取一个距离单元的多帧相位信号,会损失整个胸腔的空间信息,造成特征丢失。因此本文选择包含最大能量在内的周围8个距离单元,对每一个距离单元内的多帧信号连续提取相位,得到包含空间信息的8条胸腔部位的振动波形,以此来表征胸腔信号。图3(b)中的红色方框代表胸腔信号,黄色实线代表单个目标距离门。
表征胸腔信号的8 条振动波形包含着丰富的由呼吸、心跳引起的胸腔振动信息,后续经过处理便可得到含有完整特征的CCS 样本。如图4(a)所示,在使用反正切函数提取相位时,会导致相位信号存在卷绕,因此后续还需要对提取的相位信号进行解卷绕和相位差分操作。得到的胸腔相位信号如图4(b)所示。
图4 相位波形
变分模态分解(VMD)通过迭代的方式搜寻最优变分模型确定每个模态分量的中心频率和频率带宽,实现信号的频域以及每个模态分量的自适应部分[16]。根据呼吸与心跳的频率特征,将相位信号分解为不同模态,保证各个模态之间信号频率不重叠,从而分离出完整的呼吸信号与心跳信号,如图5(a)、(b)为呼吸信号时域与频域波形,如图6(a)、(b)为心跳信号时域与频域波形。
图5 呼吸信号时域与频域波形
图6 心跳信号时域与频域波形
在提取到比较纯净的心跳信号与呼吸信号后,将其恢复为纯净的胸腔信号,如图7(a)、(b)分别为胸腔信号的时域波形和频域波形。可见胸腔信号主要包含0.293 Hz 与1.22 Hz 两种频率,与呼吸心跳信号相对应。
图7 胸腔信号时域与频域波形
胸腔信号在时域和频域上包含了人特有的心跳呼吸特征,为了保留整个胸腔面积内的特征,将胸腔信号制作为CCS样本。
可判断一个呼吸波形的周期约为60 个采样点。因此本文将胸腔信号按照每60个采样点截成小段数据,相当于8 个距离单元,每个单元60 个采样点的信号矩阵。将该矩阵转换为灰度图,调整灰度图大小为32×64 作为CCS 样本,如图8所示,将CCS 送入二维卷积神经网络自动提取特征,避免了人工提取特征的复杂操作,图像中也充分保留了足够的特征进行训练。
图8 CCS样本
根据前文中的步骤已经得到CCS 样本,本文分别采集4 个保持正常呼吸节奏的志愿者数据(两男两女)。每人采集120 000 帧的数据,每帧时长50 ms。在CCS 样本制作时将每个人的数据划分到3 s 的固定窗口中,每次滑窗3 s,总共得到8 000 个CCS 样本,分别打上标签。如表2所示,8 000 个CCS 样本按照4∶1 的比例划分到训练集与测试集。
表2 数据集分配
数据集训练集测试集志愿者1 1 600 400志愿者2 1 600 400志愿者3 1 600 400志愿者4 1 600 400
CNN 是当前用于图像分类中最先进的体系结构,它可以自动提取对象特征,并且特征提取与特征分类是一个同步进行的过程[17]。本文搭建了一个2D CNN 模型,图9 详细描述了该模型的结构信息,模型包括3 个3×3 的卷积层,分别对应32,64,64 个通道,每个卷积层将ReLU 函数作为激活函数,可以有效缓解过拟合问题的发生。在卷积层后都使用了一个2×2的最大池化层,对卷积层提取到的信息作进一步降维,减少计算量的同时,还加强了图像特征的不变性。
图9 神经网络结构图
本文采集体征信号的实验如图10所示,实验采用毫米波雷达IWR6843ISK,其具有3根发射天线,4根接收天线,工作频段在60~64 GHz之间。采集装置如图11所示,DCA1000采集卡从IWR6843ISK雷达板接收LVDS 数据,并通过以太网接口将数据传输到PC端。
图10 雷达采集数据
图11 采集装置
表3为毫米波雷达发射信号的参数,实验中按照表中参数使用TI 配套的mmWave Studio 软件进行雷达参数配置。
表3 实验参数
参数起始频率调频斜率采样点数采样频率帧周期每帧Chirp数数值60 GHz 68 MHz/μs 200 4 MHz 50 ms 2
本文首先通过毫米波雷达采集原始数据,将数据进行处理得到CCS 样本,制作成数据集送入搭建好的神经网络模型中进行训练,图12验证结果显示,4名志愿者身份验证的准确率达到了97.5%。
图12 CCS+CNN模型训练结果
图13 为利用CCS 样本结合2D CNN 训练得到的混淆矩阵。
图13 CCS+CNN模型训练混淆矩阵
由混淆矩阵可知该系统模型对志愿者1 的准确率为94%,对志愿者3的准确率为98%,对其他两位志愿者进行身份验证的准确率都达到了99%。
为了验证本文提出的利用CCS 作为特征样本进行身份验证整体模型的优越性,本文对其他文献中所提到的样本与算法模型进行对比验证,同样通过毫米波雷达IWR6843ISK 采集数据,按照文献中的方法得到相应训练样本,送入本文设计的神经网络模型中进行训练。按照文献[13]的单一信号样本(记作SS)训练得到的结果如图14所示,按文献[14]的BSS 样本训练得到的结果如图15所示,可见训练结果准确率偏低,且有过拟合的现象。
图14 SS+CNN模型训练结果
图15 BSS+CNN模型训练结果
如表4所示,本文通过毫米波雷达提取到人体相位信号后,相比于其他算法增加了多帧背景消除背景噪声以及VMD 信号分离与恢复的步骤,使用该算法可以降低实验样本中的冗余信息,提高了信噪比,并使样本中包含更多的特征信息。
表4 实验复杂度对比
实验样本原始雷达相位信号+信号预处理+VMD信号分离与恢复(本文)原始雷达相位信号[9]原始雷达相位信号[10]原始雷达相位信号[11]原始雷达相位信号[12]原始雷达相位信号+信号预处理[13]提取特征2D CNN人工提取动态分割FFT 1D CNN 2D CNN分类方式2D CNN BP KNN SVM 1D CNN 2D CNN
呼吸心跳信号比较微弱,对信噪比的变化很敏感。且较高的信噪比可以帮助雷达系统降低误报概率,有助于在更复杂的环境中提高检测的精度。由于本文所用的CCS 样本包含了8 条振动波形,计算时取其平均信噪比作为整体信号信噪比。信噪比的定义如式(7):
式中s(l)为呼吸与心跳信号频谱峰值,s2(f)为信号频谱的总能量。表5 展示了信号在经过VMD 分解前后的信噪比情况。其中bf表示呼吸频率,hf表示心跳频率,SNR1 表示VMD 分解之前的信噪比,SNR2表示VMD分解之后CCS样本的信噪比。
表5 信噪比分析
志愿者1 2 3 4 bf/Hz 0.29 0.29 0.32 0.28 hf/Hz 1.21 1.19 1.21 1.20 SNR1/dB-10.83-9.31-10.09-9.21 SNR2/dB-5.74-5.71-6.09-5.04
可见得到的CCS样本在经过了VMD分解之后信噪比至少提高了4 dB。CCS 较高的信噪比使后续特征提取更加充分,提高了神经网络分类的准确性。
在神经网络中不能只将准确率作为评判标准,还需要引入损失函数,损失率越小,准确率越高,越能调节神经网络内部参数以提高网络性能。在本文中采用解决多分类问题的交叉熵损失函数,定义如式(8):
式中S 表示Softmax 激活函数,yi是真实值结果,xi是预测结果。
表6 展示了本文所用算法与其他论文算法准确率与损失率的对比,可以看出本文基于CCS 样本的方法虽然增加了实验数据处理部分的复杂度,但是能获得更高的准确率与最小的损失率。
表6 实验结果对比
算法本文Features+BP[9]Features+KNN[10]FFT+SVM[11]SS+CNN[12]BSS+CNN[13]准确率0.975 0.9 0.75 0.84 0.81 0.887损失率0.072 0.271 0.618 0.471 0.511 0.342
文献[9-11]均需要人工提取特征的繁琐步骤,提取的特征单一,对于呼吸频率,呼气与吸气面积等特征相近的人没有办法很好地区分开。文献[12]虽然采用了CNN 自动提取特征,但是仅仅输入心跳或者呼吸信号,其特征丢失十分明显,不足以支撑神经网络模型分辨出受试者。文献[13]考虑到整个胸部区域存在一定的空间特征,却忽略了相位信号当中存在与呼吸信号频率相近的噪声,因此也难以得到较高的准确率。总体来说,本文提出的CCS 样本包含了足够的信息,选用CNN神经网络模型也能够充分挖掘出样本中特征,在受试者中取得的表现要优于现有方法。
本文通过实验论证与对比分析,验证了基于毫米波雷达提取的CCS 样本对于身份验证的准确性。提出一种将纯净的人体胸腔信号(CCS)作为样本进行身份验证的方法。通过毫米波雷达提取人体体征信息,并解析出纯净的呼吸与心跳信号制作出CCS 样本,采用2D CNN 充分挖掘CCS 样本中的信息,成功以97.5%的准确率验证4 位志愿者的身份,证明了通过毫米波雷达提取的CCS 样本进行身份验证的可行性。
目前已有研究证明[18-19],通过毫米波雷达可以较为精确地恢复出人体心电(ECG)信号。因此,后续的工作会持续优化整体算法,将恢复出的ECG信号融入CCS 样本中,探索在复杂环境下验证多人身份,并能根据ECG 信号分析人体健康情况。基于毫米波雷达身份验证的研究,无论是智能家居领域还是医疗领域都有广阔的前景。
[1]TURPPA E,KORTELAINEN J M,ANTROPOV O,et al.Vital Sign Monitoring Using FMCW Radar in Various Sleeping Scenarios[J].Sensors,2020,20(22):6505.
[2]HAFNER N,MOSTAFANEZHAD I,LUBECKE V M,et al.Non-Contact Cardiopulmonary Sensing with a Baby Monitor[C]//2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,Lyon,France:IEEE,2007:2300-2302.
[3]顾海潮,麦云飞,张兰春,等.驾驶员生命体征信号检测系统的设计与实现[J].农业装备与车辆工程,2022,60(7):77-80.
[4]张磊,方遒,孙彦超.基于毫米波雷达的疲劳驾驶监测系统[J].机电技术,2022,45(2):92-95.
[5]丁晨旭,张远辉,孙哲涛,等.基于FMCW 雷达的人体复杂动作识别[J].雷达科学与技术,2020,18(6):584-590.
[6]元志安,周笑宇,刘心溥,等.基于RDSNet的毫米波雷达人体跌倒检测方法[J].雷达学报,2021,10(4):656-664.
[7]BENCHETRIT G.Breathing Pattern in Humans:Diversity and Individuality[J].Respiration Physiology,2000,122(2/3):123-129.
[8]BENCHETRIT G,SHEA S A,DINH T P,et al.Individuality of Breathing Patterns in Adults Assessed Over Time[J].Respiration Physiology,1989,75(2):199-209.
[9]RAHMAN A,YAVARI E,LUBECKE V M,et al.Noncontact Doppler Radar Unique Identification System Using Neural Network Classifier on Life Signs[C]//2016 IEEE Topical Conference on Biomedical Wireless Technologies,Networks,and Sensing Systems,Austin,TX,USA:IEEE,2016:46-48.
[10]RAHMAN A,LUBECKE V M,BORIC-LUBECKE O,et al.Doppler Radar Techniques for Accurate Respiration Characterization and Subject Identification[J].IEEE Journal on Emerging and Selected Topics in Circuits and Systems,2018,8(2):350-359.
[11]ISLAM S M M,RAHMAN A,PRASAD N,et al.Identity Authentication System Using a Support Vector Machine(SVM)on Radar Respiration Measurements[C]// 2019 93rd ARFTG Microwave Measurement Conference,Boston,MA,USA:IEEE,2019:1-5.
[12]姜晨旭.基于生命体征的无线身份识别[D].成都:电子科技大学,2021.
[13]周金海,吴耿俊,雷雯,等.基于呼吸样本空间的超宽带雷达身份识别[J].电子测量与仪器学报,2022,36(1):118-125.
[14]SAFIE S I,SORAGHAN J J,PETROPOULAKIS L.Electrocardiogram(ECG)Biometric Authentication Using Pulse Active Ratio(PAR)[J].IEEE Trans on Information Forensics and Security,2011,6(4):1315-1322.
[15]胡巍.基于多普勒雷达的非接触式生命体征检测技术研究[D].合肥:中国科学技术大学,2014.
[16]DRAGOMIRETSKIY K,ZOSSO D.Variational Mode Decomposition[J].IEEE Trans on Signal Processing,2013,62(3):531-544.
[17]石慧,陈培辉,张海珍.卷积神经网络在图片分类中层级结构效用分析[J].电脑编程技巧与维护,2022(1):132-135.
[18]CHEN J B,ZHANG D H,WU Z,et al.Contactless Electrocardiogram Monitoring with Millimeter Wave Radar[J].IEEE Trans on Mobile Computing,2022(99):1-17.
[19]TODA D,REN A Z,ICHIGE K,et al.ECG Signal Reconstruction Using FMCW Radar and Convolutional Neural Network[C]// 2021 20th International Symposium on Communications and Information Technologies,Tottori,Japan:IEEE,2021:176-181.
FMCW Radar Authentication Based on Chest Cavity Signal Samples