雷达在自动驾驶领域具有关键作用,其全天候工作能力、远距离探测性能、高精度测量以及物体识别与分类能力,使其成为实现安全、可靠自动驾驶的关键传感器技术。雷达目标检测识别是雷达信号处理领域的研究热点,有着广泛的应用。雷达目标检测识别能侦测车辆、行人、障碍物等目标物体,帮助自动驾驶系统实现环境感知和决策,从而提高行驶安全性和可靠性。
传统的雷达目标检测采用时频分析方法对雷达回波信号进行处理,得到距离-多普勒图(Range-Doppler Map,RD图),然后采用恒虚警率检测方法(Constant False Alarm Rate, CFAR)[1]进行目标检测。恒虚警率检测方法实时性高、自适应性和可定制性强,但是采用滑窗方法复杂度高、参数调整困难且对环境敏感,无法适应环境复杂多变的自动驾驶应用场景。基于深度神经网络(Deep Neural Networks, DNN)的方法采用数据驱动的方式,能够对不同场景的距离-多普勒图进行特征自动学习,具有更好的泛化能力和场景适应性。
近年来,深度神经网络在雷达信号处理领域展现了强大的性能。文献[2]利用卷积神经网络(Convolutional Neural Network, CNN)在训练样本不足的条件下对合成孔径雷达(Synthetic Aperture Radar,SAR)图像实现目标检测。文献[3]使用图像目标检测和识别领域的Faster-RCNN方法,对复杂背景下的SAR图像进行车辆目标检测。文献[4]采用小规模沙漠背景下的SAR图像数据对Faster-RCNN网络进行迁移训练,一体化完成典型目标的检测与识别。文献[5]采用CNN对机载气象雷达进行目标检测。文献[6]采用神经网络关联剪枝方法,实现轻量级的SAR图像舰船检测。文献[7]采用半软标签导引网络结合网络自蒸馏方法,对SAR图像中的舰船进行检测。文献[8]利用深度学习和可解释网络,提高雷达微弱目标检测与识别的性能。文献[9]基于改进后的Faster RCNN方法,对距离-多普勒图中的目标进行准确检测。文献[10]基于生成对抗网络(GAN)的数据增强技术,生成用于训练雷达目标分类器的合成RD图。
本文提出了一种基于距离-多普勒图的雷达目标智能检测识别算法。算法采用两步式的检测识别框架,图像经过骨干网络提取得到特征图,将特征图输入到区域生成网络(RPN)得到感兴趣区域(ROI),在特征图上提取ROI对应的卷积特征,输入到分类网络和位置回归网络得到目标的类别信息和位置参数。本文的改进包括:
1) 采用多普勒极大值对ROI的卷积特征进行补偿,解决了CNN引入的多普勒平移不变性造成的目标多普勒误差;
2) 根据RD图的特点,本文提出了改进的位置回归损失函数,能够更精确地量化候选框和真实值之间的位置偏差,从而提高目标检测中的定位精度;
3) 本文提出了新的样本增强策略,缓解RD图中表观相似的样本类型值跳变引起的网络训练过程发散的问题,在样本数量有限的条件下提升了目标检测的性能。
实验证明,提出的算法能够实现快速准确的雷达目标检测识别。
假设雷达为调频连续波体制,雷达载频为fc,频率调制常数为K,则单个脉冲的发射信号为
假设仅有一个目标且不考虑多径效应,接收机接收到的对应一帧内第p个脉冲第n个采样点的回波信号为
式中,R为目标距离,c为光速,fd为多普勒频率,fs为采样率,T0为脉冲重复周期。从式(2)可以看出,在脉冲维(慢时间维)做快速傅里叶变换(FFT)即可得到多普勒频率fd,在快时间维做FFT即可得到目标距离R。因此,对回波信号先后做快时间维和慢时间维FFT即可得到RD图。
如图1所示为典型的场景图及对应的RD图。雷达放置在远离镜头50 m处。可以看到,由于场景中大部分目标为静止目标,因此多普勒维上能量集中在零频。
图1 典型的场景图和对应的RD图
本文提出的智能检测识别算法流程如图2所示,原始图像经过骨干网络后计算得到特征图。该模型原理如图2所示,输入图像经过骨干网络得到卷积特征图,输入到区域生成网络得到目标的感兴趣区域(ROI)。ROI池化网络输入ROI和卷积特征图,计算得到每个候选位置的卷积特征,将卷积特征输入到分类网络和回归网络得到目标属性和精确位置。
图2 智能检测识别算法流程图
速度是目标的固有属性,因此RD图在多普勒维不具有平移不变性。沿多普勒维计算ROI的最大值作为目标速度值,将速度值加入ROI的卷积特征中得到增强特征,提升分类准确率和定位精度。
深度神经网络是数据驱动的学习范式,要求数量充足且具有多样性的训练样本。从图1可以看出,相对于自然图像,RD图色彩单一、纹理简单,底层像素信息和高层语义信息稀少,因此需要进行样本增强提高训练样本的数量和多样性。
由于RD图大部分为简单的背景区域,因此本文首先采用如下方式进行样本增强:随机选择4张RD图样本,通过随机缩放、裁剪、排布的方式进行拼接,形成新的训练样本。这种方式不仅丰富了样本数据,而且随机缩放增加了不同尺寸、不同位置的目标,提升了网络的鲁棒性。在相同的批量大小(batch size)设置下,这种策略能够包含更多的有效训练样本,在不增加训练时间和GPU显存的条件下提高了等效的样本迭代次数。
如图3所示,图3(a)是存在1个行人时对应的RD图,图3(b)是存在1个骑行者时对应的RD图。可以看到,相对于自然图像能够区分各种类型的目标,RD图对不同目标的区分能力更弱。区域像素分布类似,对应的类别不同,这种类别值的突然畸变导致图2中的分类网络分支训练过程中梯度过大而无法收敛。因此,需要对目标的类型标签添加正则约束项来防止网络发散。本文将不同类之间的图像进行混合,从而扩充训练数据集来解决这个问题。通过以下方式构建虚拟训练样本:
图3 不同目标对应的RD图
式中,(xi,yi)和(xj,yj)是从训练数据中随机抽取的两个例子,λ∈[0,1]。式(3)和式(4)对类型标签添加线性约束,从而提高网络对类型识别的鲁棒性,消除含噪声样本和对抗样本带来的影响。
已有的目标检测方法多采用Smooth L1位置回归损失函数[11]:
式中,x为网络计算得到的目标位置和真实值之间的差异。Smooth L1损失函数收敛且可导,但是不能体现目标和真实值尺寸和重合度的差异。如图4所示,根据式(5)计算得到的图4(a)、图4(b)和图4(c)计算的位置损失相同,图4(c)的目标框和真实框最接近。
图4 不同的目标框和真实值
为了解决Smooth L1函数不能体现目标尺寸和重合度的问题,本文将目标的尺寸和重合度加入到损失函数中。
如图5所示,区域A为计算得到的目标框,区域B为目标真实框,根据A和B计算得到最小外接框区域C。则本文提出的位置损失函数为
图5 重合度计算示意图
式中,|A|表示计算区域A的面积,|A⋂B|、|A⋃B|分别表示区域A和区域B相交和相并区域的面积,|C\(A⋃B)|表示区域C中除了A和B以外区域的面积。可以看到,区域A和区域B尺寸和位置越接近,重合度越高,位置损失越小。由式(6)计算得到图4(a)、(b)、(c)三种情况对应的损失值分别为0.77、0.59和0.35,和直观的结果一致。
为了验证提出的算法的性能,本文在两个公开可用的雷达数据集CARRADA[12]和RADDET[13]上进行对比测试。
CARRADA数据集包括21.1分钟12 666帧数据,每一帧的脉冲数为64,每个脉冲内采样点数为256。因此,RD图的尺寸大小为256×64,目标类型包括汽车、骑行者、行人和背景4类。RADDET数据集包括总共10 158帧数据,每一帧脉冲数为64,每个脉冲内采样点数为256,RD的尺寸大小为256×64,目标类型包括行人、自行车、汽车、摩托车、公交汽车和卡车6类。
测试系统为Ubuntu18.04LTS,深度学习框架为TensorFlow2.4.1。对CARRADA数据集进行测试时,批大小设为4,学习率设为0.001,优化器选择Adam[14],训练轮数为150轮。对RADDET数据集进行测试时,批大小设为16,学习率设为0.001,优化器选择Adam,训练轮数为75轮。式(3)和式(4)中λ设为0.2。算法指标采用微软在PASCAL VOC数据集中提出的均值平均精度(mAP)、精确率(P)、召回率(R)、F1分数[15]。
如表1所示,在CARRADA数据集上采用样本增强策略mAP和P分别提升7.9%和11.9%,采用改进后的位置损失函数mAP提升6.3%,两者结合mAP和P分别提升7.9%和20.1%。如表2所示,在RADDET数据集上采用样本增强策略mAP和P分别提升3.6%和7.8%,采用改进后的位置损失函数mAP和P提升9.1%和2.6%,两者结合mAP和P分别提升12.7%和13.0%。
表1 CARRADA数据集结果(IOU=0.5)
改进方法Base Line样本增强改进损失函数样本增强+改进损失函数F1 0.57 0.60 0.59 0.59 mAP 0.63 0.68 0.67 0.68 P R 0.67 0.75 0.67 0.81 0.52 0.50 0.58 0.48
表2 RADDET数据集结果(IOU=0.5)
改进方法Base Line样本增强改进损失函数数据增强+改进损失函数mAP 0.55 0.57 0.60 0.62 P R 0.77 0.83 0.79 0.87 0.41 0.39 0.44 0.43 F1 0.52 0.53 0.55 0.56
采用样本增强策略相当于对样本空间进行正则化,学习到更加紧致精确的网络模型,精确率上升,召回率下降,与表中的结果一致。
为了进一步验证本文提出的算法的性能,在CARRADA和RADDET数据集上和Faster RCNN [16]以及DAROD[9]算法进行比较。如表3所示,在CARRADA数据集上,本文方法相对于Faster RCNN算法mAP提升4.6%,精确率提升9.5%,相对于DAROD算法mAP近似,精确率提升11.0%。如表4所示,在RADDET数据集上,本文方法相对于Faster RCNN算法mAP提升3.3%,精确率提升10.1%,相对于DAROD算法mAP近似,精确率提升13.0%。
表3 CARRADA数据集算法对比结果(IOU=0.5)
P R 算法Faster RCNN DAROD本文算法mAP 0.65 0.68 0.68 0.74 0.73 0.81 0.51 0.54 0.48 F1 0.60 0.61 0.59
表4 RADDET数据集算法对比结果
P R 算法Faster RCNN DAROD本文算法mAP 0.60 0.63 0.62 0.79 0.77 0.87 0.44 0.46 0.43 F1 0.55 0.57 0.56
图6为部分结果图。在图6(a)中,FasterRCNN在真实目标左侧出现虚警;DAROD在左侧和下边出现虚警;本文算法能正确检测并识别出目标。
图6 检测识别结果对比图(从左至右:摄像头图像、Faster RCNN、DAROD、本文算法)
在图6(b)中,Faster RCNN和本文算法均能够正确检测识别,DAROD出现了虚警。
在图6(c)中,Faster RCNN在行人和骑行者之间出现了汽车虚警,DAROD出现了大量行人虚警,只有本文算法能正确检测并识别目标。本文通过样本增强策略对网络进行正则化,能学习到更精确的模型,同时改进后的损失函数能对错误匹配的背景目标增加惩罚损失,因此能减少虚警,提高召回率。
针对雷达距离-多普勒图中的目标检测识别,本文提出了基于深度神经网络的智能检测识别算法。算法采用目标多普勒增强感兴趣区域特征表示,采用基于随机变换和标签混合的样本增强策略提升网络的鲁棒性,并且采用改进后的位置回归损失提高算法的位置计算精度。实验证明提出的算法能够实现准确的雷达目标检测识别。
本文研究监督学习条件下的雷达目标检测识别,如何利用半监督学习和非监督学习的方法提高检测识别性能,是未来探索的方向。
另外,如何根据检测识别结果结合数据关联和状态估计方法,形成稳定准确的多目标跟踪方法,值得进一步的探索和优化。
[1] 刘世琦,匡华星,杨昊成.基于CFAR-CNN的轻量级海上目标检测[J].雷达科学与技术,2024,22(3):312-320.
[2] 杜兰,刘彬,王燕,等.基于卷积神经网络的SAR图像目标检测算法[J].电子与信息学报,2016,38(12):3018-3025.
[3] 常沛,夏勇,李玉景,等.基于CNN的SAR车辆目标检测[J].雷达科学与技术,2019,17(2):220-224.
[4] 夏勇,田西兰,常沛,等.基于深度学习的复杂沙漠背景SAR目标检测[J].雷达科学与技术,2019,17(3):305-309.
[5] 喻庆豪,吴迪,朱岱寅,等.基于CNN的机载气象雷达气象目标检测方法[J].雷达科学与技术,2021,19(4):409-416.
[6] 张丽丽,王贤俊,屈乐乐,等.SAR图像舰船检测的神经网络关联剪枝方法[J].雷达科学与技术,2024,22(3):284-290.
[7] QIN Chuan, WANG Xueqian, LI Gang, et al.A Semi-Soft Label-Guided Network with Self-Distillation for SAR Inshore Ship Detection[J].IEEE Trans on Geoscience and Remote Sensing,2023,61:1-14.
[8] 陈小龙,何肖阳,邓振华,等.雷达微弱目标智能化处理技术与应用[J].雷达学报,2024,13(3):501-524.
[9] DECOURT C, VANRULLEN R, SALLE D, et al.DAROD:A Deep Automotive Radar Object Detector on Range-Doppler Maps[C]//2022 IEEE Intelligent Vehicles Symposium(IV), Aachen, Germany: IEEE, 2022:112-118.
[10] PARK S, LEE S, KWAK N.Range-Doppler Map Augmentation by Generative Adversarial Network for Deep UAV Classification[C]//2022 IEEE Radar Conference,New York,USA: IEEE, 2022:1-7.
[11] HUANG Zhaojin, HUANG Lichao, GONG Yongchao, et al.Mask Scoring R-CNN[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition,Long Beach,CA, USA: IEEE, 2019: 6402-6411.
[12] OUAKNINE A, NEWSON A, REBUT J, et al.CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations[C]// 2020 25th International Conference on Pattern Recognition, Milan, Italy:IEEE, 2021:5068-5075.
[13] ZHANG Ao, NOWRUZI F E, LAGANIERE R.RADDet:Range-Azimuth-Doppler Based Radar Object Detection and Recognition for Dynamic Road Users[C]// 2021 18th Conference on Robots and Vision, Burnaby, BC,Canada: IEEE,2021:95-102.
[14] ZHANG Zijun.Improved Adam Optimizer for Deep Neural Networks[C]// 2018 IEEE/ACM 26th International Symposium on Quality of Service,Banff, AB, Canada: IEEE,2018:1-2.
[15] EVERINGHAM M, GOOL L V, WILLIAMS C K I, et al.The Pascal Visual Object Classes(VOC) Challenge[J].International Journal of Computer Vision, 2010,88(2):303-338.
[16] REN Shaoqing, HE Kaiming, GIRSHICK R, et al.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[C]// IEEE Trans on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
An Intelligent Radar Target Detection Algorithm Based on Range-Doppler Map
WU Hao, LI Gang, CUI Xiongwen.An Intelligent Radar Target Detection Algorithm Based on Range-Doppler Map[J].Radar Science and Technology, 2025, 23(3):237-242.
吴 浩 男,博士研究生,高级工程师,主要研究方向为无人机探测反制、低空安全管控、多源信息融合。
李 刚 男,教授、博士生导师,主要研究方向为雷达信号处理、遥感、多源信息融合。
崔雄文 男,博士,高级工程师,主要研究方向为雷达信号处理、人工智能。