基于多域特征融合的旋翼无人机分类识别

孙延鹏,李思锐,屈乐乐

(沈阳航空航天大学电子信息工程学院,辽宁沈阳 110136)

摘 要: 为提高雷达旋翼无人机的识别效果,本文提出一种基于多域特征融合的旋翼无人机分类方法。首先利用K波段连续波(Continuous Wave,CW)雷达观测多旋翼无人机,对采集到的雷达回波信号进行信号处理依次得到时频图、节奏速度图(Cadence-Velocity Diagram,CVD)和节奏频谱图(Cadence Frequency Spectrum,CFS),然后将时频图和CVD 图分别输入SqueezeNet 网络,CFS 数据输入一维卷积神经网络(1-D-CNN)提取回波信号在时频域、节奏速度域和节奏频率域的特征,最后将特征融合输入支持向量机(Support Vector Machine,SVM)进行分类。实测雷达数据处理的结果表明基于多域特征融合的旋翼无人机分类识别方法对三类旋翼无人机的分类准确率达到99.14%。

关键词:旋翼无人机分类;多域特征融合;SqueezeNet网络;支持向量机

0 引 言

近些年,由于无人机技术高速发展,旋翼无人机已逐步应用于各个行业领域。无人机便于携带、放飞条件便利,具备载物的功能,可以越过机场围界侵入机场内部,或者向机场围界内投掷物品。同时围绕因民用无人机“黑飞”导致的炸机伤人、侵犯隐私、扰乱航空秩序等不法行为时有发生。其中,扰乱航空秩序最为严重,可能造成的伤害和潜在的公共安全威胁最为严重、直接[1-2]。传统的小型旋翼无人机探测技术大致包括雷达探测、声波探测、光电探测、电视广播探测、无线电频谱探测等。其中雷达探测方法探测距离远、定位目标准确并且反应效率高,与其他探测方法相比具有明显的优势,因此雷达探测被广泛应用。由于小型旋翼无人机具有体积小、重量轻等特点,且飞行速度慢、高度低,传统的无人机检测方法会产生较大的盲点。随着深度卷积神经网络在计算机视觉领域的显著影响,越来越多的人将雷达探测和深度学习结合应用于无人机的图像分类和目标检测中[3]

微多普勒特征是研究旋翼无人机分类识别的热点,雷达探测能测量运动物体的微多普勒特性。微多普勒特征除了主体运动(例如转子叶片)外,还取决于物体移动和旋转的部分,因此是物体类型的特征[4-5]。现阶段多利用微多普勒特征处理小型无人直升机和多旋翼无人机的分类问题。文献[6]提出了采用单元平均恒虚警处理(Cell Average Constant False Alarm Rate, CA-CFAR)的方法检测距离多普勒图(Range-Doppler,RD)中的目标,通过提取频谱中的微多普勒特征来区分悬停无人机与地面杂波。全世界每年约发生一万多起鸟撞飞机导致的空中险情和空难,由于高空中飞行的鸟类体积大小和飞行速度与无人机相似[7-8],因此对于无人机和鸟类的分类也十分重要,文献[9]采用投影度量学习(Projection Metric Learning, PML)对鸟类和三类无人机的微多普勒特征进行识别评估。微多普勒特征在时域上显示多普勒信息,在频域表示为节奏速度图(Cadence-Velocity Diagram,CVD)。因此文献[10]为了同时对时域和频域上的无人机微多普勒信息进行分析,提出了一种将微多普勒特征和CVD 相结合的新图像,称为合并多普勒图像(Merged Doppler Image,MDI),传输到GoogLeNet网络中进行分类识别。

上述方法大多网络结构复杂且仅在单个或两个域中分析微多普勒特征,导致特征单一对后续分类工作产生影响,使准确率普遍偏低。本文采用三通道卷积神经网络(Convolution Neural Networks,CNN)同时提取多旋翼无人机的雷达回波信号特征的分类方法,分别在时频域和节奏速度域利用SqueezeNet网络进行提取信号特征,在节奏频率域利用一维卷积神经网络(1-D-CNN)提取信号特征,将三个域的特征进行融合,最后输入支持向量机(Support Vector Machine, SVM)中进行分类。该方法保障了信号特征的全面性,大大提高了识别准确率。

1 连续波雷达回波信号分类过程

连续波(CW)雷达回波信号分类过程主要包含三个步骤,如图1 所示。CW 雷达回波基带数据首先通过时频变换的方法将基带数据变换到不同的数据域,然后在不同的数据域中进行特征提取,最后根据特征提取的方法来选择对应的分类识别算法进行旋翼无人机的分类。

图1 CW雷达回波信号分类的主要步骤

2 时频变换

旋翼无人机的叶片旋转称为微动。它可以诱导返回信号的周期性和时变频率调制。这种周期信号会产生时变多普勒频移,称为微多普勒效应。这种微多普勒效应的特征取决于各种因素,如转速、叶片长度和叶片数量,这些因素可以提供微动小型无人机的动力学和物理规格信息。因此,由旋翼无人机引起的微多普勒特征将为旋翼无人机的检测和分类提供有用的信息。

短时傅里叶变换(Short-Time Fourier Transform,STFT)是一种在雷达回波信号处理中被广泛使用的时频变换方法,其实质是加窗的傅里叶变换。STFT 的过程是利用一个固定长度的窗函数h(t)与信号相乘,对信号进行截取,并对截取的信号进行傅里叶变换,假设非平稳信号在分析窗口的短时间间隔内稳定,通过窗函数h(t)在时间轴上的移动,逐段分析信号得到局部频谱的集合。雷达接收信号是待测旋翼无人机上的所有散射点的回波,因此接收到的雷达基带回波信号可以表示为

式中n 为移动散射体的总数,ai 为第i 个散射体的反射系数,φi(t)= 4πRi(t)/λ为第i个散射体的相位调制,η(t)为加性噪声。

基带回波信号y(t)的短时傅里叶变换数学表达式如下:

式中h(t)为短时傅里叶变换的窗函数,τ 为窗函数移动的位置,ω为多普勒频率。

在微多普勒特征分析中,微多普勒特征的频率是一个重要的因素,但是目标的微动在时频图中被重复地表示,因此本文引入了CVD 来分析时频图中频率特征。时频图呈现了时间维微多普勒频率的变化,为旋翼无人机分类识别提供了叶片转速、叶片长度等重要参数。而CVD 呈现了节奏速度域微多普勒频率的变化,提供了微动部件的运动状态、尺寸信息和频率信息,它不仅信息分布集中,还具有一定的抗噪能力[1],因此CVD 对于分析旋翼机回波信号也是有效的。周期性特征是旋翼无人机的显著特征之一,CVD 的生成是在时间轴上对时频图进行傅里叶变换,能准确地体现微多普勒特征的周期性特征。其公式如下:

式中f表示节奏频率。

CVD 在多普勒维度上求和可以得到无人机的节奏频谱图(Cadence Frequency Spectrum,CFS),然后进行归一化如图3(c)、4(c)、5(c)所示,它可以从整体上反映出无人机的微运动的频率变化趋势,同时求和操作可以从整体上削弱无人机回波信号中噪声的影响。CFS 是对于CVD 的一种压缩,将其压缩成一维向量,它不会为了提取出二维CVD 图中强点的相关信息就忽略其他较弱点的信息,因此就不会丢掉信号的变化趋势。其公式如下:

生成时频图、CVD和CFS的流程图如图2所示。

图2 时频变换流程图

本文主要实现三类旋翼无人机的分类,分别为直升机无人机、四旋翼无人机和六旋翼无人机,图3~5 所示为此三类无人机的时频图、CVD 图和CFS图。

图3 直升机无人机的时频图、CVD和CFS

图4 四旋翼无人机的时频图、CVD和CFS

图5 六旋翼无人机的时频图、CVD和CFS

3 旋翼无人机回波信号分类

3.1 基于时频图和CVD的特征提取

本文采用SqueezeNet 网络对三类无人机的时频图和CVD图进行特征提取。

在深度学习领域中卷积神经网络一直都是炙手可热的网络框架。但是大多数网络结构以追求提升识别精确率为主要目的,采用手段的主要方向包括加深网络结构和增强卷积模块功能,这导致了用于识别的网络较为复杂,需要的内存和算力也大大增加。文献[10]采用GoogLeNet 网络结构检测和分类旋翼无人机的MDI,而SqueezeNet作为一种轻量级卷积神经网络结构,不仅可以保持原有的模型精度,还能大大提高运算速度,更有利于分类工作。

SqueezeNet 创新点在于提出了Fire 模块,它与GoogLeNet 网络的Inception 类似。Fire 模块是由squeeze 卷积层和expand 卷积层两个部分构成的。squeeze 层是为了降低特征图维数,其采用1×1 卷积核对特征图进行卷积。expand 使用的Inception结构,包括1×1 和3×3 卷积,然后拼接。如图6 所示,SqueezeNet 打破了传统卷积神经网络的结构,将网络中的全连接层用全局平均池化层代替,模型参数减少,使得SqueezeNet 训练速度加快、计算效率提高,能有效提高识别性能。

图6 SqueezeNet网络结构

在SqueezeNet 网络的第一层输入227×227×3的时频图和CVD 图,经过训练后通过全局平均池化层(Global avgpool)输出特征向量,提取出其主要特征,为后续工作做准备。

3.2 基于CFS的特征提取

不同类型的无人机由于叶片转速不同,其雷达截面积(Radar Cross-Section, RCS)也不同,RCS决定了多普勒频率的能量和浓度由CFS 的峰值形状所表示,因此不同类型无人机的CFS 特征不同,可以利用CFS 的特征对无人机进行分类识别。同时,由于CFS 本质是一维数据,本文采用搭建1-DCNN 网络对其进行特征提取,与上述对图像的特征提取方法相比,该方法具有较低的计算复杂度。

如图7所示是自主构建的1-D-CNN 网络,它包括两个卷积层,每个卷积层后依次连接ReLU 激活函数和最大池化层,在两个相连的卷积层后连接一个全连接层,作为1-D-CNN 的最后一层,经过训练后通过全连接层(Full Connection)输出特征向量,提取出其主要特征。

图7 1-D-CNN网络结构

3.3 SVM分类器

特征被提取出来之后要选择合适的分类器对其进行分类和识别,本文采用SVM 作为分类器。SVM 是常用的二元分类器,为分离类之间的数据构造了一个最大边距超平面,因此是依据统计学理论和结构风险最小的一种最佳折中分算法,可以将问题化为一个求解凸二次规划的问题。SVM在学习复杂的非线性方程时提供了一种更为清晰、更加有效的方法。SVM 算法在进行机器学习时能够很好地解决小样本问题,简化常用的分类和回归等问题。当某些点到分类平面的距离过大时,SVM 能利用松弛变量的特点允许其不满足原先的要求,从而避免这些点对模型学习的影响。

本文将提取出的时频图、CVD 和CFS 特征级联作为预测变量,并用fitcecoc 函数调用多类支持向量机,使用经过训练的SVM 模型和从测试图像中提取的特征对测试图像进行分类。综上所述,本文构建的多域特征融合的旋翼无人机分类识别流程图如图8所示。

图8 多域特征融合旋翼无人机分类识别流程图

4 实测数据结果分析

4.1 实验场景及预处理

本次实验采用K 波段CW 雷达对无人机进行实际测量,其载频24 GHz,基带采样频率128 kHz,发射功率16 dBm,天线增益15 dBi。

实验中使用了三种旋翼无人机。它们是一架直升机无人机、一架四旋翼无人机和一架六旋翼无人机,如图9所示。训练数据由每架旋翼无人机在单独悬停时反射的雷达回波组成,各旋翼无人机与测试雷达之间的距离均为1 m,实验场景如图10 所示。每类无人机的测量重复20 次,持续时间为6 s,每个数据记录被分成20 个长度为0.3 s的片段,长度足以包含微型无人机反射的雷达信号的几个周期。

图9 无人机模型图

图10 实测场景图

采集到雷达回波信号后,需要对其进行预处理。信号预处理包括去均值和滤波操作,滤波操作主要是为了去除信号中的噪声,防止噪声对信号特征的提取造成干扰,影响实验结果。

4.2 特征可视化分析

为了对各个域特征以及融合特征进行了识别性能对比分析,本文通过t 分布-随机邻近嵌入(tdistributed Stochastic Neighbor Embedding,t-SNE)进行特征可视化,t-SNE 是高维数据可视化的工具,是随机近邻嵌入(Stochastic Neighbor Embedding,SNE)的变体,比SNE 更容易优化,通过减弱数据点向中心拥挤的趋势来获取更好的可视化效果。对于聚类来说,输入的特征维数是高维的,一般难以直接以原特征对聚类结果进行展示。而t-SNE提供了一种有效的数据降维模式,是一种非线性降维算法,最终在二维空间里展示聚类结果。如图11(a)、(b)、(c)所示分别是时频图、CVD 和CFS 特征的t-SNE 散点图,图11(d)所示是三域特征融合的t-SNE 散点图,对比发现三域特征融合后的聚类效果明显优于单个域的聚类效果,体现了多域特征融合方法的有效性。

图11 时频图、CVD、CFS及三域特征融合的t-SNE散点图

4.3 实验结果分析

为了证明多域特征融合分类的有效性,本文采用对比实验的方法进行分析,分别对时频图、CVD 和CFS 分类得到准确率,再与多域特征融合后的分类准确率作对比。每类无人机的数据总数为400 个,由于实验场景原因,部分数据没有记录上或混入其他目标,因此手动去除空数据和错误数据,最终每类无人机共有386 个数据,从中取出70%作为训练集,共有270 个数据,剩余30%作为测试集,共有116 个数据对训练好的网络进行测试。

表1~3所示分别为仅对时频图、CVD 和CFS提取的特征进行旋翼无人机分类的混淆矩阵,表4所示为本文提出的将3 个域特征融合后进行旋翼无人机分类的混淆矩阵。由表1~4 可以看出仅对时频图或者仅对CVD 图的特征进行分类已有高达约97%的准确率,但将时频域、节奏速度域和节奏频率域的特征进行融合再分类,准确率达到99.14%,有明显的提高。这是因为CVD 不仅可以分析微多普勒特征的频率,还不依赖与无人机旋翼的初始相位,避免了由于初始相位不同引起的误差,影响分类的准确率。但是四旋翼无人机和六旋翼无人机同样是由于多个叶片微动诱导的微多普勒效应,其频率变化复杂程度较为接近,导致两类无人机在仅对CVD 特征进行分类识别时错误率较高,为了解决上述问题,本文引入CFS 的特征。多普勒频率的能量和浓度由CFS 的峰值形状所表示,不同类型无人机由于RCS 不同,CFS 特征也不同,因此可以利用CFS 的特征对无人机进行分类识别。

表1 对时频图特征进行分类混淆矩阵

无人机类型直升机四旋翼六旋翼直升机116六旋翼1 1四旋翼0 113 4 0 2 111平均准确率:97.70%

表2 对CVD特征进行分类混淆矩阵

无人机类型直升机四旋翼六旋翼直升机115六旋翼1 0四旋翼0 113 5 1 2 111平均准确率:97.41%

表3 对CFS特征进行分类混淆矩阵

无人机类型直升机四旋翼六旋翼直升机115六旋翼3 4四旋翼0 113 7 1 0 105平均准确率:95.13%

表4 三域特征融合进行分类混淆矩阵

无人机类型直升机四旋翼六旋翼直升机116六旋翼0 0四旋翼0 115 2 0 1 114平均准确率:99.14%

综上所述,本文使用多域融合提取时频图、CVD 和CFS 的特征,将其融合送入SVM 中进行分类,能对雷达回波信号在时频域、节奏速度域和节奏频率域上的特征进行详细的描述,从多方面提取率旋翼无人机的特征,保证了特征的全面性和多样性,大大降低了由于特征单一引起的识别错误的概率。由表1~4 可见该方法的准确率远远高于单通道网络的准确率,同时也体现了三通道网络的优势。

4.4 不同无人机分类方法分析

为了验证本文所提方法在无人机分类方面的优势,本小结将现已提出的部分无人机分类识别的方法,用相同的数据集、相同的信号处理方式作对比实验。

文献[10]采用的方法是把微多普勒特征和CVD 相结合成新图像MDI,将其传输到GoogLeNet网络中进行分类识别。文献[11]是在多普勒轴上通过对CVD 相加求和提取出CFS,并将其送入Kmeans 分类器进行无人机分类识别。本文采用的方法是提取时频图、CVD 和CFS 的特征,进行特征融合后输入SVM 中进行分类识别。分别对以上方法进行实验,结果如表5所示。

表5 各分类方法准确率

准确率/%97.13 93.10 99.14分类方法MDI+GoogLeNet[10]CFS+K-means[11]本文方法

由表5可以看出,本文所提无人机分类方法的准确率明显高于其他分类方式,一方面是因为本文采用的网络是SqueezeNet网络,是一种轻量化的网络,它的体积小、计算量少、速度快并且拥有更高的精度,对于图像处理方面更有优势。另一方面是由于文献[10]和文献[11]的分类方法提取的特征都比较单一,会遗失一些微小特征影响分类效果,而本文所提分类方法提取了多个域的特征进行融合后再分类,保证了特征的全面性。

5 结束语

本文提出了一种基于多域特征融合的旋翼无人机分类识别方法,分别提取时频图、CVD 和CFS的特征,进行特征融合,通过SVM 分类器进行分类,最终实验准确率为99.14%。接下来的工作可以围绕着开集识别算法展开,识别无人机以外的其他目标如鸟类,提高无人机识别的实用性。

参考文献:

[1]吴仁彪,黄诚,王晓亮,等.MDI 训练样本集构建对雷达探测旋翼无人机分类的影响分析[J].信号处理,2021,37(6):1017-1033.

[2]RITCHIE M, FIORANELLI F, GRIFFITHS H, et al. Monostatic and Bistatic Radar Measurements of Birds and Micro-Drone[C]//2016 IEEE Radar Conference, Philadelphia,PA,USA:IEEE,2016:1-5.

[3]MENG Wei, TIA Meng. Unmanned Aerial Vehicle Classification and Detection Based on Deep Transfer Learning[C]//2020 International Conference on Intelligent Computing and Human-Computer Interaction, Sanya,China:IEEE,2020:280-285.

[4]DE WIT J J M, HARMANNY R I A, PREMEL-CABIC G.Micro-Doppler Analysis of Small UAVs[C]//2012 9th European Radar Conference, Amsterdam, Netherlands:IEEE,2012:210-213.

[5]张群,胡健,罗迎,等.微动目标雷达特征提取、成像与识别研究进展[J].雷达学报,2018,7(5):531-547.

[6]WANG Linlin, LI Yang, ZHANG Ning, et al. Micro-Doppler Based Detection of Hovering UAVs[C]//2019 IEEE International Symposium on Antennas and Propagation and USNC-URSI Radio Science Meeting, Atlanta, GA,USA:IEEE,2019:165-166.

[7]陈小龙,陈唯实,饶云华,等.飞鸟与无人机目标雷达探测与识别技术进展与展望[J].雷达学报,2020,9(5):803-827.

[8]陈小龙,南钊,张海,等.飞鸟与旋翼无人机雷达微多普勒测量实验研究[J].电波科学学报,2021,36(5):704-714.

[9]MATSUDA T, YATAKA R, GOCHO M, et al. Micro-Doppler Analysis under Various Aspect Angles for Small UAV Classification[C]//2019 IEEE Asia-Pacific Microwave Conference,Singapore:IEEE,2019:102-104.

[10]KIM B K, KANG H S, PARK S O. Drone Classification Using Convolutional Neural Networks with Merged Doppler Images[J]. IEEE Geoscience and Remote Sensing Letters,2017,14(1):38-42.

[11]ZHANG Wenyu,LI Gang. Detection of Multiple Micro-Drones via Cadence Velocity Diagram Analysis[J].Electronics Letters,2018,54(7):441-443.

Rotorcraft UAV Classification and Recognition Based on Multi-Domain Feature Fusion

SUN Yanpeng, LI Sirui, QU Lele
College of Electronic Information Engineering,Shenyang Aerospace University,Shenyang 110136,China

Abstract: In order to improve the recognition effect of rotorcraft UAV based on radar, this paper proposes a rotorcraft UAV classification method based on multi-domain feature fusion.Firstly,the K-band continuous wave(CW)radar is used to observe the multi-rotor UAV.The collected radar echo signals are processed to obtain the time-frequency diagram,cadence-velocity diagram(CVD)and cadence-frequency spectrum(CFS)successively.Then the time-frequency map and CVD are respectively input into SqueezeNet network,and the CFS data are input into one-dimensional convolutional neural network(1-D-CNN)to extract the features of echo signal in time-frequency domain, rhythm-velocity domain and rhythm-frequency domain. Finally, the features are fused into support vector machine(SVM)for classification. The results of radar data processing show that the classification accuracy of three types of rotorcraft UAV based on multi-domain feature fusion is 99.14%.

Key words: rotorcraft UAV classification; multi-domain feature fusion; SqueezeNet network; support vector machine

中图分类号:TN957.5

文献标志码:A

文章编号:1672-2337(2023)04-0447-07

DOI: 10.3969/j.issn.1672-2337.2023.04.012

收稿日期:2022-10-26;修回日期:2022-11-28

基金项目:国家自然科学基金(No.61671310);航空科学基金(No.2019ZC054004);辽宁省兴辽英才计划项目基金(No.XLYC1907134);辽宁省百千万人才工程项目基金(No.2018B21)

作者简介:

孙延鹏 男,1973 年生于山东聊城,博士,教授、硕士生导师,主要研究方向为航空电子系统、电磁兼容设计、雷达信号处理、嵌入式系统应用。

李思锐 女,1998 年生于辽宁丹东,硕士研究生,主要研究方向为雷达信号处理。

屈乐乐 男,1983 年生于河南焦作,博士,教授、硕士生导师,主要研究方向为雷达信号处理与成像技术。