基于混合核深度适配网络的HRRP目标识别

王国帅,汪文英,魏 耀,郑玄玄,雷志勇

(南京电子技术研究所,江苏南京 210039)

摘 要: 为了改善基于卷积神经网络(CNN)的雷达目标识别模型的泛化能力,本文将深度适配网络(DAN)方法引入到高分辨一维距离像(HRRP)目标识别中。为了进一步提高DAN方法的性能,创新性地提出了混合核函数MMD代替传统DAN中的多核MMD,设计了基于混合核函数的MMD损失函数。本文使用服从瑞利分布的海杂波来干扰目标域数据。网络模型中使用一维CNN提取特征,使用混合核函数DAN来减少源域和目标域间特征分布的差异。实验表明,相对常规迁移学习方法和DAN方法,在海杂波影响下该方法可将目标域数据识别率提高15%左右,显著提高了模型的泛化性能和鲁棒性。

关键词: 深度迁移学习; 目标识别; 高分辨一维距离像; 混合核深度适配网络

0 引言

随着高分辨率宽带雷达技术的兴起,HRRP目标识别成为国内外研究的热点[1-2]。HRRP能够提供目标的距离结构信息,包括目标散射点沿雷达径向分布的强弱特征,数据容易获取和处理[3]。基于HRRP目标识别传统的方法包括支持向量机[4](SVM)、模板匹配[5]等。随着深度神经网络的飞速发展,其可以充分挖掘数据更深层次的特征,显著提高了目标识别精度[6-7]。张等[8]使用自编码器与SVM相结合的方式将HRRP识别率提高到95%,殷等[9]直接使用卷积神经网络将HRRP识别率提高98%左右。

为了了解深度学习的迁移性能。Yosinski等[10]研究表明CNN的卷积层得到的是目标的通用特征,迁移学习可有效提升深度网络的收敛速度,提高网络的泛化性能。微调作为最简单深度网络迁移方法被广泛地使用[11-12]。但是这个过程是需要目标域数据标签信息,而且不适用于源域数据与目标域数据分布不同的情况,因此深度网络自适应方法被提出来。Ghifary 等[13]在特征层添加了一层自适应层,但由于网络层数有限,表征能力差,并没有解决数据分布不同的问题。Tzeng 等[14]提出了DDC (Deep Domain Confusion),改善了当数据分布不同时深度网络的迁移性能。Long 等[15]提出了深度适配网络DAN,在DDC的基础上增加了自适应层的数量,并使用表征能力更好的多核MMD(Multi-Kernel MMD,MK-MMD)替代DDC中的MMD。该方法在Office-31数据集上效果比DDC高5%,使模型获得更优的泛化性能。

本文将DAN引入到HRRP目标识别中,并对其作了一些改进。实验中使用CNN提取目标特征,为了解决识别模型的泛化性能差的问题,在模型的全连接层增加自适应层,创新性地提出了混合核函数MMD方法来度量数据之间的差异。利用不同海情下的仿真数据进行实验,验证了该方法可以有效地提高识别模型在复杂环境下的识别率。

1 基于混合核深度适配网络的HRRP目标识别

泛化能力的好坏决定了神经网络对新鲜样本的适应能力。实验中发现当HRRP数据被外部环境、设备等影响时,基于CNN的HRRP识别模型不能有效地提取特征,识别率下降。为了提高识别模型在实际应用时对这些新鲜样本的识别能力,本文受迁移学习的启发,将DAN应用到HRRP目标识别来提高模型的泛化能力。

1.1 深度适配网络(DAN)

在迁移学习中,数据分为含有标签信息的源域数据Ds=,和没有标签信息的目标域数据Dt=。当源域和目标域的分布不同时,把利用Ds训练的网络模型迁移到目标域时会存在负迁移问题,识别性能显著下降。深度网络自适应是一类常用的迁移学习方法,此类方法通常通过在神经网络中添加自适应层实现。在自适应层可以度量源域与目标域之间的差异[16],并利用这些差异作为损失函数调整网络中可学习的参数,来提高神经网络的泛化能力。其目的是使源域和目标域深层特征分布趋于相同,如图1所示。

图1 深度网络自适应原理

DAN是深度网络自适应的一种方法,其结构如图2所示。它是在AlexNet模型上被提出来的。因为AlexNet的全连接层得到的特征更加的Task-specific[10],所以Long 等对AlexNet模型的fc6、fc7、fc8层都添加了自适应层。MMD距离作为深度网络自适应中最常用的度量方式,它可以将源域和目标域特征映射到再生希尔伯特空间,度量两个分布在再生希尔伯特空间中的距离。两个向量的MMD 距离大小可表示为

(1)

式中,mn分别为XY中元素的个数,k(·)为核函数。DAN方法采用了表征能力更好的MK-MMD,其中k(·)选择高斯核,表达式为

(2)

MK-MMD中σ可取多个值,MK-MMD距离是使用不同σ计算MMD距离的和。DAN使用分类损失和MK-MMD距离作为损失函数来更新参数,极大地提高了模型的泛化能力。

图2 DAN结构示意图

1.2 基于混合核DANHRRP识别模型

常规的DAN在训练时不需要Dt的类别信息,极大地提高了模型的迁移性能和泛化性能,但是它的核函数的选取比较单一。现有的基于深度学习的HRRP目标识别,当训练环境和应用环境发生变化时,会导致模型的识别性能下降。针对这些问题,本文提出了一种基于混合核DAN的HRRP识别模型,如图3所示。模型中包含了2个卷积层、池化层和3个全连接层,在fc3层和输出层分别加了自适应层,使用混合核MMD度量不同域间的分布差异。

图3 基于混合核DAN的HRRP识别模型

DAN最开始是针对AlexNet设计的,对二维图像迁移学习自适应问题有明显改善。本文使用一维CNN来提取目标特征。一维CNN不需要将HRRP转换成二维图像进行卷积,更有利于提取特征,而且训练的参数少,训练速度快,在实际应用时可以减少反应时间,提高效率。

MMD中核函数的选择极其重要,这会影响自适应层对模型的改善效果。核函数分为全局核函数(多项式核、线性核等)和局部核函数(高斯核),前者的泛化能力更好,而学习能力方面则是后者较好。为了结合两者的优势,提出了使用高斯核和多项式核相结合的混合核函数作为MMD的核函数。混合核MMD定义为

MMDl=a×MK-MMD(fl(Ds),fl(Dt))+

(1-aMMD(fl(Ds),fl(Dt))

(3)

等式右侧第一项是MK-MMD距离,第二项是使用多项式核计算得到的MMD距离,fl(Ds)和fl(Dt)分别是源域、目标域数据在第l层得到的特征,a的取值为0到1之间。其中多项式核为

k(x,y)=(xTy)d

(4)

该模型的损失函数定义为

(5)

等式右边第一部分代表的是Ds的分类损失,第二部分代表的是混合核MMD距离。在本模型中l为全连接层3和输出层。

损失函数中的分类损失和混合核MMD距离都是权重W和偏置b的函数。根据损失函数可以使用随机梯度下降的方法逐层更新模型的Wb,使用学习率η控制更新速度:

(6)

(7)

该模型使用常规海情下的数据作为源域,使用加入海杂波的数据作为目标域。通过不断地训练、迭代,使识别模型即使在杂波影响下也可以有效地提取到目标特征,从而达到更好的识别效果。

2 实验与分析

2.1 数据集

采用仿真的常规海情下的10型舰船的HRRP作为实验数据,每一型舰船数据有32 000帧,每帧包含256个距离单元(如图4所示)。实验中按照4∶6的比例将舰船HRRP数据分为 DsDt。从中随机挑选一批数据构成训练集和测试集,如表1所示。实验中通过对Dt加不同强度的服从瑞利分布的海杂波的方式构造不同海情的HRRP数据。Dt训练集没有标签。

表1 数据集划分 (帧)

数据集训练集测试集数据总数Ds2000,3000030000128000Dt2000,3000030000192000

(a) 第1型舰船

(b) 第4型舰船

(c) 第6型舰船

(d) 第10型舰船
图4 舰船HRRP

2.2 数据预处理

HRRP具有平移敏感性、幅度敏感性和方位敏感性,所以预处理是进行目标识别前重要的步骤。当目标相对于雷达平移时,目标在距离窗中的位置也会发生变化。为了减小平移敏感性的影响,文中选取重心对齐的方法对HRRP的时域信号进行对齐。某帧HRRP数据的重心W

(8)

式中,xn 为该帧数据中第n个距离单元的幅度值大小,N在本文中为256。计算得到重心后,将HRRP数据进行平移,平移长度d

(9)

选取包络对齐的方式对HRRP的频域信号进行对齐。

从图4可以看出,每一型舰船的HRRP幅度差异明显,为了减小幅度敏感性对目标识别带来的影响,对HRRP进行了能量归一化,随后对归一化后的数据进行减均值除以标准差的处理。这样做更能捕捉到HRRP数据中的个性而非共性,更有利于深度模型使用随机梯度优化方法更新参数,减少网络训练时的震荡,提高网络模型稳定性。

2.3 网络模型训练

实验中,HRRP数据的仿真和预处理,数据集的划分以及海杂波的仿真是通过MATLAB完成的。网络模型的构建和训练是在Pytorch框架完成的。实验中使用图3所示的模型,其参数设置如表2所示。每个卷积层使用的卷积核大小都是 1×5,卷积时不使用填充。训练时学习率为 0.003,学习率衰减率为0.99,dropout为0.3,批次大小是150。模型中的激活函数均为Relu函数。训练流程如图5所示。

表2 网络模型参数设置

层数参数设置输入层256卷积层1252,通道数:64,步长:1 最大池化126,步长:2卷积层2122,通道数:50,步长:1 最大池化61,步长:2全连接层13050全连接层2128 全连接层3100 输出层10

图5 训练流程

因为Dt所加的海杂波强度(SCR=15,20,25,30 dB)不同,所以要针对它们各训练一个识别模型。在训练过程中DsDt共享模型的参数,在fc3层将源域和目标域特征按照批次大小分开,并计算它们之间的混合核MMD距离。在输出层计算Ds的分类损失以及源域和目标域之间的混合核MMD距离。式(3)中a为0.6,式(5)中λl为0.5。利用计算得到的Loss不断调整、更新网络中的Wb,来达到减少域之间差异的目的。实验中MK-MMD的高斯核中σ的取值为:10-6,10-5,10-4,10-3,10-2,10-1,1,5,10,15,20,25,30,35,100,103,104,105和106。多项式核中的d为2。迭代次数满足一定条件,测试和记录Dt识别率。

2.4 特征可视化

可视化是理解CNN过程最直观的方法。从表2可知,卷积层2池化后的特征长度为61,卷积核的通道数是50,所以每一帧HRRP数据卷积后得到的特征张量为1×50×61。将Ds测试集输入到训练好的识别模型,并对第二层卷积,池化后的前3层特征进行可视化,如图6所示。从图中可以看出,卷积层对不同型号舰船HRRP数据提取了有明显差异的特征,增大了不同型号舰船的可分性。这也说明CNN通过不断迭代、学习,可以挖掘到目标更深层次的特征。

(a) 第1型舰船

(b) 第2型舰船

(c) 第6型舰船
图6 卷积层2前三层特征

2.5 结果分析

图7(a)在训练的时候没有使用域自适应方法,所以总的损失函数中只有分类损失没有MMD损失,图7(b)是使用混合核DAN方法的训练过程。从图中可以看出,在使用传统方法时,MMD损失可以达到2.5左右,此时Dt的识别率只有78%。混合核DAN 方法的加入将MMD损失减小到0.25左右,降低了源域和目标域特征间的分布差异,并把识别率提高到了90%,显著改善了识别模型的性能。图7(c)是对fc3层特征降成二维后(Tsne降维法)的可视化结果,源域中同种型号舰船的特征都比较集中,但是海杂波的影响使得目标域与源域分布不一致,模型提取Dt特征的能力降低。对比图7(c)中左右两图可以看出,混合核DAN方法改善了模型提取特征的能力。

从表3可看出,即使是很小的海杂波(SCR =30 dB)也会对模型的识别率有很大的影响,混合核DAN方法改善了不同强度海杂波下的Dt识别 率。且本文提出的方法优于原始的DAN方法,减小了引入的杂波对识别的影响。当海杂波较大时,该方法对识别率的提高在5%~10%;随着加入海杂波强度的减少,该方法可将识别率提高15%左右,识别率可以达到82%。在实验中还发现在使用DAN方法时,MMD损失的加入会对模型中共享的参数产生影响,但是这并不会降低模型对Ds的识别率。所以该方法在不改变Ds识别率的情况下提高了模型对含杂波目标的识别率,的确提高了模型对新鲜样本的识别能力。

(a) 使用传统方法时训练时的损失函数和准确率

(b) 使用混合核DAN训练时的损失函数和准确率

(c) 使用混合核DAN方法前后特征分布图
图7 训练数据大小为2 000,加入SCR=30 dB海杂波时训练过程(频域)

表3 时域上不同信杂比、数据量下的识别率 (%)

参数200030000传统方法DAN混合核DAN传统方法DAN混合核DAN15dB18.8522.4824.0319.3423.6725.1620dB32.1835.5937.7533.4036.2439.6625dB45.1358.2261.0346.8360.0562.4530dB65.8077.6181.4166.4778.6582.57Ds93.2196.43

表4是在频域上所测的不同条件下的目标域测试数据的识别率。通过与表3结果对比可以看出,在频域的识别率均优于时域的识别率。当海杂波强度较小时,使用混合核DAN方法识别率可以达到90%左右,比时域识别率高了8%。因此可以优先选择从频域角度出发对目标进行识别。如果Dt类别信息存在的话,还可以对混合核DAN模型再进行微调来达到更好的效果。在实际应用时,可以同时使用在不同强度杂波下训练的模型对目标进行识别,然后综合它们的识别结果,得出更可信的结论。总的来说,使用混合核DAN模型的识别效果要比只使用传统方法或DAN模型的效果要好。

表4 频域上不同信杂比、数据量下的识别率 (%)

参数200030000传统方法DAN混合核DAN传统方法DAN混合核DAN15dB22.1427.0229.8724.8728.0330.1520dB42.2554.6656.1445.7155.8557.4225dB58.1678.2781.8760.2180.5683.0430dB77.4886.9890.4578.9289.3291.78Ds94.7896.89

3 结束语

由于测量数据设备等各种因素的影响,再加上所测物体所处环境复杂多变等因素,需要高性能的算法来改善深度神经网络的泛化能力,提高复杂环境下HRRP目标识别的准确率。本文创新性地提出了基于混合核DAN的HRRP目标识别方法,与直接进行权重迁移或DAN方法相比,该方法显著提高了模型的识别率,提升了泛化能力和鲁棒性。此方法可以用来训练性能更好的识别模型。

参考文献

[1] LIU Wenbo,YUAN Jiawen,ZHONG Gong,et al. HRRP Target Recognition Based on Kernel Joint Discriminant Analysis[J]. Journal of Systems Engineering and Electronics,2019,30(4):703-708.

[2] 陈旺才. 基于特征提取的雷达HRRP目标识别技术研究[D].南京:南京航空航天大学,2019.

[3] 郭晨,简涛,徐从安,等.基于深度多尺度一维卷积神经网络的雷达舰船目标识别[J].电子与信息学报,2019,41(6):1302-1309.

[4] LONG Li,ZHENG Liu,TAO Li. Radar High Resolution Range Profile Recognition via Multi-SV Method[J]. Journal of Systems Engineering and Electronics,2017,28(5):879-889.

[5] 李龙. 基于高分辨距离像的雷达地面目标识别技术[D].西安:西安电子科技大学,2018.

[6] 胡显,姚群力,侯冰倩,等.基于卷积神经网络的合成孔径雷达图像目标识别[J].科学技术与工程,2019,19(21):228-232.

[7] 何松华,张润民,欧建平,等.基于卷积神经网络的高分辨率雷达目标识别[J].湖南大学学报(自然科学版),2019,46(8):141-148.

[8] 张建强,汪厚祥,杨红梅. 基于自编码神经网络的高分辨率距离像降维法[J]. 解放军理工大学学报(自然科学版),2016,17(1):31-37.

[9] 殷和义,郭尊华.一维卷积神经网络用于雷达高分辨率距离像识别[J].电讯技术,2018,58(10):1121-1126.

[10] YOSINSKI J,CLUNE J,BENGIO Y,et al. How Transferable are Features in Deep Neural Networks?[C]∥ Advances in Neural Information Processing Systems,[S.l.]: Curran Associates,2014:3320-3328.

[11] 张椰,朱卫纲. 基于迁移学习的SAR图像目标检测[J]. 雷达科学与技术,2018,16(5):533-538.

ZHANG Ye,ZHU Weigang.Target Detection in SAR Images Based on Transfer Learning[J].Radar Science and Technology,2018,16 (5):533-538.(in Chinese)

[12] 徐旭东,马立乾.基于迁移学习和卷积神经网络的控制图识别[J].计算机应用,2018,38(S2):290-295.

[13] GHIFARY M,KLEIJN W B,ZHANG Mengjie. Domain Adaptive Neural Networks for Object Recognition[J]. Pacific Rim International Conference on Artificial Intelligence,[S.l.]:Springer,2014:898-904.

[14] TZENG E,HOFFMAN J,ZHANG Ning,et al. Deep Domain Confusion: Maximizing for Domain Invariance[J]. arXiv,2014:1-9.

[15] LONG Mingsheng,CAO Yue,WANG Jianmin,et al. Learning Transferable Features with Deep Adaptation Networks[J]. Proceedings of the 32nd International Conference on International Conference on Machine Learning,2015,37(7):97-105.

[16] PAN S J,TSANG I W,KWOK J T,et al. Domain Adaptation via Transfer Component Analysis[J]. IEEE Trans on Neural Networks,2011,22(2):199-210.

HRRP Target Recognition Based on Mixed Kernel Deep Adaptation Networks

WANG Guoshuai,WANG Wenying,WEI Yao,ZHENG Xuanxuan,LEI Zhiyong

(Nanjing Research Institute of Electronics Technology,Nanjing 210039,China)

Abstract:In order to improve the generalization performance of radar target recognition model based on convolutional neural network (CNN),this paper introduces the deep adaptation networks (DAN) method into the high resolution range profile (HRRP) target recognition. In order to further improve the performance of DAN method,the mixed kernel MMD is proposed to replace multi-kernel MMD (MK-MMD) in DAN,and the MMD loss function based on the mixed kernel function is designed. In this paper,the sea clutter obeying Rayleigh distribution is used to interfere with target domain data. In the network model,one-dimensional CNN is used to extract features. The mixed kernel function DAN is used to reduce the difference of feature distribution between source domain and target domain. The experimental results show that compared with the conventional transfer learning method and DAN method,this method can improve the recognition rate of target domain data by about 15% under the influence of sea clutter. It greatly improves the generalization and robustness of the model.

Key words:deep transfer learning; target recognition; high resolution range profile (HRRP); mixed kernel DAN

DOI:10.3969/j.issn.1672-2337.2020.06.007

收稿日期: 2020-01-17; 修回日期: 2020-07-27

中图分类号:TN957.51;TP183

文献标志码:A

文章编号:1672-2337(2020)06-0618-07

作者简介

王国帅 男,1996年生,河南商丘人,在读硕士研究生,主要研究方向为雷达目标识别、机器学习。E-mail:17839937647@163.com

汪文英 男,1982年生,安徽安庆人,博士,高级工程师,主要研究方向为雷达目标识别与检测、参数估计。E-mail:xfcaswwy@163.com

魏 耀 男,1986年生,江苏南京人,博士,高级工程师,主要研究方向为雷达信息处理系统设计、目标检测与识别。

郑玄玄 女,1991年生,湖北潜江人,硕士,工程师,主要研究方向为雷达目标识别、雷达信号处理。

雷志勇 男,1976年生,湖北随州人,博士,研究员级高级工程师,主要研究方向为高频雷达信号处理。