基于深度学习的雷达成像技术研究进展 *

张 云, 穆慧琳, 姜义成, 丁 畅

(哈尔滨工业大学电子与信息工程学院, 黑龙江哈尔滨 150000)

摘 要: 成像雷达具有全天时、全天候、远距离、高分辨对地观测的能力,使得雷达系统具有对观测区域进行成像和解译的能力。利用先进信号处理技术实现实时高分辨成像以满足图像解译的需求是雷达成像技术研究的重要目的和意义。随着深度学习的迅速兴起,深度学习网络在逆问题求解中得到广泛应用,也为提升成像质量和成像效率提供新的求解思路。本文基于雷达成像数学模型将雷达成像问题建模为成像逆问题,从逆问题求解的角度分析了基于深度学习的雷达成像方法的可行性。并综述了近年来雷达深度学习技术在合成孔径雷达(Synthetic Aperture Radar,SAR)、逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)、SAR运动目标成像等雷达成像领域的研究现状,在此基础上探讨了目前面临的亟待解决的问题,并对未来发展方向进行了展望。

关键词: 深度学习; 雷达成像; 逆问题; 卷积神经网络; 复数域卷积神经网络

0 引言

成像雷达作为一种以微波频段电磁波为探测信号的主动式信息获取系统,利用合成孔径或阵列技术实现二维高分辨成像[1-2],具有全天时、全天候、穿透能力强、远距离和高分辨对地观测的优势,能够提供丰富的地表电磁散射特性信息,使得雷达系统具有对观测区域进行成像和解译的能力,极大地提升了雷达的信息获取和感知能力,在军事和民用领域具有重要的应用价值和发展前景[3]。由于相干成像方式和合成孔径技术,雷达成像质量受到系统点扩散函数、相干斑噪声、响应旁瓣以及运动误差等因素的限制,为后续图像解译带来不利影响。因此,在一定的雷达体制和成像体制下,寻求先进信号处理技术提升成像质量以满足后续雷达应用的需求是雷达成像技术研究的重要目标。

传统雷达成像方法主要通过后向投影、匹配滤波及其改进的时域和频域方式实现对回波信号的线性变换。该方法不依赖于观测区域的任何先验信息,具有实现简单、普适性和稳健性高的优点。然而受到奈奎斯特采样定理和线性变换处理的限制,传统成像方法对信号采样要求严格,且分辨率受限于系统带宽,响应旁瓣较高。虽然雷达成像模型可以用线性模型表示,然而在实际雷达系统中存在平台运动误差、目标复杂运动以及复杂电磁干扰等非理想因素,使得回波观测数据与雷达图像之间存在复杂的非线性映射关系。因此基于线性模型的传统成像方法在成像质量提升方面难以取得较大突破[4]。随着压缩感知等稀疏重构理论的不断完善[5-7],基于稀疏信息的正则化雷达成像方法成为国内外学者的研究热点,已被广泛应用于各种雷达成像体制,如合成孔径雷达(Synthetic Aperture Radar,SAR)、逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)、穿墙雷达等。该方法将雷达成像问题建模为成像逆问题,利用观测场景的稀疏先验知识对解空间引入约束项,使得病态的求逆问题具有稳定的唯一解,通过稀疏重构优化算法实现对观测场景散射系数的求解[8-13]。相比于传统雷达成像方法,基于稀疏信息的正则化雷达成像方法是对回波信号进行非线性变换,利用先验约束使得成像结果脱离线性投影的解空间而趋向于更优的成像质量,具有回波数据量低、分辨率高、响应旁瓣低等优点。然而,由于稀疏重构优化算法需要多次迭代求解最优重构图像,算法计算量较大,成像效率较低;同时,该方法还需要建立显式观测模型,因此存在模型误差补偿能力差、复杂场景下稳健性差等问题[14-18]

近十年来随着深度学习的迅速兴起,深度学习网络在逆问题求解中得到广泛应用,如图像超分辨[19-20]、图像去噪[21]、图像复原[22]等光学图像逆问题,在图像重构质量和工作效率方面均取得优越表现,成为解决逆问题的主流方法。文献[19]和[23]证明稀疏重构优化算法可以看作一个深度卷积神经网络(Deep Convolutional Neural Network,DCNN),但不同于稀疏重构优化算法需要稀疏先验知识并建立显式观测模型,DCNN基于数据驱动通过监督学习的方式自动从数据中学习先验知识,以获得更加适用于观测场景的先验信息。通过网络训练去探索观测数据与重构图像之间复杂的非线性映射关系,自行建立隐式成像模型,以最大限度拟合输入与输出的精确映射关系,具有较强的适应能力[24-27]。同时,DCNN将优化过程和计算压力集中在网络训练阶段,训练完成后,基于DCNN的测试过程具有较高的工作效率。

因此,深度学习理论为突破当前雷达成像技术的瓶颈提供了全新思路。自2017年美国Yazici团队首次将深度学习应用于雷达成像领域以来[28],深度学习在雷达成像中的应用潜力得到广泛关注。目前,深度学习在成像雷达中的应用和研究主要包括提升成像质量,降低数据量以及提高工作效率等方面。本文首先围绕雷达成像机理和数学模型展开研究,探索不同成像方式下的图像质量智能增强的基础理论,为研究精准、可解释且高鲁棒性的雷达认知成像方法奠定理论基础。在此基础上综述近年来雷达认知成像技术在SAR、ISAR、SAR运动目标成像等领域的研究现状,并探讨目前存在的问题和未来发展方向,为后续的研究提供一定的思路。

1 雷达成像模型分析

本节以SAR成像为例推导并归纳各种成像体制下雷达成像的统一数学模型。SAR成像几何构型如图1所示,假设雷达发射线性调频信号:

(1)

式中,表示距离向快时间,Tp表示脉冲宽度,表示发射信号的包络函数,f0表示发射信号中心频率,γ为线性调频信号的调频率。接收信号为观测场景内所有目标回波的叠加,可以表示为

exp(-j4πR(tm,x,y))dxdy

(2)

式中,Ω表示波束照射区域,tm表示慢时间,A(x,y)表示位置坐标为(x,y)的目标的复后向散射系数,wa(tm)表示方位向包络函数,c为光速,λ表示波长,R(tm,x,y)表示位置坐标为(x,y)的目标的瞬时斜距。

图1 SAR成像几何构型

将观测场景沿XY轴进行离散化处理。为获得更加详细的目标信息,网格间隔应该尽可能小。离散化后的场景复后向散射系数可以用二维矩阵表示:

(3)

式中,NxNy分别表示观测场景离散化后在XY轴上的网格点数。由于回波信号是雷达对观测场景的电磁散射特性在有限频率和有效空间内的采样,回波信号在距离维和方位维也是离散的,即

exp(-j4πR(tm(k),m,n))

i=1,…,Nr,k=1,…,Na

(4)

式中,NrNa分别表示距离维和方位维的采样点数。为建立统一的雷达成像数学模型,公式(4)可以整理为矩阵形式:

sM×1=ΦM×NaN×1+cM×1

M=NrNa,N=NxNy

(5)

式中,

sM×1=

exp(-j4πR(tm(k),m,n))

ΦM×N=

aN×1=[A(1,1),…,A(Nx,1),…,

A(Nx,Ny)]T

(6)

式中:[·]T表示转置操作,sM×1表示维度为M×1的观测数据;aN×1表示维度为N×1的待求解雷达图像,即场景的复散射系数向量;cM×1表示系统噪声向量;ΦM×N表示维度为M×N的观测矩阵,表示观测数据与待求解图像之间的映射关系。

根据上述SAR成像过程推导,雷达成像过程可以建模为线性模型。然而,在实际雷达系统中存在平台运动误差、目标复杂运动以及复杂电磁干扰等非理想因素,使得实际观测数据与雷达图像之间是一种复杂的非线性映射关系,用观测函数T描述这种非线性变换关系,上述雷达成像数学模型修正为

sM×1=T(aN×1)+cM×1

(7)

根据雷达成像数学模型式(7),成像过程是利用雷达回波信号相位中隐含的目标位置和运动信息以及回波信号幅度中隐含的目标散射强度信息,通过信号处理的方式实现从回波信号到原目标场景的映射,反演出目标场景的散射系数和几何特征等信息,其本质属于逆散射问题。利用sT求解a的过程,即为逆问题的求解,可以通过观测函数的逆T-1描述该逆过程。由于物理限制,观测数据s的信息量是有限的,如有限的信号带宽和有限的相干积累时间。然而人们对场景信息精细化程度的需求是无限的,希望得到尽可能详细的场景信息,甚至大于观测数据能够提供的信息量。因此,雷达成像过程通常是一个病态的逆问题,即N>M。值得注意的是,对于SAR/ISAR成像,在给定成像体制和系统参数的情况下可以得到显式的观测函数T。对于SAR运动目标成像,瞬时斜距R(tm,x,y)与目标未知的运动参数有关,因此T-1中包含未知参数,该逆问题升级为盲逆问题。传统成像方法和基于稀疏信息的正则化成像方法均需要建立显式观测模型,因此在求解盲逆问题时,首先通过参数估计方法实现对未知参数的估计以得到显式观测函数,将盲逆问题退化为逆问题,然后通过传统成像方法或稀疏重构优化算法实现对逆问题的求解。

由于最小二乘估计方法无法求解病态的逆问题,传统的雷达成像方法是对最小二乘估计中的不可逆或者不稳定部分进行了近似处理,成像结果可以表示为相当于对最小二乘估计值(THT)-1THs左乘THT,近似处理使得成像结果具有一定的主瓣宽度和较高旁瓣[4]。基于稀疏信息的正则化成像方法则是在最小二乘估计的基础上引入约束项使得病态的求逆问题具有稳定解,通常利用观测场景或其在某个变换域的稀疏先验信息对解空间进行约束,即l1范数约束,加之观测加性噪声的影响,雷达成像问题转换为如下优化问题:

(8)

式中,表示信号al1范数,λ为正则化系数。基于稀疏先验信息,然后利用稀疏重构优化算法通过多次迭代求解最优重构图像,实现病态逆问题的求解,以提升成像质量。然而,该方法计算量较大,成像效率较低;同时,该方法还需要建立显式观测模型,且需要针对不同应用背景人工微调优化算法的超参数,因此存在模型误差补偿能力差、复杂场景下稳健性差等问题。

2 深度学习对逆问题的求解

上述两类雷达成像方法是基于模型驱动的方法,成像过程简单易于实现,仅需要单次观测数据,然而需要显式观测模型,对复杂非线性成像模型处理能力较差。为解决该问题,基于数据驱动的深度学习方法为复杂逆问题的求解提供新的思路,构建深度学习网络以描述观测模型,通过监督学习的方式去探索训练样本中隐含的复杂非线性映射关系。基于深度学习的雷达成像方法采用端到端的训练系统,本质上是求解预测图像和真实图像之间的损失函数最小化问题:

(9)

式中,表示信号al2范数,表示预测图像,函数gθ(·)表示网络参数为θ的深度学习网络,等价于观测函数的逆T-1。以目前广泛应用且取得较好成像效果的卷积神经网络为例,单个卷积层[29]可以表示为

ak=σ(wk*ak-1+bk)

(10)

式中,ak-1表示网络第k层的输入,*表示卷积运算,wkbk分别表示第k层的权重和偏置,即与雷达成像体制、系统参数、观测函数以及场景先验信息相关的待学习网络参数,σ(·)表示非线性激活函数[30-31],为网络引入非线性因素,使其能够有效解决非线性问题,提升网络的学习能力[32]。对于由多个卷积层组成的深度卷积神经网络,输入的观测数据在前向传播的过程中不断迭代进行线性和非线性变换,最终得到最优重构图像。该过程是与迭代软阈值算法(Iterative Soft Thresholding Algorithm,ISTA)、交替方向乘子算法(Alternating Direction Method of Multipliers,ADMM)等迭代优化算法实现过程相近的[33-35],与之不同的是深度学习网络具有更强的灵活性。

基于深度学习网络的雷达成像示意图如图2所示。观测数据作为网络的输入数据,是影响深度学习网络性能的重要因素之一。在SAR/ISAR成像中,观测数据可以是雷达的原始回波数据,也可以是成像过程中的中间处理结果,如一维距离像甚至传统成像算法预处理后的粗成像结果。在SAR运动目标聚焦成像网络中,观测数据可以为SAR原始回波信号,也可以是成像预处理甚至杂波抑制预处理的SAR图像。由于原始回波数据尚未进行二维匹配滤波,由数据域到图像域的映射过程比较复杂,所需感受野较大,因此训练成本较大。为减轻训练压力,可以首先对原始数据进行传统成像预处理得到粗成像结果,将粗成像结果作为初始图像,输入到成像网络中进行图像精确重构。相比于原始数据,该方法的训练成本更小。此外,由于卷积层稀疏连接和权值共享的特点,深度卷积神经网络更加适合于描述图像域之间的函数映射关系,更方便对图像特征进行提取,因此成像精度更高。然而,由于对原始数据进行了一定的预处理,在预处理过程中会产生不可逆的部分信息丢失问题,对重构结果产生一定影响。例如,在运动目标聚焦成像中,当利用杂波抑制预处理后的SAR图像作为观测数据时,慢速运动目标信息会丢失,无法对慢速目标进行聚焦成像。为实现慢速目标检测与聚焦成像,需要将多通道SAR成像处理后的图像作为观测数据,以保留慢速目标信息。因此,需要在数据保留程度和训练成本之间进行权衡,选择最合适的观测数据作为成像网络的输入。经过深度学习网络成像处理后,输出的预测图像可以直接为高质量雷达图像,也可以是时频分析图,或者在某变换域下的成像结果,进而转换为最终的高质量雷达成像结果。

图2 基于深度学习网络的雷达成像过程示意图

通过设计网络框架实现对输入数据的灵活处理,并利用给定的训练样本对网络进行训练。在训练过程中,将原本固定的观测模型和先验信息转变为可学习的网络参数,并计算预测图像和真实图像之间的损失函数,通过反向传播算法和基于梯度的参数优化算法不断更新优化网络参数,最终得到网络参数最优解。大量且合适的训练样本集是影响深度卷积神经网络性能的关键因素。然而,目前缺乏大量的雷达实测数据,且难以获取实测数据的真实图像a。因此,在实际应用中难以通过实测数据对网络模型进行训练。为验证深度学习方法在雷达成像应用中的有效性,现有文献通常基于雷达成像模型对训练样本对进行仿真,生成仿真训练集,即观测数据和真实图像。在给定成像体制和系统参数的情况下,通过设置不同的场景目标参数,基于式(4)生成观测数据。对于真实图像的生成,根据式(4),当发射信号包络函数和方位向包络函数均为矩形窗时,经过距离向和与目标参数相对应的方位向匹配滤波处理后,每个点目标的理论点散布函数为二维sinc函数,因此,真实图像可以定义为

a(x,R)=p(x,R)*|A(x,R)|

(11)

式中,xR分别表示目标的方位向和距离向位置。理论点散布函数p(x,R)为二维sinc函数:

p(x,R)=sinc(x/ρa)sinc(R/ρr)

(12)

式中,ρaρr分别表示方位向分辨率和距离向分辨率,从而根据式(11)生成真实图像。

在成像网络训练完成后,该网络框架可以看作一个成像处理器,自行建立适用于成像体制和成像场景的隐式成像模型,实现从观测数据到重构图像的精确映射,有效提升雷达成像方法的准确性和稳健性。在成像(测试)过程中,对任意输入数据,经过成像网络处理后输出重构高质量雷达图像。因此,成像网络将优化过程和计算压力集中在网络训练阶段,训练完成后网络的成像过程具有较高的工作效率。

3 基于深度学习的雷达成像研究现状

3.1 基于深度学习的SAR成像

2017年,美国 Yazici团队首次将深度学习应用于雷达成像领域,提出基于递归神经网络(Recurrent Neural Network,RNN)的雷达成像方法,将RNN层作为ISTA的一个步骤[28],利用ISTA的迭代特性将其映射成RNN,使得网络具有可解释性,验证了基于深度学习的SAR成像方法的可行性。2018年,该团队将RNN结构与解码器级联组成循环自动编码器,实现被动SAR图像重构[36]。2020年,南京航空航天大学张方正团队针对传统后向投影方法成像效率低的问题,提出基于卷积神经网络的快速后向投影成像方法[37],以低分辨率的后向投影图像作为网络的输入,利用卷积神经网络重构高分辨率的SAR图像。在实验中通过仿真生成10 000个训练样本对,并利用仿真数据验证网络的有效性,该网络能够有效降低算法复杂度和成像时间,同时具有较强的抗噪声能力。2020年,电子科技大学钱江团队也将深度学习网络应用于SAR成像中,首先利用传统距离多普勒(Range Doppler,RD)算法进行预处理得到粗成像结果,然后利用卷积神经网络模型获得高质量SAR图像,实现高分辨雷达成像[38]。通过仿真的方法生成训练数据集,并利用实测数据验证成像网络的有效性,可以看出经过网络模型增强后的SAR图像,阴影处散斑强度减弱,且具有较低的图像熵,因此其图像聚焦效果更佳。

然而,上述研究尚未考虑雷达图像的复数域形式,将图像的幅度信息直接输入到深度网络中,忽略了数据的相位信息。深度神经网络作为实数网络模型,主要针对实数域光学图像。不同于光学图像,雷达数据是包含幅度信息和相位信息的复数域数据,相位信息是雷达数据的重要组成部分。对于SAR复数域图像,图像相位中包含丰富的场景目标位置和运动信息,对场景成像处理具有重要作用。通常将处理复数域数据的卷积神经网络分为两类,分别是分离复值卷积神经网络和复数域卷积神经网络(Complex Valued CNN,CV-CNN)。

分离复值卷积神经网络将复信号分解为实部和虚部,将其作为两个独立的通道输入到深度学习网络中,有效避免复数域求导问题。虽然该网络利用复数域数据作为输入,但网络模型实质上仍是实值卷积神经网络,整个网络的前向传播和反向传播过程依然在实数域进行。2018年,西安电子科技大学刘艳提出基于深层自编码的SAR复数域信号重构网络,实现SAR回波信号的稀疏观测与重构,从而实现SAR稀疏成像。在此基础上提出基于生成对抗网络(Generative Adversarial Network,GAN)的端到端SAR成像网络,通过仿真生成10 000个图像对,由成像结果可以看出基于GAN的成像方法能够在降低观测数据量的同时对纹理边缘等细节恢复更优[39]

不同于分离复值卷积神经网络,CV-CNN将包括特征图和网络参数在内的整个网络扩展到复数域,不仅把复数域信号作为网络的输入数据,还在整个网络中传播相位信息[40],并使用复数域反向传播算法求解网络复值参数的梯度,进而通过基于梯度的参数优化算法实现网络参数更新[41-42]。2010年, Haensch首次提出CV-CNN,并将单个复值卷积层结构应用于极化SAR图像分类中,实验结果表明该结构优于标准复值神经网络[43]。2017年,复旦大学徐丰团队提出基于CV-CNN的极化SAR图像分类方法,并推导了复数域反向传播算法[44]。2020年,哈尔滨工业大学化青龙将CV-CNN应用于SAR舰船目标识别中,通过仿真和实测数据证明复数域网络优于实数域网络[45]。在SAR成像应用中,2021年,北京理工大学丁泽刚团队基于SAR混合回波模型提出参数化高分辨成像网络,将多分量ADMM重构优化算法映射为一个展开的复数域深度神经网络,通过训练成像网络自行学习网络复数域参数,具有较高的成像质量和工作效率[46]

3.2 基于深度学习的ISAR成像

近年来,深度学习网络在ISAR成像应用中取得较好的成像效果。2019年,燕山大学史洪印团队提出基于U-net网络的ISAR成像方法,将传统成像结果分解为实部和虚部,将其作为两个独立的通道输入到成像网络中。通过对坐标点的仿真得到ISAR多散射点目标回波的成像结果和真实图像,从而得到2 000个训练集数据。相比于传统RD方法,该网络在噪声较高和回波数据缺失的非理想条件下均能够获得较高的成像质量和成像速度[47]。2019年,国防科技大学高敬坤等人首次将CV-CNN应用于ISAR成像,实现ISAR图像质量增强[48-49],随后他们团队先后提出基于深度残差网络ResNet[50-51]和GAN[52]的ISAR高分辨成像,均通过仿真生成训练集,即低分辨与高分辨ISAR图像对。图3表示用于ISAR高分辨成像的生成对抗网络框架,利用10 000个样本对网络进行训练。图4为基于传统方法与深度学习方法的ISAR高分辨成像结果,相比于传统FFT和SPGL1稀疏重构方法,基于深度卷积神经网络的成像方法具有更优的成像质量,分辨率显著提高,其中,生成对抗网络重构的高分辨图像具有更低的旁瓣,且能够精确重构弱散射点和目标细节。2020年,南京航空航天大学朱岱寅团队利用全卷积神经网络实现ISAR成像[53],然而该网络只利用了雷达数据的幅度信息,忽略了其相位信息。随后他们提出基于CV-CNN的ISAR稀疏成像方法[54],值得注意的是,观测数据和真实图像由ISAR实测数据生成,ISAR数据由C波段的地基ISAR采集,对运动补偿后的ISAR数据进行两维随机降采样,降采样率设置为10%,对降采样数据进行二维FFT处理,从而获取观测数据。对运动补偿后的ISAR数据采用RD方法进行聚焦成像,从而获取高质量的真实图像,共生成600个实测训练样本对。由测试结果可以看出,该成像网络在较少观测数据条件下仍具有较高的成像质量和成像效率。2021年,电子科技大学钱江团队将深度学习网络应用于ISAR机动目标成像中,通过设计合适的卷积神经网络模型生成高分辨率的时频分布图像,并将其融合到ISAR机动目标成像方法中,从而提高ISAR机动目标的成像分辨率[55]。在本实验中通过仿真生成500个低分辨与高分辨时频分布图像对,对成像网络进行训练,通过仿真和实测数据说明该成像网络的成像质量优于传统RD方法和时频分析方法。

图3 ISAR高分辨成像的生成对抗网络框架

图4 暗室测量飞机模型的ISAR高分辨成像结果

3.3 基于深度学习的SAR运动目标聚焦成像

受到运动目标参数影响,在SAR图像中运动目标图像是散焦的,且不同于SAR静止场景成像模型仅依赖于成像体制与系统参数,运动目标的成像模型还与目标未知的运动参数有关。同时,背景杂波和噪声也使得运动目标聚焦成像更加困难。因此,SAR运动目标聚焦成像过程可以建模为盲逆问题。传统方法需要利用参数估计方法实现目标参数估计以构建观测矩阵,将盲逆问题退化为逆问题,然后通过匹配滤波或稀疏重构算法实现对逆问题的求解。

基于深度学习的多通道SAR运动目标成像过程如图5所示,多通道SAR系统接收到由成像场景后向反射的多通道回波信号,对回波数据进行多通道SAR传统成像甚至杂波抑制预处理,处理后的观测数据中包含对消幅度、干涉相位、多通道空时谱、单目标线性调频信号、多目标多分量线性调频信号等信息,对运动目标成像具有重要作用。本课题组分别设计SAR运动目标成像网络[56]和复数域慢速运动目标成像网络[57]去探索观测数据与运动目标图像之间的映射关系。

图5 基于深度学习的多通道SAR运动目标成像过程示意图

在SAR图像中运动目标被淹没在杂波中,难以直接获取目标信息。因此,在SAR运动目标成像网络中,将多通道杂波抑制处理后的SAR散焦复图像作为网络的输入,以提高信杂噪比。DeepImaging网络框架如图6所示,该网络模型是全卷积层架构,使用基于残差学习策略的残差单元[58],使得正向信息传播和反向梯度传播更加高效。由于SAR实测运动目标成像训练集的缺乏,在本实验中基于运动目标成像模型对训练样本对进行仿真,生成6.6×105个仿真运动目标图像对,即运动目标散焦图像和真实目标聚焦图像,其包含各种运动目标状态。利用该训练样本对网络DeepImaging进行训练。DeepImaging训练完成后,自行完成隐式成像模型和成像过程的构建,实现观测数据与聚焦图像之间的精确映射。在成像(测试)过程中,对任意输入数据,经过网络处理后输出聚焦运动目标图像,实现运动目标聚焦成像和剩余杂波抑制。通过仿真实验和Gotcha实测数据验证所提成像网络的有效性。相比于传统成像方法,DeepImaging具有更低的图像熵和更高的输出信杂噪比,且背景杂波得到滤除。因此,DeepImaging具有更优的运动目标重聚焦效果和剩余杂波抑制能力。同时,相比稀疏重构算法,该方法的工作效率更高。

图6 DeepImaging网络架构

由于DeepImaging网络的输入观测数据为杂波抑制后SAR图像,其成像结果依赖于多通道杂波抑制结果,对径向速度较小的慢速目标和沿航向运动目标难以检测,更加无法得到聚焦的运动目标图像。为实现慢速目标检测与成像,将杂波抑制任务进一步集成到深度学习网络中。为了充分利用SAR复图像中的相位信息,提取运动目标与静止杂波之间微小的相位差异,将复数域卷积神经网络引入到运动目标成像领域,提出复数域成像网络CV-GMTINet[57],网络框架如图7所示,该网络结合残差网络[58]与密集网络[59]的优点,在局部和全局等多个角度引入密集连接和残差学习的思想,充分利用多层次特征,并提高特征与梯度的传递效率,缓解梯度消失问题[60-61],最终实现多通道杂波抑制和慢速多目标聚焦成像。本实验利用星载TerraSAR-X实测数据验证所提网络的有效性。由于在实测数据集中实测运动目标样本数较少,基于运动目标信号模型对运动目标进行仿真,以不同的信杂噪比加入到实测SAR图像块中,实现运动目标样本的扩充,共生成1.2×106个仿真运动目标图像对,其包含各种杂波类型和目标状态。图8为TerraSAR-X某场景测试结果,在该场景中包含8个运动目标A1~A8,其中目标A4和A5是实测运动目标,其他目标为仿真目标,目标A1和A8只有切向速度。由于DPCA杂波抑制方法无法检测径向速度为0的运动目标,因此DPCA-Chirplet-BCS[18]和DPCA-DeepImaging均无法检测到目标A1和A8,其他检测到的运动目标具有较好的聚焦效果,相比于DPCA-Chirplet-BCS,DPCA-DeepImaging的背景杂波抑制能力更强。实数域网络DeepGMTI实现所有运动目标的检测与聚焦成像,然而存在1个虚假目标,复数域成像网络CV-GMTINet的成像结果与真实图像更加吻合,具有最优的成像质量和杂波抑制能力。

图7 CV-GMTINet网络架构

图8 多通道SAR运动目标成像结果

4 结束语

本文围绕雷达成像机理和数学模型展开研究,将雷达成像问题建模为成像逆问题,以探索不同成像方式下的图像质量智能增强和分析的基础理论,为研究精准、可解释且高鲁棒性的雷达认知成像方法奠定理论基础,并阐述了深度学习在SAR、ISAR、SAR运动目标成像等雷达成像领域的应用现状。尽管深度学习模型(DCNN,CV-CNN,RNN,GAN等)在成像质量和工作效率方面具有显著进步,然而该方法仍处于实验阶段,将其应用于实际成像过程中仍存在关键技术需要进一步深入研究。

1) 基于小样本甚至零样本学习的雷达成像方法研究。现有基于监督学习的深度学习模型对训练样本数量的依赖性较高,而目前尚无已标注的雷达成像实测数据集,尤其未知非合作目标的数据更加难以获取,现有的网络训练过程多数利用仿真数据,然而,仿真数据与实测数据仍存在一定的差异性,同时数据的不充足也进一步影响成像的性能。基于模型微调、数据增强以及迁移学习等的小样本学习模型和算法受到广泛关注,目前小样本学习研究主要集中在光学图像分类、字符识别等任务中,难以直接应用于雷达成像领域。因此,未来需要研究适用于雷达认知成像任务的小样本甚至零样本学习模型,以降低成像网络对训练样本的需求,使其具有更广阔的应用价值。

2) 基于深度学习的雷达成像泛化能力的研究。目前深度学习网络针对单一数据集具有较好的成像效果,难以在未训练的情况下实现其他数据集成像。雷达成像模型中包含雷达成像体制、系统参数以及目标参数等多个可变参数,不同观测任务下的成像模型存在明显区别,使得观测数据与雷达图像之间的映射关系容易发生变化,导致深度学习模型的鲁棒性和泛化能力较差。因此,未来还需要结合脑认知思想改进网络模型和训练方式,以提高基于深度学习的方法的适应性,使之成为未来雷达成像领域主流方法。

参考文献

[1] MOREIRA A, PRATS-IRAOLA P, YOUNIS M, et al. A Tutorial on Synthetic Aperture Radar[J]. IEEE Geoscience and Remote Sensing Magazine,2013,1(1):6-43.

[2] 田彪, 刘洋, 呼鹏江, 等. 宽带逆合成孔径雷达高分辨成像技术综述[J]. 雷达学报,2020,9(5):765-802.

[3] HERSEY R K, CULPEPPER E. Radar Processing Architecture for Simultaneous SAR, GMTI, ATR, and Tracking[C]∥ 2016 IEEE Radar Conference, Philadelphia, PA, USA: IEEE,2016:1-5.

[4] 杨俊刚. 利用稀疏信息的正则化雷达成像理论与方法研究[D]. 长沙:国防科技大学,2013.

[5] DONOHO D L. Compressed Sensing[J]. IEEE Trans on Information Theory,2006,52(4):1289-1306.

[6] CANDÉS E J, ROMBERG J K, TAO T. Stable Signal Recovery from Incomplete and Inaccurate Measurements[J]. Communications on Pure and Applied Mathematics, 2006,59(8):1207-1223.

[7] CANDÉS E J. The Restricted Isometry Property and Its Implications for Compressed Sensing[J]. Comptes Rendus Mathematique,2008,346(9/10):589-592.

[8] TROPP J A, GILBERT A C. Signal Recovery from Random Measurements via Orthogonal Matching Pursuit[J]. IEEE Trans on Information Theory,2007,53(12):4655-4666.

[9] FIGUEIREDO M A T, NOWAK R D, WRIGHT S J. Gradient Projection for Sparse Reconstruction: Application to Compressed Sensing and Other Inverse Problems[J]. IEEE Journal of Selected Topics in Signal Processing,2007,1(4):586-597.

[10] CHEN S S, DONOHO D L, SAUNDERS M A. Atomic Decomposition by Basis Pursuit[J]. SIAM Review,2001,43(1):129-159.

[11] JI S H, XUE Y, CARIN L. Bayesian Compressive Sensing[J]. IEEE Trans on Signal Processing,2008,56(6):2346-2356.

[12] BABACAN S D, MOLINA R, KATSAGGELOS A K. Bayesian Compressive Sensing Using Laplace Priors[J]. IEEE Trans on Image Processing,2010,19(1):53-63.

[13] TIPPING M E. Sparse Bayesian Learning and the Relevance Vector Machine[J]. Journal of Machine Learning Research,2001(1):211-244.

[14] SHEN F F, ZHAO G H, LIU Z C, et al. SAR Imaging with Structural Sparse Representation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2015,8(8):3902-3910.

[15] STOJANOVIC I, KARL W C. Imaging of Moving Targets with Multi-Static SAR Using an Overcomplete Dictionary[J]. IEEE Journal of Selected Topics in Signal Processing,2010,4(1):164-176.

[16] 杨磊, 岳云泽, 李埔丞. 多地面运动目标大动态SAR成像稀疏表示[J]. 西安电子科技大学学报,2019,46(5):31-40.

[17] 李少东, 杨军, 陈文峰, 等. 基于压缩感知理论的雷达成像技术与应用研究进展[J]. 电子与信息学报,2016,38(2):495-508.

[18] ZHANG Y, MU H L, XIAO T, et al. SAR Imaging of Multiple Maritime Moving Targets Based on Sparsity Bayesian Learning[J]. IET Radar, Sonar and Navigation,2020,14(11):1717-1725.

[19] DONG C, LOY C C, HE K, et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2016,38(2):295-307.

[20] LEDIG C, THEIS L, HUSZAR F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[C]∥ IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA:IEEE,2017:4681-4690.

[21] ZHANG K, ZUO W, GU S, et al. Learning Deep CNN Denoiser Prior for Image Restoration[C]∥ IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA: IEEE,2017:3929-3938.

[22] KUPYN O, BUDZAN V, MYKHAILYCH M, et al. Deblurgan: Blind Motion Deblurring Using Conditional Adversarial Networks[C]∥ IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA:IEEE,2018:8183-8192.

[23] JIN K H, MCCANN M T, FROUSTEY E, et al. Deep Convolutional Neural Network for Inverse Problems in Imaging[J]. IEEE Trans on Image Processing,2017,26(9):4509-4522.

[24] LUCAS A, ILIADIS M, MOLINA R, et al. Using Deep Neural Networks for Inverse Problems in Imaging: Beyond Analytical Methods[J]. IEEE Signal Processing Magazine,2018,35(1):20-36.

[25] ONGIE G, JALAL A, METZLER C A, et al. Deep Learning Techniques for Inverse Problems in Imaging[J]. IEEE Journal on Selected Areas in Information Theory,2020,1(1):39-56.

[26] 金亚秋. 多模式遥感智能信息与目标识别:微波视觉的物理智能[J]. 雷达学报,2019,8(6):710-716.

[27] 罗迎, 倪嘉成, 张群. 基于“数据驱动+智能学习”的合成孔径雷达学习成像[J]. 雷达学报,2020,9(1):107-122.

[28] MASON E, YONEL B, YAZICI B. Deep Learning for Radar[C]∥ IEEE Radar Conference,Seattle, WA, USA:IEEE,2017:1703-1708.

[29] LECUN Y, BOSER B, DENKER J S, et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation,1989,1(4):541-551.

[30] HAN J, MORAGA C. The Influence of the Sigmoid Function Parameters on the Speed of Backpropagation Learning[C]∥ International Workshop on Artificial Neural Networks, [S.l.]:Springer,1995:195-201.

[31] NAIR V, HINTON G E. Rectified Linear Units Improve Restricted Boltzmann Machines[C]∥International Conference on Machine Learning, [S.l.]:PMLR,2010:1-8.

[32] MHASKAR H N, MICCHELLI C A. How to Choose an Activation Function[C]∥Advances in Neural Information Processing Systems, [S.l.]:IEEE,1994:319-326.

[33] ITO D, TAKABE S, WADAYAMA T. Trainable ISTA for Sparse Signal Recovery[J]. IEEE Trans on Signal Processing,2019,67(12):3113-3125.

[34] ZHANG J, GHANEM B. ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA:IEEE,2018:1828-1837.

[35] YANG Y, SUN J, LI H, et al. ADMM-CSNet: A Deep Learning Approach for Image Compressive Sensing[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2018,42(3):521-538.

[36] YONEL B, MASON E, YAZICI B. Deep Learning for Waveform Estimation in Passive Synthetic Aperture Radar[C]∥IEEE Radar Conference, Oklahoma City, OK, USA:IEEE,2018:1395-1400.

[37] SUN G Q, ZHANG F Z. Convolutional Neural Network (CNN)-Based Fast Back Projection Imaging with Noise-Resistant Capability[J]. IEEE Access,2020,8:117080-117085.

[38] 黄少寅. 基于深度学习的高分辨雷达成像技术研究[D].成都:电子科技大学,2020.

[39] 刘艳. 基于深度学习的雷达稀疏成像[D].西安:西安电子科技大学,2018.

[40] TRABELSI C, BILANIUK O, ZHANG Y, et al. Deep Complex Networks[EB/OL].[2019-06-07]. http://arxiv.org/abs/1705.09792.

[41] KREUTZ-DELGADO K. The Complex Gradient Ope-rator and the CR-Calculus[EB/OL].[2019-10-23]. http://arxiv.org/abs/0906.4835.

[42] HIROSE A. Complex-Valued Neural Networks: Advances and Applications[M]. Hoboken: John Wiley and Sons Inc,2013.

[43] HAENSCH R, HELLWICH O. Complex-Valued Convolutional Neural Networks for Object Detection in PolSAR Data[C]∥European Conference on Synthetic Aperture Radar,Aachen, Germany:VDE,2010:1-4.

[44] ZHANG Z M, WANG H P, XU F, et al. Complex-Valued Convolutional Neural Network and Its Application in Polarimetric SAR Image Classification[J]. IEEE Trans on Geoscience and Remote Sensing,2017,55(12):7177-7188.

[45] 化青龙. 基于复数域深度学习的SAR舰船目标识别方法研究[D]. 哈尔滨:哈尔滨工业大学,2020.

[46] WEI Y K, LI Y C, DING Z G, et al. SAR Parame-tric Super-Resolution Image Reconstruction Methods Based on ADMM and Deep Neural Network[J]. IEEE Trans on Geoscience and Remote Sensing,2021,PP(99):1-16.

[47] 瞿可. 基于深度学习的ISAR成像算法研究[D]. 秦皇岛:燕山大学,2019.

[48] GAO J K, DENG B, QIN Y L, et al. Enhanced Radar Imaging Using a Complex-Valued Convolutional Neural Network[J]. IEEE Geoscience and Remote Sensing Letters,2019,16(1):35-39.

[49] 高敬坤. 阵列三维成像及雷达增强成像技术研究[D].长沙:国防科技大学,2018.

[50] GAO X Z, QIN D, GAO J K. Resolution Enhancement for Inverse Synthetic Aperture Radar Images Using a Deep Residual Network[J]. Microwave and Optical Technology Letters,2020,62(4):1588-1593.

[51] QIN D, LIU D Y, GAO X Z, et al. ISAR Resolution Enhancement Using Residual Network[C]∥IEEE International Conference on Signal and Image Processing (ICSIP), Wuxi: IEEE,2019:788-792.

[52] QIN D, GAO X Z. Enhancing ISAR Resolution by a Generative Adversarial Network[J]. IEEE Geoscience and Remote Sensing Letters,2021,18(1):127-131.

[53] HU C Y, WANG L, LI Z, et al. Inverse Synthetic Aperture Radar Imaging Using a Fully Convolutional Neural Network[J]. IEEE Geoscience and Remote Sensing Letters,2020,17(7):1203-1207.

[54] 汪玲,胡长雨,朱岱寅.基于复数深度神经网络的逆合成孔径雷达成像方法[J]. 南京航空航天大学学报,2020,52(5):695-700.

[55] QIAN J, HUANG S Y, WANG L, et al. Super-Re-solution ISAR Imaging for Maneuvering Target Based on Deep-Learning-Assisted Time-Frequency Analysis[J]. IEEE Trans on Geoscience and Remote Sensing,2021,PP(99):1-14.

[56] MU H L, ZHANG Y, DING C, et al. DeepImaging: A Ground Moving Target Imaging Based on CNN for SAR-GMTI System[J]. IEEE Geoscience and Remote Sensing Letters,2021,18(1):117-121.

[57] MU H L, ZHANG Y, JIANG Y C, et al. CV-GMTINet: GMTI Using a Deep Complex-Valued Convolutional Neural Network for Multichannel SAR-GMTI System[J]. IEEE Trans on Geoscience and Remote Sensing,2021,PP(99):1-15.

[58] HE K M, ZHANG X Y, REN S Q, et al. Deep Residual Learning for Image Recognition[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA:IEEE,2016:770-778.

[59] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely Connected Convolutional Networks[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA:IEEE,2017:2261-2269.

[60] ZHANG Y L, TIAN Y P, KONG Y, et al. Residual Dense Network for Image Super-Resolution[C]∥IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA: IEEE,2018:2472-2481.

[61] ZHANG Y L, TIAN Y P, KONG Y, et al. Residual Dense Network for Image Restoration[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2021,43(7):2480-2495.

Overview of Radar Imaging Techniques Based on Deep Learning

ZHANG Yun, MU Huilin, JIANG Yicheng, DING Chang

(School of Electronics and Information Engineering, Harbin Institute of Technology, Harbin 150000, China)

Abstract:The imaging radar has advantages of all-day, all-weather, long-distance, and high-resolution imaging for the observation scene, which makes it capable of imaging and interpreting the observation scene. The important purpose and significance of the radar imaging technology research is to utilize the advanced signal processing technology to achieve real-time high-resolution imaging for the requirement of image interpretation. With the rapid development of deep learning, deep learning networks have been widely used for inverse problems. And they also provide new solutions for improving imaging quality and efficiency. In this paper, the radar imaging problem is modeled as an inverse imaging problem based on the radar imaging mathematical model. Then the feasibility of the radar imaging method based on deep learning is analyzed from the perspective of solving the inverse problem. Moreover, the state-of-the-art radar deep learning technologies are reviewed in the field of synthetic aperture radar (SAR), inverse synthetic aperture radar (ISAR), and SAR moving target imaging in recent years. The future perspectives are finally discussed according to the existed challenges.

Key words: deep learning; radar imaging; inverse problem; convolutional neural network; complex-valued convolutional neural network

DOI:10.3969/j.issn.1672-2337.2021.05.001

*收稿日期: 2021-06-30; 修回日期: 2021-09-12

基金项目: 国家自然科学基金面上项目(No.61971163)

中图分类号:TN958.3

文献标志码:A

文章编号:1672-2337(2021)05-0467-12

作者简介

张 云 女,1975年生,黑龙江虎林人,副教授、博士生导师,主要研究方向为雷达信号处理、新体制SAR成像处理、运动目标检测与智能识别、通信感知一体化技术。

穆慧琳 女,1992年生,山东日照人,博士研究生,主要研究方向为合成孔径雷达运动目标检测与成像、信号级人工智能处理。

姜义成 男,1964年生,黑龙江哈尔滨人,教授、博士生导师,主要研究方向为雷达信号处理、目标识别技术。

丁 畅 男,1991年生,山东济南人,博士研究生,主要研究方向为可调微波器件设计、波束可重构天线设计。