曲长文1, 刘 晨 1, 周 强2, 李 智1, 李健伟1
(1.海军航空大学电子信息工程系, 山东烟台 264001;2.海军航空大学科研部, 山东烟台 264001)
摘 要: 针对合成孔径雷达(Synthetic Aperture Radar, SAR)图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络(Convolutional Neural Network, CNN)的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机(Extreme Learning Machine, ELM)网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。
关键词: 卷积神经网络; 迁移学习; 多尺度SAR图像; 目标分类
合成孔径雷达(SAR)最早由美国科学家Carl Wiley于1951年提出,相比于传统光学、高光谱和红外传感器,具有不受天气、光照等外界条件的限制,可以大范围、全天候、实时对目标进行检测,并且有一定的穿透能力[1]。随着SAR技术的日益成熟,在民用和军事领域都得了较为广泛的应用,具有较高的研究价值。但是由于合成孔径雷达类型众多,图像分辨率差异较大,同一区域在不同雷达中的成像效果不同,对SAR图像目标分类的准确率产生较大的影响。
卷积神经网络(CNN)可以有效地从大量样本中学习到相应的特征,提取出优于人工设计的特征,并且样本数量越大,提取的特征越有利于分类识别[2]。CNN虽然具有空间位置不变性,对于图像中任意位置的目标都可以提取出相应的特征,但是对于输入图像的空间变化适应性较差,要求训练图像与测试图像在空间尺度上一致,造成网络对与训练集尺度相似的测试数据有较高的激活值,进而导致网络对多尺度输入图像的分类准确率下降[3]。
本文主要研究了分块CNN在多尺度SAR图像上的应用,改善了传统CNN模型的尺度不变性,提升了多尺度SAR图像目标分类识别的准确率。同时,为降低网络训练过程中对训练样本数量的需求,通过大量与目标域相似的源域图像对分块CNN进行训练,得到较优的网络参数;然后将网络参数迁移到新的分类网络结构中,用于特征的提取;最后将提取的特征用超限学习机(ELM)网络结构进行分类,ELM的结构参数通过少量带标签的目标域数据训练得到。实验结果表明,本文方法可以有效提升网络对多尺度SAR图像目标的分类识别效果。
典型的卷积神经网络由输入层、卷积层、下采样层(池化层)、全连接层和输出层五部分组成,如图1所示。
图1 卷积神经网络结构图
卷积层主要用于提取特征和降低噪声。假设第l层为卷积层,则第l层第j个特征图的计算公式如下所示:
(1)
式中,表示第l-1层的第i个特征图,表示第l-1层的第i个特征图与第l层的第j个特征图之间的卷积核,*表示卷积操作,表示第l-1层的偏置,f(·)表示非线性的激活 函数。
下采样层主要利用图像局部之间相关性的原理,降低需要处理的数据量。将邻域4个像素变为一个像素,常用的方法有均匀下采样、最大下采样和概率最大下采样,最终产生一个大概缩小4倍的特征映射图。
从CNN的结构可以看出,整个网络的结构和参数只能单一设定,对于不同尺度的输入图像,不能有效地提取出全局和局部特征,进而限制了网络参数对不同尺度输入图像特征提取的灵活性。本文对同一幅图像构造3个不同尺寸的CNN,不同网络采用不同的卷积核与池化大小,最终输出维数相近的特征图。分块CNN的网络结构如图2所示。
图2 分块CNN结构
图2中,对每幅输入图像进行尺度变换,得到3种不同尺度的输入图像,然后分别对3种CNN进行训练,使最终的网络输出维数相近。网络中不同CNN的设计如图3所示。
图3 分块CNN结构参数
图3中,方框下面的数字表示该层图像的大小,箭头上的数字分别表示卷积核和池化大小,最终将3个网络提取出的特征图排列成一个一维向量,用ELM网络完成分类识别。
近年来,迁移学习(Transfer Learning)成为了卷积神经网络的发展趋势之一,它降低了CNN学习过程中对样本数量的要求,解决了训练样本和测试样本必须独立同分布,以及训练样本数目需求过大的问题。迁移学习可以通过已有的知识来解决小样本数据的学习问题,从而提升了卷积神经网络在小样本数据集上分类识别的准确率[4-5]。
根据文献[6]对域和任务进行定义,域D由特征空间及其边缘概率分布P(X)构成,其中X={x1,x2,…,xn}∈。任务T由标签空间y与目标预测函数f(·)构成。
对于给定的源域Ds及其对应的源任务Ts、目标域Dt及其对应的目标任务Tt,迁移学习即是通过从给定的Ds,Ts中学到相应的知识,从而得到Dt的目标预测函数f(·)。迁移学习与传统方法的对比如图4所示。
图4 迁移学习与传统方法对比
从图4中可以看出,传统学习方法对于每个不同的训练任务需要训练出不同的学习系统,而通过迁移学习,可以从不同的任务中学习到相应的知识,进而用于新目标任务的预测。但是,并不是所有的知识都可以用来进行迁移学习,迁移学习过程需要源和目标具有相关性。
超限学习机因其训练参数少、训练速度快得到了广泛关注。相比于传统人工神经网络的复杂调参过程,ELM在网络训练过程中,隐藏层节点参数随机确定,无需调节,仅需求解隐藏层与输出层之间权值的最小二乘范数解。因为网络参数的训练过程中不需要进行迭代过程,从而大大降低了训练过程中对样本数量的需求并提升了网络的训练速度。目前超限学习机在特征学习、聚类、回归和分类等方面得到了广泛的应用[7-8]。ELM的结构如图5所示。
图5 ELM结构图
xj表示第j个输入样本,n个节点表示输入的样本维度,隐含层的节点数为L,L越大,表达能力越强,ai表示输入样本与节点i的连接权值,βi表示隐藏层与输出之间的权值连接,oj表示第j个输入样本的输出。
输出权值的最小二乘范数解β的求解过程如下:
假设样本集的输入为X={x1,x2,…,xn},ai表示输入与隐藏层连接的权值,则网络隐藏层的输出公式为
zi=f(aixj+bi)
(2)
式中,zi表示第i个隐藏节点的输出,xj表示第j个输入样本,bi表示第i个隐藏节点的偏置, f(·)表示激活函数。
网络的最终输出结果为
(3)
式中,oj为第j个输入样本的输出结果,βi为第i个隐藏节点与输出之间的权重,f(aixj+bi)为第i个隐藏节点的输出。
假设输入的样本为(xj,tj),其中xj表示n维向量,tj表示样本所对应的标签。令前馈网络输出与标签相等,即oj=tj,得到
(4)
令则式(4)可以改写为
Hβ=T
(5)
通过式(5)可求得β=H-1T [9]。
本文通过迁移学习的方法降低网络结构对带标签样本数量的需求,并且与ELM结合形成最终的混合分类网络,网络结构如图6所示。
图6 混合模型分类网络
算法步骤如下:
1)将输入图像通过尺度变换为128×128,64×64,32×32三种不同尺度的图像,并用变换后的图像分别对3种CNN进行训练,得到相应的网络 参数;
2)通过迁移学习将CNN与ELM结构结合,进而得到适用于带标签样本数量不足数据的分类识别,并用带标签训练集样本对ELM参数进行训练,得到最终的混合模型分类网络;
3)输入测试集数据,用最终训练好的混合分类模型网络对测试数据进行分类识别,得出相应分类结果。
为对本文提出的方法进行验证,数据集采用美国MSTAR数据库与SAR舰船目标数据集进行实验。MSTAR数据库中图像的分辨率为 0.3 m×0.3 m,大小为128像素×128像素,训练样本为17°俯视角的SAR图像目标,共2 320幅,测试样本为15°俯视角的SAR图像目标,共 2 100幅。为加快网络的训练速度,截取图像中心包含目标的42×42大小的图像块进行实验,如图7所示。
图7 MSTAR数据实验目标
SAR舰船目标数据集对舰船和杂波进行了分类,一共有999幅图片,图片来自多幅不同分辨率的SAR图像,经过目标检测后获得船只的图像切片,通过专家解译对所有船只进行人工标注,数据集分布如表1所示。
表1 SAR舰船数据分布
首先用T72,ZIL131,ZSU234三类目标数据集(训练样本870个,测试样本810个)对分块CNN的网络参数进行训练,然后通过迁移学习得到最终分类识别网络。最后对BRDM2,BTR60,D7,2S1和T62五类目标(训练样本1 450个,测试样本1 290个)对混合分类网络进行训练,并对测试样本进行分类识别,结果如表2所示。
表2 五类目标的SAR图像分类结果
将本文方法与其他方法进行对比,结果如表3所示。
表3 与其他方法效果对比
从上述结果可以看出,本文方法相比于其他方法有效地提升了目标分类识别的准确率。为验证本文方法对小样本数据集的有效性,将MSTAR目标训练集每次以递增100个样本的方式进行测试实验,测试样本数量保持不变,实验结果如图8所示。
图8 不同训练样本数实验结果
从实验结果可以看出,当训练样本数量达到300时,测试结果就已经超过了改进卷积神经网络,实验证明该方法有助于提升小样本数据的分类识别准确率。
实验仍保持分块CNN的网络参数不变,用SAR舰船目标数据集对混合网络进行训练,并对测试集进行分类识别,得到每幅图像是舰船的可能性,对大于等于0.5的判定为舰船,否则为非舰船目标,部分识别效果如图9所示,最终识别结果如表4所示。
图9 部分识别效果图
表4 SAR舰船目标分类识别结果
将本文方法与其他方法进行对比,在训练过程中,训练集每次递增100个样本的方式进行实验,测试样本数量保持不变,实验结果如图10所示,最终对比结果如表5所示。
图10 不同方法的实验结果
表5 与其他方法对比结果
从上述结果可以看出,本文方法提升了多尺度目标的分类识别准确率,为之后多尺度SAR图像进行目标检测识别提供了可靠保障。
针对SAR图像分辨率差异大,多尺度SAR图像目标的分类效果不佳的问题,提出了一种迁移学习与分块CNN相结合的混合分类网络,通过分块CNN有利于提升多尺度SAR图像的分类准确率;同时由于分块CNN网络参数多,对训练样本需求量大,采用迁移学习方法降低网络对带标签训练样本数量的需求。实验结果表明,两种方法结合后对带标签样本数量不足的多尺度SAR图像的分类效果得到了很大的提升。
参考文献:
[1] CURLANDER J C, MCDONOUGH R N. Synthetic Aperture Radar: Systems and Signal Processing[J]. New York: Wiley, 1991.
[2] 李彦冬, 郝宗波, 雷航. 卷积神经网络研究综述[J]. 计算机应用, 2016, 36(9):2508-2515, 2565.
[3] 连自锋, 景晓军, 孙松林, 等. 一种多尺度嵌套卷积神经网络模型[J]. 北京邮电大学学报, 2016, 39(5):1-5.
[4] 庄福振, 罗平, 何清, 等. 迁移学习研究进展[J]. 软件学报, 2015, 26(1):26-39.
[5] 许敏, 王士同, 顾鑫. TL-SVM: 一种迁移学习算法[J]. 控制与决策, 2014, 29(1):141-146.
[6] PAN S J, YANG Q. A Survey on Transfer Learning[M]. IEEE Trans on Knowledge and Data Engineering, 2010, 22 (10):1345-1359.
[7] HUANG G B, ZHU Q Y, SIEW C K. Extreme Learning Machine: A New Learning Scheme of Feedforward Neural Networks[C]// IEEE International Joint Conference on Neural Networks, Budapest, Hungary: IEEE, 2005:985-990.
[8] 王静. 基于ICA和ELM的图像识别算法研究[D]. 青岛: 中国海洋大学, 2015.
[9] HUANG G B, ZHU Q Y, SIEW C K. Extreme Learning Machine: Theory and Applications[J]. Neurocomputing, 2006, 70(1-3):489-501.
QU Changwen1, LIU Chen1, ZHOU Qiang2, LI Zhi1, LI Jianwei1
(1.Department of Electronic and Information Engineering, Naval Aeronautical University, Yantai 264001, China; 2.Department of Scientific Research, Naval Aeronautical University, Yantai 264001, China)
Abstract:Because of big difference of SAR image resolutions and low accuracy rate of multi-scale SAR image classification, an algorithm based on transfer learning and block convolutional neural network (CNN) is proposed. Firstly, the parameters of block CNN are trained by large number of source domain data which is similar to the target domain, and the CNN feature extraction networks under different scales are obtained. Secondly, the convolution and the pool layer are transferred to the new network structure to achieve the feature extraction. Finally, the extracted features are classified by extreme learning machine(ELM). The MSTAR database and multi-scale SAR ship image data sets are used as experimental data. The experimental results show the proposed method is superior to traditional CNN in the classification of multi-scale SAR images.
Key words:convolutional neural network (CNN);transfer learning;multi-scale SAR image;target classification
DOI: 10.3969/j.issn.1672-2337.2018.02.009
收稿日期: 2017-08-01; 修回日期: 2017-09-29
中图分类号:TN957.5
文献标志码:A
文章编号:1672-2337(2018)02-0169-05
作者简介:
曲长文 男,1963年生,山东济南人,教授、博士生导师,主要研究方向为信息融合、雷达成像、阵列信号处理、电子对抗。
刘 晨 男,1992年生,山东烟台人,硕士研究生,主要研究方向为深度学习、SAR图像目标检测与分类识别研究。E-mail:1120342529@qq.com
周 强 男,1984年生,安徽阜阳人,博士,主要研究方向为高分辨率雷达信号处理和图像处理。
李 智 男,1993年生,河北保定人,硕士研究生,主要研究方向为SAR图像目标检测、分类、识别。
李健伟 男,1989年生,山东枣庄人,博士研究生,主要研究方向为电子对抗、SAR图像处理。