0 引言
我国作为海洋大国，面对广袤的海域对监测管理技术也提出了更高的要求［1］。科技进步推动了SAR 在海洋领域的广泛应用，其全天候、全天时的工作特点，可为海洋环境监测、资源调查、防灾减灾提供有力的支持。在此背景下，SAR 图像舰船目标检测成为关键研究方向之一［1-2］。在民用领域，可以通过SAR 图像检测海洋中的船舶，辅助海上的救援，同时还能提高对走私渔船的监测，从而加强海上交通的管理。在军用领域，可以通过SAR 图像识别并定位海上军舰，为军事情报分析、海洋安全保证提供支持。
随着深度学习技术的快速发展，卷积神经网络在目标检测领域取得了显著的成就。对于基于SAR 图像的舰船目标检测任务，现有的网络结构较复杂且参数量较大，导致其在实际应用中需要大量的计算资源和存储空间，难以部署在资源有限的边缘设备上。
因此，如何有效地降低网络模型的复杂度、提高推理速度，并在保持检测准确性的同时减少资源消耗，成为当前研究的重点问题。为了解决这一问题，模型剪枝技术成为一种有效的策略。模型剪枝通过删除冗余的参数和结构，可以减小模型的规模和内存占用，同时尽可能保持原始模型的检测精度。文献［3］基于DCP（Discriminationaware Channel Pruning）提出了一个localizationaware 辅助网络，针对目标检测网络中每一层的输出通道进行剪枝，同时在剪枝时衡量每个通道包含的关于分类和回归的信息，并保留包含关键信息的通道。文献［4-5］在对网络进行剪枝的同时使用知识蒸馏的方法提高剪枝后网络的准确率。不同于先衡量重要性再去除参数的方式，文献［6-7］在训练网络的过程中使相似的卷积核之间互相靠拢，训练结束后去除相同的卷积核从而实现剪枝。上述网络剪枝的方法均可以有效地去除网络中的冗余参数，但是对于目标检测网络，其包含一些特殊的网络结构，如FPN［8］及其改进后的结构［9-14］等。这些网络结构通过特征融合的方式可以有效地提高网络的检测准确率，但是也将部分卷积核关联到了一起。独立地对这些相关联的卷积进行剪枝，在网络预测阶段并不能真正地去除相应的参数，从而难以实现真正的加速效果。
为了解决这个问题，本文提出了关联剪枝方法，通过调整网络结构，同时修剪相关联的卷积层输出通道。
1 网络剪枝算法分析
锚框的目标检测网络对锚框的长宽比和尺寸较为敏感。而在SAR 图像中舰船目标的长宽比和尺寸的跨度较大，较少的锚框无法有效地代表所有的目标尺寸，导致网络的回归过程困难。而较多的锚框又会导致图像中的锚框较为密集，不仅造成正负样本的不均衡，还会增加训练过程中的计算量和内存占用。因此本文选择无锚框的FCOS（Fully Convolutional One-Stage Object Detection）［15］网络作为基础模型。FCOS 模型的网络结构分别包含主干网络、FPN、分类和回归子网络。其中主干网络为ResNet-50［16］网络，主要用于提取输入图片的特征信息。FPN 通过对不同尺度的特征进行融合以提高网络对于不同尺度目标的检测能力。分类和回归子网络用于预测目标的类别和位置。
在训练阶段，网络的过参数化有助于其学习到一些重要的特征［17］，但是训练结束后存在大量对精度影响较低的权重。为了去除神经网络中的冗余，减小模型所占的内存与计算量，需要对网络进行剪枝。结构化剪枝通常以每层卷积的输出通道为单位进行剪枝。但是对于网络中的某些特殊结构，直接对输出通道剪枝会有一定的局限性。例如图1 所示的ResNet 中的Bottleneck 网络结构，图中的Bottleneck 网络结构一共由三层卷积构成。为了便于讨论，Bottleneck 中间的3×3 卷积被替换成了1×1 的卷积并省略了BN 层与激活层。Bottleneck的输入和输出的通道为9，内部的通道数为4。每个卷积核的上方为其对应的参数矩阵，行和列分别对应输出通道和输入通道。对每个卷积的输出通道进行剪枝则相当于去除每个卷积核参数矩阵对应的行。对于中间的1×1卷积，由于其输入与第一个1×1卷积的输出相连，所以其输入和输出通道均可以被剪枝。对于第三个卷积来说，虽然其输入输出通道均可以进行剪枝，但是由于其输出会与Bottleneck 的输入进行相加。虽然其输出特征图的相应通道可以被剪枝操作置零，但是Bottleneck 输入特征图的对应通道不一定为零，从而导致相加后的结果可能无法被剪枝。从而导致下一层Bottleneck 的第一个卷积层的输入通道无法被剪枝。同时，第三个卷积核中被剪枝的输出通道无法被真正地去除，因为在特征进行相加的过程中，需要按照剪枝前的对应通道进行相加，直接去除第三个卷积核中被剪枝的输出通道，会导致其无法与Bottleneck 输入特征图的通道进行匹配。
图1 Bottleneck网络结构剪枝示意图
网络中的FPN 层依旧会存在上述问题，如图2所示。经过1×1 卷积降维后的特征图虽然可以得到剪枝，但是经过跨尺度的相加以后剪枝率会得到缩减。
图2 FPN剪枝示意图
2 网络剪枝算法改进
造成上述问题的原因是当网络中某些卷积的输出特征图进行融合后，这些卷积在被剪枝时不再是独立的，单独剪掉其中一个或几个并不能把整体的对应参数去除。因此要想解决上述问题，需要在剪枝时将相关的卷积一起进行剪枝。因此本文将Bottleneck 的网络结构进行修改，如图3所示。
图3 改进后的Bottleneck网络结构剪枝示意图
对于处在同一stage 中的Bottleneck，在其最后一层的卷积后面连接相同的1×1 卷积，当对这个1×1卷积进行剪枝时，可以保证stage 中所有Bottleneck 的输出特征图被剪枝相同的通道。从而避免了因为剪枝位置不同而导致的相加后剪枝率下降的问题。而对于Bottleneck 中原始的最后一层卷积，在训练阶段可以不对其进行剪枝。当训练结束后，可以将额外添加的1×1 卷积与其进行融合，从而达到剪枝的目的。通过这种方式相当于对最后一层卷积的剪枝操作进行了解耦，每个Bottleneck 中原始的最后一层卷积只负责学习操作，而额外添加的1×1 卷积只负责对stage 中相关联的卷积统一进行剪枝，这种解耦的操作有利于减少剪枝对网络精度的影响［18］。因为相当于将原始的最后一层卷积统一向低维度进行映射，而不是直接去除对应的值，在一定程度上保证了模型的精度。除此之外，为了保证额外添加的1×1卷积不影响网络的预训练权重，可以将其参数矩阵初始化为单位阵，且不使用偏置参数。在推理阶段，由于同一stage 中每个Bottleneck 的输入和输出均被剪枝了相同的通道，因此每个Bottleneck 的第一个卷积的输入通道也可以被剪枝相应的通道。
图4 为针对实际的Bottleneck 进行改进后的结构，其中红框中的卷积为额外添加的1×1 卷积，每个stage 中的Bottleneck 共用同一个红框中的卷积。因为卷积、BN操作都是线性操作，因此在训练结束后可以将额外添加的1×1卷积与原始的卷积和BN进行融合，以达到减少计算量的目的。针对卷积后连接BN 的结构，将其进行融合的公式可以表示为
图4 改进后的Bottleneck网络结构
其中
为融合后的卷积核权重，
为融合后的卷积核偏置。因为BN 层会取消卷积核中偏置的作用，因此BN 前的卷积核的偏置参数通常全为零。所以公式（2）中省略了融合前卷积中的偏置参数。通过公式（2）可以将Bottleneck结构中的卷积与BN层进行融合。
将卷积与BN 进行融合后，还需要对相连的1×1 卷积进行融合。将两层1×1 卷积进行融合的公式可以表示为
由公式（1）～（5）可以得到将改进后的Bottleneck结构的最后一层卷积进行融合的公式为
相应地，FPN 的改进结构如图5 所示，在FPN的输入卷积后面添加共同的1×1卷积，并只对其进行剪枝，即可对FPN 中的特征图剪枝相同的通道。并在训练结束后使用公式（3）和公式（5）将卷积进行融合以减少网络推理时的计算量。
图5 改进后的FPN剪枝示意图
本文使用一阶泰勒级数估计将某一参数去除后对损失的影响，并将其作为衡量参数重要性的指标。每个卷积核的第p 个输出通道的重要性T（pB,K）近似表示为
其中
和
分别表示卷积核的权重和偏置参数。Co、Ci、M 和N 分别为输出通道大小、输入通道大小、卷积核的高和宽。对于其后直接连接了BN 层的卷积层来说，也可以直接通过对BN 层进行剪枝以减少计算量，并在剪枝结束后同时去除BN 层和对应卷积层的输出通道，针对BN层的第p个通道的重要性可以表示为
其中
分别为BN 层中用于调整数据分布的参数。在训练阶段，每当batch 中的反向传播算法计算完后，使用参数值和对应的梯度按照公式（8）和公式（9）计算每层输出通道的重要性，然后根据重要性从小到大进行排序，对分数最小的前η%所对应的通道进行剪枝，η 的值从0 开始随着训练迭代次数的增加而逐渐增加。除此之外，与文献［18］类似，为了缓解剪枝对网络精度造成的影响。本文在选择出需剪枝的通道后，不是直接将对应的参数去除，而是先通过正则化损失使其对应的参数逐渐减小，当参数的绝对值减小到阈值ϵ以下时再将其去除。
3 实 验
3.1 实验环境
实验环境基于pytorch 框架，使用ubuntu 操作系统。在ImageNet 上进行预训练的ResNet-50 当作网络主干。所有数据集均使用COCO 格式，batch size 为16，使用SGD 优化器，初始学习率为0.01，在每个衰减步骤除以10。迭代次数为16 K。所有训练过程都在特斯拉V100 GPU（32G）服务器上进行。
3.2 数据集
1）Official-SSDD：目前，2017 年发布的SSDD［19］数据集是SAR 舰船目标检测领域使用最广泛的数据集。随后，文献［20］于2021 年发布了更新的SSDD数据集Official-SSDD，纠正了SSDD中的错误标签。其中船舶的平均尺寸仅为约35×35 像素。按照数据集的原始设置，将数据集分为包含928 张图片的训练集和包含232 张图片的测试集。为了更准确地衡量模型的检测能力，本文使用Official-SSDD 数据集代替SSDD 数据集，并将Official-SSDD缩写为SSDD。
2）SAR-Ship-Dataset：在2019 年，文献［21］发布了SAR-Ship-Dataset。使用102 张中国高分3 号卫星图像和108 张哨兵1 号卫星图像创建，并将图像以50%的重叠比切分为43 819 个大小为256×256 像素的图片。与文献［21］中的设置相同，整个数据集被随机分为训练集（70%）、验证集（20%）和测试集（10%）。
3）HRSID：在2020 年，文献［22］发布了HRSID。构建HRSID的原始SAR图像为99幅Sentinel-1B 卫星图像、36幅TerraSAR-X 和1幅TanDEMX 卫星图像，并且在25%的重叠比下，将136 幅分辨率从1 m 到5 m 的全景SAR 图像裁剪为5 604张800×800像素的SAR 图像。与文献［22］一致，将HRSID分为训练集（65% SAR 图像）和测试集（35% SAR图像）。
3.3 实验结果
为了测试网络中冗余参数对检测精度的影响，本文在不同的剪枝率下对网络进行剪枝，在SSDD、SAR-Ship-Dataset和HRSID 数据集上的剪枝实验结果如表1、表2、表3 所示，其中包含了在不同的目标剪枝率η下，整体和各部分的实际剪枝率的结果。当η 设置为0 时表示不进行剪枝的结果。实验中采用L2正则化损失使需要剪枝的参数逐渐趋于零。参数剪枝的阈值ϵ 设置为0.01。如表1、表2、表3 所示，针对所有数据集，网络的检测精度均随着剪枝率的升高而逐渐下降。从各模块的剪枝率中可以看出，主干网络的剪枝率最大，分类和回归子网络的剪枝率最小。证明网络的冗余主要存在于主干网络中。
表1 网络在SSDD上的剪枝结果 %
表2 网络在SAR-Ship-Dataset上的剪枝结果 %
表3 网络在HRSID上的剪枝结果 %
为了进一步衡量主干网络中冗余参数的位置，针对表1、表2、表3 中的主干网络，其每个stage的剪枝率如图6、图7、图8 所示。图6、图7、图8 分别为网络在SSDD、SAR-Ship-Dataset 和HRSID 上的结果。由图可知，在所有的数据集上，对主干网络中stage 2 的剪枝率均较为接近且剪枝率均超过20%，并且其剪枝率随着网络整体剪枝率的增加而逐渐增加，最大可达83%。证明在3 个数据集上，stage 2中的参数均存在较大冗余。对于stage 1，在不同剪枝率和数据集下，其均保持着较低的剪枝率，仅在HRSID 数据集上且整体剪枝率为27%时，其剪枝率略微大于stage 5。当模型整体剪枝率达到80%时，stage 1 的剪枝率依旧小于50%。在剪枝率小于30%时，stage 5 的剪枝率小于stage 3 和stage 4的剪枝率。而随着整体剪枝率进一步增加，stage 5 剪枝率迅速增加，最终会持平甚至超过stage 3和stage 4的剪枝率。证明在剪枝率较低时，网络的冗余主要集中在网络的中间部分，即stage 2～stage 4 之间。而随着剪枝率逐渐增加，网络的冗余主要集中在网络的深层部分，即stage 5。而无论在什么剪枝率下stage 1中的冗余均较小。
图6 主干网络在SSDD上每个stage的剪枝率
图7 主干网络在SAR-Ship-Dataset上每个stage的剪枝率
图8 主干网络在HRSID上每个stage的剪枝率
4 结束语
本文介绍了基于SAR 图像的舰船目标检测网络剪枝方法，通过网络剪枝算法对网络模型进行修剪，去除了网络中冗余的参数。同时根据不同剪枝率的结果分析了网络中冗余参数的位置与剪枝率之间的关系。对网络进行剪枝后，不可避免地会影响网络检测精度，通过知识蒸馏技术，原始网络可以为剪枝后的网络提供预测结果、每一层的激活值等信息，帮助剪枝后的网络提高检测准确度，后续的研究工作将研究知识蒸馏技术以提高剪枝后目标识别的准确度。
［1］VACHON P,THOMAS S,CRANTON J,et al.Validation of Ship Detection by the RADARSAT Synthetic Aperture Radar and the Ocean Monitoring Workstation［J］.Canadian Journal of Remote Sensing,2000,26（3）:200-212.
［2］WACKERMAN C C,FRIEDMAN K S,PICHEL W G,et al.Automatic Detection of Ships in RADARSAT-1 SAR Imagery［J］.Canadian Journal of Remote Sensing,2001,27（5）:568-577.
［3］XIE Zihao,ZHU Li,ZHAO Lin,et al.Localization-Aware Channel Pruning for Object Detection［J］.Neurocomputing,2020,403:400-408.
［4］CHEN Shiqi,ZHAN Ronghui,WANG Wei,et al.Learning Slimming SAR Ship Object Detector Through Network Pruning and Knowledge Distillation［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2020,14:1267-1282.
［5］MAO Yuxing,LI Xiaojiang,LI Mingzhe,et al.Network Slimming Method for SAR Ship Detection Based on Knowledge Distillation［C］//Proceedings of the 2020 International Conference on Aviation Safety and Information Technology,Weihai,China: Association for Computing Machinery,2020:177-181.
［6］WAN Jielei,CUI Zongyong,ZANG Zhipeng,et al.Absorption Pruning of Deep Neural Network for Object Detection in Remote Sensing Imagery［J］.Remote Sensing,2022,14（24）:6245.
［7］DING Xiaohan,DING Guiguang,GUO Yuchen,et al.Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,CA,USA:IEEE,2019:4943-4953.
［8］LIN T Y,DOLLÁR P,GIRSHICK R,et al.Feature Pyramid Networks for Object Detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Hawaii,USA:IEEE,2017:2117-2125.
［9］BAI Lin,YAO Cheng,YE Zhen,et al.A Novel Anchor-Free Detector Using Global Context-Guide Feature Balance Pyramid and United Attention for SAR Ship Detection［J］.IEEE Geoscience and Remote Sensing Letters,2023,20:1-5.
［10］BAI Lin,YAO Cheng,YE Zhen,et al.Feature Enhancement Pyramid and Shallow Feature Reconstruction Network for SAR Ship Detection［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2023,16:1042-1056.
［11］ZHOU Yucheng,FU Kun,HAN Bing,et al.D-MFPN: A Doppler Feature Matrix Fused with a Multilayer Feature Pyramid Network for SAR Ship Detection［J］.Remote Sensing,2023,15（3）:626.
［12］YAN Junhua,HU Xutong,ZHANG Kun,et al.Detection of Dim Small Ground Targets in SAR Remote Sensing Image Based on Multi-Level Feature Fusion［J］.Journal of Imaging Science&Technology,2023,67（1）:1-14.
［13］WANG Shiyu,CAI Zhanchuan,YUAN Jieyu.Automatic SAR Ship Detection Based on Multi-Feature Fusion Network in Spatial and Frequency Domain［J］.IEEE Trans on Geoscience and Remote Sensing,2023,61:1-11.
［14］YU Chushi,SHIN Y.SAR Ship Detection Based on Improved YOLOv5 and BiFPN［J］.ICT Express,2024,10（1）:28-33.
［15］TIAN Zhi,SHEN Chunhua,CHEN Hao,et al.FCOS:Fully Convolutional One-Stage Object Detection［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision,Seoul,Korea（South）:IEEE,2019:9626-9635.
［16］HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Deep Residual Learning for Image Recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,USA:IEEE,2016:770-778.
［17］ALLEN-ZHU Zeyuan,LI Yuanzhi,LIANG Yingyu.Learning and Generalization in Overparameterized Neural Networks,Going Beyond Two Layers［C］//Proceedings of the 33rd International Conference on Neural Information Processing Systems,New York,USA:Curran Associates Inc,2019:6158-6169.
［18］DING Xiaohan,HAO Tianxiang,TAN Ji-anchao,et al.ResRep:Lossless CNN Pruning via Decoupling Remembering and Forgetting［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision,Montreal,QC,Canada:IEEE,2021:4490-4500.
［19］LI Jianwei,QU Changwen,SHAO Jiaqi.Ship Detection in SAR Images Based on an Improved Faster R-CNN［C］//2017 SAR in Big Data Era: Models,Methods and Applications,Beijing,China:IEEE,2017:1-6.
［20］ZHANG Tianwen,ZHANG Xiaoling,LI Jianwei,et al.SAR Ship Detection Dataset（SSDD）: Official Release and Comprehensive Data Analysis［J］.Remote Sensing,2021,13（18）:3690.
［21］WANG Yuanyuan,WANG Chao,ZHANG Hong,et al.A SAR Dataset of Ship Detection for Deep Learning Under Complex Backgrounds［J］.Remote Sensing,2019,11（7）:765.
［22］WEI Shunjun,ZENG Xiangfeng,QU Qizhe,et al.HRSID: A High-Resolution SAR Images Dataset for Ship Detection and Instance Segmentation［J］.IEEE Access,2020,8:120234-120254.