合成孔径雷达(Synthetic Aperture Radar, SAR)能够无间断全天24 小时工作,并且在恶劣天气情况下也能提供高分辨率的SAR 图像,因此通过SAR 图像进行目标检测在民用的海上监测[1]和军事的信息获取[2]等方面都有重要作用。SAR 图像舰船目标检测的对象是海上的目标,理想条件下获取到的SAR 图像中不含有较多干扰,海面散射系数较低,表现为暗的区域,实际上获取到的SAR图像一般都含有海岸、小岛等强散射区域,陆地中包含一些金属材质的设备等具有较强的后向散射系数,同时受海面风浪的影响,海面回波信号有时候强于陆地回波信号,这些都会极大地干扰目标检测结果,对目标检测产生影响,使得检测率降低,虚警率提高,所以在SAR 图像目标检测前需要进行海陆分离的预处理操作,将海面和陆地分隔开,除去陆地对检测的影响,同时确定目标检测的范围,再从海面区域进行舰船检测,从而减小检测过程中产生的虚警率,提高检测率。SAR 图像的海陆分割通过有无先验信息可以分为两大类:有先验信息的方法需要预知相关地理信息[3],虽然速度快但是有较大的局限性;没有先验地理信息的方法主要依据图像中灰度[4]、纹理[5]、海岸线[6]、活动轮廓[7]等特征差异来进行海陆分割,其中最大类间方差是最常用的一种灰度阈值分割算法,该算法原理简单易于实现,运算量相对较低,但是对噪声较敏感,容易受较复杂背景的干扰。此外,SAR图像在成像中会产生相干斑噪声,使得SAR 图像中海面和陆地对比度降低,边缘轮廓细节模糊,海陆分割难度增加。由此在岛岸背景条件下采用改进的三维最大类间方差的海陆分割方法。
最大类间方差算法(Maximum Between Class Variance, Otsu)最早在1979 年被提出,它是一种经典的自适应阈值分割算法[8]。算法以类间方差作为分割效果的判定标准,当类间方差为最大值时分割效果最好[9]。
1)一维Otsu算法
假设SAR 图像一共有M × M 个像素,像素灰度i 在0~255 范围内取值,假定ni 为各级灰度值出现的次数,可以计算出灰度值为i 的像素在总像素点中所占的比例为
pi满足如下关系式:
SAR图像根据假定的最佳阈值T可分为前景和背景两大类,用C0表示前景类的像素,C0 ∈{0,1,…, T - 1},其灰度值均小于最佳阈值;用C1 表示背景类的像素,其灰度值均大于等于最佳阈值,C1 ∈{T,…, 255}。
前景和背景像素出现概率的计算公式分别为
前景和背景对应的像素平均灰度值计算公式分别为
整幅SAR图像的平均灰度值为
类间方差的计算公式为
当类间方差取最大值时,海陆分割的最佳阈值T如下:
在计算分割阈值时,一维Otsu 算法以类间方差作为评估标准。SAR 图像中的所有像素灰度级别都可被视为分类阈值,每个级别分别对应其类间方差。随后,根据类间方差的计算公式,对类间方差矢量中的所有结果进行比较,当类间方差达到最大值时,前景类和背景类的分类效果最好。此时的分割最佳阈值使得前景类与背景类离图像中心最远[10]。一维Otsu 算法基于图像的一维灰度,通常适用目标和背景灰度特性差异较大的SAR 图像。然而在真实获取的SAR 图像中,前景和背景的灰度特性可能区别不大,这种情况下一维直方图可能表现不佳。
2)二维Otsu算法
二维最大类间方差算法[4]在一维最大类间方差算法的原有基础上,增加像素的平均灰度值这一维度,更好地平滑了SAR 图像包含的相干斑噪声。通过SAR 图像的空间信息对原始SAR 图像进行均值计算,综合考虑像素的灰度值和平均灰度值两个维度,二维直方图区域划分如图1所示。由于像素的邻域平均值和像素值之间存在显著的相关性,因此通过统计二维直方图可以比一维直方图更好地区分目标和背景,最佳阈值可根据两个维度的准则来确定。
图1 二维灰度直方图的具体区域划分
f(i, j)定义为原始SAR 图像中(i, j)点的像素值,g(i, j)定义为平滑后SAR 图像中(i, j)点的像素值,计算原始SAR 图像(i, j)范围内像素平均值可得到g(i, j)。f(i, j)和g(i, j)的灰度值范围都在0~255之间,所以g(i, j)的定义如下:
假设SAR 图像的大小为M × M,其中每个像素值为x,平滑后的SAR 图像中像素值为y,像素点x和y出现的频次为nx,y,则nx,y出现的概率为
在图1中,f(i, j)和g(i, j)是二维直方图的横轴和纵轴,分别表示原始SAR 图像和平滑SAR 图像的像素值。根据二维直方图区域划分可观察出:A区域中f(i, j) < g(i, j),表示图像的像素值比平滑图像相同位置的像素值小很多,所以此类像素点被判定为边缘像素点;相反在D 区域中,f(i, j) >g(i, j)表示原始图像的像素比平滑图像相同位置的像素值大很多,所以此类像素点被判定为噪声点,需要被剔除掉。B 和C 区域分别代表背景和前景类别。在利用二维阈值进行SAR 图像分割时,假设A、D 区域内没有像素,忽略A、D 区域内的噪声点和边缘点带来的影响,得到pA = 0, pD = 0,所以前景类别出现的概率为
背景类别出现的概率计算公式如下:
前景和背景两个类别的像素平均灰度值定义为
整幅SAR图像的平均灰度值为
类间方差计算公式如下:
定义矩阵的迹作为衡量类间方差大小的标准:
当矩阵的迹达到最大值时,最佳阈值(s*, t*)公式如下:
对应的二维阈值函数定义如下:
使用阈值进行图像分割,将SAR 图像中灰度值超过阈值的像素划分为岛岸背景类同时标记为1,将灰度值低于阈值的像素划分为海洋前景类并标记为0,分割结果呈现为二值图像。当存在海洋区域的灰度值高于阈值或者陆地区域的灰度值低于阈值时,在二值图像中陆地区域会出现小缝隙或者小孔洞,海洋区域可能出现孤立的亮点。为了改善二值图像使得后续舰船目标检测效果更好,采用形态学处理方法[11],包括膨胀、腐蚀、开闭运算等操作,来填充岛岸区域的孔洞缝隙,使其形成一个整体。
3)传统三维Otsu算法
二维Otsu 算法适用范围不够普遍,在低信噪比、复杂背景等特殊条件下分割效果较差,由此在二维基础上引入第三维度像素的邻域中值,得到三维Otsu 算法[12],此算法能够更好地分割低对比度、低信噪比的SAR图像。
假设任意一幅SAR 图像的灰度等级为L,像素点(x,y)处的灰度值用f(x,y)来表示,在每个像素点(x,y)处计算k × k 邻域内的均值g(x,y)和邻域中值h(x,y),表达式如下:
由上式可知g(x,y)和h(x,y)的灰度级数也为L。由此形成像素点(x,y)的一个三维向量( f(x,y),g(x,y),h(x,y)),并且3 个维度的变化范围相同皆为[0,L - 1]。3 个维度分别定义三元组( f(x,y),g(x,y),h(x,y))的值域,也就是三维直方图的含义,其定义域为L × L × L 的一个立方体,如图2 所示,直方图中定义某点为pmnk,根据直方图的定义可知其表示向量(m,n,k)发生的频率,发生的频数用Cmnk来表示,则pmnk可由式(23)求得:
图2 三维直方图具体划分方法
假设某点(s,t,q)定义为最佳阈值点,三维直方图被划分为图2(b)八个区域[13],具体划分如图2所示。SAR 图像是由暗背景和亮目标组成的,目标和背景之间的像素点关联性较强,所以s,t,q 三个的值接近,根据分析把(0,0,0)到(s,t,q)为对角线的长方体区域0 判定为背景,把(s,t,q)到(L -1,L - 1,L - 1)为对角线的长方体区域1 判定为目标。除去目标背景区域外的噪声和边缘像素关联性较弱,s,t,q 三个的值相差较大,所以由区域2~7表示。在一幅SAR 图像中,噪声和边缘的像素点个数远少于目标和背景区域的像素点个数,因此假设长方体区域2~7 的概率之和近似为0 来实现去噪的目标。
其中区域0 和区域1 表示背景和目标区域,分别记为C0和C1,二者的概率分布不同,根据上文选取的最佳阈值点对SAR 图像进行分割,C0 和C1 区域各自发生的概率为
背景和目标区域分别对应的均值矢量定义为
三维直方图总体均值向量为
由长方体区域2~7的概率之和近似为0可推出
在目标区域和背景区域两类之中定义类间散度矩阵:
根据最大类间方差思想可知矩阵σB 的迹trσB 为目标区域和背景区域两类的类间散度函数,求迹的公式如下[14]:
最终,满足上式使得迹的值最大的向量取值T(s0,t0,q0)即为最佳阈值,公式如下:
在二维Otsu 算法理论基础上增加一个维度得到三维Otsu 算法,分割效果明显提升,传统的三维Otsu 算法是以像素灰度值-邻域平均灰度值-邻域中值灰度值3个维度对SAR图像进行分割,适用于去除含有椒盐噪声的图像,但对于SAR 图像中的目标边缘轮廓和具体细节处理效果一般,为了后续更精确的SAR 图像目标检测和识别技术的研究,三维Otsu 算法中的第三维选择运用Prewitt 算子的梯度运算,该算子适用于处理噪声较多和灰度渐变的图像,针对低对比度的SAR 图像可以更好地进行噪声抑制。
Prewitt 算子的本质是一阶微分算子的边缘检测,综合考虑像素点上下和左右邻点灰度数值的差值,在图像边缘达到最大值从而对边缘区域进行检测,去除部分可能存在的伪边缘,对噪声具有平滑的效果[15]。其主要原理是在图像空间利用水平、竖直两个方向模板与原始SAR 图像进行邻域卷积,一个方向模板用来检测垂直边缘,另一个用来检测水平边缘。针对SAR 图像中某点f(m,n),Prewitt算子的计算公式如下:
水平方向的一阶微分为
垂直方向的一阶微分为
则梯度的计算公式为
式中f(m,n)定义为像素点(m,n)的灰度值。
传统的三维Otsu 方法考虑了像素灰度值、像素邻域平均灰度值、像素邻域中值灰度值这3个维度,会导致计算复杂度很高,针对这个问题,采用分解的思想[16],将三维Otsu降低维度变成3个一维Otsu,假设有一幅M × M 个像素的SAR 图像,像素灰度值为L,其中三元组(x,y,z)出现的次数为Cxyz,由此可推出x,y,z三个维度出现的次数分别为
则x,y,z三个维度发生的概率分别为
以上3 个概率作为x,y,z 的一维直方图的值,其中0 ≤x,y,z ≤L - 1。根据最大类间方差的算法原理,通过式(38)~(40)可获得求取最佳阈值s,t,q的参数[17]。
灰度值x的类间方差为
邻域均值y的类间方差为
梯度值z的类间方差为
由以上三式可推出最佳阈值T(s0,t0,q0)中3 个阈值分别为
以上的分解思想是将原来的求解1 个三元函数T(s0,t0,q0)的最优解,拆分成求解3 个一元函数σBx(s)、σBy(t)和σBz(q)的最优解,原来的传统方法是在L × L × L 的一个立方体直方图内搜索求解,本文是在3 个长为L 的一维直方图内搜索求解,将3 个一维算法求得的最佳阈值s,t,q 作为本文改进的三维最大类间方差算法的最佳阈值。
算法流程图如图3所示。
图3 三维Otsu的海陆分割算法流程图
实验1 首先采用常规的SAR 海岸图像来验证基于改进三维最大类间方差的SAR 图像海陆分割算法的可行性与有效性。图4(a)为高分3 号(GF-3)C波段的常规背景下的SAR图像,图像中包含海面和岛岸区域,大小为3 000 像素×3 000 像素,图4(b)为改进的三维最大类间方差算法海陆分割结果。从图4(b)中可以看出,经过改进的三维最大类间方差的海陆分割算法后,常规背景下的SAR图像中的岛岸背景被有效地去除掉。
图4 常规背景海陆分割算法结果图
实验2 为了验证分解的思想在算法中的可行性,统计同一幅图像在运用三维直方图Otsu 算法和分解的三维Otsu 算法进行海陆分割后陆地去除的概率是否相近。在算法基础上提出分割思想的前提是假设图2 三维直方图这一立方体区域中噪声所在区域2~7远离目标和背景,这些区域视为噪声概率之和近似为零来达到去噪的目的,在这种条件下采用分解的思想会得到和三维最大类间方差算法相同的阈值。但是实际的SAR 图像中不可能完全没有噪声,使得采用分解的三维Otsu 算法性能下降,但是本文采用改进的三维最大类间方差算法,考虑到了像素邻域均值和梯度多个维度,具有比较优越的去噪声能力,可以更好地进行噪声抑制,将目标区域和背景区域分割,算法复杂度也从O(L3)变为O(L + L + L) = O(L),所以采用分解的三维Otsu 算法进行海陆分割可以在保证性能的前提条件下,减少算法的运行时间,有效地提升算法效率,非常适用于尺寸很大的SAR 图像。图5(a)为使用三维直方图分割算法处理后的海陆分割结果,图5(b)为使用本文提出的基于分解思想的改进三维最大类间方差算法得到的海陆分割结果,可以看出本文算法能够有效地去除陆地。
图5 验证分解思想可行性的对比结果图
表1 中统计了两种算法去除陆地的效果和各自所用时间,其中去除陆地的效果主要统计了去除陆地数量占总陆地数量的百分比,可以看出采用分解思想可以有效地去除陆地,海陆分割效果近似达到原三维Otsu 算法的效果,但是本文算法的第三维采用梯度算子可以更有效地滤除噪声,同时算法效率提高很多,在保证算法性能的前提下节省许多时间。
表1 两种算法的海陆分割性能和所需时间
算法原三维Otsu分解的三维Otsu性能/%96.32 91.78时间/ms 2×104 5×102
实验3 分别采用包含复杂岛岸区域的某跨海大桥的实测SAR 图像和使用RADARSAT-1卫星获取的大尺寸包含岛岸区域的SAR 图像来测试基于改进三维最大类间方差的SAR 图像海陆分割算法在复杂岛岸背景条件下的性能,图6(a)和图7(a)为原始SAR 图像,可以看出岛岸区域和舰船目标都表现出区别于背景的高亮像素的聚集区域,图6(b)和图7(b)为一维最大类间方差算法海陆分割结果二值图,图6(c)和图7(c)为二维最大类间方差算法海陆分割结果二值图,图6(d)和图7(d)为传统三维最大类间方差算法海陆分割结果二值图,图6(e)和图7(e)为本文提出的改进三维最大类间方差算法海陆分割结果二值图,岛岸区域像素灰度为1,表现为亮的部分;海洋区域像素灰度为0,表现为暗的部分。分别对比4 种算法的结果二值图可以看出,经过一维、二维和传统三维分割算法后,原始图像中的岛岸背景大部分没有被剔除掉。本文提出的改进三维最大类间方差的SAR图像海陆分割算法效果最好,可以很好地将陆地区域剔除掉。
图6 场景1海陆分割算法结果图
图7 场景2海陆分割算法结果图
但是存在一种情况:陆地区域中的某些区域亮度低,导致该区域被错误地归属到海面类别,相反海洋区域较强的杂波被错误归到岛岸陆地类别,所以采用形态学处理的方法,一方面消除海面上的较小孤立亮点,另一方面填补陆地上的细小孔洞,使陆地大面积地连接为一个整体。然后将二值图像中像素灰度值为1 的像素数量统计出面积,若比原始SAR图像中最大的舰船目标的面积还要大,则判定为陆地区域。最终去除岛岸陆地区域的海陆分割结果如图6(f)和图7(f)所示,根据图6(f)和图7(f)可以看出,原始SAR图像的岛岸陆地区域被有效地剔除掉,从而减少陆地对舰船目标检测的干扰,对后续舰船目标检测性能有很大提升。
在图像分割中,通常有两个评价准则来有效评价分割方法对SAR 图像的分割效果,分别是:区域相似度(UR)与区域差异性(DR)[18],它们的计算公式分别如下:
I(x,y)表示SAR 图像某点(x,y)的灰度值,N1和N2 分别是前景类和背景类的像素个数,N 是SAR 图像I 的总像素个数。UR 表示不同区域的相似程度,DR表示不同区域的差异大小,UR和DR的取值范围都为[0,1],并且二者的数值越大,代表图像分割效果更好。4 种算法在不同场景下的两种指标数值如表2所示。
表2 4种算法的SAR图像分割结果指标
算法一维Otsu二维Otsu传统三维Otsu本文改进三维Otsu指标UR DR UR DR UR DR UR DR场景1 0.384 2 0.368 6 0.796 1 0.581 0 0.871 3 0.695 5 0.915 7 0.742 3场景2 0.103 1 0.225 4 0.471 0 0.318 2 0.695 2 0.513 6 0.724 5 0.575 0
表2 给出了包含复杂岛岸背景的两种场景SAR 图像在4 种算法下的图像分割结果的评价指标数值。从表中UR 和DR 两个指标的数值可以定量分析,改进的三维最大类间方差的图像分割算法相较于一维、二维和传统三维分割算法效果更优。
在较复杂岛岸背景条件下,本文提出了一种基于改进三维最大类间方差的SAR 图像海陆分割算法,一方面相较于一维和二维最大类间方差算法有更好的SAR 图像海陆分割效果,准确性方面有很大的提升;另一方面比传统三维最大类间方差算法分割效率更高,能够更有效地保留图像细节和边缘信息,根据三维直方图的区域划分可以将立方体的对角线区域定义为图像目标和背景所在区域,而其他远离对角线的区域定义为边缘噪声基本忽略不计,在这一特点的基础上,采用分解的思想,将3 个维度拆分成3 个一维,算法的计算复杂度从O(L3)降为O(L),性能提升的同时实时性也进行了提升。将一维、二维和传统三维Otsu 与本文算法对比,可以看出本文算法的SAR 图像海陆分割效果更好,对后续的识别、跟踪技术研究更有利。
[1]WEI Shunjun, SU Hao, MING Jing, et al.Precise and Robust Ship Detection for High-Resolution SAR Imagery Based on HR-SDNet[J].Remote Sensing, 2020, 12(1):167-196.
[2]曾祥书,黄一飞,蒋忠进.基于YOLOX 网络的SAR 图像舰船目标检测[J].雷达科学与技术,2023,21(3):255-263.
[3]XU Changgui,ZHANG Bo,GE Ji,et al.Faster Ship Detection Algorithm in Large-Scene SAR Images[C]//2022 IEEE International Geoscience and Remote Sensing Symposium,Kuala Lumpur,Malaysia:IEEE,2022:635-638.
[4]DU Yun, YUAN Hanliu, JIA Kejin, et al.Research on Threshold Segmentation Method of Two-Dimensional Otsu Image Based on Improved Sparrow Search Algorithm[J].IEEE Access,2023,11:70459-70469.
[5]FAN Shuchen, SUN Yuhe, SHUI Penglang.Region-Merging Method with Texture Pattern Attention for SAR Image Segmentation[J].IEEE Geoscience and Remote Sensing Letters,2021,18:112-116.
[6]LIU Chun,LUO Yi,YANG Jian,et al.Coastline Detection in Polarimetric SAR Images Based on Freeman Decomposition and Three-Region Markov Random Field Segmentation[J].IEEE Geoscience and Remote Sensing Letters,2024,21:1-5.
[7]YE Xinghuo, WANG Qianyi.Active Contour Image Segmentation Method for Training Talents of Computer Graphics and Image Processing Technology[J].IEEE Access,2021,9:19187-19194.
[8]董忠言,蒋理兴,王俊亚,等.基于图像复杂度的一维Otsu改进算法[J].计算机科学,2015,42(S1):171-174.
[9]黄雪滢.SAR 图像海上舰船目标检测算法[D].大连:大连海事大学,2021.
[10]ARORA S, ACHARYA J, VERMA A, et al.Multilevel Thresholding for Image Segmentation Through a Fast Statistical Recursive Algorithm[J].Pattern Recognition Letters,2008,29(2):119-125.
[11]XIAO Mingxi, WANG Hui, ZENG Zhaoyang, et al.SAR Image Segmentation and Target Detection Based on Mathematical Morphology[C]//2021 2nd China International SAR Symposium, Shanghai, China: IEEE, 2021:1-5.
[12]景晓军,李剑峰,刘郁林.一种基于三维最大类间方差的图像分割算法[J].电子学报,2003,31(9):1281-1285.
[13]范九伦,赵凤,张雪峰.三维Otsu阈值分割方法的递推算法[J].电子学报,2007,35(7):1398-1402.
[14]吕燕,龚劬.加权三维Otsu 方法在图像分割中的应用[J].计算机应用研究,2011,28(4):1576-1579.
[15]刘直芳,王运琼,朱敏.数字图像处理与分析[M].北京:清华大学出版社,2006.
[16]岳峰,左旺孟,王宽全.基于分解的灰度图像二维阈值选取算法[J].自动化学报,2009,35(7):1022-1027.
[17]肖乐意.Otsu 图像分割法的改进与应用研究[D].长沙:湖南大学,2020.
[18]CHABIER S,EMILE B,ROSENBERGER C,et al.Unsupervised Performance Evaluation of Image Segmentation[J].EURASIP Journal on Advances in Signal Processing,2006(12):1-12.
An Improved Algorithm for SAR Image Sea-Land Segmentation Based on 3D Maximum Between-Class Variance
LI Yuxuan, LIU Zheng, RAN Lei.An Improved Algorithm for SAR Image Sea-Land Segmentation Based on 3D Maximum Between-Class Variance[J].Radar Science and Technology, 2024, 22(4):416-426.
李雨轩 女,硕士研究生,主要研究方向为SAR 图像处理、SAR图像舰船目标检测。
刘 峥 男,博士,教授,主要研究方向为雷达信号处理的理论与系统设计、雷达精确制导技术和多传感器信息融合。
冉 磊 男,博士,副教授,主要研究方向为高速高机动SAR成像技术、多通道/阵列雷达成像技术。