融合光学信息的阵列干涉SAR三维成像

张月皎1,2,3焦泽坤1,2李若明1,2

(1.中国科学院空天信息创新研究院,北京 100190; 2.微波成像技术国家重点实验室,北京 100190;3.中国科学院大学电子电气与通信工程学院,北京 100194)

摘 要: 合成孔径雷达(SAR)三维成像技术具备高度向的分辨能力,能够有效解决二维SAR成像中的叠掩问题。然而,现有技术在数据获取方面存在周期较长、成本较高等问题,同时,重建结果易受噪声干扰,导致异常值的出现。针对这些挑战,本文提出了一种融合光学信息的阵列干涉SAR三维成像方法。该方法通过引入光学图像提供的先验几何信息,对SAR三维重建过程进行约束,从而拓展了数据源,降低了SAR数据获取成本,并有效地纠正了异常值。具体而言,该方法首先进行初步的三维成像,并利用初始的三维点云建立起光学图像与SAR图像之间的配准关系;接着,对光学图像进行几何结构分割,并将分割结果作为约束条件应用于SAR三维重建过程中,最终得到基于几何约束的三维重建结果。通过实测数据进行验证,结果表明该方法显著抑制了三维重建中的离群散射点,获得了同时包含光学纹理和SAR纹理的高质量三维点云,有望解决光学和SAR二维图像融合面临的异质性难题,为后续基于融合图像的目标解译奠定基础。

关键词: 三维成像; 二维映射; 图像配准; 几何约束

0 引 言

微波成像技术是高分辨率对地观测的重要技术手段,具有全天时、全天候的优势,在军事侦察、地形测绘、环境监测、地质勘探和灾情调查等方面具有重大应用价值。合成孔径雷达(Synthetic A-perture Radar,SAR)成像技术在距离向通过发射大带宽信号并结合匹配滤波技术实现距离维分辨,在方位向构建合成孔径实现方位维分辨[1-3]。但SAR图像仅具有二维分辨能力,是目标三维结构在距离多普勒平面的投影,在城区等立体结构复杂的区域,容易产生严重混叠,限制了SAR图像的应用效能[4]。SAR三维成像能够重建目标电磁散射特性在三维空间的分布,有效解决二维SAR图像中的叠掩问题,提升目标识别和解译能力,在三维测绘、形变监测、反恐作战和灾害评估等方面发挥了重要作用,受到国内外研究机构的广泛关注[5-7]

目前,基于SAR的三维成像技术,主要以德国宇航中心(DLR)提出的层析SAR (Tomography SAR,TomoSAR)技术为代表,依靠多次重复观测获得目标高程向观测信息,进而实现三维重建。在高程向信息获取方面,主要有多航过和阵列干涉两种体制。德宇航利用TerraSAR-X的多航过数据进行了大量关于SAR三维重建的研究[8-10];中国科学院空天信息创新研究院发布的SARMV3D Imaging数据集中包含多个地区的阵列干涉SAR数据[11],国内外学者也利用该数据集进行了大量的相关研究[12-14]。本文主要关注阵列干涉SAR的相关研究情况。在成像算法方面,传统的TomoSAR高程向反演算法主要是基于谱估计的三维成像算法,包括Capon空间谱估计算法[15]、多重信号分类算法(Multiple Signal Classification,MUSIC)[16-17]等;近年来,随着朱晓香教授等首次将压缩感知[18-19]技术应用于SAR三维重建中,基于压缩感知的SAR三维重建理论和算法的研究也取得了一系列成果,在一定程度上解决了TomoSAR高度向分辨率低以及所需观测数量多等问题。但受限于处理方法,即便是基于稀疏信号处理的成像方法,仍然需要至少十余次的重复观测,这将导致数据获取周期长且成本较高;而在较少观测次数条件下,三维成像性能急剧下降,且由于噪声的干扰,重建结果会有异常值的出现。提升成像质量与降低观测成本两种需求形成难以调和的矛盾,这就需要拓展三维成像信息来源,实现高效能低成本的三维成像。

为获取更多有用信息,一些研究者尝试深入挖掘成像场景的先验信息。例如,采用联合稀疏模型[20]、非邻域模型[21]以及马尔可夫随机模型[22]等方法,获取SAR图像像素邻域关系,试图提升三维成像效果。另一方面,由于可见光图像有丰富的细节和纹理信息,一些学者试图将光学图像与SAR影像进行融合[23],进一步提高信息维度。

针对上述背景,本文提出一种融合光学特征的阵列干涉SAR三维成像方法,以阵列干涉SAR三维点云为桥梁,实现SAR和光学图像的配准,并将配准结果融合应用于阵列干涉SAR的三维成像当中,主要体现在利用光学图像几何结构信息约束SAR的三维成像,在提升阵列干涉SAR三维成像精度的同时,能够获得同时包含光学和SAR图像纹理的三维点云。

1 阵列干涉SAR三维成像

机载阵列干涉SAR三维成像几何示意图如图1(a)所示,假设雷达沿x方向做匀速直线运动,则a为方位向,r为斜距向,s为高程向。P0,P1,…,PM -1M个天线阵列,沿交轨向布设。

图1 阵列干涉SAR三维成像示意图

对于某一天线Pm,其方位向和距离向(斜距向)的二维成像采用常规的SAR成像算法。在高程向,如图1(b)所示,单个方位-斜距分辨率单元内包含多个散射点信号,这是由于多个散射点与SAR传感器距离相同,所以混叠在了同一个分辨率单元中。

假设从M个天线获取的二维图像已完成了配准,则第m幅图像的某一方位-斜距分辨率单元的复数值可以认为是多个散射点散射信号沿高程向的积分,表达式如下[24]

式中,L为积分区间的长度,γ(s)表示后向散射系数沿高程向s的分布,ξm为高程向的空间频率,可表示为

其中,bm为第m个天线与主天线的连接线,对应第m个基线长度,bm表示该基线的垂直分量,λ表示雷达工作波长,rm表示目标在斜距向与第m个雷达天线之间的距离。

在实际处理中,将上述模型沿高程向s离散为N个采样值来近似,考虑到实际数据获取过程中的噪声等影响因素,式(1)的离散形式表示为

式中,g=[g1,g2,…,gM]TM×1维观测向量,RM×N维观测矩阵,有Rmn=exp [-j2πξms],γ=[γ(s1),γ(s2),…,γ(sN)]TN×1维离散的后向散射系数向量。

在完成图像配准、去斜、相位误差补偿等预处理之后,可采用压缩感知[18-19]算法解决上述反演问题。对多幅预处理之后的单视复图像进行高程向反演之后,经坐标转换得到目标区域的初始三维点云。

在此基础上,本文将利用该初始三维点云实现光学图像和SAR二维图像的配准,然后利用光学图像的几何结构分割结果以及图像配准的像素对应关系,为SAR的三维重建提供先验信息,获得更精确的三维重建结果,同时,将光学图像纹理信息渲染到SAR三维点云中,使得三维重建结果信息更丰富。

2 融合光学信息的SAR三维成像方法

在上节内容的基础上,本文提出了一种融合光学信息的阵列干涉SAR三维成像方法,如图2所示,主要步骤如下:

图2 融合光学信息的SAR三维成像方法

步骤1:对阵列干涉SAR多通道二维复图像进行图像配准、去斜、相位误差补偿等预处理工作,为三维成像做准备;

步骤2:利用现有的三维成像算法,对目标区域进行高度维反演,获得目标场景的初始三维点云;

步骤3:基于光学相机成像机制,将初始三维点云投影到二维平面上,获得点云二维图像,并与相同位置角度获得的光学图像进行配准;

步骤4:基于配准结果,将光学图像像素分割结果映射到SAR二维图像中,并对属于同一几何结构的像素进行几何约束成像,从而获得更高精度的三维重建结果;

步骤5:基于配准结果,将光学图像纹理信息渲染到SAR三维点云中,以获得同时具有SAR和光学信息的三维重建结果。

该算法的总体流程如图2(a)所示。上述流程中,步骤1已有较为深厚的研究基础,可参考文献[25]等进行处理,步骤2的原理在第1节中已经描述,具体的重建方法也可参考文献[18-19]等,对于步骤3、步骤4和步骤5,下面将进行详细的说明。

2.1 光学图像与SAR图像配准

光学图像和SAR图像形成过程中,由于两种传感器采集图像时完全不同的成像机制,导致两种类型图像之间存在差异,匹配难度较大[26-27]。首先,相对于光学图像,SAR图像存在相干斑噪声,不仅降低了空间分辨率,还严重影响了图像质量和其他定量信息的提取。其次,光学成像和SAR成像的辐射特性不同。即使是相同的特征对象,也可能表现不同的灰度特征。最后,光学成像和SAR成像的几何特征不同。SAR系统采用侧视成像,使得SAR图像会出现一些固有的特性,如叠掩、阴影、透视收缩等,这些几何形变也增加了配准的难度。

传统的光学图像和SAR图像的配准技术大致可以分为两类:基于区域的配准方法[28]和基于特征的配准方法[29]。近年来,随着深度学习技术的发展,研究人员开始探索将深度学习框架应用于光学与SAR图像的配准[30-31]。现有方法主要基于图像纹理及结构特征。在城市建筑密集区及山区等地形起伏较大区域,两种图像在结构和辐射特性上存在显著差异,难以实现高质量配准。

本文提出的研究方法如下:首先,采用压缩感知算法对多通道二维SAR图像进行三维成像,生成初始的三维点云。接着,基于光学相机成像原理,对初始三维点云进行映射。这一过程相当于通过虚拟相机对三维点云进行“拍摄”,其中,虚拟相机的位置信息和姿态被设置为与实际光学图像采集时相机的位置和姿态一致。通过这一映射,获得的二维图像称为点云二维图像。在此过程中,点云二维图像在几何特征上与实际光学图像具有高度相似性。最后,对点云二维图像与光学图像进行精确配准,并将配准结果反向映射到二维SAR图像中。通过这一系列步骤,三维点云作为桥梁,建立起了光学图像与多通道二维SAR图像之间的对应关系。所采用的方法框架如图2(b)所示。

三维点到二维像素的映射机制为

式中,(xw,yw,zw)为某一点的世界坐标,[R T]为相机的外参矩阵,它定义了相机相对于世界坐标系的位置和姿态,为相机的内参矩阵,fx=f为焦距,dx,dy表示像素物理尺寸,(u,v)为点云二维图像的像素坐标。在本方法中,三维点云中的每个点通过该投影模型转换为二维平面上的对应点,从而实现三维场景的二维表示。这一过程模拟了实际相机捕捉图像时的成像机制,确保了三维信息的准确转换,并为后续的图像配准提供了几何基础。

图2(b)同时也展示了光学图像与点云二维图像的配准过程。本文采用的配准方法为基于强度的多模态图像配准技术。具体配准过程如下:首先,读取待配准的图像,并进行必要的预处理,包括去噪、对比度增强等,以提高图像质量;接着,选择梯度下降作为优化算法、互信息作为相似度度量标准、相似变换作为变换模型,并进行相关参数配置;之后,计算初始变换参数并进入迭代过程。在每次迭代中,首先根据当前的变换参数对移动图像进行变换,随后计算变换后的图像与固定图像之间的相似度度量。根据计算得到的相似度度量结果,调整变换参数。参数调整后,判断是否满足收敛条件,常见的收敛条件包括连续若干次迭代后相似度度量变化小于预设阈值,或达到设定的最大迭代次数。若未满足收敛条件,则继续迭代;若满足收敛条件,则输出最终的变换参数及配准后的移动图像。

2.2 基于光学图像几何约束的SAR三维成像

2.2.1 光学图像几何结构分割

由于本文研究目标为建筑物,而建筑物通常具有规则的几何结构,因此在几何结构提取中,采用了边缘检测与形态学腐蚀膨胀相结合的方法。这种方法能够有效地提取出建筑物的轮廓和边界,适用于具有规则形态的目标区域。边缘检测用于初步提取图像边缘信息,形态学操作进一步细化和增强几何特征,从而提高分割准确性。具体分割流程如图2(c)所示。

边缘检测旨在寻找图像中像素强度急剧变化的位置,数学上可通过求导数体现。以拉普拉斯算子为例,它是二阶导数算子,用于衡量函数的二阶变化率。将图像像素强度视为二维函数I(x,y),拉普拉斯算子的表达式为

其离散近似形式为

该操作通过计算当前像素及其邻域像素的强度差异,捕捉建筑物轮廓信息。当该值较大时,表明该像素点周围强度变化剧烈,可能为边缘位置。对于具有规则几何形状(如直线、矩形、角落等)的建筑物,边缘检测可为后续结构提取提供初步参考信息。

接着,通过形态学操作优化边缘信息。在提取建筑物几何结构时,腐蚀操作去除噪声并消除小裂缝,使轮廓更平滑连贯;膨胀操作则恢复被腐蚀去除部分的结构,增强边界特征。对于灰度图像f(x,y)和结构元素b(x,y),腐蚀后的图像g(x,y)定义为

膨胀后的图像ℎ(x,y)定义为

式中,Db是结构元素b的定义域。腐蚀与膨胀的结合可有效改善边缘提取的质量、去除噪声并保持建筑物结构的完整性。

霍夫变换将边缘图像点集转换至参数空间,以检测直线,能准确提取建筑物直线边界,消除噪声和不连续性误差。霍夫变换后通过合并参数差异小的直线,进一步简化结果并提高几何结构的准确性。

通过上述操作,可提取出建筑物清晰的几何边界,得到精确几何结构分割结果,为后续基于几何约束的三维成像奠定基础。

2.2.2 基于几何约束的阵列干涉SAR三维成像

基于几何约束的SAR三维成像主要处理流程如图2(d)所示。该处理流程的具体步骤如下:

步骤1:首先,采用传统的SAR成像方法对目标进行初步的三维成像,以得到目标的初始三维结构。此步骤通过传统压缩感知算法对目标进行粗略重建,为后续的几何约束处理提供基础。

步骤2:基于已获取的几何结构信息,对初始三维成像结果中每个几何区域内的点云数据进行三维平面拟合。具体来说,如图3所示为从两个不同角度展示的三维点云平面拟合示意图,图中的蓝色点表示通过传统压缩感知算法获得的三维点云,而红色面表示对这些点进行三维平面拟合后的结果。该平面的数学表达式为

图3 三维点云平面拟合示意图

式中,Afit,Bfit,Kfit为经过变换之后的平面参数,ar分别表示方位向和斜距向坐标。

步骤3:在目标区域内进行进一步的三维成像。以某一方位-斜距像素单元(ai,rj)为例,在成像过程中,判断该像素是否位于已识别的几何结构区域内。如果该像素不属于任何几何结构区域,则仍采用传统的压缩感知方法进行三维反演;如果该像素位于几何结构区域内,则对其三维反演过程施加几何约束。具体约束规则如下:

首先进行理想参考位置计算。假设步骤2中得到的拟合平面表示该点的理想位置,则可以通过下式计算该像素单元的参考高度:

然后进行信噪比判断和约束范围计算。对于像素单元(ai,rj),计算二维SAR图像中该像素单元的信噪比SNRij。设定一个信噪比阈值SNR0,若SNRijSNR0(即信噪比较高,图像质量较好)。则重建的约束范围可以通过信噪比与某一约束参数λ的乘积来确定。具体表示为

相应的约束条件可以表示为

式中,λ是一个常数或可调参数,用来表征约束强度。在此情况下,由于高信噪比区域表示图像质量较高,因此可以对该区域进行更精确的三维重建,此时较宽的约束范围有助于利用高质量的数据信息,从而确保更好的重建效果。

当信噪比较低时,即SNRijSNR0,表明图像质量较差,可能存在较多噪声。在这种情况下,复杂的三维重建过程容易受到噪声的显著影响,进而严重影响重建结果的精度。因此,在低信噪比区域,重建结果将直接被约束到拟合结果的参考值,即采用已有的拟合结果作为重建的结果,以此避免噪声影响造成不准确的重建,该约束条件可以表示为

综上所述,基于几何约束的三维反演问题可以由如下数学表达式描述:

式中,supp(γ)表示γ的非零元素的索引集,L表示约束范围的长度,具体表达式如下:

本节描述了基于几何约束的SAR三维成像处理流程和数学模型,综合考虑了不同信噪比区域的特性以及几何结构的信息,旨在提高SAR三维成像的精度和可靠性,尤其在复杂目标区域和噪声干扰的情况下,能够实现更具针对性且有效的三维重建。

2.3 光学纹理信息引入

在光学图像与点云二维图像进行配准后,二者的像素之间建立起了一一对应的关系。点云二维图像由SAR三维点云通过映射获得,因此光学图像的像素与SAR三维点云之间存在明确的对应关系。基于此,可以将光学图像像素的色彩信息赋予与之对应的SAR三维点云。这样,SAR点云不仅保留了原有的强度信息,同时也获得了来自光学图像的色彩和纹理信息。

以光学图像中某一像素为例分析,假设该像素为ai(xi,yi,rgbi),其中xi,yi为该像素的二维坐标,rgbi为3×1的向量,表示光学像素的RGB值。假设经配准后,点云二维图像中与光学图像像素ai对应的像素为bj(xj,yj),其中xj,yj为该像素的二维坐标。由于点云二维图像是基于SAR三维点云生成的,因此针对像素bj(xj,yj),可以根据几何关系找到其在SAR三维点云中对应的散射点si(rgi,azi,ℎi,rcsi),其中rgi代表散射点si在SAR图像中的距离向像素坐标,azi代表散射点si在SAR图像中的方位向像素坐标,ℎi为散射点si的高度,rcsi为散射点si的复散射系数,包含散射系数的幅度和相位。通过上述几何关系可以建立起光学图像像素ai(xi,yi,rgbi)与SAR三维点云中散射点si(rgi,azi,ℎi,rcsi)之间的对应关系,从而得到扩展后的散射点表示si(rgi,azi,ℎi,rcsi,rgbi)。此时,三维点云中散射点不仅包含SAR图像的散射信息,还结合了光学图像的色彩信息,形成了多模态数据的综合表示。

3 实验结果与分析

为验证本文提出方法的有效性,本节选用中国科学院空天信息创新研究院发布的机载阵列干涉SAR微波视觉三维成像数据集[11],进行阵列干涉SAR三维成像实验,该数据集的相关参数如表1所示,Google Earth光学图像如图4所示。数据集由8景SAR图像组成。

表1 实验数据集雷达系统参数

参数 参数值带宽 500 MHz阵列模式 1发8收图像像素点数 1 220×3 100像素单元尺寸 0.149 9 m×0.073 4 m成像场景海拔高度 595 m机载平台高度 1 668 m

图4 实验数据集Google Earth光学图像

3.1 光学图像与SAR图像配准实验

为方便分析,选取图4红框中的两栋大楼作为实验对象进行分析,选取目标的光学图像和对应的SAR二维图像如图5(a)、(b)所示。其中,由于缺乏真实完整的目标光学图像,这里利用软件Blender中相机工具对目标场景的倾斜摄影模型进行“拍照”获得光学图像,在后续实验中,仅用到该二维光学图像,并未用到其中的三维信息,光学图像尺寸为2 160×1 080像素。

图5 实验对象各场景图像

首先,采用压缩感知算法对目标区域进行初始SAR三维成像,获取目标初始三维点云,如图5(c)所示。然后,采用本文2.1中提出的三维点云映射方法对初始三维点云进行二维映射,获得相应的点云二维图像,其图像尺寸为2 160×1 080像素,如图5(d)所示。对比图5(c)与图5(d),二者在点云保留的完整性、三维结构的完整性和准确性、空间关系的一致性以及视觉的可读性等方面,都有较好的一致性,证明了二维映射的有效性。

采用2.1节提到的基于强度的多模态图像配准方法进行点云二维图像和光学图像的配准,配准结果的棋盘格融合图如图6(a)所示。为了进一步展示配准的精度,图6中展示(b)、(c)两个子图,分别放大了建筑物边缘和中间具有明显强弱反射区域的配准效果。通过放大后的细节图可以清晰地看到,无论是建筑物整体的吻合程度,还是建筑的边界区域,以及中间强弱反射的位置(包括窗户的位置),都表现出较高的一致性。这表明所采用的配准方法能够有效地保留图像中的精细特征。

图6 光学图像与点云二维图像配准结果

3.2 基于光学几何结构约束的SAR三维成像实验本节首先对图6所示配准以后的光学图像进

行几何结构分割,采用2.2.1节中提到的边缘检测和腐蚀膨胀相结合的方法,对目标立面进行几何结构的分割。分割结果如图7所示。图中绿色的边缘是提取出的建筑物几何边界,相邻两条边缘之间的部分可以认为在同一平面上。

图7 光学图像几何结构分割结果

选取图7中红色矩形框中的200×100像素区域进行基于几何结构约束的三维成像,并进行分析。约束强度λ取不同的值时,三维重建结果如图8(a)、(b)、(c)、(d)所示,假设将数据集[11]中的激光点云结果作为验证的参照,分别统计了约束强度λ取不同值时重建结果的各三维点到实际位置的距离,得到其直方图分布,并对分布进行了拟合,如图8(e)、(f)、(g)、(h)所示,其横坐标代表重建点到真实点之间的距离,左侧纵坐标表示点的数量,右侧纵坐标表示拟合之后的归一化概率密度。表2为约束强度λ取不同的值时,各三维点到实际位置距离的均值、标准差和均方差。

表2 不同约束强度下的重建结果统计参数

约束条件 均值 标准差 均方差未约束 4.66 15.9 274.26λ=1 0.72 0.80 1.16λ=0.5 0.68 0.66 0.90λ=0.1 0.32 0.24 0.16

图8 不同约束强度下的重建结果和三维点的分布情况

从重建结果来看,当λ值较小,即约束强度较大时,约束条件更加严格,重建结果会趋向于某个目标平面(如地面、墙面等)。这种情况下,三维点云会更紧密地接近目标平面,噪声和杂散点被有效约束在目标平面附近,能减少误差和异常值,从而提高整体重建结果的稳健性。但当λ值过小,即约束过强时,虽然整体平面拟合效果很好,但细节信息(例如窗户的反射特征、建筑表面的微小起伏等)会被抑制。在这种情况下,由于所有点都强制接近目标几何结构,甚至一些原本应有的细节特征可能会丧失或变得模糊,导致重建结果无法真实地反映物体表面的复杂结构。相对而言,较大的λ值会放宽约束条件,使得点云更自由地分布,可能会更好地保留细节信息,如建筑物的窗户等特征,尤其在复杂的环境中,能够捕捉到更多的微小变化。因此,约束强度λ的选择需要谨慎平衡,折中选择。

最后,选取λ=0.5,对目标区域整体进行约束成像,成像结果如图9(a)所示。将光学图像纹理按照像素对应关系映射到三维点云中,结果如图9(b)所示。就得到了同时拥有光学纹理和SAR纹理的三维点云,初步实现了SAR图像和光学图像的互补特性融合,可有效提升遥感图像判读和解译的准确性。

图9 几何约束后的三维点云及光学纹理渲染结果

本节对文中提出的方法进行了实验验证,结果较为理想。然而,在实际应用中仍可能遇到一些问题。例如,在数据获取过程中,若视角设置不当,出现的透视收缩和顶底位移等现象可能会导致获得的二维SAR图像楼体有效散射点减少,这会导致重建的三维点云较为稀疏,进而影响后续光学图像与SAR图像的配准精度。此外,入射角的变化会影响雷达等效基线长度,从而对高度维分辨率产生影响。因此,在数据获取过程中,需要综合考虑有效散射点数量与高度维分辨率,合理调整观测视角,以最大程度地获取完整的楼面信息,并保证较高的第三维分辨率。

4 结束语

本文针对SAR的三维成像提出了一种新的光学图像与SAR图像的配准框架,并利用光学图像为SAR的三维成像提供先验信息,有效提高了三维重建的精度。本文的工作为光学图像与SAR图像的融合提供了新的思路,并为后续基于融合图像的目标解译奠定了基础。

然而,本文仅从光学图像中提取了竖直边缘信息作为几何结构约束,忽略了图像中可能存在的其他角度的信息(例如水平纹理等)。这些信息对于提升重建精度和改善点云质量具有潜在的价值。因此,未来的研究将进一步扩展光学图像中几何信息的提取方式,综合考虑多角度纹理信息,以进一步优化该方法的性能。

参考文献

[1] CUMMING L G,WONG F H.合成孔径雷达成像——算法与实现[M].洪文,等译.北京:电子工业出版社,2012.

[2] 胡泽宾.SAR干扰技术综述[J].雷达科学与技术,2024,22(4):369-376.

[3] 吕泽鑫,仇晓兰,丁赤飚.无人机载PolInSAR城区散射机制初步分析[J].雷达科学与技术,2022,20(5):475-479.

[4] REN Zishuai,JIANG Zheyi,GUO Rui,et al.Applying the Cylindrical Wave Model with Height Thresholding to Airborne SAR Tomography[C]//2024 IEEE International Geoscience and Remote Sensing Symposium,Athens,Greece: IEEE,2024:2399-2402.

[5] TIAN H,DONG Chunzhu,YIN Hongcheng,et al.Airborne Sparse Flight Array SAR 3D Imaging Based on Compressed Sensing in Frequency Domain[J].Journal of Systems Engineering and Electronics,2023,34(1):56-67.

[6] 丁赤飚,仇晓兰,徐丰,等.合成孔径雷达三维成像——从层析、阵列到微波视觉[J].雷达学报,2019,8(6):693-709.

[7] SONG Shujie,QIU Xiaolan.A Sparse Bayesian Learning 3D Imaging Methodology Based on Polarimetric Energy Maximum in Urban Area for Pol-Array-InSAR[C]//2024 IEEE International Geoscience and Remote Sensing Symposium,Athens,Greece: IEEE,2024:10777-10781.

[8] ZHU Xiaoxiang,BAMBER R.Tomographic SAR Inversion by L1-Norm Regularization—The Compressive Sensing Approach[J].IEEE Trans on Geoscience and Remote Sensing,2010,48(10):3839-3846.

[9] WANG Xiao,XU Feng.Tomographic SAR Inversion by Atomic-Norm Minimization—The Gridless Compressive Sensing Approach[J].IEEE Trans on Geoscience and Remote Sensing,2022,60(11):5239113.

[10] ZHUANG Di,ZHANG Lamei,ZOU Bin.Interferometry Modeling and Height Reconstruction for High -Rise Buildings in Complex Scenes Based on One Single Interferogram[J].IEEE Trans on Geoscience and Remote Sensing,2024,62(2):5206916.

[11] 仇晓兰,焦泽坤,彭凌霄,等.SARMV3D-1.0:SAR微波视觉三维成像数据集[J].雷达学报,2021,10(4):485-498.

[12] QIU Xiaolan,JIAO Zekun,ZHANG Zhe,et al.Advances and Prospects in SAR Microwave Vision Three-Dimensional Imaging[J].National Science Open,2024,3(5):53-83.

[13] 任子帅,张照,高雨欣,等.基于自适应高程约束的TomoSAR三维成像[J].雷达学报,2023,12(5):1056-1068.

[14] 姬昂,裴昊,张邦杰,等.阵列SAR高分辨三维成像与点云聚类研究[J].电子与信息学报,2024,46(5):2087-2094.

[15] 刘慧,郭馨宇,郭子夜,等.基于交替方向乘子法的Capon层析SAR成像方法[J].雷达科学与技术,2023,21(3):303-313.

[16] FREY O,MEIER E.3-D Time-Domain SAR Imaging of a Forest Using Airborne Multibaseline Data at L- and P- Bands[J].IEEE Trans on Geoscience and Remote Sensing,2011,49(10):3660-3664.

[17] MOORE T,PADEN J,LEUSCHEN C,et al.Nonparametric Array Manifold Calibration for Ice Sheet Tomography[J].IEEE Trans on Geoscience and Remote Sensing,2022,60:2919-2922.

[18] ZHU Xiaoxiang,BAMLER R.Compressive Sensing for High Resolution Differential SAR Tomography -the SL1MMER Algorithm[C]//2010 IEEE International Geoscience and Remote Sensing Symposium,Honolulu,HI,USA: IEEE,2010:17-20.

[19] FENG Jing,JIN Shuang,ZHANG Jinajing,et al.Three-Dimensional Initial Imaging Result of Chinese Gaofen-3 Satellite Based on CS-TomoSAR[C]//2023 IEEE Radar Conference,San Antonio,TX,USA: IEEE,2023:1-5.

[20] ZHU Xiaoxiang,GE Nan,SHAHZAD M.Joint Sparsity in SAR Tomography for Urban Mapping[J].IEEE Journal of Selected Topics in Signal Processing,2015,9(8):1498-1509.

[21] SHI Yilei,ZHU Xiaoxiang,BAMLER R.Nonlocal Compressive Sensing -Based SAR Tomography[J].IEEE Trans on Geoscience and Remote Sensing,2019,57(5):3015-3024.

[22] JIAO Zekun,DING Chibiao,QIU Xiaolan,et al.Urban 3D Imaging Using Airborne TomoSAR: Contextual Information-Based Approach in the Statistical Way[J].IS-PRS Journal of Photogrammetry and Remote Sensing,2020,12:127-141.

[23] XIANG Yuming,WANG Feng,YOU Hongjian.OS -SIFT: A Robust SIFT-Like Algorithm for High-Resolution Optical-to-SAR Image Registration in Suburban Areas[J].IEEE Trans on Geoscience and Remote Sensing,2018,56(6):3078-3090.

[24] YAN Qiancheng,JIAO Zekun,QIU Xiaolan,et al.Comparison Between Different TomoSAR Imaging Models for Airborne Platform Flying at Low Altitude[J].Remote Sensing,2022,14(21):5452.

[25] 张福博,梁兴东,吴一戎.一种基于地形驻点分割的多通道SAR三维重建方法[J].电子与信息学报,2015,37(10):2287-2293.

[26] TENG Xichao,LIU Xuecong,LI Zhang,et al.OMIRD:Orientated Modality Independent Region Descriptor for Optical-to-SAR Image Matching[J].IEEE Geoscience and Remote Sensing Letters,2023,20(3):1-5.

[27] LIN Yi,WEI Lujia,LI Lang,et al.Adaptive Multi-Scale Optical-to-SAR Image Matching[C]//2023 5th International Conference on Geoscience and Remote Sensing Mapping,Lianyungang,China: IEEE,2023:168-171.

[28] YE Yuanxin,SHAN Jie,BRUZZON L,et al.Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity[J].IEEE Trans on Geoscience and Remote Sensing,2017,55(5):2941-2958.

[29] ZHANG Keke,YU Anxi,TONG Wenhao,et al.A Fast SAR-Optical Registration Algorithm for Land-Water Interface Area[C]//2024 9th International Conference on Signal and Image Processing,Nanjing,China: IEEE,2024:675-679.

[30] LIAGHAT A,HELFROUSH M S,NOROUZI J,et al.Airborne SAR to Optical Image Registration Based on SAR Georeferencing and Deep Learning Approach[J].IEEE Sensors Journal,2023,23(21):26446-26458.

[31] LIU Rui,ZHANG Hongsheng.Optical and SAR Image Registration with Deep Reinforcement Learning[C]//2024 IEEE International Geoscience and Remote Sensing Symposium,Athens,Greece: IEEE,2024:7375-7377.

3D Imaging of Array Interferometric SAR with Integrated Optical Information

ZHANG Yuejiao1,2,3,JIAO Zekun1,2,LI Ruoming1,2

(1.Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100190,China;2.National Key Laboratory of Microwave Imaging Technology, Beijing 100190,China;3.School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100194,China

Abstract: Synthetic aperture radar (SAR) three-dimensional (3D) imaging technology provides vertical resolution and effectively addresses the issue of image stacking in SAR imaging.However,existing technologies face challenges,including long data acquisition periods and high costs,and the reconstruction results are prone to noise interference,which may lead to the presence of outliers.To overcome these limitations,a novel method that integrates optical information with array interferometric SAR (array-InSAR) for 3D imaging is proposed in this paper.The proposed method incorporates the prior geometric information from optical images to constrain the SAR 3D reconstruction process,thereby expanding the data sources,reducing the cost of SAR data acquisition,and effectively correcting outliers.Specifically,the method first performs an initial 3D imaging process and establishes the registration relationship between the optical and SAR images using the initial 3D point cloud.The optical image is then segmented based on its geometric structure,and the segmentation results are applied as a constraint during the SAR reconstruction.Finally,the 3D reconstruction results,constrained by geometric information,are obtained.The validation using the measured data demonstrates that the proposed method significantly reduces outlier scatter points in the 3D reconstruction,resulting in high-quality 3D point clouds that simultaneously incorporate optical and SAR textures.This approach shows promise in addressing the challenges of heterogeneity encountered in the fusion of optical and SAR two-dimensional(2D) images,providing a solid foundation for subsequent target interpretation based on the fused images.

Key words: three-dimensional (3D) imaging; two-dimensional(2D)mapping; image registration; geometric constraints

DOI:10.3969/j.issn.1672-2337.2026.01.009

中图分类号:TN957.52

文献标志码:A

文章编号:1672-2337(2026)01-0083-11

引用格式:张月皎,焦泽坤,李若明.融合光学信息的阵列干涉SAR三维成像[J].雷达科学与技术,2026,24(1):83-93.

ZHANG Yuejiao,JIAO Zekun,LI Ruoming.3D Imaging of Array Interferometric SAR with Integrated Optical Information[J].Radar Science and Technology,2026,24(1):83-93.

收稿日期: 2025-01-02;

修回日期: 2025-02-04

基金项目: 国家自然科学基金(62471456)

作者简介:
张月皎 女,硕士研究生,主要研究方向为合成孔径雷达三维成像技术。
焦泽坤

通信作者 ) 男,博士,副研究员,主要研究方向为合成孔径雷达三维成像技术。
李若明 男,博士,副研究员,主要研究方向为高分辨率合成孔径雷达技术与系统。