邹 鲲,吴德伟,李 伟
(空军工程大学信息与导航学院,陕西西安710077)
摘 要:信息几何理论将统计推断问题转换为几何问题进行处理,从而能够从几何的角度分析进行统计推断。以高斯噪声下的信号检测为研究对象,给出了基于信息几何理论的信号检测所需的理论基础,分析了测地线距离与检测器性能之间的关系。分别以简单假设和复合假设两种情况,分析了两种距离检测器的性能,并与Neyman-Pearson检测器和广义似然比检测器进行了对比。计算机分析结果表明,测地线长度和方向共同决定了检测性能,且距离检测器性能与似然比检测器性能相当。
关键词:信息几何;测地线;距离检测器;信号检测
信号检测问题是统计信号处理领域的重点问题[1],其本质是依据待检测信号统计分布与备择假设(H1)、零假设(H0)所指定的统计分布之间的差异,并进行判决。从信息几何理论的观点来看,将统计模型中的每一种分布看成统计流形上的一个点,其坐标与统计分布的参数一一对应。统计流形的几何结构与相应的分布性质有关。在一定条件下,还可以在该流形上建立微分结构,从而通过微分流形来研究分布的统计性质。这种思路早在1945年Rao[2]就提出来了,并建议采用Fisher信息矩阵定义流形上的Riemann度量,但直到1975年Efron[3]提出了统计曲率的概念,特别是1982年Amari[4]定义了单参数族的联络之后,才使得微分流形的理论与方法逐步与统计领域相结合,即所谓的信息几何(Information Geometry)理论[5]。信息几何理论将微分几何方法解决信息领域问题,并成功应用于统计推断、神经网络、信号处理、量子理论、控制理论等方面[6]。近年来提出的矩阵信息理论[7]则可以应用于雷达信号处理[8]、流形学习[9]、系统的稳定性和最优化[10]、图像处理[11]。
噪声中的信号检测问题属于数学上的统计推断问题。从信息几何的角度来看,信号的检测问题可以转换为统计流形上的距离问题[12],为此可以引入散度作为距离函数,用来测量流形上两点之间的差异。其中Kullback-Leibler散度(KLD)经常被用来测量统计流形上两点的差异[13],KLD计算简单,但该散度仅仅满足距离函数的非负性,不满足对称性和三角不等式。微分几何理论指出,测地线是内蕴几何量,流形上两点之间的测地线长度表示了流形上两点之间的最短距离。因此基于信息几何的信号检测的核心问题是在给定了Fisher度量和Levi-Civita联络的定义,计算统计流形上的测地线长度。若给定该统计流形上的一个点,以及该点处的切向量,可以得到一条测地线方程[14]。以多元正态分布为例,计算测地线长度并不容易,目前还没有统一的计算公式,一种可行的办法就是用Siegel距离替代[15],该距离长度是测地线长度的下限。
虽然测地线长度大小衡量了两种分布之间的差异,但还需建立与检测性能之间的关系。为此本文分析了检测器性能与测地线长度之间的量化关系,分析结果表明检测器性能不仅与测地线长度有关,还与测地线方向有关。对于二元假设检验问题,距离检测器与似然比检测器相当。
信息几何理论中,对于参数化统计分布族:
如果在S与Θ之间存在一一对应关系,这种一一对应关系使得在S上诱导出与Θ同胚的拓扑结构。如果在S上任取一点P=p(x,θ)以及在P的一个邻域U,定义U到
的映射φ:φ(P)=θ。此时邻域U是S的一个覆盖,映射φ是一个微分同胚映射,这样就可以在S上建立一个微分结构,因而S形成了一个n维微分流形,其坐标为θ。
在统计流形S上点P处的切空间TP(S)是一个n维向量空间,其本质上就是S在P点处的线性近似。流形上的度量张量有切空间TP(S)的内积决定,切空间内积的定义具有随意性,但在统计流形上引入Riemann度量有利于统计问题的研究,即度量张量与Fisher信息矩阵一致。从某种意义上的不变性而言,Fisher信息矩阵是唯一适合的Riemann度量。Fisher信息矩阵定义为
式中,E[·]表示按照分布p(x,θ)取期望。考虑流形S上任意曲线c(t)=c(θ(t)),t∈[a,b],其中θ(a)=θ0,θ(b)=θ1。曲线的弧长可以表示为
那么刻画p(x,θ0)和p(x,θ1)两种分布的差异可以用连接S上θ0点和θ1点最短弧长表示:
其对应的曲线就是测地线,测地线应该满足方程:
式中
即为S的第一类基本量的Christoffel符号,是基向量的协变导数的系数,其可以利用式(2)所定义的Fisher信息矩阵计算得到:
测地线具有良好的距离测度的性质,即满足对称性、非负性和三角不等式。但测地线的长度计算并不容易,为此常常采用KLD作为测量两种分布的差异[16],其也称为相对熵:
但需要指出的是,KLD并不满足对称性和三角不等式。为此可以考虑采用平均KLD来满足距离测量的对称性:
本文考虑高斯统计模型,那么对应的统计流形可以表示为
式中
表示n维正定对称矩阵。因此参数空间是
构成n+n(n+1)/2维微分流形。目前还没有直接计算高斯统计流形上两点测地线距离的闭合求解公式,但可以对几种特殊情况给出测地线距离解。
具有相同均值的测地线距离:
式中,λi为方程det(M0-λM1)=0的根。该公式可以用于雷达信号的CFAR检测[16-17]。
具有相同方差的测地线距离:
该距离也称之为Mahalonobis距离,该距离可以应用于多目标跟踪问题。
对于一元高斯统计模型,测地线距离[14]可以表示为
利用式(7)可以得到KLD的表达式:
需要指出的是,KLD不具备对称性,可以利用式(8)得到具有对称性的KLD。
从前面的分析可以看出,可以用统计流形上两个点之间的距离衡量两种分布之间的差异。从检测理论可知,对于二元假设检验,如果两种假设下的统计分布差异越大,对应的检测性能也就越好。因此有必要讨论测地线距离与检测性能的关系。本文以一元高斯下的检测为例,考虑如下检测问题:
即假定两种假设分布都是一元高斯分布,均值和方差不相同。采用Neyman-Pearson准则,检测器的性能可以表述为给定第一类错误概率Pf=P(H1|H0)条件下,使得检测概率Pd=P(H1|H1)最大。由此可以得到似然比检测器:
式中:
门限γ与指定的第一类错误概率Pf有关。可以看出,检测概率Pd与两种假设下的分布参数有关,一般情况下,可以采用计算机仿真计算得到。而利用式(12)可以得到两种分布之间测地线距离,利用式(13)可以得到两种分布的KLD距离。由此就可以建立统计流形上两点的距离与检测性能之间的关系。
图1给出了参数空间(μ,σ)上的等测地线距离圆。在参考空间内取点A(0,1),给出了与该点距离为0.5,1,1.2三种等距离圆。从图中可以看出,等距离圆在均值参数方向是对称的,而在标准差参数方向是非对称的。以距离A点测地线距离为1时,取B,C两点,这两点具有相同的均值参数,但方差不同,如图1所示。可以看出,虽然在参数空间上,BA的距离小于AC的距离,但在测地线距离上却相等。也就是说,从测地线距离的角度来看,B点处的分布与A点处的分布之间的差异等同于C点与A点分布之间的差异。
图1 参数空间内的等测地线距离圆
接下来考虑在等测地线距离圆上的检测性能。在这里考虑两种距离,一种为Fisher测地线距离(FID),一种为平均KLD距离(KLDavg)。并考虑与点(0,1)相距D=3的等距离圆,如图2(a)所示,可以看出KLD与FID在标准差小于1的区域较为接近,而在标准差大于1的区域,两者差异较大。这是因为KLD并不是流形上两点之间的真实距离。沿等距离圆,利用式(15)可以估算检测器性能。这里取第一类错误概率Pf=10-3,仿真次数为105。在整个圆周上的检测概率Pd如图2(b)所示。可以看出,在不同方向上,检测性能是不一样的。这说明,统计流形上两点之间的距离即便相同,对应的检测性能可能存在显著差异。因此流形上两点之间的距离与检测器性能之间不是一一对应的。
图2 相同距离条件下的检测性能
最后分析具有相同检测性能时,对应的参数空间内均值和方差所满足的条件。分析结果如图3所示。仿真参数同前,分别考虑了检测概率为0.1～0.5几种情况下的参数分布情况。可以看出,距离A(0,1)点越远,检测概率越大,这种趋势与测地线距离类似。但是对比图1和图3可知,具有相同检测性能的参数显然不属于同一测地线距离圆上。由此可以得出,检测性能虽然与测地线距离的大小有关系,但并不是一一对应的,而与测地线的方向有关系。
对于具有相同方差的简单二元假设检验问题:
这是二元假设检验问题公式(14)的特例,由于所有参数均已知,似然比检测性能可以表示为
式中,函数Q是正态累计密度函数:
图3 具有相同检测性能的参数分布
基于信息几何理论,可以将简单二元假设问题考虑为参数空间为(μ,σ)统计流形上的两个点,分别对应P0=(μ0,σ)和P1=(μ1,σ)。利用观测数据x可以得到流形上对应的估计值点P=(x,σ),距离检测器就是判定P与P0和P1之间的距离差。为此构造如下的距离检测器:
式中,d,d1,d0分别对应了P0与P1之间的距离、P与P1之间的距离、P与P0之间的距离。距离计算值采用FID或KLD计算。
利用式(18)和式(20)可以对比分析两者检测性能,分析结果如图4所示,其中信噪比(SNR)的定义为
可以看出,两者的检测性能完全一致。由此可以得出,基于信息几何理论得到的距离检测器,其检测性能与似然比检测性能相当。这是因为在给定方向上,流形上的距离大小与检测性能存在正比关系。
对于复合二元假设检验问题,假定式(17)中μ1参数是未知的,此时可以采用广义Neyman-Pearson准则,即采用广义似然比获得似然比检测器:
图4 简单二元假设的检测性能对比
容易得到其检测性能为
式中,函数f(·,δ)是自由度为1且非中心参数为δ的χ2累计概率密度函数。基于信息几何理论,由于H1下的参数是未知的,因此距离检测器退化为
即判定P与P0之间的距离大小,依据该距离的大小实现对假设检验问题的判决。
两种检测器性能分析结果如图5所示。可以看出,两种检测器的检测性能是相当的,说明采用基于信息几何理论的距离检测器也可以达到似然比检测器的性能。
图5 复合假设下的检测性能对比
信息几何理论的核心问题是将微分几何方法应用于统计推断,本文主要考虑基于信息几何理论的假设检验问题,其关键在于确定统计流形上的两点之间的距离,并建立距离测度与检测性能之间的量化关系。通过分析表明,距离大小与检测性能并不是一一对应的,但是在给定测地线方向时,距离的大小与检测性能的高低是相关的,因此可以将距离测度应用于信号的检测。最后给出了简单假设和复合假设两种情况,分别构造了距离检测器,其检测性能与似然比检测性能相当。
参考文献:
[1]KAY S K.Fundamentals of Statistical Signal Processing:Volume II Detection Theory[M].Upper Saddle River,NJ:Prentice Hall,1998:125-196.
[2]RAO C R.Information and the Accuracy Attainable in the Estimation of Statistical Parameters[J].Bulletin of the Calcutta Mathematical Society,1945,37(3):81-91.
[3]EFRON B.Defining the Curvature of a Statistical Problem(with Applications to Second Order Efficiency)[J].The Annals of Statistics,1975,3(6):1189-1242.
[4]AMARI S.Geometrical Theory of Asymptotic Ancillarity and Conditional Inference[J].Biometrika,1982,69(1):1-17.
[5]AMARI S.Information Geometry and Its Application[M].Tokyo:Springer,2016:315-353.
[6]孙华飞,张真宁,彭林玉,等.信息几何导引[M].北京:科学出版社,2016:1-8.
[7]NIELSEN F,BHATIA R.Matrix Information Geometry[M].Berlin:Springer,2013.
[8]FAN H,JIANG Y,KUANG G.Target Detection in Non-Stationary Clutter Background and Riemann Geometry[J].IET Radar,Sonar and Navigation,2014,8(4):376-381.
[9]RASKUTTI G,MUKHERJEE S.The Information Geometry of Mirror Descent[J].IEEE Trans on Information Theory,2015,61(3):1451-1457.
[10]LI W,JIA Y.Kullback-Leibler Divergence for Interacting Multiple Model Estimation with Random Matrices[J].IET Signal Processing,2016,10(1):12-18.
[11]PEREYRA M,BATATIA H,MCLAUGHLIN S.Exploiting Information Geometry to Improve the Convergence of Nonparametric Active Contours[J].IEEE Trans on Image Processing,2015,24(3):836-845.
[12]华小强,王平,高颖慧,等.基于信息几何的图像去噪[J].计算机工程与科学,2015,37(3):589-593.
[13]赵兴刚,王首勇.雷达目标检测的信息几何方法[J].信号处理,2015,31(6):631-637.
[14]CALVO M,OLLER J M.An Explicit Solution of Information Geodesic Equations for the Multivariate Normal Model[J].Statistics and Risk Modeling,1991,9(1-2):119-138.
[15]CALVO M,OLLER J M.A Distance Between Multivariate Normal Distributions Based in an Embedding into the Siegel Group[J].Journal of Multivariate Analysis,1990,35(2):223-242.
[16]王刚,刘智,王番,等.基于KL距离的SAR影响变化检测[J].雷达科学与技术,2012,10(1):59-63.WANG Gang,LIU Zhi,WANG Fan,et al.A Change Detection Method of SAR Image Based on Kullback Leibler Divergence and Morohology[J].Radar Science and Technology,2012,10(1):59-63.(in Chinese)
[17]BARBARESCO F,BRION V,JEANNIN N.Radar Wake-Vortices Cross-Section/Doppler Signature Characterisation Based on Simulation and Field Tests Trials[J].IET Radar,Sonar and Navigation,2016,10(1):82-96.
Signal Detection Method Based on Information Geometry Theory
ZOU Kun,WU Dewei,LI Wei
(School of Information and Navigation,Air Force Engineering University,Xi’an710077,China)
Abstract:Based on the information geometry theory,the statistical inference can be transformed into the geometry problem,and hence,can be realized from a geometric perspective.In this paper,we consider the signal detection in Gaussian noise,and provide the fundamentals necessary for signal detection based on the information geometry theory.The relationship between the geodesic distance and the detection performance is analyzed.The two distance detectors are analyzed for simple hypothesis and compound hypothesis respectively.The computer analysis results indicate that the detection performance is determined by the geodesic distance and orientation,and the detection performance of the distance detector is comparative to the likelihood ratio detector.
Key words:information geometry;geodesic line;distance detector;signal detection
中图分类号:TN957.51
文献标志码:A
文章编号:1672-2337(2017)02-0120-06
DOI:10.3969/j.issn.1672-2337.2017.02.002
收稿日期:2016-07-02;
修回日期:2016-11-20
基金项目:国家自然科学基金(No.61571456);陕西省自然科学基金(No.2016JM0644)
作者简介:
邹 鲲男,1976年出生,湖北黄冈人,博士后,副教授,主要研究方向为统计信号处理、认知雷达信号检测与估计。E-mail:wyyxzk@163.com
吴德伟男,1963年出生,吉林吉林人,教授、博士生导师,主要研究方向为导航信息技术。
李 伟男,1978年出生,山东济宁人,博士,副教授,主要研究方向为MIMO雷达信号处理。