| 此條目需要 精通或熟悉相关主题的编者参与及协助编辑。 (2018年7月12日) 請邀請適合的人士改善本条目。更多的細節與詳情請參见討論頁。 |
估计理论是统计学和信号处理中的一个分支,主要是通过测量或经验数据来估计概率分布参数的数值。这些参数描述了实质情况或实际对象,它们能够回答估计函数提出的问题。
例如,估计投票人总体中,给特定候选人投票的人的比例。这个比例是一个不可观测的参数,因为投票人总体很大;估计值建立在投票者的一个小的随机采样上。
又如,雷达的目的是物体(飞机、船等)的定位。这种定位是通过分析收到的回声(回波)来实现的,定位提出的问题是“飞机在哪里?”为了回答这个问题,必须估计飞机到雷达之间的距离。如果雷达的绝对位置是已知的,那么飞机的绝对位置也是可以确定的。
在估计理论中,通常假定信息隐藏在包含雜訊的信号中。噪声增加了不确定性,如果没有不确定性,那么也就没有必要估计了。
使用估计理论的领域
有非常多的领域使用参数估计理论。这些领域包括(当然不局限于以下列出的领域):
测量参数包含噪声或者其他不确定性。通过统计概率,可以求得最优化的解,用来从数据中提取尽可能多的信息。
估计过程
估计理论的全部目的都是获取一个估计函数,最好是一个可以实现的估计函数。估计函数输入测量数据,输出相应参数的估计。
我们通常希望估计函数能最优,一个最优的估计意味着所有的信息都被提取出来了;如果还有信息没有提取出来,那就意味着它不是最优的。
一般来说,求估计函数需要三步:
- 为了实现一个预测单个或者多个参数的所期望的估计器,首先需要确定系统的模型。这个模型需要将需要建模的过程以及不确定性和和噪声融合到一起,这个模型将描述参数应用领域的物理场景。
- 在确定模型之后,需要确定估计器的限制条件。这些限制条件可以通过如Cramér-Rao不等式这样的方法找到。
- 下一步,需要开发一个估计器或者应用一个已知的对于模型有效的估计器。这个估计器需要根据限制条件进行测试以确定它是否是最优估计器,如果是的话,它就是最好的估计器。
- 最后,在估计器上运行试验或者仿真以测试性能。
当实现一个估计器之后,实际的数据有可能证明推导出估计器的模型是不正确的,这样的话就需要重复上面的过程重新寻找估计器。不能实现的估计器需要抛弃,然后开始一个新的过程。总的来说,估计器根据实际测量的数据预测物理模型的参数。
基础
对于给定模型,估计器需要若干统计 "成分"才能实现。第一,统计样本从长度为 N 的随机向量(Random Variable,RV)中采样获得,观测值构成向量:
![{\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3e73cc498b4c467a2b8efe9650edf8930df68d7f)
第二,有 M 个参数:
![{\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6b7cad00bbddbee6afe48a156ea7cc2f87e690e0)
它们的值需要被估计。第三,用于生成连续数据的概率密度函数(Probability density function,PDF)或离散数据的概率质量函数(Probability mass function,PMF)以参数值为条件(这些概率函数潜在存在),即条件概率为:
![{\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cde10898898af45036b9313e4e55f13a626f6d77)
参数自身可能也存在概率分布(如贝叶斯统计),此时就需要定义贝叶斯概率:
![{\displaystyle \pi ({\boldsymbol {\theta }}).\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f30ed5642305867ca2b0db777819b098c8b6255b)
模型形成后,目标是估计参数,估计的参数通常表示为
,其中
表示估计值。
常用的估计器包括最小均方误差(Minimum mean squared error,MMSE)估计器,它利用了估计参数和参数实际值之间的误差:
![{\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d1fcb666c9b3544329735fb093caec9da7d623de)
作为优化的基础。该误差项平方的期望对MMSE估计器来说是最小的。
估计函数(估计子)
以下是一些相关的估计函数以及相关的主题
例子:高斯白噪声中的直流增益
考虑由
个独立采样点构成的离散信号
,它由常数
和零均值、方差为
的加性高斯白噪声
(即
)构成。方差已知,未知参数为
。
信号的模型为:
![{\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e1d88a9335e74132ddc42f3f9845e4b3a6eeb0a1)
参数
的两个可能的估计器是:
![{\displaystyle {\hat {A}}_{1}=x[0]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7efe6653cd0810309227e87ae4e1506100c0ef98)
,即采样平均(Sample mean)
通过计算两个估计器的期望可以发现,它们的均值均为
:
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e8eea7a9306f8e8ad9ec4eba1e66d6c3b680a791)
和
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/38009589e38e8b364cbf62318a2c067de3d5c02f)
两个估计器的均值没有差异,然而它们的方差不同:
![{\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d5bfcf819ea5feb58537ac1b60805a06aa6ef62d)
和
![{\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right)={\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a0235ae36ae0f2173a50fb57996b485702d8a37a)
当
时,
,所以似乎采样平均
是一个更好的估计器。
最大似然估计
使用最大似然估计继续上面的例子,噪声在采样点
上的概率密度函数(pdf)为:
![{\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6afa77b39956d597a829a9d79c9e00382d3599f9)
此时
的概率为(
服从分布
):
![{\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6dadba5522e55e1280ff3d724a17b3fb6be9d629)
由于相互独立,
的概率为:
![{\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3f2ece3340c919b3f79fd607bf9dad576368a439)
对上式取自然对数:
![{\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cfd2fb56c98155b49d5e330ea4db342ee0b6de2e)
于是最大似然估计器为:
![{\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5f9645b5ea7db9045f33f53fbc7e78952c192fe9)
计算对数-最大似然函数的一阶导数:
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8a674d68209284a5a9468459f08aa06057c5c01d)
令其为0:
![{\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}](https://wikimedia.org/api/rest_v1/media/math/render/svg/541b7836252bb44ad16ad11bf3d1a5a77057cf29)
得到最大似然估计器:
![{\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3c08685bf87326e0644e61bb668cb63f20555181)
它是一个简单的采样平均。从这个例子中可以发现,被独立同分布的加性高斯白噪声污染的、由未知常数构成的
点信号的最大似然估计其就是采样平均。
Cramér-Rao下限
为了找到采样平均估计器的Cramér-Rao下限(CRLB),需要找到Fisher information数
![{\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial \theta }}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln p(\mathbf {x} ;A)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/44e595795eec438eca51a4c171e19d78699f62e8)
从上面得到
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4a63946819cd04e4f699945d43d31f4c3cfdfb4b)
取二阶导数
![{\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2b465485d523bec9a8a4bb272a31eac46a9283b8)
发现负的期望值是无关紧要的(trivial),因为它现在是一个确定的常数
最后,将Fisher information代入
![{\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1a22a370f01f2274365748e0d869b6d85752d107)
得到
![{\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/17f1f76e9bd4354883d19cc99192a432ec6e58b3)
将这个值与前面确定的采样平均的变化比较显示对于所有的
和
来说采样平均都是等于Cramér-Rao下限。
采样平均除了是最大似然估计器之外还是最小变化无偏估计器(MVUE)。
这个直流增益 + WGN的例子是Kay的统计信号处理基础中一个例子的再现。
相关书籍
参见