跳转到内容

微分熵

维基百科,自由的百科全书

微分熵消息理论中的一个概念,是从以离散随机变数所计算出的夏农熵推广,以连续型随机变数计算所得之,微分熵与离散随机变数所计算出之夏农熵,皆可代表描述一信息所需码长的下界,然而,微分熵与夏农熵仍存在着某些相异的性质。

定义

为一连续型随机变数,其几率密度函数,其中支撑集。微分熵:

与夏农熵为类比,计算夏农熵之算式中的通常以2为底,而微分熵为计算方便,常以计算后再转换为的结果。微分熵与夏农熵最大的不同点在于可为大于1的数值,此时可能会造成为负值,而夏农熵恒不为负。

例如,均匀分布

相关计算

之联合几率密度函数,其条件熵为:

又称KL散度Kullback–Leibler divergence),两几率密度函数f、g的相对熵定义为:

两连续型随机变数的联合几率密度函数为,其互信息:

广义而言,我们可以将互信息定义在有限多个连续随机变数值域的划分。 可参考连续互信息的量化

性质

相对熵恒正

与夏农相对熵性质相同,恒正。

(延森不等式)

链式法则

一次观测所有随机变数所测得的联合熵,与个别接收随机变数后计算的条件熵总和相同,即观测顺序与间隔不影响微分熵。

平移

随机变数的平移不影响微分熵,因为固定的平移不会增加随机变数的方差。

缩放

将随机变数缩放会增加其方差,微分熵亦会随之增加。

上界

期望值为0,方差为且值域为之随机变数的微分熵,其上界为正态分布的微分熵。

估计误差

随机变数与其估计子之均方误差存在下界,当为正态分布且无偏估计子时,等号成立。

渐进等分性

离散随机变数的夏农熵中,独立同分布的随机变数序列,在渐进等分性(Asymptotic equipartition property)之下其几率质量函数趋近于

连续型随机变数之渐进等分性:

典型集

典型集(Typical set)定义如下

,

体积

集合包含于,,其体积(Volume)定义如下:

典型集的体积有以下性质:

1.

2.

证明

1.

可得:

2.

当n足够大时,

因此:

量化

我们可以将几率密度函数量化后,以夏农熵来计算微分熵。首先将连续随机变数X以分为数个区间,根据均值定理满足:

量化后的随机变数:

夏农熵为:

意即,当

例子:

1.

对X做n位元量化

上式表示,若我们想得到n位元精确度,则需要n-3个位元来表示。

2.

对X做n位元量化

上式表示,若我们想得到n位元精确度,需要个位元来表示。

最大熵

正态分布

随机变数值域为,方差为为任意分布,为正态分布,几率密度函数分别为

证明:

其中,

指数分布

随机变数值域为,期望值为为任意分布,为指数分布,几率密度函数分别为

证明:

其中,

参考文献

  • Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1