跳转到内容

微分熵

维基百科,自由的百科全书

微分熵消息理論中的一個概念,是從以離散隨機變數所計算出的夏農熵推廣,以連續型隨機變數計算所得之,微分熵與離散隨機變數所計算出之夏農熵,皆可代表描述一信息所需碼長的下界,然而,微分熵與夏農熵仍存在著某些相異的性質。

定義

為一連續型隨機變數,其機率密度函數,其中支撐集。微分熵:

與夏農熵為類比,計算夏農熵之算式中的通常以2為底,而微分熵為計算方便,常以計算後再轉換為的結果。微分熵與夏農熵最大的不同點在於可為大於1的數值,此時可能會造成為負值,而夏農熵恆不為負。

例如,均勻分布

相關計算

之聯合機率密度函數,其條件熵為:

又稱KL散度Kullback–Leibler divergence),兩機率密度函數f、g的相對熵定義為:

兩連續型隨機變數的聯合機率密度函數為,其互信息:

廣義而言,我們可以將互信息定義在有限多個連續隨機變數值域的劃分。 可參考連續互信息的量化

性質

相對熵恆正

與夏農相對熵性質相同,恆正。

(延森不等式)

鏈式法則

一次觀測所有隨機變數所測得的聯合熵,與個別接收隨機變數後計算的條件熵總和相同,即觀測順序與間隔不影響微分熵。

平移

隨機變數的平移不影響微分熵,因為固定的平移不會增加隨機變數的方差。

縮放

將隨機變數縮放會增加其方差,微分熵亦會隨之增加。

上界

期望值為0,方差為且值域為之隨機變數的微分熵,其上界為常態分佈的微分熵。

估計誤差

隨機變數與其估計子之均方誤差存在下界,當為常態分佈且無偏估計子時,等號成立。

漸進等分性

離散隨機變數的夏農熵中,獨立同分布的隨機變數序列,在漸進等分性(Asymptotic equipartition property)之下其機率質量函數趨近於

連續型隨機變數之漸進等分性:

典型集

典型集(Typical set)定義如下

,

體積

集合包含於,,其體積(Volume)定義如下:

典型集的體積有以下性質:

1.

2.

證明

1.

可得:

2.

當n足夠大時,

因此:

量化

我們可以將機率密度函數量化後,以夏農熵來計算微分熵。首先將連續隨機變數X以分為數個區間,根據均值定理滿足:

量化後的隨機變數:

夏農熵為:

意即,當

例子:

1.

對X做n位元量化

上式表示,若我們想得到n位元精確度,則需要n-3個位元來表示。

2.

對X做n位元量化

上式表示,若我們想得到n位元精確度,需要個位元來表示。

最大熵

常態分佈

隨機變數值域為,方差為為任意分佈,為常態分佈,機率密度函數分別為

證明:

其中,

指數分佈

隨機變數值域為,期望值為為任意分佈,為指數分佈,機率密度函數分別為

證明:

其中,

參考文獻

  • Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1