scipy.stats.

entropy#

scipy.stats.entropy(pk, qk=None, base=None, axis=0, *, nan_policy='propagate', keepdims=False)[source]#

計算給定分佈的夏農熵/相對熵。

如果僅給定機率 pk，則夏農熵的計算公式為 H = -sum(pk * log(pk))。

如果 qk 不是 None，則計算相對熵 D = sum(pk * log(pk / qk))。此量也稱為 Kullback-Leibler 散度。

如果 pk 和 qk 的總和不為 1，此常式會將其正規化。

參數:

pkarray_like

定義（離散）分佈。沿著 pk 的每個軸切片，元素 i 是事件 i 的（可能未正規化的）機率。

qkarray_like, optional

計算相對熵所依據的序列。應與 pk 格式相同。

basefloat, optional

要使用的對數基底，預設為 e (自然對數)。

axisint 或 None，預設值：0

如果為整數，則為計算統計量的輸入軸。輸入的每個軸切片（例如，列）的統計量將出現在輸出的對應元素中。如果為 None，則輸入將在計算統計量之前被展平。

nan_policy{‘propagate’, ‘omit’, ‘raise’}

定義如何處理輸入的 NaN。

propagate：如果沿著計算統計量的軸切片（例如，列）中存在 NaN，則輸出的對應條目將為 NaN。
omit：執行計算時將省略 NaN。如果沿著計算統計量的軸切片中剩餘的資料不足，則輸出的對應條目將為 NaN。
raise：如果存在 NaN，將引發 ValueError。

keepdimsbool，預設值：False

如果設定為 True，則縮減的軸將保留在結果中，作為大小為 1 的維度。使用此選項，結果將針對輸入陣列正確廣播。

返回:

S{float, array_like}: 計算出的熵。

註解

非正式地說，夏農熵量化了離散隨機變數可能結果中固有的預期不確定性。例如，如果由一組符號序列組成的訊息要被編碼並透過無雜訊通道傳輸，則夏農熵 H(pk) 為每個符號所需資訊單位的平均數量的嚴格下限，如果符號以離散分佈 pk [1] 管轄的頻率出現。基底的選擇決定了單位的選擇；例如，e 代表納特，2 代表位元等。

相對熵 D(pk|qk) 量化了，如果編碼針對機率分佈 qk 而非真實分佈 pk 進行最佳化，則每個符號所需資訊單位的平均數量的增加量。非正式地說，相對熵量化了，如果人們認為真實分佈是 qk 而實際上是 pk 時，所經歷的預期過度驚訝。

一個相關的量，交叉熵 CE(pk, qk)，滿足方程式 CE(pk, qk) = H(pk) + D(pk|qk)，並且也可以用公式 CE = -sum(pk * log(qk)) 計算。如果編碼針對機率分佈 qk 進行最佳化，而真實分佈是 pk，則它給出每個符號所需資訊單位的平均數量。它不是由 entropy 直接計算的，但可以使用對該函數的兩次呼叫來計算（請參閱範例）。

有關更多資訊，請參閱 [2]。

從 SciPy 1.9 開始，np.matrix 輸入（不建議用於新程式碼）在執行計算之前會轉換為 np.ndarray。在這種情況下，輸出將是純量或適當形狀的 np.ndarray，而不是 2D np.matrix。同樣地，雖然會忽略遮罩陣列的遮罩元素，但輸出將是純量或 np.ndarray，而不是 mask=False 的遮罩陣列。

參考文獻

[1]

Shannon, C.E. (1948), A Mathematical Theory of Communication. Bell System Technical Journal, 27: 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x

[2]

Thomas M. Cover and Joy A. Thomas. 2006. Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing). Wiley-Interscience, USA.

範例

公平硬幣的結果是最不確定的

>>> import numpy as np
>>> from scipy.stats import entropy
>>> base = 2  # work in units of bits
>>> pk = np.array([1/2, 1/2])  # fair coin
>>> H = entropy(pk, base=base)
>>> H
1.0
>>> H == -np.sum(pk * np.log(pk)) / np.log(base)
True

不公平硬幣的結果比較不確定

>>> qk = np.array([9/10, 1/10])  # biased coin
>>> entropy(qk, base=base)
0.46899559358928117

公平硬幣和不公平硬幣之間的相對熵計算如下

>>> D = entropy(pk, qk, base=base)
>>> D
0.7369655941662062
>>> np.isclose(D, np.sum(pk * np.log(pk/qk)) / np.log(base), rtol=4e-16, atol=0)
True

交叉熵可以計算為熵和相對熵的總和

>>> CE = entropy(pk, base=base) + entropy(pk, qk, base=base)
>>> CE
1.736965594166206
>>> CE == -np.sum(pk * np.log(qk)) / np.log(base)
True