scipy.stats.Mixture.

entropy#

Mixture.entropy(*, method=None)[source]#

微分熵

以機率密度函數 \(f(x)\) 和支撐集 \(\chi\) 表示,連續隨機變數 \(X\) 的微分熵(或簡稱「熵 (entropy)」)為

\[h(X) = - \int_{\chi} f(x) \log f(x) dx\]
參數:
method{None, ‘formula’, ‘logexp’, ‘quadrature’}

用於評估熵的策略。預設情況下 (None),基礎架構會從以下選項中選擇,並依優先順序排列。

  • 'formula':使用熵本身的公式

  • 'logexp':評估對數熵並取指數

  • 'quadrature':使用數值積分

並非所有分佈都適用所有 method 選項。如果選定的 method 不可用,將會引發 NotImplementedError

回傳值:
outarray

隨機變數的熵。

另請參閱

logentropy
pdf

註解

此函數使用自然對數計算熵;即以 \(e\) 為底的對數。因此,該值以 (無因次) “nats” 單位表示。若要將熵轉換為不同的單位(即對應於不同的底),請將結果除以所需底的自然對數。

參考文獻

[1]

微分熵,《維基百科》,https://en.wikipedia.org/wiki/Differential_entropy

範例

使用所需的參數實例化分佈

>>> from scipy import stats
>>> X = stats.Uniform(a=-1., b=1.)

評估熵

>>> X.entropy()
0.6931471805599454