情報理論
情報量
情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート
通信路
情報源符号化定理 通信路容量 通信路符号化定理 シャノン＝ハートレーの定理
単位
シャノン ナット ハートレー
その他
漸近等分割性（英語版） レート歪み理論（英語版）
カテゴリ
表 話 編 歴

カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、英: Kullback–Leibler divergence）は2つの確率分布の差異を計る尺度である。

確率論と情報理論で利用され様々な呼び名がある。以下はその一例である：

• カルバック・ライブラー・ダイバージェンス（KLダイバージェンス）
• 情報ダイバージェンス（英: information divergence）
• 情報利得（英: information gain）
• 相対エントロピー（英: relative entropy）
• カルバック・ライブラー距離

ただしこの計量は距離の公理を満たさないので、数学的な意味での距離ではない。

応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。たとえば P はデータ、観測値、正確に計算で求められた確率分布などを表し、Q は理論値、モデル値、P の予測値などを表す。

この概念は1951年、ソロモン・カルバックとリチャード・ライブラーが2つの分布の間の directed divergence として用いたのが最初であり、ベクトル解析におけるダイバージェンスとは異なる概念である。

カルバック・ライブラー情報量は離散分布のみならず連続分布に対しても定義されており、連続分布に対するカルバック・ライブラー情報量は変数変換について不変である。したがって、情報理論の他の量（自己情報量やエントロピー）よりも基本的であるともいえる。というのも、それらは離散的でない確率については未定義だったり、変数変換に対して不変ではなかったりするからである。

P、Q を離散確率分布とするとき、P の Q に対するカルバック・ライブラー情報量は以下のように定義される。

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\log {\frac {P(i)}{Q(i)))=\mathbb {E} _{P}\left[\log {\frac {P(i)}{Q(i)))\right]}$

ここで P(i)、Q(i) はそれぞれ確率分布 P、Q に従う確率変数の値が i となる確率である。

一方 P、Q が連続確率分布の場合は以下のように定義される。

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\log {\frac {p(x)}{q(x)))\;dx=\mathbb {E} _{P}\left[\log {\frac {p(x)}{q(x)))\right]}$

ここで、p、q はそれぞれ P、Q の確率密度関数を表す。

より一般に、P、Q が可測集合 X 上の確率測度で、P、Q がなんらかの測度 μ に対して絶対連続な場合には、

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}{\frac {dP}{d\mu ))\log {\frac {dP/d\mu }{dQ/d\mu ))\;d\mu }$

と定義できる。ここで dP/dμ、dQ/dμ はラドン・ニコディム導関数である。

これらの式に出てくる対数の底は、情報の単位をビットとするときは 2 とし、ナットを単位とするときはネイピア数 e を底とする。カルバック・ライブラー情報量に関わる方程式の多くは対数の底と無関係である。

有限次元のパラメータ θ によって特徴づけられる確率密度関数 q(x|θ) を用いて p(x) を推定するという文脈では、カルバック・ライブラー情報量の経験量の最小化

${\displaystyle \min _{\theta }{\frac {1}{n))\sum _{i=1}^{n}\log {\frac {p(X_{i})}{q(X_{i}|\theta )))}$

は、（対数変換した）最尤法

${\displaystyle \max _{\theta }{\frac {1}{n))\sum _{i=1}^{n}\log q(X_{i}|\theta )}$

と同値な問題になる。すなわち、最尤推定量は、カルバック・ライブラー情報量を経験的に最小化する推定方法だと考えられる。

X を確率変数とし、各 x に対し X が x である確率 Pr[X=x] が Q(x) であったとする（ベイズ確率でいう事前分布）。いま X に関する新たなデータ I を知ったとし、その結果 X の従う（条件付き）確率 Pr[X=x|I] が P(x) になったとする（ベイズ確率でいう事後分布）。

このとき、I は X に関しどのくらいの情報を提供したといえるであろうか。情報量が事象の不確かさを図る尺度であったことを思い出されたい。I を知る前の X の不確かさ（すなわち自己情報量）は −logQ(x) であるが、I を知ることでそれは −logP(x) に減る。したがって I によって X に関して

${\displaystyle (-\log Q(x))-(-\log P(x))=\log {\frac {P(x)}{Q(x)))}$

だけの自己情報量を得たことになる。x は X に従って変わるので、この値の（事後確率分布による）平均値をとると、

${\displaystyle \sum _{x}P(x)\log {\frac {P(x)}{Q(x)))}$

となる。これはカルバック・ライブラー情報量と一致する。

すなわち、カルバック・ライブラー情報量は、X に関してデータ I から得られる情報量の平均値を表していることになる。以上の理由により、カルバック・ライブラー情報量は情報利得(Information gain)とも呼ばれる。

情報量が H である確率変数X は平均ビット数が（ほぼ）H であるビット列に符号化できる(ハフマン符号)が、平均ビット数が H 未満であるようには符号化できない(情報源符号化定理)事が知られている。つまり、確率変数 X を符号化しようと考えた場合、H がビット数の最小値である。今確率変数 X が本当は分布 P に従っているのに、誤って分布 Q に従っていると判断してしまった場合、本来の最小値よりも多くのビット数を必要としてしまう。カルバック・ライブラー情報量は、このような誤りを犯してしまった場合に余分にかかってしまうビット数の平均値を表す。

カルバック・ライブラー情報量は、サノフの定理を通して大偏差理論の一部に位置づけられる。集合 {1,2,...,r} 上の確率分布全体の集合を P とし、K⊂Pをコンパクト集合とする。このとき、確率分布 p ∈ P から独立同分布にしたがって生成した確率変数列 x₁, x₂,..., x_N から導かれる経験分布が K に含まれる確率のレート関数は、カルバック・ライブラー情報量で与えられる：

${\displaystyle {\begin{aligned}\lim _{N\rightarrow \infty }{\frac {1}{N))\log \mathrm {\mathbb {P} } [q\in K]&=-\inf _{q^{*}\in K}D(q^{*}\|p)\end{aligned))}$

端的に述べれば、確率分布 p のくじ引きを繰り返し引いたときに経験分布 q が得られる確率は、p から q へのカルバック・ライブラー情報量 D(q||p) をレート関数として試行回数の増加とともに減衰することを意味する^[1]。

裏表が等しい確率で出るコイントスを100回繰り返して1回しか表が出ない確率が、1/100の確率で表が出るコイントスを100回繰り返して裏と表がちょうど50回ずつ出る確率よりも高いことは、直感的に理解できる。これは、カルバック・ライブラー情報量が対称性を持たないことの直感的な理解を与える。

カルバック・ライブラー情報量は常に負でない値となる。

${\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0}$

これはギブスの不等式として知られており、D_KL(P||Q) がゼロとなるのは P = Q であるときだけである。従って、エントロピー H(P) は交差エントロピー H(P,Q) の下限値となる。この交差エントロピーは P ではなく Q に基づく符号を使ったときに予測されるビット数を表している。従って、KLダイバージェンスは、X から x という値を特定する情報を得るために、P という真の分布ではなく Q という確率分布に対応した符号を使ったときに余分にかかると予想されるビット数を表しているのである。

カルバック・ライブラー情報量を確率分布空間における距離と呼ぶ場合もあるが、カルバック・ライブラー情報量には対称性がないため、距離と呼ぶのは正しくない。一般に

${\displaystyle D_{\mathrm {KL} }(P\|Q)\neq D_{\mathrm {KL} }(Q\|P).}$

さらに言えば、D_KL(P||Q) は三角不等式を満足しない。

情報理論の他の様々な量は、カルバック・ライブラー情報量の特殊なケースの応用として解釈できる。

${\displaystyle I(m)=D_{\mathrm {KL} }(\delta _{im}\|\{p_{i}\}),}$

ここで${\displaystyle \delta _{im))$はクロネッカーのデルタ。

${\displaystyle {\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))\\&=\mathbb {E} _{X}\{D_{\mathrm {KL} }(P(Y|X)\|P(Y))\}\\&=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P(X))\}\end{aligned))}$

${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{x}\{I(x)\}\\&=\log N-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\end{aligned))}$

ここでN は確率変数X の値域の元の数で、P_U(X) はX の値域上の一様分布。

条件付きエントロピーの場合は以下のようになる：

${\displaystyle {\begin{aligned}H(X|Y)&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P_{U}(X)P(Y))\\&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\\&=H(X)-I(X;Y)\\&=\log N-\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P_{U}(X))\}\end{aligned))}$

${\displaystyle {\begin{aligned}D_{\mathrm {KL} }(P\|Q)&=-\sum _{x}p(x)\log q(x)+\sum _{x}p(x)\log p(x)\\&=H(P,Q)-H(P)\end{aligned))}$

• 赤池情報量規準
• ベイズ情報量規準
• 量子相対エントロピー

1. ^ Mezard, Marc; Montanari, Andrea (2009). Information, physics, and computation. Oxford ; New York: Oxford University Press. ISBN 978-0-19-857083-7. OCLC 234430714. https://www.worldcat.org/title/234430714 

• Fuglede B, and Topsøe F., 2004, Jensen-Shannon Divergence and Hilbert Space Embedding, IEEE Int Sym Information Theory.
• Kullback, S., and Leibler, R. A., 1951, On information and sufficiency, Annals of Mathematical Statistics 22: 79-86.
• Rubner, Y., Tomasi, C., and Guibas, L. J., 2000. The Earth Mover's distance as a metric for image retrieval. International Journal of Computer Vision, 40(2): 99-121.
• Kullback, S. Information Theory and Statistics. Dover reprint.
• Matlab code for calculating KL divergence

表 話 編 歴 確率論
確率の歴史	アンドレイ・コルモゴロフ トーマス・ベイズ アンドレイ・マルコフ ジョゼフ・L・ドゥーブ 伊藤清
確率の定義	客観確率 統計的確率 古典的確率 公理的確率 主観確率 ベイズ確率 確率の拡張 外確率 負の確率
基礎概念	モデル 試行 結果 事象 標本空間 確率測度 確率空間 確率変数 確率変数の収束 確率分布 離散確率分布 連続確率分布 同時分布 周辺分布 条件付き確率分布 独立同分布 関数 確率質量関数 確率密度関数 累積分布関数 特性関数 用語 独立 期待値 モーメント 条件付き確率 条件付き期待値
確率の解釈	ベルトランの逆説 3囚人問題 モンティ・ホール問題 サンクトペテルブルクのパラドックス 合接の誤謬 ギャンブラーの誤謬
問題	壺問題 クーポンコレクター問題
法則・定理	ベイズの定理 大数の法則 中心極限定理 コルモゴロフの0-1法則 デ・フィネッティの定理 ウィーナー＝ヒンチンの定理
測度論	確率測度の拡張 カラテオドリの拡張定理 E.ホップの拡張定理 コルモゴロフの拡張定理 ヴィタリの収束定理 ルベーグの優収束定理 ラプラス原理 スコロホッドの表現定理
確率微分方程式	伊藤の補題
確率過程	独立増分過程 定常過程 マルチンゲール マルコフ過程 マルコフ性 マルコフ連鎖 マルコフ決定過程 部分観測マルコフ決定過程 マルコフ再生過程 ウィーナー過程 ブラウン運動 幾何ブラウン運動 非整数ブラウン運動 ベルヌーイ過程 ガウス過程 自己相似過程 経験過程 中華料理店過程 オルンシュタイン＝ウーレンベック過程
情報量	最大エントロピー原理 交差エントロピー 結合エントロピー カルバック・ライブラー情報量 相互情報量
応用	数理ファイナンス ブラック–ショールズ方程式 確率的ボラティリティモデル 系統学 ベイズ法
カテゴリ