カルバック・ライブラー情報量

カルバック・ライブラー情報量とは

カルバック・ライブラー情報量またはカルバック・ライブラー・ダイバージェンス（英: Kullback–Leibler divergence）とは、確率論と情報理論における2つの確率分布（真の確率分布 P と任意の確率分布 Q）の差の尺度である。情報ダイバージェンス（Information divergence）、情報利得（Information gain）、相対エントロピー（Relative entropy）とも呼ばれる。直観的に距離（metric）を表すとされることが多いが、カルバック・ライブラー情報量は対称性がないため、厳密には距離ではない。KLダイバージェンスなどと略記する場合がある。

• 出典: フリー百科事典『ウィキペディア（Wikipedia）』
• [ カルバック・ライブラー情報量の改定履歴 ]