前回のあらすじ 離散確率変数Xの値xを観測したときに得る「情報量」を、で定義する。 ただし、は確率質量関数。 情報量は驚きの度合いを表していて、 その得られる確率が大きいに対しては情報量は小さく、確率の小さいに対しては情報量は大きい が独立である…

information gainについてメモ1 decision treeの説明で出てきたID3アルゴリズムの説明で省略したinformation gainという量についてメモ。 キーワードとしては、Kullback-Leibler divergence, エントロピー、情報量のことが分かればよさそう。 まずは情報量に…