前回のあらすじ 離散確率変数Xの値xを観測したときに得る「情報量」を、で定義する。 ただし、は確率質量関数。 情報量は驚きの度合いを表していて、 その得られる確率が大きいに対しては情報量は小さく、確率の小さいに対しては情報量は大きい が独立である…