前回のあらすじ 離散確率変数Xの値xを観測したときに得る「情報量」を、で定義する。 ただし、は確率質量関数。 情報量は驚きの度合いを表していて、 その得られる確率が大きいに対しては情報量は小さく、確率の小さいに対しては情報量は大きい が独立である…

information gainについてメモ1 decision treeの説明で出てきたID3アルゴリズムの説明で省略したinformation gainという量についてメモ。 キーワードとしては、Kullback-Leibler divergence, エントロピー、情報量のことが分かればよさそう。 まずは情報量に…

ROC曲線 横軸にFalse Positive, 縦軸にTrue Positiveって書いてあったあの曲線は、ROC曲線というみたいです。 参考 ■Walkthrough Step 4: Train and evaluate the predictive analytic models https://azure.microsoft.com/en-us/documentation/articles/mac…

決定木 two-class boosted decision tree というのが出てきて、なんじゃそりゃ、と思ったので調べたのでメモ。 boostingとdecision treeについて分かればよいことはすぐ分かった。 boostingは難しそうなので、とりあえずdecision treeについて。 decision tr…

Fourier変換 Fourier変換って何？という話が出ていて、 結局話の流れには関係なかったけど、 そのうち使うかもしれないし、この機会に知識を書き下してみようと思った。 →結局、よく知らないことが分かったので、Fourier変換についてのメモと呼ぶには少し不…

回帰 回帰（かいき） regression りぐれっしょん 回帰の例 ある森のヒノキの直径から、高さを推定する。 数学的には ヒノキの直径を, 高さをとして、 となるような関数を作ればよい。 もちろん厳密に等しくなることは期待できないので、誤差が小さくなるよう…