PRML 2章から4章を読んだ

仕事に直接役立つ見込みもなかったので、一部を読んだ。http://d.hatena.ne.jp/n_shuyo/20121004/prml を参考に、章は選んだ。 

内容は、2章は確率分布、3章は回帰モデル、4章は分類モデル。細かい数式はしばらくすれば忘れてしまうと思う。MLタスクでの意思決定の何かしらや、理解に役立つといいなとは思うが、活かせる自信はない。

学んだことは以下くらい。

2章

• 指数分布族
• ベイズ的な考え方
• 密度推定という問題。ヒストグラム法と(ガウス関数を用いた)カーネル密度推定法。
• フィッティングにおける裾野長さと外れ値の関係。student t 分布は正規分布より裾が長く、外れ値に頑健

3章

• ガウス基底関数を含む、基底関数
• 基底関数を用いた、φに対して線形な回帰モデルについての数式
• 最尤法と、ベイズ的方法の違い。パラメータwの事後分布を求めることや予測値の分布を求めること
• 線形モデルにおける、design matrix

□理解が怪しい

• BIC ベイズ情報量規準
• 経験ベイズ

4章

• 線形モデルによる分類
• ベイズ的取り扱い
• Softmax 関数周りの数式
• クロスエントロピー誤差関数は最尤関数の負の対数

□理解が怪しい

• ラプラス近似