先日 DMLA でやった変分ベイズ法のチュートリアルを, 内部でリクエストがあって もっと一般的な話にして行ったので, スライドを公開しました。

EMから順番に説明して, 繋がるようになっています。 「計算統計I」を読んでわかった人にはわりと不要かもしれませんが, EMの説明がいきなりQ関数を出すやや天下り的な方法ではなく, いわゆる Neal-Hinton 流に下限を maximize する説明から, 自然にQ関数が導かれる ようになっています。(実際には, Ghahramaniの説明を参考にした。)
他には, 途中の計算を省略せずに書いてあるということと, 言語処理向けに, 正規分布や Wishart 分布が全然出てこないのが特徴かも しれません。 応用例として, LDAとVB-HMMの説明が簡単に含まれています。

1つ注: モデル選択の議論は含まれていません。 (∫∫∫p(D,z,θ,m)dzdθdm → p(m|D) ∝ p(m)exp(F(m)) という話)。 変分ベイズ法の一番本質的な所はここではないと思うのと (単にそこまで書く時間がなかったともいう ;), m を隠れ変数の数だとした時には, 現代的にはもっといい方法があると思うので, 興味のある方は元論文をご覧下さい。

vb-nlp-tutorial.pdf