9月のNL研(NL213)の原稿を無事サブミットしましたので, 置いておきます。
「ガウス過程に基づく連続空間トピックモデル」.
nl213cstm.pdf
発表は通常発表の一番最後で, 9/13(金)の午前中のセッションのようです。
(NL213のプログラム)。
ガウス過程に基づいてはいるものの, 結果的にRBMで潜在層が1/0ではなく
(つまりシグモイド関数を使わず), ガウス分布に従うような生成モデルになるので,
RBMについて下のような疑問を持っている方(結構多いと思う)や, 最適化の難しさに
困っている人には興味を持ってもらえるような内容かと思っています。
甲府は三鷹からは特急かいじ号で1本で行けるのですが, 1日目に座長をすることに
なったので, 戻らずに初日は普通に泊まる予定です。
Rao-Blackwellizationが何のことか, 長いこと全然わからなかったのだが,
"Rao-Blackwellisation of Sampling Schemes",
George Casella and Christian P. Robert.
Biometrika, 83(1), pp.81-94, 1996.
の最初の方を読んでいたら, 少しわかってきた気がした。
θ^ をθの不偏推定量としたとき, データ y が与えられた時に
θに対する十分統計量を t(y) とすれば, θ^ のいろいろな値に対する期待値を
p(θ^|t(y)) で取って,
θ
* = E[θ^|t(y)] を作れば, その分散は
E(θ* - θ)^2 ≦ E(θ^ - θ)^2
になるという話。
いちおう Cambridge に
解説[PS]
があるのだが, ずいぶん前に読んだ時には, 全然わからなかった。
Wikipedia の解説
や, 「経済分析のための統計的方法」p.359 あたりを見ると, わりとわかってきた
感じ。
つまり, ある不偏推定量θ^ に対して, 他の nuisance parameter に対する依存を
積分消去してやって期待値を作れば, 推定が必ずよくなる, ということ。
この話は東大出版会の「自然科学の統計学」etc.にも載ってない気がするんだけど..。
どれを見ればいいのだろうか。
これが何でNLに関係あるかというと, LDAに対する Griffiths の Gibbs sampler は
実は Rao-Blackwellized Gibbs らしい, ということ。それに対して,
Pritchard が独立に発見した LDA と同じモデル (Pritchard 2000)でのサンプラーは
多項分布を積分消去せずに, 単に順番にサンプリングしているので, 能率が悪いかも。
という話。