Lancelot James氏 (確率論の人。ノンパラメトリックベイズをきちんと勉強している
人は絶対に知っていると思います)から, 自然言語との関係に興味を持ったので訪問してTalkをして下さい,
とのメールが。マジですか..。
深い話を完全に理解しているとはまだ言えないので,
ちょっと不安な面もあるのですが,
行けますと返事したので, 来年になると思いますが, HKUSTの統計教室
に行ってTalkをする可能性がありそうです。
つくばに行っている間の勉強会で山田さんが紹介した Nested Dirichlet Process
(nDP)を, 帰ってから山田さんの資料(非公開)を読んで少し議論して, ようやく理解した。
nDPは簡単に言うと, 「HDPのbase measureが観測グループ毎に異なるもの」。HDPでは
base measure G_0 自体がDPに従うが, このG_0は一回だけ
G_0 ~ DP(β,H)
とDPからサンプルされたもの。
これに対して, nDPではG_0自体が infinite mixture になっていて,
G_j ~ DP(β,H) (j = 1,..,∞)
を stick-breaking で混ぜ合わせた G_0 からGをサンプルする。
イメージ的には, HDPで一つしかなかった共通の base measure をスペクトル分解して
グループ毎のDPに分ける, というようなこと。
G ~ DP(α,G_0), G_0 〜 DP(β,H) なので, 合わせると
G ~ DP(α,DP(β,H))
になり, Nested DPになる。
ここではサンプルした各G毎に, 使ったbase measureの混合要素 G_j が決まり,
Gを使ったDPのクラスタリングに加え, G自体がクラスタリングされることになる。
nDPは数ヶ月前に自分で読んだ時には, HDPとの違いが全然分からなかったのですが,
これで理解できるようになった。
ていうかこれだけノンパラメトリックベイズをやってきても分からなかったなんて,
テクニカルすぎだろ常識的に考えて‥(笑)。