言語処理学会2006 は, ポスターP2 で発表することになりました。タイトルは 「Gibbs Samplingによる確率的テキスト分割と複数観測への拡張」。
中身的にはどう考えても B3:文脈処理 だと思うんですが, こちらはポスターではないので, P2に割り当てられた のかなと思います。P2もよく見ると言語モデルに近い話が含まれているので, 中では妥当なのかも。
わりと考えれば自明な拡張ではありますが, やってみないとわからない部分が あるので, これから書こうと思います。

僕が主催して, 内部でやっているMacKay輪講の担当分を読んでいて, Alan Turing が..とか Good が..とかいう記述があった (と書けば, どこを読んでいたのかわかる人にはわかると思いますが)。
思ったのは, われわれは Turing というと「フーン」という感じで別の場所の人, という風に思ってしまうが, イギリス人であるMacKay には違った風に感じられる のだろうな, ということ。
日本人にとって「江崎玲於奈が..」というのと同じように(僕は物理系ではないので よくわかりませんが), 50年前の人物のことを先輩として語っており, そして自分が それを継ぐ者であることを意識しているのだと思う。

僕も本郷の総合図書館に入った時に同じようなことを考えたことがあるが, それは単に文学的感慨であるのに対し, この場合は自分がイギリスのそうした科学の系譜 に連なっているということは, 科学的な生産活動に直接影響を及ぼすと思う。
藤原正彦氏も 『遥かなるケンブリッジ』 の中でそんなことを書かれていたような記憶がある。
もちろん, 現代で面白い研究やモデルの多くは, そうした伝統の全くないアメリカ で生まれているわけで, そうした知的伝統が不可欠のものである, ということは 必ずしもないのだとは思うけれども。

大羽さんのベイズ掲示板で, Dirichlet Process のいい資料がないですか, と 聞かれている ので, コメント。 僕もそんなに偉そうなことを言えるわけではないのですが, Dirichlet Process については色々スライドの類がありますが, それを見ても 結局数学的な部分はよくわからないと思うので, 地道に論文を読むのが正道だと 思います。DPについては, まず最初の論文である

Ferguson (1973) A Bayesian Analysis of Some Nonparametric Problems, The Annals of Statistics,Vol.1, No.2, 1973.

と

Antoniak (1974) Mixtures of Dirichlet Processes with Applications to Bayesian Nonparametric Problems, The Annals of Statistics,Vol.2, No.6, 1974.

を読むのがいいと思います。
ただし, これはルベーグ測度論がわからないと全然お話にならないので(僕はそうでした), まずその勉強が必要かもしれません。 SVM2004 の後, 松本研的には平均場近似が流行っていたみたいですが, 僕は頭が固まりそうに なりながらひたすらルベーグ測度の勉強をしていました。 本としては "Probability with Martingales" が有名で, Guy Lebanon が 絶賛しています が, あまりに詰め込まれすぎていて, ざっと見た感じ僕はあまりいい本とは思わな かったです。ものすごく数学的基礎のある人が読むと, もしかすると素晴らしい本 なのかもしれません。

DPは, それ自体というよりディリクレ過程混合モデルとして使う人が多いか と思うので, その場合は

Escobar and West (1995) "Bayesian Density Estimation and Inference using Mixtures", Journal of the American Statistical Association,Vol. 90, No. 430, 1995.

がいい論文で, これを読むのが当面の目標ではないかと思います。 ちなみに, これを読むためには, ディリクレ過程の生成パラメータであるαの 推定が必要で, それを Beta variable を入れた augmented Gibbs でやる話で

West (1992) "Hyperparameter estimation in Dirichlet process mixture models", ISDS discussion paper 1992-03, 1992.

を読む必要があります。 (Googleで探すとリンクが切れているみたいですが, 今探したら ここ にありました。)
これを手に入れたのはもうずいぶん前で, 確か2年くらい前だったのだ けれども, この論文を理解できるようになるまでこんなに長い道のりが必要だった とは, 当時は全く思っていなかった。。。

他にも色々ありますが, とりあえず上に挙げた論文が一番基礎的だと思います。
ちなみに, Antoniak (1974)などはWeb上にはないので, NAISTの電子図書館で複写依頼して 大川さんに自宅まで転送してもらったのだけれど, 何と 京大数理解析研究所附属図書館から, 和紙風の白い封筒で来て(2003年の7月ごろ), 文IIIだった僕がついに京大数理解析研究所ですか!と個人的に感慨にふけって しまったのでした。
この論文では第1種 Stirling 数になる, という話が後ろの方でわりと 突然出てきますが, これがどうしてかというのは, 僕の 2005/9/6の日記 に書いておきました。結局この論文や上のものは後で東大にログインして JSTORからPDFをゲットしたので, PDFがほしい, という方は個人的にご連絡下さい。

上の論文とは別に, スライドとしては大羽さんも紹介されていた Ghahramani の UAI'05のスライド と, Jordanの NIPS'05のスライド が 直観的な感覚をつかむにはとてもいいと思います。 Ghahramani のスライドを見て, Base measure との関係はこんな感じか! というのが 僕はよくわかりました。
というあたりで, 参考になればと思います。