「計算統計II マルコフ連鎖モンテカルロ法とその周辺」 [岩波書店] [IBIS blog] の謹呈本ゲット。

査読してかなり色々コメントを書いたので, 2か所くらいに僕の名前が載っていますが, 所属は書かないというのが伊庭さんの方針らしいので, 知っている人が見ないと 名前だけでは誰が誰だかわからないかも。
非常に大部な本で, 様々な話題がカバーされているという印象です。 入門には, 英語の普通の論文を読んだ方がいいのかも知れないという気はしました。

筑波の山本先生に聞いてみたところ, 別に勘違いではなかったようです。
下では, Polyaで回数がほとんど1に dumping されることが悪いかのように 見えてしまいますが, 実は逆で, 最尤推定(ナイーブベイズ)の場合は

p(x|p) = Π_ip_i^(n_i)

になっている所を, Polya の場合は n_i → n~(i) (~ 1)になって回数が減るので,

p(x|α) ~ Π_ip_i^(n~(i))

確率はむしろ上がることになる。 つまり, 確率 p の低い単語がn回出現すると, 最尤推定では確率は p^n になって 指数的に小さくなるが, Polya では"キャッシュ"が効くので p^(log n), 実際はほぼ p^1 くらいになる, ということ。
この現象が実際の観察とよく適合していることについては, COLING 2000の Ken Church, "Empirical Estimates of Adaptation: The chance of Two Noriegas is closer to p/2 than p^2" にあると山本先生に教えてもらいました。(と, このくらいは書いてしまってもいい かなと思います。)
実はこの論文のタイトルの p/2 というのは解析的に出したものではなくて, "Noriega" の2回の出現確率が1回の0.75倍程度になっている, という観察から 出ているものなので, 下の議論を踏まえると, 本当は "Two Noriegas is closer to p^log2 than p^2" なのだと思う。 (対数の底は任意として。) もちろん, Minkaの話はChurchの話の後に出たものなので, 入っていないけれども。

オープンハウス 終了。
上司の勧めに従って結論から書くようにしたので, かなりわかりやすくなった と思う。 説明を聞いた人もかなりわかってくれたようで, 面白いと言ってくれた人が多かった のでよかった。下にPDFにしたポスターを置いておきます。

• OH2005pf.pdf

IBIS 2005 は1日目だけ参加。 最初, 曲がる場所を間違えて学習院女子大の方向に行ってしまい, 前を歩く 女子学生が, 早稲田の理工にしてはお洒落だなぁ‥と思っていたら, やはり道を間違えていたのに気付いた。(笑)
自分の研究の関連では, 早稲田の松本先生の所の, SMCでパラメータ空間の移動が 自然勾配(フィッシャー計量)に従う場合の話が面白かったです。 (フィッシャー情報量行列を, サンプリングを使って期待値を求めるらしい。)

個人的に一番面白かったのはIBM 井手さんの, 相関行列を群論を使って拡張する話。 論文は ここ にあるようです。
量子力学は残念ながらやっていないので, 論文を読んでもかなりわからない部分が 多いですが(Diracのブラ〈|・ケット|>記法が!), 説明はかなりわかりやすくて 面白かったです。僕が理解した限りでは, 以下のような話。
変数xとyの普通の共分散行列は正規分布の指数の肩に現れて, それは 正規分布のキュムラント母関数をTaylor展開した時の2次の係数に対応しているが (1次の係数は平均), 正規分布の場合は3次以上のキュムラントはすべて0なので, (普通の)共分散行列を考えることは暗黙に, たとえどんなデータでも裏に正規分布を仮定していることに対応している。
これに対して, 非線型な相関を考えるためには, 3次以上のキュムラントを相関として 考えるべきなのではないか, という話で, 群論から導かれる対称性から, 可能性を尽くして, 適切な相関係数の拡張を提案されている。(のだと思う。)
上の話から, これはキュムラント母関数に3次以上の項がある場合に対応している ので, (キュムラント母関数と確率分布には1対1対応があったと思うので) 対応する確率分布があるんじゃないですか, と聞いてみたところ, かなり頑張った のだけれども, 母関数から元にひっくり返せなかった, とのことでした。 もし1対1対応があるならば, それでも存在することは事実なので, 陰関数のように implicit な形でしか表せないのかも知れない, と思ってみたりして。

オープンハウスがあるので, 岡野原君と話しながら高田馬場まで帰って, その後新幹線で京都に直行しました。家に着いたのは夜11時頃。

NIPS 2005の Preproceedings が出ているようです。 http://books.nips.cc/nips18.html
自分の名前が出ているのを見ると感慨深い。

載せるのにOKを出した人しか入っていないので, ここにない人もありますが, 例えば Blei の Correlated topic model (トピック分布の事前分布に ロジスティック正規分布を考える) は Laffertyのページ にあるようです。

NIPS*2005 Workshop, Open Problems and Challenges for Nonparametric Bayesian methods in Machine Learning より:

Pachinko allocation: A Directed Acyclic Graph for Topic Correlations
Wei Li, Andrew McCallum (UMass)
In this paper we introduce the Pachinko Allocation Model (PAM), which uses a directed acyclic graph (DAG) to capture arbitrary and possibly sparse correlations.
We thank Sam Roweis for discussions.. and Michael Jordan for help naming the model.

。。。。
隠れたトピックをランダムに選ぶのではなく, DAGの上を確率的にトラバースして 落ちたノードからザラザラーっと 単語が出てくる, というモデルなのだと思います。

やっとバグが取れた。はあはあ。; カクカクになっている方はノイズに強くて推定が安定している のに注意。
何か勘違いしていて無理だと思っていたのだが, これで前から言っていた 拡張ができるかも。 ていうか研究者が嬉しがってるのは他から見ると何が本当に嬉しいのか よくわかりませんね。;