下で書かなかった諸々のこと。

• 教師なし単語分割は最初, 辻井研の松原君が(MDLで)やっていたりするので僕がやることもないかな.. と思っていたのですが, やはり計算言語学上重要なのできちんとやるべきだと思い, *1 やってみたところ非常に複雑で, これまで特にベイズでない人がちょっとやってできるというものではないなあ.. というのが感想でした。
• 理論的には7月くらいで見えていましたが, とにかく実装が複雑で大変でした。
  論文には複雑すぎるので書いていないですが, 特にトライグラムの Forward-Backward と viterbi が大変で, トライグラムの場合の前向き変数α[t][k][j]の計算には,
  1. For t = 1 .. N
  2. For k = 1 .. max(1,t-L)
     1. まず部分文字列(=単語) c_{t-k+1} .. c_t をスタックにプッシュ
     2. For j = 1 .. max(1,t-k-L)
        1. 次の文脈 c_{t-k-j+1} .. c_{t-k} をプッシュ
        2. For i = 1 .. max(1,t-k-j-L)
           1. c_{t-k-j-i+1} .. c_{t-k-j} をプッシュ
           2. 確率を計算して logsumexp でαを更新
  という4重ループを回す必要があります。
  実際にはC言語の添字は0から始まるので, t-k-1-j-1-i+1 文字目のようになる上, t-k-j文字目を計算しようとしたらすでに文字列の先頭だったりする(その場合はEOSを プッシュする)などの例外操作も必要なので, バグが取れたCVSリビジョンは37まで 必要でした。
• 開発は基本的に「銀河鉄道の夜」(1200文くらい)の生テキストを使って行い, 時々源氏物語で試す, という風にしていました。
  普通, 自然言語処理では単語を整数のidに直してから後の処理に回すので, 自然言語処理といいつつ実は整数処理なんじゃないか, という気がすることがよく ありますが, 今回は開発中はktermの中は「カムパネルラ」だの「電燈」だの「ザネリ」 だので一杯で, おおいかにも自然言語処理, という感じでした。:-)
• NL研は今回からペーパーレスになるので, PDFを差し替えられるのかと思っていたら そうでないことが判明したので, 情報処理学会の電子図書館には概要のページしか 載っていないと思います。下のリンク(or僕の論文のページ)にありますので, 本体はそちらをお取りください。 (同じ理由で, 来年度の山下賞の選考にはそもそもこれは入らないようです。)

---

3月上旬は, 有休を取って, 前から行きたかった 和歌山マリーナシティ に行ってリフレッシュしてきました。
マリーナシティは人工島で, JR紀勢線の海南駅から行くのですが, そこだけ特別にリゾート開発されているので海南島をモデルにしているのか と思ったら, 海南市は和歌山県海草郡南部の略ということで, 全然関係ないらしい です。;

少し時間ができたので, 読みたかった論文を読んだりしているのですが, 最近, John Montroll氏の "Origami Sea Life" [amazon] という本を購入しました。 Montroll氏の本は, 正四面体, 正八面体, …などをたった一枚の紙から折り出す "A Plethora of Polyhedra" [amazon] を数年前に買って以後, ちょうど3冊目なのですが, この "Origami Sea Life", 1991年の本なのでアメリカから買って2000円くらい でしたが, 作品数も多いし, かなり名作揃いな気が…。

下に, いくつか折った写真を並べてみました。 一番右はヒトデで, 一見簡単そうに見えますが, 一枚の正方形の紙から(組み合わせ折り紙を使わずに), ただ折るだけで正五角形の角を五つ出すのは考えるのが かなり大変だと思います。

ただ, 結構折るのが難しいです。
小学生の頃は, 笠原邦彦氏のおりがみシリーズ3 『超難解』 を嬉々として折っていた 僕でも, 一つ折るのに余裕で30分以上, 一番左の Blue Shark (クリックで拡大) は多分1時間以上かかっています。 *1 英語は易しいし, 図も明解なので折り方は迷うことはないのですが..。
折り紙の本はお見舞いに最適, という話がamazonにありましたが, こんなに集中と 気合いが必要な本, 入院してたら無理だろ常識的に考えて..と思ってしまった。
子供の頃は『超難解』くらいしかなかった高度な折り紙の本も, 海外も含めると 最近はどんどん進歩しているようで, 凄いなと思います。

---

同じグループの新人の石黒君(修士入社なので, D2相当)が CVPR 2008 に通ったということで, めでたい。CVPRに出したら?と彼に最初に言ったのは僕だったりするので, こっそり余計に嬉しいですね。鈴木さんも無事ACLに通ったということで, CS研順調だなあ, と思います。

ちょうどMITから来ている Vikash から, Lispでノンパラメトリックベイズの計算を行う Stochastic Lisp, "Church" の論文をもらいました。 UAIにsubmit中だそうので詳しいことは書けないのですが, CRPのサンプリングを 一々書くのでは なく, 一般的なアルゴリズムにCRPを "apply" することで簡単にアルゴリズムを ノンパラメトリックベイズ化できて, 高速にMCMCで inference が動くようになっている ようです。
今日のVikashのトークでは, さらにサンプリングをFPGA上にハード化して, 超高速にサンプリングすることも可能だとか。 ベイズ統計ではΓ関数やΨ関数などの複雑な関数が出てくることもあるよな.. と思っていたのですが, 考えてみると, 本当に必要ならこれらの特殊関数を返すALUを 組み込んでおいてもいいし, 実装上は繰り返しで近似してもよいということに 気がつきました。
AIBOのようなロボットに無数のMCMCのサンプリングが動いている..と想像すると, 愉快だな と思います。