mots quotidiens.

下で書かなかった諸々のこと。

教師なし単語分割は最初, 辻井研の松原君が(MDLで)やっていたりするので僕がやることもないかな.. と思っていたのですが, やはり計算言語学上重要なのできちんとやるべきだと思い, *1 やってみたところ非常に複雑で, これまで特にベイズでない人がちょっとやってできるというものではないなあ.. というのが感想でした。
理論的には7月くらいで見えていましたが, とにかく実装が複雑で大変でした。
論文には複雑すぎるので書いていないですが, 特にトライグラムの Forward-Backward と viterbi が大変で, トライグラムの場合の前向き変数α[t][k][j]の計算には,
1. For t = 1 .. N
2. For k = 1 .. max(1,t-L)
  1. まず部分文字列(=単語) c_{t-k+1} .. c_t をスタックにプッシュ
  2. For j = 1 .. max(1,t-k-L)
    1. 次の文脈 c_{t-k-j+1} .. c_{t-k} をプッシュ
    2. For i = 1 .. max(1,t-k-j-L)
      1. c_{t-k-j-i+1} .. c_{t-k-j} をプッシュ
      2. 確率を計算して logsumexp でαを更新
という4重ループを回す必要があります。
実際にはC言語の添字は0から始まるので, t-k-1-j-1-i+1 文字目のようになる上, t-k-j文字目を計算しようとしたらすでに文字列の先頭だったりする(その場合はEOSをプッシュする)などの例外操作も必要なので, バグが取れたCVSリビジョンは37まで必要でした。
開発は基本的に「銀河鉄道の夜」(1200文くらい)の生テキストを使って行い, 時々源氏物語で試す, という風にしていました。
普通, 自然言語処理では単語を整数のidに直してから後の処理に回すので, 自然言語処理といいつつ実は整数処理なんじゃないか, という気がすることがよくありますが, 今回は開発中はktermの中は「カムパネルラ」だの「電燈」だの「ザネリ」だので一杯で, おおいかにも自然言語処理, という感じでした。:-)
NL研は今回からペーパーレスになるので, PDFを差し替えられるのかと思っていたらそうでないことが判明したので, 情報処理学会の電子図書館には概要のページしか載っていないと思います。下のリンク(or僕の論文のページ)にありますので, 本体はそちらをお取りください。 (同じ理由で, 来年度の山下賞の選考にはそもそもこれは入らないようです。)

: 某岩波本のストーリー上不可欠, ということもあります。

2009年03月17日(火) [n年日記]

#1 振り返って

mots quotidiens.
Daichi Mochihashi (持橋大地) daichi <at> ism.ac.jp	by hns, version 2.10-pl1.