以前から対数線形モデル(というか指数型分布族というか)を教師なし学習する
方法として Contrastive divergence に興味を持っていたので, チェックした中から
"Non-Local Contrastive Objectives" を選んでみました。
ちなみに第一著者の
David Vickrey
は, 実は自然言語処理の人。
結論から先に言うと, この話は若干微妙で, 続けて発表のあった佐藤君の
"Particle Filtered MCMC-MLE with Connections to Contrastive Divergence"
の話の方が筋がいい話で使えそう, というのが結論でした。
CRFのようにLinear Chainで, 分配関数が簡単に計算できない場合のLog-linearモデル
の学習法として Hinton の Contrastive divergence がありますが, これは擬似負例を
モデルからサンプリングして作り, パーセプトロンのように gradient を計算する方法
なので, サンプルされた負例の分散が大きいという問題があります。
これに対して, 僕の紹介した方では局所解を使ってより「悪い」負例を作り出して使っ
てもOK, という話をしているわけですが, これはデータスパースネスに敏感で, 逆に
偏りが大きくなってしまうように思います。佐藤君の紹介した方(1992年のMCMC-MLEの
拡張で, SMC-MLEと言ってよいと思います)はSMCの枠内でサンプルに重みを付けて
分配関数を推定するようになっており, Particleの数を調整すれば精度も簡単に
上げられるため, このどちらの極端にも寄らずにスジの良い方法ではないか, というの
がこちらの
ベイズ勉強会
で出た感想でした。
まあこの2つの話は繋げて1つの話ということで, 了解していただけたらと思います。
終わった後の夕食会では, 佐藤君, IBM高橋さん, 栗原君, 牧野君とベイジアンが横一線
に並ぶテーブルで向かいの席でした。(ちなみに横は杉山さんとIBM比戸さん。)
貴重な話が色々できて, とても面白い会でした。
夜行バス
ちなみに料金は11800円と新幹線に比べて決して安くはないのですが, 最近新幹線にも 飽きているので, 夜行も良いかなと思って選択。
 |  |
京都駅八条口をほぼ午前0時(23:55)に出発して, 午前3時頃に浜名湖サービスエリア,
午前6時頃に海老名サービスエリアで休憩。東京駅到着は朝7:40頃でした。
乗ってみると, 座席は上の写真のように飛行機のファーストクラスのような完全個室的
なセパレートタイプで(若干横幅が狭いですが), 物凄く居心地の良い空間でした。
開発に3年掛けたというだけあり, あらゆる所が実によく考えてあり, 感心し通しでし
た。例えば席の両側は壁で区切られているわけですが, 下が流線形に凹んでいて靴を
置けるようになっているとか, 席の左の凹みにやはりスペースがあって鞄(恐らく,
女性のハンドバッグを想定している)を置けるようになっているとか。僕は使いません
でしたが, 写真の灯りの上にはディスプレイがあって, 映画や音楽, ゲームが自由に
使えるようになっています。素晴らしい。
ただし欠点もあり, 僕の席は最後の予約だったせいか最後尾にあり, エンジンの熱が そのまま席に伝わってきて, 断熱がされていないのに閉口。また揺れも結構あり, 普通の夜行バスより全然快適ですが, もっと緩衝するように出来るような気がします。 このタイプの車両は1台+予備1台くらいしか無いらしいので, 現在はまだ出たばかり という感じですが, 将来的にはかなり期待できそう, という感じを持ちました。