このNLP2006前の時期に.. という感じですが, Reversing EM を実装した
DM の階層ベイズ版を dm-0.2.tar.gz として
公開
しました。
単に自分が使うからという話もありますが(^^;), 公開するようにしないと
細かい部分を詰める気が起こらないので, という理由だったりします。
以下は cranfield についての例です。(コマンドの名前は sdm になっています。)
~/work/sdm/src% ./sdm -h
sdm, hierarchically smoothed Dirichlet Mixtures.
Copyright (C) 2006 Daichi Mochihashi, all rights reserved.
$Id: sdm.c,v 1.2 2006/02/02 16:28:51 dmochiha Exp $
usage: sdm -M mixtures [-I emmax] [-R remmax] [-E epsilon] train model
~/work/sdm/src% ./sdm cran.dat cran.model
number of documents = 1397
number of words = 5177
number of mixtures = 50
convergence criterion = 0.01 %
iteration 3/50 [REM 2+16]... PPL = 258.464 ETA: 0:36:00 (45 sec/step)
converged. [ 0:01:43]
writing model..
done.
外側のEMではハイパーパラメータだけを最適化しているので3回しか回って
いませんが, 実際の最適化は内側の2+16=18回のReversing EMで行われて
います。cranfield だとかなり速いですが, 大きなコーパスだともっと時間が
かかります。
論文
を最初に読んだ時は式が複雑に見えてびっくりしましたが,
慣れてくると全然自明に見えてくるという罠。(もちろん, それを導くのは
全然自明ではないわけですが。)
1日遅れで言語処理学会の原稿を無事に?submit。
そもそも今回の言語処理学会大会に出そうと思ったのは, 何か出さないと
山本先生の言語モデルのチュートリアルが聞けないから, という理由だったり
したのだが, いつの間にか自分が講師の側になってしまっているので,
もう山本先生のスライド原稿を読みまくっていたりする。w
「Unixでごみ箱の機能がほしいんですけど。」-> 「練習で、ごみ箱機能を実現する
シェルスクリプトを書いてみよう。」
というのは Unix 初心者によくある風景です。
慣れてくると rm -i も使わなくなって, ファイルは rm であっさり消す
ようになるわけですが, きちんとしたものがあれば便利そうなので,
何かごみ箱機能を実現する決定版のようなものは
ないのだろうか.. と前から思っていたら, NEXTSTEPの
リサイクラ
をコマンドラインから
アクセスするシェルスクリプトが
このページ
にあるのを見つけました。
中身も見てみましたが, とても素直に書かれています。
この /bin/sh のスクリプトは単に ~/.NeXT/.NextTrash/ にファイルを mv したり,
そこから mv したりしているだけなので, そこを書き替えれば Linux 等でも普通に
使えます。
環境変数 $TRASH が設定されていたらそれを使って,
なければ ~/.trash を必要なら作製して使う, というちょっとした変更をした
ものを下に置いておきました。OSXではごみ箱は ~/.Trash らしいので,
そう変更しておけばOSXでも使えると思います。
"rc" (recycle) がリサイクラに入れるコマンド, "rt" (retrieve) が
リサイクラから戻すコマンドです。rc も rt も少なくても有名なコマンドにはない
上, 短いので名前としても適切な気がします。
ちなみに, % rt file として $TRASH/file からカレントに戻す時,
そもそもリサイクラにどんなファイルがあるかわからないと難しいので,
~/.zshrc に 下のように書いておくと % rt [TAB] で補完が効きます。
下に置いたファイルでは, さらに % rt -l とするとリサイクラの中身が見れる
ようにしておきました。
_recycler () {
local trdir="${TRASH:-$HOME/.trash}"
reply=(`cd $trdir; echo *`)
}
compctl -K _recycler rt
[rc]
[rt]
-
なお, ~/.zshrc でさらに trash=${TRASH:-~/.trash} としておくと,
% ls ~trash
total 8
-rwxr-xr-x 1 dmochiha slt 517 02-10 21:54 testrc*
% cp ~trash/testrc .
のようなことができます。
