明日ibisml等でアナウンスする予定ですが, Randomized Pruning, Phylogenic inference, Painless unsupervised learning, ...等で有名で, Dan KleinとMichael Jordanの学生 だった Alexandre Bouchard-Cote 氏が来週26日(火)に, 以下の内容で統数研でTalkしてくれることになりました。
自然言語データの変化の系統樹を復元する話です。 (多分, NIPS'08の これ 。)

国内でこういう話はほとんど誰もやっていないと思いますので, ご興味のある方はぜひお越しください。
7/26(火) 15:00〜17:00, 統数研セミナー室5 (統数研第4回統計的機械学習セミナー)
の予定です。

Title: Probabilistic Models of Language Change

Abstract:

I will talk about probabilistic models of language change, and how we
used these models to reconstruct proto-languages and to understand the
statistical regularities of the language change process itself.  I
will illustrate the potential of our methods with our results on the
so called functional load hypothesis.  This conjecture has eluded
classical models for decades, but here I will show how we obtained
compelling evidence for it by using our probabilistic models.

If time permits, I will also talk about new Sequential Monte Carlo
algorithms for the related problems of phylogenetic tree and cognate
inference.  The technique we used to construct these algorithms also
has applications in other NLP inference tasks over combinatorial
spaces, for example alignment and parsing.

工藤君のエントリ 面白いですね。
工藤君は「ハードウェア」寄りなのでそちらの方が多いですが, 僕はどう見ても「ソフトウェア」プログラマなので, *1 「ソフトウェア」プログラマの方に対応する記述を追加。

• 何が「最適」かはユニークには決まらないと思っている
• 様々なハードの持つ違いに興味がある
• CやC++だけでなく, 様々な言語を知りたい
• 電車のスケジューリングを決める統計的基礎に興味がある
• 数学は美学だ
• 折り紙やレゴブロックが好き

僕は自分がソフトウェア寄りなので, 逆に最適化や省メモリ化を意識的に 考えないといけないと思っていて, LispやHaskellではなく, あえてCやC++で書いて いるのもそういう理由だったりします。
ただ, 最近は Stalin という超最適化 scheme コンパイラが超爆速(普通のCより速い) という話を聞いているので, 若干揺れています。 *2
それと面白いのは, 例えば東大では, 「ハードウェア」プログラマを養成しているの が理学部 (情報科学科)で, 「ソフトウェア」プログラマを養成しているのが工学部 (計数工学科)だ, ということです。本来逆なんじゃないかと前から思っているのですが..。

---

MacKay本 の612ページをたまたま見ていたら,

e⁷ = 1096

ということを知った。へー。 つまり, log(1100) 〜 7 くらい, ということ。(底は e)

ちなみに, 正確には

• log(1100) = 7.0030
• log(1000) = 6.9077

くらいのようだ。つまり, log(1000) 〜 6.91 くらい。 (exp(6.91) = 1002.2)

何が嬉しいかというと, log(1100) 〜 7 を参考にして, もう少し小さい数の log(1000) 〜 6.91 を覚えておけば,
log(10^3) = 3log(10) 〜 6.91 ∴ log(10) 〜 6.91/3 = 2.3 (2.303) なので,
log(10000)は何? と言われたら, log(10000) = log(10^4) = 4log(10) 〜 9.2 くらい, と簡単にわかる ということ。 つまり, 10^x くらいの数の自然対数は, 2.3x くらいになるとわかる。
逆に, log(x) = y がわかっているとき, この x は 10^(y/2) くらい, ということ。 計算機に入っている log はたいてい自然対数なので, この関係は 役に立つと思う。たとえば, x の確率が log(p(x)) = -1000 だったとすると, 実際は p(x) ~ 10^(-500) くらいかなとわかる。

log(x) = log₂(x)/log₂(10)なので, log₂(10) = 3.321を覚えておけば, 2^10 = 1024 を使うという方法もあるが, もっと直接的な 方法ということで。
「ご冗談でしょう、ファインマンさん」とかを読んでいると, 物理の人にはこういうのは常識なのかも知れないと思うけれども。