Mathematicaには, MATLABのように特定のディレクトリにユーザー関数を置いて おくと自動的に使える, という機能がないようです(これはRも同じ)。
少し試したところ, 下のようなファイルを書いて init.m でロードすると, 指定したディレクトリにある全てのファイルを読み込むことができるようです。 << はMathematica的にはGetの略記らしい。

(* Library.ma *)
(* $Id: library.ma,v 1.2 2017/06/16 08:56:05 daichi Exp $ *)

dir = Directory[]
SetDirectory["~/share/math"]

Map[ Get,
     Select[ FileNames[],
             Function[x, !DirectoryQ[x] && (x != "library.ma")
                                        && (x != "init.m")]]]

SetDirectory[dir]

init.m は僕の場合(Mac)では ~/Library/Mathematica/Kernel/init.m にありました。 このディレクトリは長いので, 個人的に ~/share/math/ にシンボリックリンクを 張って使っています。
これで, ユーザー定義関数を書いて無事に機能を増やせるようになりました。 かなり基本的な話だと思うのですが, ほとんど書かれていないのが不思議です。

ところで, Python でいう zip の機能, すなわち ((a,b),(x,y)) というリストから ((a,x),(b,y)) というリストを作る機能がMathematicaでも欲しいと思って 書こうかと思っていたところ, 先に調べたら

In[1]:= x = {{"a","b"},{"x","y"}}
Out[1]= {{a, b}, {x, y}}
In[2]:= Transpose[x]
Out[2]= {{a, x}, {b, y}}

でできることを知って, まさに目から鱗でした。

明日17日(金)15:00-17:30は, 各所でアナウンスされている通り, 統数研の 統計的機械学習NOE の第3回のセミナーです。 皆様ぜひお越し下さい。
http://www.ism.ac.jp/events/2011/meeting0617.html

講演者は統数研に滞在中の Arnaud Doucet 氏と, 東大の牧野君です。
牧野君はまだ国際会議に発表していない最近の話を2つ合わせて話してくれる ようです。

ところで, 外にアナウンスされていませんが, 統数研壁紙なるものを 内部で作ったそうで, 外部からもアクセスできるそうです。
http://jasp.ism.ac.jp/~ebina/wallpaper/index.html
個人的には, ロゴが小さいバージョンが良いような気がします。

IBISML の第1回研究会が無事に終了。 参加者は何と200人を超えたとのことで, 運営側も結構驚いていました。
初回のためとにかく発表件数が多く, 招待講演も一般講演も(一般講演は15分とか) 時間が足りない感じでしたが, 最初なのである程度は仕方ない部分もあったかも 知れません。 個人的には, 東京だけでなくかなり遠い所からも聞きに来られた方が色々 あったようで, 若い人も多く, そこの所が素晴らしいなというのが感想でした。
講演スライドが 第1回研究会のページ で続々公開されていますので (ibisml@twitter), ご興味のある方はぜひどうぞ。

牧野君のノンパラメトリックベイズの講演はすごい力作で, しかもわかりやすく, 講演をお願いして良かったなと思いました。 あの内容を50分で話すというのがそもそもかなり無茶なので, スライドを見直すと 結構わかるのではないかという気がします。

ベイズ学習の説明の所で, 一般にベイズ学習は事前分布を仮定して.. と言うと, 結果がその事前分布に依存してしまうじゃないか!という批判が 当然ありますが, 実際には, これまでの経験では事前分布はできる限り「無情報」にすることが多いので, そういう批判はかなりかわせるような気がします。例えば, DPはデータがPower Lawに 従うという仮説の事前分布ですが, 実際にはハイパーパラメータのαは学習できるので, Power law が現れないようにもなるはずですが, データがそれを支持している..という 理屈になっているかと思います。

終わった後, 帰りに愛する銀杏(安田講堂前)でお茶をして帰りました。 ケーキとコーヒーで310円とか, ありえない...。

佐藤君のトピックモデルの話(「階層Pitman-Yorトピックモデル」, KDD 2010)について 少し気付いたことがあったので, まとめ。15分しかないあの話で普通全部は わからないだろうと思うので..。

この話は最初, LDAのディリクレ分布をPitman-Yor過程(ポアソン=ディリクレ分布) にしただけかと思ったのですが, そうではないことに聞いていて気付きました。
佐藤君が Twitterで喋っている ように, この話はLDAにDM的なキャッシュ(Pitman-Yor adaptor)を入れたもの なのだと思います。 これまで, LDAには単語のバースト性 (同じ単語が複数回現れやすいというキャッシュモデル) が表現できないという問題があり, その点で Dirichlet Mixtures (DM)の方が パープレキシティの低いモデルとなっていました。が, この話でLDAにもキャッシュが 入ったので, DMはもしかすると不要になったかも知れません。 *1

佐藤君の論文は全部CRPで書かれているので, 何をやっているかわかりにくいのですが, 少し考えるとわかったので, 以下に整理。

一般に, LDAの生成モデルでは文書に含まれる単語が

• 文書のトピック分布 θ ~ Dir(α) をサンプル
• For n = 1 .. N,
  • 潜在トピック k_n ~ Mult(θ) をサンプル
  • 単語 w_n ~ p(w|k_n) をサンプル

という過程で生成されるとしますが, これは実は,

1. θ ~ Dir(α) をサンプル
2. 単語分布 p = Σ_k θ_k p(w|k) を混合分布として作成
3. w_1 .. w_N ~ p を i.i.d. にサンプル

というのと同じです。上の 1,2 をまとめて, 以下 p ~ LDA(α) と書くことにします。
一方, DM等の単純なキャッシュモデル(Polya分布)では,

• p ~ Dir(α) をサンプル (このαは単語次元.)
• w_1 .. w_N ~ p, i.i.d.

で, 中間の p を積分消去するとΓ関数の形が出てきます。

上の佐藤君の話は, この Polya 分布でαに当たる単語の事前確率が一定ではなく, 文書のトピックを考慮して LDA(α) になっている, と理解できます。 それに加えて, ディリクレ分布にパラメータが1つ増えてポアソン=ディリクレ分布 (Pitman-Yor過程)になっている, ということ。つまり,

1. p ~ LDA(α) をサンプル
2. q ~ PY(η,d,p) をサンプル (ηは集中率, dはディスカウントを表すパラメータ)
3. w_1 .. w_N ~ q, i.i.d.

で, 中間のqを積分消去。 言葉で言うと, p ~ LDA(α) は普通のLDAの単語分布ですが, 実際にはpを中心として 少しずれた, 特定の単語が何回も出やすい q があり, そこから最終的に単語が生成 されていると考えるモデルだ, ということ(この辺はDMと同じ)。

というわけで, この話でLDAの欠点も克服されたので, 一つ一つは特別なことをして いる訳ではないと思いますが, 実際上は結構役立つモデルになっているのではないか, という気がします。

---

最近(だいたい1年半くらい前)にオープンした, 光台の けいはんなユータウン に入っている書店, ACADEMIA けいはんな店にこの間とこの日, 初めて入ってみた。
出来てすぐから存在は知っていたが, 「ACADEMIA? どうせ名前だけじゃないの? やまざき貴子の漫画じゃないんだからさ…」と思っていたのだが..

..すいませんなめてました。
鄙には稀な, 旭屋書店のような都会の専門店なみの品揃えで驚いた。 普通の地方の本屋にはまず置いていない, みすず書房の本(全部ではないですが)や, 白水社クセジュ文庫のようなものまで置いてある。
調べると, くまざわ書店 の展開のうち, 全国に数個所あるACADEMIA店の一つらしい。

普通の本はもちろん, 文芸書, 科学書とも非常に充実している。 例えば 「自然界における左と右」 とかが普通に置いてあるわけですが, 特に子供にとっては, 都会に出て大型書店に行ったりするのは無理なので, こういう 本が普通に近くの本屋に置いてあるというのは素晴らしいなあ, と思ってしまった。 特に子供の頃は, 実際にいい本が並んでいる場所(書店や図書館)に行って良いと 思う本を選んで読む, というのはとても大事だと思う。

ただ, いくら光台が研究所が多く, 住民のレベルが高い(らしい) *1 とは言っても, 本当にこれで採算がとれてやっていけるのかなあ.. と少し 心配してしまった。

---