あまり前の仕事にこだわるつもりはないのですが, 来週NTT R&Dの偉い人へのプレゼン&
NTT言語系内部コロキウム@横須賀でデモをするので, 言語モデルからランダム
ウォーク生成してみました。
(実は論文にある通り, 学習の際に単語モデルからモンテカルロ法の中で生成している
のですが, あまり真面目に結果を見ていなかった。)
英語の単語モデル(文字∞-gram)から生成した例。(Penn Treebank+オバマ就任演説)
sj:~/work/segment/src% ./spygen -c -n 30 ../model/obama+ptb
varied grain classistor ruminus read headof myhome eastgo smoke
her garry nexty . hunkyu stify feckless s dinnie ener stis pilepar
dottles crash gamble summon abated stoppeduzz muched the dis
おお, いかにもそれっぽいですが, ありそうで, 実際にはない単語が。
個人的には, 単純なn-gramなので, こんなに「英語らしい」単語が生成されるとは
少し意外でした。
次は「しょこたんブログ」からの生成。
sj:~/work/segment/src% ./spygen -c -n 30 ../model/shoko
リンパ きたいから 空間 もう一度 って ぉぉおおぉー 思い出せない いったし
wwwwwww 、 暖冬 とどんそく みえます ぐってた 憧れ だらーり
貼った さん 福本先生様 トリップルパイ 震える 『 覚えて ハート ホテル
(′ωω`) で 天才 メンB 飼う
言うまでもないですが, いわゆる辞書があるわけではないので, 実際に存在する単語
と一致するものがあるのは単なる偶然
(あるいは, モデルが正しく学習されていることを示すもの)です。新しい顔文字が。w
下は源氏物語からの生成(ランダム源氏物語)。
sj:~/work/segment/src% ./spygen -n 5 ../model/genji.n2
いとよう思ひしづめて、山深きこと、と思すも、なほ、いともかしこには、同じことに
て、限りある御身には、いとどしく侮らはしく思ひければ、あさましうなりたまひて、
その返り事は見せたてまつりたまへば、ことになかりし儀式、よそほしうひきつづきて、
その世の道理なれど、院の御子の方の人、 「来し方のことなど、我は 、おのづから
御覧じ知らるることもこそ、かやうの御前の花の木どもも、げにいとおもしろし。
ことごとしくもてなさせたまふ。
大将の宇治に、 「心憂く。
風のつてに見しやどの紅葉をこきまぜて、生ひ先篭れる窓の内なるほどになん。
頼もしげなきやうなりや。
こういうことができるのは生成モデルだからこそなので, 研究的にはおまけとは言え,
面白いなあ, と思います。