« mecab-skkserv | メイン | MOST »

2005年03月14日

mecab-skkserv の変換アルゴリズムについて

mecab-skkserv は形態素解析 MeCab を用いています。

変換アルゴリズムの実装について、結果からいうと
ipadic の「読み」と「表層」を入れ替えただけです。
なぜこれでうまくいくのかの理論的な背景は次のようになります。

現在の ipadic のコストは隠れマルコフモデル(HMM)によって与えられています。

HMM は、言語モデルとして用いられることが多いです。
言語モデルは、「入力文がどれだけ日本語として尤もらしい入力なのか」
をモデル化します。入力文に対し、言語的な尤もらしさを表す確率を出力します。

形態素解析が出力する品詞といった情報は、この言語モデルの
精度を上げるための付加的な情報です。（専門的にはクラス言語モデルという）

さて、仮名漢字変換では、仮名文字列から漢字交じり文に変換します。

すごーくしょぼい方法でもいいから、ひらがな列を漢字交じり文に変換し、
たくさんの変換候補を出力できさえすれば、あとはそれぞれの漢字交じり文を
さきほどの言語モデルの確率値でランキングすることでまともな出力になります。

これは、統計的機械翻訳や統計的音声認識と同じ方法論です
（翻訳モデル＋言語モデル、音響モデル＋言語モデル）

ipadic の「読み」と「表層」を入れ替える作業は、すごーく
しょーもない方法でひらがな列を漢字交じり文に変換する機能を
実現します。コスト値はそのまま使うので、あとは言語モデルで
ランキングされます。

当然、第一段階のひらがな列 -> 漢字文字列への変換をしょぼい
方法ではなく、もっと賢くすれば精度があがります。これは、単純に
MeCab をつかって大量の書を解析して、ある読みがどういう単語に
変換されやすいか確率をとればよいでしょう。正確にはベイズの定理から
事象がひっくりかえって、ある単語がどういう読みになるのかを推定します。
もっとも、ほとんどの単語の読みは唯一に決まるので、がんばって推定する
必要はあまりなく、いまのままで十分と思います。

このようなアイデアはすでにI社の森さんが提案なさっています。

さて、同じようなアイデアが CRF に適用できるかというと
ちょっと怪しいです。なぜならば CRF は言語モデルではないから。。
長くなったのでまた今度。

投稿者 taku : 2005年03月14日 00:37

トラックバック

このエントリーのトラックバックURL:
http://chasen.org/~taku/blog/mt-tb.cgi/116

このリストは、次のエントリーを参照しています: mecab-skkserv の変換アルゴリズムについて:

» Free Download Music from free download music
12hgw5 12hgw5 [続きを読む]

トラックバック時刻: 2006年11月06日 02:17

» free nokia 6210 ringtones from free nokia 6210 ringtones
free ... [続きを読む]

トラックバック時刻: 2006年11月06日 02:27

» Download Verizon Ringtones from Verizon Wireless Ringtones
56 56 [続きを読む]

トラックバック時刻: 2006年11月06日 09:48

» home ottawa quality services from home ottawa quality services
home ottawa quality ... [続きを読む]

トラックバック時刻: 2006年11月07日 00:23

» home business from home business
home business [続きを読む]

トラックバック時刻: 2006年11月07日 04:37

» buy tramadol from buy tramadol
buy tramadol [続きを読む]

トラックバック時刻: 2006年11月08日 02:51

» free mp3 from free mp3
free mp3 =... [続きを読む]

トラックバック時刻: 2006年11月08日 03:47

» Wedding Dress from Dress
How Dress and2 and2 [続きを読む]

トラックバック時刻: 2006年11月08日 04:26

» Poker from Blackjack
o9 Poker 5... [続きを読む]

トラックバック時刻: 2006年11月08日 20:52

» Baccarat from Slots
U6 Slots a... [続きを読む]

トラックバック時刻: 2006年11月08日 22:05

» Payday Loans from Payday Loans
Y6! Pay... [続きを読む]

トラックバック時刻: 2006年11月09日 00:21

» download free mp3 music from download mp3s
free mp3 xx xx [続きを読む]

トラックバック時刻: 2006年11月10日 00:19

» Instant Payday Loan from No Fax Payday Loans
ho! ho! [続きを読む]

トラックバック時刻: 2006年11月10日 01:08

» download music for free from free music download
fg0 free mu... [続きを読む]

トラックバック時刻: 2006年11月10日 21:36

» anime tit from anime manga
anime / ... [続きを読む]

トラックバック時刻: 2006年11月11日 01:35

» anime music from big tit anime
anime hentaianime hentai<... [続きを読む]

トラックバック時刻: 2006年11月11日 21:06

» sex objects from sex objects
sex objects [続きを読む]

トラックバック時刻: 2006年11月11日 21:22

» sexy anime from anime woman
hot anime gir... [続きを読む]

トラックバック時刻: 2006年11月12日 15:47

» Airline Flight Ticket from Airline Flight Ticket
Airline Flight Ticket [続きを読む]

トラックバック時刻: 2006年11月13日 12:41

» casino times wagering from casino times wagering
casino times wagering [続きを読む]

トラックバック時刻: 2006年11月14日 15:51

» online wagering from online wagering
online wagering [続きを読む]

トラックバック時刻: 2006年11月14日 17:55

» instant faxless payday loan from instant faxless payday loan
minstant faxles... [続きを読む]

トラックバック時刻: 2006年11月17日 12:17

» music downloads from music downloads
8rfdsog mu... [続きを読む]

トラックバック時刻: 2006年11月18日 09:55

» Cash Advance Payday Loan from Free Verizon Ringtones
Like Free Verizon Ringtones this this [続きを読む]

トラックバック時刻: 2006年11月21日 16:57

» free music downloads from free mp3
tre 5 musi... [続きを読む]

トラックバック時刻: 2006年11月22日 12:21

» Music Downloads from free music download
tre 5 musi... [続きを読む]

トラックバック時刻: 2006年11月22日 12:33

» Free Sprint Ringtones from Motorola Ringtones
So1 Motorola Ringtones i2us1 i2us1 [続きを読む]

トラックバック時刻: 2006年11月22日 15:35

» Motorola Ringtones from Free Sprint Ringtones
So1 Motorola Ringtones i2us1 i2us1 [続きを読む]

トラックバック時刻: 2006年11月22日 15:49

» music downloads from MUSIC DOWNLOAD
as [続きを読む]

トラックバック時刻: 2006年11月23日 14:32

» faxless payday loan from faxless payday loan
fno fax payday loanaa[続きを読む]

トラックバック時刻: 2006年11月24日 11:16

» adware 6 from ADWARE SPYWARE REMOVER
4 [続きを読む]

トラックバック時刻: 2006年11月24日 11:32

» adware remover from adware spyware
43 [続きを読む]

トラックバック時刻: 2006年11月25日 05:58

» Free Motorola Ringtones from Free Motorola Ringtones
do do [続きを読む]

トラックバック時刻: 2006年11月25日 07:31

» acs loan from acs student loan
aacs loandd[続きを読む]

トラックバック時刻: 2006年11月25日 10:16

» adware spyware removal from ADWARE SE
45 ; [続きを読む]

トラックバック時刻: 2006年11月25日 10:26

» Download Motorola Ringtones from Free Motorola Polyphonic Ringtones
As! As! [続きを読む]

トラックバック時刻: 2006年11月25日 12:28

» mp3 downloads from Free mp3 downloads
de2v [続きを読む]

トラックバック時刻: 2006年11月26日 10:46

» FREE LIMEWIRE from free limewire
54 LIMEWIRELIMEWIRE [続きを読む]

トラックバック時刻: 2006年11月27日 06:11

» FREE MUSIC DOWNLOAD from FREE MUSIC DOWNLOAD
wqvc v ... [続きを読む]

トラックバック時刻: 2006年11月28日 07:48

» installing laminate flooring from laminate noise reduction
wlaminate noise reductionee[続きを読む]

トラックバック時刻: 2006年11月30日 04:09

» Prom Dress from Prom Dress
Off Prom ... [続きを読む]

トラックバック時刻: 2006年11月30日 05:20

» No Fax Payday Loans from Payday Cash Loan
Power Power [続きを読む]

トラックバック時刻: 2006年12月01日 01:20

» dupont laminate flooring from dupont laminate
adupont laminate flooringff[続きを読む]

トラックバック時刻: 2006年12月01日 03:47

» Hp Printer Cartridges from Hp Printer Cartridges
94 94 [続きを読む]

トラックバック時刻: 2006年12月04日 10:24

» unique christmas gifts from unique christmas gifts
unique christmas gifts [続きを読む]

トラックバック時刻: 2006年12月05日 05:13

» Mini Forex Trading from Mini Forex Trading
9m Mini Forex Trading 5l 5l [続きを読む]

トラックバック時刻: 2006年12月05日 07:54

» incest 3d from incest 3d
incest 3d [続きを読む]

トラックバック時刻: 2006年12月08日 04:09

» verizon wireless pix place from verizon wireless pix place
veverizon wireless pix placery [続きを読む]

トラックバック時刻: 2006年12月08日 07:58

» blue headset tooth wireless from blue headset tooth wireless
blueblue headset tooth wirelesstooth [続きを読む]

トラックバック時刻: 2006年12月08日 12:15

» Discount Laminate Flooring from Discount Laminate Flooring
aDiscount ... [続きを読む]

トラックバック時刻: 2006年12月10日 07:06

» best box game x from box game review x
xbox 360 games [続きを読む]

トラックバック時刻: 2006年12月12日 01:53

» ultrasonic cleaner from ultrasonic cleaner
ultrasonic ultrasonic cleanercleaner [続きを読む]

トラックバック時刻: 2006年12月15日 21:31

» cheap soma online from purchase soma online
soma online | | [続きを読む]

トラックバック時刻: 2006年12月16日 15:05

» purchase soma online from online prescription soma
soma online | | [続きを読む]

トラックバック時刻: 2006年12月16日 15:18

» watson soma online from watson soma cod
watson soma | | [続きを読む]

トラックバック時刻: 2006年12月16日 20:51

» free online renters insurance quotes from free online renters insurance quotes
[続きを読む]

トラックバック時刻: 2006年12月18日 17:18

» ez payday loan from ez payday loan
ez ez payday loan payday loan [続きを読む]

トラックバック時刻: 2006年12月20日 08:25

» buy online Viagra from buy diet Viagra pill
buy Viagra | | [続きを読む]

トラックバック時刻: 2006年12月20日 08:42

» kenmore water softener from kenmore water softener
kenmore kenmore water softenerwater soften... [続きを読む]

トラックバック時刻: 2006年12月22日 10:34

» news softener from news softener
news news softener softener [続きを読む]

トラックバック時刻: 2006年12月23日 00:59

» love softener from love softener
love love softener softener [続きを読む]

トラックバック時刻: 2006年12月23日 06:28

» sprint pcs picture from sprint pcs picture
sprint sprint pcs picture pcs picture [続きを読む]

トラックバック時刻: 2006年12月28日 20:33

» instant faxless payday loan from instant faxless payday loan
instant faxless instant faxless payday lo... [続きを読む]

トラックバック時刻: 2006年12月29日 16:36

» ez payday loan from ez payday loan
ez paydayez payday loan loan [続きを読む]

トラックバック時刻: 2006年12月29日 21:20

» ez payday loan from ez payday loan
ez paydayez payday loan loan [続きを読む]

トラックバック時刻: 2006年12月29日 21:26

» buy Viagra from buy Viagra where
buy Viagra | | [続きを読む]

トラックバック時刻: 2006年12月29日 23:10

» la colombe dor from la colombe dor
la colombela colombe dor dor [続きを読む]

トラックバック時刻: 2006年12月30日 21:24

» la colombe dor from la colombe dor
la colombela colombe dor dor [続きを読む]

トラックバック時刻: 2006年12月30日 21:31

» how to install laminate flooring from how to install laminate flooring
how how to install laminate flooring to [続きを読む]

トラックバック時刻: 2007年01月03日 11:41

» james hardie siding from james hardie siding
ijames hardie sidingq [続きを読む]

トラックバック時刻: 2007年01月04日 12:00

» dupont laminate flooring from dupont laminate flooring
adupont laminate f... [続きを読む]

トラックバック時刻: 2007年01月06日 04:20

» dsw shoes warehouse from dsw shoes warehouse
adsw shoes warehousere [続きを読む]

トラックバック時刻: 2007年01月09日 21:16

» diet phentermine pill from pharmacy phentermine
phentermine... [続きを読む]

トラックバック時刻: 2007年01月10日 05:26

» giochi in scatola from giochi in scatola
giochi in scatola... [続きを読む]

トラックバック時刻: 2007年01月10日 15:07

» giochi in scatola from giochi in scatola
giochi in scatola... [続きを読む]

トラックバック時刻: 2007年01月10日 15:12

» aldo shoes online from aldo shoes online
alaldo shoes onlinedo [続きを読む]

トラックバック時刻: 2007年01月10日 15:19

» puma red planet trail shoes from puma red planet trail shoes
ipuma red planet trail shoesn [続きを読む]

トラックバック時刻: 2007年01月11日 15:02

» puma shoes tennis womens from puma shoes tennis womens
pupuma shoes tennis womensma [続きを読む]

トラックバック時刻: 2007年01月11日 21:04

» cheap overnight tramadol from cheap tramadol
cheap tramado... [続きを読む]

トラックバック時刻: 2007年01月11日 22:07

» Viagra prescription online from non prescription Viagra
Viagra p... [続きを読む]

トラックバック時刻: 2007年01月12日 05:54

» water softener review from water softener review
owater softener review p [続きを読む]

トラックバック時刻: 2007年01月12日 14:47

» order Xanax online from order Xanax online
order Xanax ... [続きを読む]

トラックバック時刻: 2007年01月14日 02:16

» water softener system from water softener system
dwater softener system a [続きを読む]

トラックバック時刻: 2007年01月14日 04:34

» water softener salt from water softener salt
sawater softener salt lt [続きを読む]

トラックバック時刻: 2007年01月14日 10:13

» no teletrack payday loans from no teletrack payday loans
tno teletrack payday loanse [続きを読む]

トラックバック時刻: 2007年01月14日 21:17

» Cheap Alprazolam from Generic Alprazolam
Alprazolam ... [続きを読む]

トラックバック時刻: 2007年01月17日 06:38

» drug generic Alprazolam from cheap generic Alprazolam
Generic ... [続きを読む]

トラックバック時刻: 2007年01月18日 02:52

» buy generic online Alprazolam from cialis generic Alprazolam
Generic ... [続きを読む]

トラックバック時刻: 2007年01月18日 03:02

» telefoni cellulare from telefoni cellulare
telefoni cellulare [続きを読む]

トラックバック時刻: 2007年01月23日 17:09

» nextel ringtones from nextel ringtones
Nice! Keep up the good work! xPTX27dtV8 [続きを読む]

トラックバック時刻: 2007年01月26日 10:13

» qui gong from qui gong
qui gong [続きを読む]

トラックバック時刻: 2007年01月27日 16:09

» tuta ginnastica nike from tuta ginnastica nike
tuta ginnastica nike [続きを読む]

トラックバック時刻: 2007年02月01日 23:22

» volley from volley
volley [続きを読む]

トラックバック時刻: 2007年02月03日 02:24

» free nokia ringtones from free nokia ringtones
Very good article. SsYh0XjaGg [続きを読む]

トラックバック時刻: 2007年02月03日 19:56

» moving truck rental from moving truck rental
Nice post! Many thanks for your work. SAIBxdD62Y [続きを読む]

トラックバック時刻: 2007年02月07日 13:03

» daughter incest from daughter incest
daughter incest [続きを読む]

トラックバック時刻: 2007年02月07日 19:27

» pesca from pesca
pesca [続きを読む]

トラックバック時刻: 2007年02月09日 19:07

» moving company dallas from moving company dallas
Very useful, thanks! aiGV22xo9g [続きを読む]

トラックバック時刻: 2007年02月10日 01:20

» washington movers from washington movers
Very good article. 2bSW0CNzi8 [続きを読む]

トラックバック時刻: 2007年02月11日 21:29

» buy hydrocodone from buy hydrocodone
I love it! qFF3YQFHwW [続きを読む]

トラックバック時刻: 2007年02月16日 18:01

» nextel ringtones from nextel ringtones
Very useful, thanks! LVhsxY1JQR [続きを読む]

トラックバック時刻: 2007年02月18日 16:40

» buy xenical from buy xenical
I love it! r5d4kKowqT [続きを読む]

トラックバック時刻: 2007年02月25日 20:56

» About pregnancy from About pregnancy
Nice post! Many thanks for your work. oDperfxAp5 [続きを読む]

トラックバック時刻: 2007年03月02日 05:36

» Healthiest foods from Healthiest foods
I love it! zd1kaLiBpI [続きを読む]

トラックバック時刻: 2007年03月02日 07:26

» motorola ringtones from motorola ringtones
Very good article. Bna4e91p6E [続きを読む]

トラックバック時刻: 2007年03月05日 00:46

» hoodia from hoodia
cool design. i like it! [続きを読む]

トラックバック時刻: 2007年03月10日 21:55

» hoodia from hoodia
very nice site! [続きを読む]

トラックバック時刻: 2007年03月11日 15:26

» soma from soma
very nice site! [続きを読む]

トラックバック時刻: 2007年03月11日 20:08