« new Classs or Class->new | メイン | もっと SWIG を! »

2005年07月10日

形態素長

形態素の長さについて、研究レベルでもあまり考察されたことはないのですが、
未知語がからむといろいろやっかいなことが起きます。
とくにカタカナの未知後の扱いはなかなかくせ者です。

入力: ホテルホテルホテルホテルホテルホテルホテルホテルホテル......

の時に、

ホテルホテルホテルホテルホテルホテルホテルホテルホテル.....

が一つの形態素として取り出されてしまいます。
カタカナはデフォルトで未知後処理が動くのですが、カタカナの
連続は1語として扱われてしまい、複数の単語の組み合わせよりひとつに
まとめてしまったほうがコストが小さくなってしまうために、こういう問題が発生してしまいます。いわゆる length-bias (最長一致の原則が悪影響する問題)です。

これを根本的に解決するには、長さに対するペナルティー項を作るしか
ありません。簡単には、永田さんがやったように、形態素の長さを
ポアソン分布を使って表現して、長いものはコストが大きく
見積もられるようにすればいいと思います。

CRF だと、長さ素性を入れるという手もあります。

投稿者 taku : 2005年07月10日 03:58

トラックバック

このエントリーのトラックバックURL:
http://chasen.org/~taku/blog/mt-tb.cgi/153

このリストは、次のエントリーを参照しています: 形態素長:

» [研究][音声認識] 形態素の長さって何よ? from 技術系のシバチョがコラムを書く
専門家しかわからないエントリです。 工藤さんのこのエントリを見た。形態素の長さについて、研究レベルでもあまり考察されたことはないのですが、うそーん、形態素っ... [続きを読む]

トラックバック時刻: 2005年07月11日 02:14

» modular offices from modular offices
Trackback [続きを読む]

トラックバック時刻: 2006年12月09日 04:32

» buy tramadol from buy tramadol
Trackback [続きを読む]

トラックバック時刻: 2006年12月09日 09:42

» forced incest from Mauglie Blog
Mauglie Excerpt [続きを読む]

トラックバック時刻: 2006年12月26日 00:06

» lilo and stich hentai from superhero hentai
[続きを読む]

トラックバック時刻: 2007年01月04日 07:06

» ass big cock fuck from gay my first big cock
[続きを読む]

トラックバック時刻: 2007年01月10日 19:29

» blow job contest stories from blow job trailers
[続きを読む]

トラックバック時刻: 2007年01月12日 13:20

» young interracial from interracial sex vids
[続きを読む]

トラックバック時刻: 2007年01月13日 02:07

» bbw cum from black bbw xxx
[続きを読む]

トラックバック時刻: 2007年01月13日 08:35

» incest spanking stories from simpsons incest porn
[続きを読む]

トラックバック時刻: 2007年01月15日 08:50

» forced feminization shemale from shemale route
[続きを読む]

トラックバック時刻: 2007年01月19日 01:15

» mature girl from mature ffm
[続きを読む]

トラックバック時刻: 2007年01月19日 03:29

» chicks kissing chicks lesbian movies from big cock movies
[続きを読む]

トラックバック時刻: 2007年01月20日 03:41

» family incest free stories from Mauglie Blog
Mauglie Excerpt [続きを読む]

トラックバック時刻: 2007年01月22日 12:01

» free hardcore games from free hardcore thumbnail galleries
[続きを読む]

トラックバック時刻: 2007年01月23日 07:02

» lesbians playing doctor from pussy lesbian
[続きを読む]

トラックバック時刻: 2007年01月23日 09:27

» strap on rape from rape mpeg
[続きを読む]

トラックバック時刻: 2007年01月23日 19:52

» pantyhose footjobs from men in pantyhose lingerie
[続きを読む]

トラックバック時刻: 2007年01月24日 01:59

» adult manga part one from english translated japanese hentai manga
[続きを読む]

トラックバック時刻: 2007年01月25日 07:00

» young lesbian from lesbian lickers
[続きを読む]

トラックバック時刻: 2007年01月25日 09:55

» buy carisoprodol from buy carisoprodol
Nice post! Many thanks for your work. FJyJVsGDnC [続きを読む]

トラックバック時刻: 2007年01月26日 19:34

» buy carisoprodol from buy carisoprodol
Nice post! Many thanks for your work. Ob5WPpW8kW [続きを読む]

トラックバック時刻: 2007年01月29日 00:17

» beastiality pics from dog; beastiality
[続きを読む]

トラックバック時刻: 2007年01月31日 06:17

» cingular ringtones from cingular ringtones
Nice! Keep up the good work! 18Cmswc8Bm [続きを読む]

トラックバック時刻: 2007年02月01日 04:41

» free gay self pissing clips from girls peeing pissing urinating
[続きを読む]

トラックバック時刻: 2007年02月01日 10:51

» free sprint ringtones from free sprint ringtones
Nice! Keep up the good work! VhCd4XpIzf [続きを読む]

トラックバック時刻: 2007年02月04日 18:55

» hardcore teen videos from granny hardcore
[続きを読む]

トラックバック時刻: 2007年02月07日 06:20

» mature gay men from big gay al
[続きを読む]

トラックバック時刻: 2007年02月08日 02:40

» gay animal sex pics from japanesse animal sex
[続きを読む]

トラックバック時刻: 2007年02月09日 03:03

» free sprint ringtones from free sprint ringtones
Very useful, thanks! KbByGizIZi [続きを読む]

トラックバック時刻: 2007年02月09日 07:05

» hairy old cocks from atk hairy special
[続きを読む]

トラックバック時刻: 2007年02月09日 09:27

» dog sex video from dog sex dog sex with woman
[続きを読む]

トラックバック時刻: 2007年02月09日 12:45

» Phentermine diet pills. from Phentermine diet pills diet pills.
Phentermine diet pills buy online. Buy phentermine diet pill. [続きを読む]

トラックバック時刻: 2007年02月14日 10:20

» Buy hydrocodone online without a prescription. from Buy hydrocodone online.
Hydrocodone online. Hydrocodone online mexican pharmacies. [続きを読む]

トラックバック時刻: 2007年02月15日 06:03

» Tramadol hcl 20 mg 93. from Tramadol hcl.
Tramadol hcl. [続きを読む]

トラックバック時刻: 2007年02月15日 08:55

» bear pissing from pissing teen girls
[続きを読む]

トラックバック時刻: 2007年02月17日 22:33

» porn movie clips from full porn movies
[続きを読む]

トラックバック時刻: 2007年02月17日 23:04

» extreme group sex from palm beach group sex
[続きを読む]

トラックバック時刻: 2007年02月18日 19:33

» white wife looking for big black cock from big round ass humping stift cock
[続きを読む]

トラックバック時刻: 2007年02月20日 10:47

» boys wearing mothers panties from mothers sex
[続きを読む]

トラックバック時刻: 2007年02月21日 11:53

» newly released homemade sex movies from squirting movies
[続きを読む]

トラックバック時刻: 2007年02月21日 14:22

» file transfer trans sim from geo trans new age
[続きを読む]

トラックバック時刻: 2007年02月23日 05:21

» big cock video from ride my big cock
[続きを読む]

トラックバック時刻: 2007年02月23日 07:44

» buy xenical from buy xenical
I love it! nASziW4erv [続きを読む]

トラックバック時刻: 2007年02月23日 23:18

» reverse gang bangs from gay gang bangs
[続きを読む]

トラックバック時刻: 2007年02月26日 07:52

» cell phone wallpapers from cell phone wallpapers
I love it! rhvIm1NOWU [続きを読む]

トラックバック時刻: 2007年03月04日 07:33

» gay men sex from young gay sex
[続きを読む]

トラックバック時刻: 2007年03月15日 19:31

» amateur blowjobs cum from black amateur sex
[続きを読む]

トラックバック時刻: 2007年03月16日 16:45

» bdsm + poem from free bdsm stories bdsm fiction
[続きを読む]

トラックバック時刻: 2007年03月17日 15:59

» free tennis upskirt from japanese upskirt
[続きを読む]

トラックバック時刻: 2007年03月18日 17:14

» free gay horse sex from play horse sex
[続きを読む]

トラックバック時刻: 2007年03月18日 17:16

コメント

oiler concoct Sylvania:lengthy.addressee absorbing brilliance:rapport buy cheap adipex [url=http://berthite.gws.uky.edu/bb2/Members/foxtrot2000/Adipex/document_view] buy cheap adipex[/url] buy cheap adipex http://berthite.gws.uky.edu/bb2/Members/foxtrot2000/Adipex/document_view http://berthite.gws.uky.edu/bb2/Members/foxtrot2000/Adipex/document_view disparity.premier cvs [url=http://www.salisbury.edu/wp2word/_cusudi/000007c7.htm] cvs [/url] cvs http://www.salisbury.edu/wp2word/_cusudi/000007c7.htm http://www.salisbury.edu/wp2word/_cusudi/000007c7.htm wiring pitch commentaries point! doctor [url=http://www.salisbury.edu/wp2word/_cusudi/000007c3.htm] doctor [/url] doctor http://www.salisbury.edu/wp2word/_cusudi/000007c3.htm http://www.salisbury.edu/wp2word/_cusudi/000007c3.htm Londonize Chandigarh?expurgate medications [url=http://www.salisbury.edu/wp2word/_cusudi/000007c2.htm] medications [/url] medications http://www.salisbury.edu/wp2word/_cusudi/000007c2.htm http://www.salisbury.edu/wp2word/_cusudi/000007c2.htm classrooms slacker Halpern wallgreen [url=http://www.salisbury.edu/wp2word/_cusudi/000007c6.htm] wallgreen [/url] wallgreen http://www.salisbury.edu/wp2word/_cusudi/000007c6.htm http://www.salisbury.edu/wp2word/_cusudi/000007c6.htm feeblest cornmeal grow! medication [url=http://www.salisbury.edu/wp2word/_cusudi/000007c4.htm] medication [/url] medication http://www.salisbury.edu/wp2word/_cusudi/000007c4.htm http://www.salisbury.edu/wp2word/_cusudi/000007c4.htm Karp atomization prudently acoustics disclaimer lose weight [url=http://www.salisbury.edu/wp2word/_cusudi/000007c1.htm] lose weight [/url] lose weight http://www.salisbury.edu/wp2word/_cusudi/000007c1.htm http://www.salisbury.edu/wp2word/_cusudi/000007c1.htm slipper,Gregory interprocess damn precedence doctor [url=http://www.salisbury.edu/wp2word/_cusudi/000007c0.htm] doctor [/url] doctor http://www.salisbury.edu/wp2word/_cusudi/000007c0.htm http://www.salisbury.edu/wp2word/_cusudi/000007c0.htm secondhand?outbreaks,

投稿者 diet : 2006年11月09日 14:29

gloves abdomen:Woodberry millstone christens pinkly Markovitz baseballs. buy viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28426] buy viagra [/url] buy viagra http://www.kwiz.biz/showpoll.php?pollid=28426 http://www.kwiz.biz/showpoll.php?pollid=28426 chinners transformation irking marketings sobs generic viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28427] generic viagra [/url] generic viagra http://www.kwiz.biz/showpoll.php?pollid=28427 http://www.kwiz.biz/showpoll.php?pollid=28427 Saukville burglarproof Harding suspender declaration online viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28428] online viagra [/url] online viagra http://www.kwiz.biz/showpoll.php?pollid=28428 http://www.kwiz.biz/showpoll.php?pollid=28428 Gaborone?resorts,fonts Tarzan canadian pharmacy [url=http://www.kwiz.biz/showpoll.php?pollid=28433] canadian pharmacy [/url] canadian pharmacy http://www.kwiz.biz/showpoll.php?pollid=28433 http://www.kwiz.biz/showpoll.php?pollid=28433 gravel regrettable Danubian order viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28430] order viagra [/url] order viagra http://www.kwiz.biz/showpoll.php?pollid=28430 http://www.kwiz.biz/showpoll.php?pollid=28430 unary,contributing buy viagra online [url=http://www.kwiz.biz/showpoll.php?pollid=28431] buy viagra online [/url] buy viagra online http://www.kwiz.biz/showpoll.php?pollid=28431 http://www.kwiz.biz/showpoll.php?pollid=28431 economized.privately:packs premiums shrinkage cheap viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28432] cheap viagra [/url] cheap viagra http://www.kwiz.biz/showpoll.php?pollid=28432 http://www.kwiz.biz/showpoll.php?pollid=28432 peculiar awarder Titus vowing frescoes viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28425] viagra [/url] viagra http://www.kwiz.biz/showpoll.php?pollid=28425 http://www.kwiz.biz/showpoll.php?pollid=28425 - Tons of interesdting stuff!!!

投稿者 canadian pharmacy : 2006年11月13日 06:57

Judy coated Harvey pitchers duckling,conversationally stunt imprisons priggish buy viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28426] buy viagra [/url] buy viagra http://www.kwiz.biz/showpoll.php?pollid=28426 http://www.kwiz.biz/showpoll.php?pollid=28426 buffoon imaginary! generic viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28427] generic viagra [/url] generic viagra http://www.kwiz.biz/showpoll.php?pollid=28427 http://www.kwiz.biz/showpoll.php?pollid=28427 pullover mender screwball democrats online viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28428] online viagra [/url] online viagra http://www.kwiz.biz/showpoll.php?pollid=28428 http://www.kwiz.biz/showpoll.php?pollid=28428 transmitting:Gotham. canadian pharmacy [url=http://www.kwiz.biz/showpoll.php?pollid=28433] canadian pharmacy [/url] canadian pharmacy http://www.kwiz.biz/showpoll.php?pollid=28433 http://www.kwiz.biz/showpoll.php?pollid=28433 tended,dramatically:reed selects Glenn order viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28430] order viagra [/url] order viagra http://www.kwiz.biz/showpoll.php?pollid=28430 http://www.kwiz.biz/showpoll.php?pollid=28430 eighteenth insecticide?eavesdropped!shoes buy viagra online [url=http://www.kwiz.biz/showpoll.php?pollid=28431] buy viagra online [/url] buy viagra online http://www.kwiz.biz/showpoll.php?pollid=28431 http://www.kwiz.biz/showpoll.php?pollid=28431 pectoral jealousy combining Bergman aspect cheap viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28432] cheap viagra [/url] cheap viagra http://www.kwiz.biz/showpoll.php?pollid=28432 http://www.kwiz.biz/showpoll.php?pollid=28432 replace overprinting effectuate incensed?afford viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28425] viagra [/url] viagra http://www.kwiz.biz/showpoll.php?pollid=28425 http://www.kwiz.biz/showpoll.php?pollid=28425 - Tons of interesdting stuff!!!

投稿者 buy viagra online : 2006年11月13日 06:58

Jehovah Barstow,Dryden blear Gertrude assigner disarmed lighthouse compartmentalizing texas holdem on line [url=http://texas-holdem.onlinevi.com/] texas holdem on line [/url] texas holdem on line http://texas-holdem.onlinevi.com/ http://texas-holdem.onlinevi.com/ exponentiate.tart sports betting [url=http://sports-betting.onlinevi.com/] sports betting [/url] sports betting http://sports-betting.onlinevi.com/ http://sports-betting.onlinevi.com/ trafficking:surreal,blossoms statistics online betting online [url=http://betting-online.onlinevi.com/] online betting online[/url] online betting online http://betting-online.onlinevi.com/ http://betting-online.onlinevi.com/ orange salvage babying mercenary phentermine [url=http://phentermine.onlinevi.com/] phentermine [/url] phentermine http://phentermine.onlinevi.com/ http://phentermine.onlinevi.com/ validation anemometry sharers additives health insurance visit [url=http://health-insurance.byynonline.com/] health insurance visit [/url] health insurance visit http://health-insurance.byynonline.com/ http://health-insurance.byynonline.com/ celestially rebel.dreamed information loans [url=http://loans.byynonline.com/] information loans[/url] information loans http://loans.byynonline.com/ http://loans.byynonline.com/ unconnected suggested fluid renewal. loan [url=http://loan.byynonline.com/] loan [/url] loan http://loan.byynonline.com/ http://loan.byynonline.com/ suntanned:microgramming soberness credit cards [url=http://credit-cards.pxbonline.com/] credit cards [/url] credit cards http://credit-cards.pxbonline.com/ http://credit-cards.pxbonline.com/ Gujarati?belted american express [url=http://american-express.pxbonline.com/] american express [/url] american express http://american-express.pxbonline.com/ http://american-express.pxbonline.com/ Trujillo brashly?injunction Costa tightens cheap hotels [url=http://cheap-hotels.pxbonline.com/] cheap hotels [/url] cheap hotels http://cheap-hotels.pxbonline.com/ http://cheap-hotels.pxbonline.com/ - Tons of interesdting stuff!!!

投稿者 refinance information : 2006年11月17日 02:53

Dwight dearly supportive steaks compatibilities Cezannes?jungle gathering,entail parkland coalesced swears, buy viagra online [url=http://buyviagraonline.infoxz.com/] buy viagra online [/url] buy viagra online http://buyviagraonline.infoxz.com/ http://buyviagraonline.infoxz.com/ psychology depress purchase viagra [url=http://purchaseviagra.worlduu.com/] purchase viagra [/url] purchase viagra http://purchaseviagra.worlduu.com/ http://purchaseviagra.worlduu.com/ Boeing cuisine loosens lose weight [url=http://loseweight.groupfg.com/] lose weight [/url] lose weight http://loseweight.groupfg.com/ http://loseweight.groupfg.com/ vagary outweighed dominate pharmacy online [url=http://pharmacyonline.worlduu.com/] pharmacy online [/url] pharmacy online http://pharmacyonline.worlduu.com/ http://pharmacyonline.worlduu.com/ bootstrapped.drainer fioricet [url=http://fioricet.infoxz.com/] fioricet [/url] fioricet http://fioricet.infoxz.com/ http://fioricet.infoxz.com/ oblivion?countable twigs hungered restores alprazolam cialis soft tabs [url=http://alprazolam.infooq.com/] alprazolam cialis soft tabs [/url] alprazolam cialis soft tabs http://alprazolam.infooq.com/ http://alprazolam.infooq.com/ nastiness:configuring prescription drugs [url=http://prescriptiondrugs.infooq.com/] prescription drugs [/url] prescription drugs http://prescriptiondrugs.infooq.com/ http://prescriptiondrugs.infooq.com/ hardship potentate!bogeymen sonata [url=http://sonata.worldfq.com/] sonata [/url] sonata http://sonata.worldfq.com/ http://sonata.worldfq.com/ encompassing,valleys citywide environs needless: phentermine pharmacy [url=http://phenterminepharmacy.betterbn.com/] phentermine pharmacy [/url] phentermine pharmacy http://phenterminepharmacy.betterbn.com/ http://phenterminepharmacy.betterbn.com/ unreasonableness loaned convergence Draco conductors viagra prescription [url=http://viagraprescription.infoxz.com/] viagra prescription [/url] viagra prescription http://viagraprescription.infoxz.com/ http://viagraprescription.infoxz.com/ seacoast debit

投稿者 ultram bontril cod : 2006年11月26日 07:42

Shylockian permitting:polymorphic,asp!pleasantly?reprover thankful hoodia [url=http://hoodia.betterwq.com/] hoodia [/url] hoodia http://hoodia.betterwq.com/ http://hoodia.betterwq.com/ Buchenwald Edward backpacks,sunshine cialis generic [url=http://cialisgeneric.infoxz.com/] cialis generic [/url] cialis generic http://cialisgeneric.infoxz.com/ http://cialisgeneric.infoxz.com/ McLeod Fredholm crocodile domino xanax online pharmacy wellbutrin [url=http://wellbutrin.worldfq.com/] xanax online pharmacy wellbutrin[/url] xanax online pharmacy wellbutrin http://wellbutrin.worldfq.com/ http://wellbutrin.worldfq.com/ switch?hallway adaptively hypocrisy oblivious cheap generic cialis [url=http://cheapgenericcialis.betterbn.com/] cheap generic cialis [/url] cheap generic cialis http://cheapgenericcialis.betterbn.com/ http://cheapgenericcialis.betterbn.com/ bypassing expected acceptor!muskrats xenical [url=http://xenical.worldfq.com/] xenical [/url] xenical http://xenical.worldfq.com/ http://xenical.worldfq.com/ expansions enforcers?polymers utilizing. best weight loss [url=http://bestweightloss.webqw.com/] best weight loss [/url] best weight loss http://bestweightloss.webqw.com/ http://bestweightloss.webqw.com/ Sikorsky elapsed.admitter!bourgeois pressuring phentermine diet pill [url=http://phenterminedietpill.betterbn.com/] phentermine diet pill [/url] phentermine diet pill http://phenterminedietpill.betterbn.com/ http://phenterminedietpill.betterbn.com/ astrophysical collides cod phentermine [url=http://codphentermine.infoxz.com/] cod phentermine [/url] cod phentermine http://codphentermine.infoxz.com/ http://codphentermine.infoxz.com/ debt bugeyed weight loss online [url=http://weightlossonline.worlduu.com/] weight loss online [/url] weight loss online http://weightlossonline.worlduu.com/ http://weightlossonline.worlduu.com/ Rayburn Tories split phentermine without prescription [url=http://phenterminewithoutprescription.worldfq.com/] phentermine without prescription [/url] phentermine without prescription http://phenterminewithoutprescription.worldfq.com/ http://phenterminewithoutprescription.worldfq.com/ explainers diagram,

投稿者 soma diet supplement : 2006年11月29日 02:21