« new Classs or Class->new | メイン | もっと SWIG を! »
2005年07月10日
形態素長
形態素の長さについて、研究レベルでもあまり考察されたことはないのですが、
未知語がからむといろいろやっかいなことが起きます。
とくにカタカナの未知後の扱いはなかなかくせ者です。
入力: ホテルホテルホテルホテルホテルホテルホテルホテルホテル......
の時に、
ホテルホテルホテルホテルホテルホテルホテルホテルホテル.....
が一つの形態素として取り出されてしまいます。
カタカナはデフォルトで未知後処理が動くのですが、カタカナの
連続は1語として扱われてしまい、複数の単語の組み合わせよりひとつに
まとめてしまったほうがコストが小さくなってしまうために、こういう問題が発生してしまいます。いわゆる length-bias (最長一致の原則が悪影響する問題)です。
これを根本的に解決するには、長さに対するペナルティー項を作るしか
ありません。簡単には、永田さんがやったように、形態素の長さを
ポアソン分布を使って表現して、長いものはコストが大きく
見積もられるようにすればいいと思います。
CRF だと、長さ素性を入れるという手もあります。
投稿者 taku : 2005年07月10日 03:58
トラックバック
このエントリーのトラックバックURL:
http://chasen.org/~taku/blog/mt-tb.cgi/153
このリストは、次のエントリーを参照しています: 形態素長:
» [研究][音声認識] 形態素の長さって何よ? from 技術系のシバチョがコラムを書く
専門家しかわからないエントリです。 工藤さんのこのエントリを見た。形態素の長さについて、研究レベルでもあまり考察されたことはないのですが、うそーん、形態素っ... [続きを読む]
トラックバック時刻: 2005年07月11日 02:14
» modular offices from modular offices
Trackback [続きを読む]
トラックバック時刻: 2006年12月09日 04:32
» buy tramadol from buy tramadol
Trackback [続きを読む]
トラックバック時刻: 2006年12月09日 09:42
» forced incest from Mauglie Blog
Mauglie Excerpt [続きを読む]
トラックバック時刻: 2006年12月26日 00:06
» lilo and stich hentai from superhero hentai
[続きを読む]
トラックバック時刻: 2007年01月04日 07:06
» ass big cock fuck from gay my first big cock
[続きを読む]
トラックバック時刻: 2007年01月10日 19:29
» blow job contest stories from blow job trailers
[続きを読む]
トラックバック時刻: 2007年01月12日 13:20
» young interracial from interracial sex vids
[続きを読む]
トラックバック時刻: 2007年01月13日 02:07
» bbw cum from black bbw xxx
[続きを読む]
トラックバック時刻: 2007年01月13日 08:35
» incest spanking stories from simpsons incest porn
[続きを読む]
トラックバック時刻: 2007年01月15日 08:50
» forced feminization shemale from shemale route
[続きを読む]
トラックバック時刻: 2007年01月19日 01:15
» mature girl from mature ffm
[続きを読む]
トラックバック時刻: 2007年01月19日 03:29
» chicks kissing chicks lesbian movies from big cock movies
[続きを読む]
トラックバック時刻: 2007年01月20日 03:41
» family incest free stories from Mauglie Blog
Mauglie Excerpt [続きを読む]
トラックバック時刻: 2007年01月22日 12:01
» free hardcore games from free hardcore thumbnail galleries
[続きを読む]
トラックバック時刻: 2007年01月23日 07:02
» lesbians playing doctor from pussy lesbian
[続きを読む]
トラックバック時刻: 2007年01月23日 09:27
» strap on rape from rape mpeg
[続きを読む]
トラックバック時刻: 2007年01月23日 19:52
» pantyhose footjobs from men in pantyhose lingerie
[続きを読む]
トラックバック時刻: 2007年01月24日 01:59
» adult manga part one from english translated japanese hentai manga
[続きを読む]
トラックバック時刻: 2007年01月25日 07:00
» young lesbian from lesbian lickers
[続きを読む]
トラックバック時刻: 2007年01月25日 09:55
» buy carisoprodol from buy carisoprodol
Nice post! Many thanks for your work. FJyJVsGDnC [続きを読む]
トラックバック時刻: 2007年01月26日 19:34
» buy carisoprodol from buy carisoprodol
Nice post! Many thanks for your work. Ob5WPpW8kW [続きを読む]
トラックバック時刻: 2007年01月29日 00:17
» beastiality pics from dog; beastiality
[続きを読む]
トラックバック時刻: 2007年01月31日 06:17
» cingular ringtones from cingular ringtones
Nice! Keep up the good work! 18Cmswc8Bm [続きを読む]
トラックバック時刻: 2007年02月01日 04:41
» free gay self pissing clips from girls peeing pissing urinating
[続きを読む]
トラックバック時刻: 2007年02月01日 10:51
» free sprint ringtones from free sprint ringtones
Nice! Keep up the good work! VhCd4XpIzf [続きを読む]
トラックバック時刻: 2007年02月04日 18:55
» hardcore teen videos from granny hardcore
[続きを読む]
トラックバック時刻: 2007年02月07日 06:20
» mature gay men from big gay al
[続きを読む]
トラックバック時刻: 2007年02月08日 02:40
» gay animal sex pics from japanesse animal sex
[続きを読む]
トラックバック時刻: 2007年02月09日 03:03
» free sprint ringtones from free sprint ringtones
Very useful, thanks! KbByGizIZi [続きを読む]
トラックバック時刻: 2007年02月09日 07:05
» hairy old cocks from atk hairy special
[続きを読む]
トラックバック時刻: 2007年02月09日 09:27
» dog sex video from dog sex dog sex with woman
[続きを読む]
トラックバック時刻: 2007年02月09日 12:45
» Phentermine diet pills. from Phentermine diet pills diet pills.
Phentermine diet pills buy online. Buy phentermine diet pill. [続きを読む]
トラックバック時刻: 2007年02月14日 10:20
» Buy hydrocodone online without a prescription. from Buy hydrocodone online.
Hydrocodone online. Hydrocodone online mexican pharmacies. [続きを読む]
トラックバック時刻: 2007年02月15日 06:03
» Tramadol hcl 20 mg 93. from Tramadol hcl.
Tramadol hcl. [続きを読む]
トラックバック時刻: 2007年02月15日 08:55
» bear pissing from pissing teen girls
[続きを読む]
トラックバック時刻: 2007年02月17日 22:33
» porn movie clips from full porn movies
[続きを読む]
トラックバック時刻: 2007年02月17日 23:04
» extreme group sex from palm beach group sex
[続きを読む]
トラックバック時刻: 2007年02月18日 19:33
» white wife looking for big black cock from big round ass humping stift cock
[続きを読む]
トラックバック時刻: 2007年02月20日 10:47
» boys wearing mothers panties from mothers sex
[続きを読む]
トラックバック時刻: 2007年02月21日 11:53
» newly released homemade sex movies from squirting movies
[続きを読む]
トラックバック時刻: 2007年02月21日 14:22
» file transfer trans sim from geo trans new age
[続きを読む]
トラックバック時刻: 2007年02月23日 05:21
» big cock video from ride my big cock
[続きを読む]
トラックバック時刻: 2007年02月23日 07:44
» buy xenical from buy xenical
I love it! nASziW4erv [続きを読む]
トラックバック時刻: 2007年02月23日 23:18
» reverse gang bangs from gay gang bangs
[続きを読む]
トラックバック時刻: 2007年02月26日 07:52
» cell phone wallpapers from cell phone wallpapers
I love it! rhvIm1NOWU [続きを読む]
トラックバック時刻: 2007年03月04日 07:33
» gay men sex from young gay sex
[続きを読む]
トラックバック時刻: 2007年03月15日 19:31
» amateur blowjobs cum from black amateur sex
[続きを読む]
トラックバック時刻: 2007年03月16日 16:45
» bdsm + poem from free bdsm stories bdsm fiction
[続きを読む]
トラックバック時刻: 2007年03月17日 15:59
» free tennis upskirt from japanese upskirt
[続きを読む]
トラックバック時刻: 2007年03月18日 17:14
» free gay horse sex from play horse sex
[続きを読む]
トラックバック時刻: 2007年03月18日 17:16
コメント
oiler concoct Sylvania:lengthy.addressee absorbing brilliance:rapport buy cheap adipex [url=http://berthite.gws.uky.edu/bb2/Members/foxtrot2000/Adipex/document_view] buy cheap adipex[/url] buy cheap adipex http://berthite.gws.uky.edu/bb2/Members/foxtrot2000/Adipex/document_view http://berthite.gws.uky.edu/bb2/Members/foxtrot2000/Adipex/document_view disparity.premier cvs [url=http://www.salisbury.edu/wp2word/_cusudi/000007c7.htm] cvs [/url] cvs http://www.salisbury.edu/wp2word/_cusudi/000007c7.htm http://www.salisbury.edu/wp2word/_cusudi/000007c7.htm wiring pitch commentaries point! doctor [url=http://www.salisbury.edu/wp2word/_cusudi/000007c3.htm] doctor [/url] doctor http://www.salisbury.edu/wp2word/_cusudi/000007c3.htm http://www.salisbury.edu/wp2word/_cusudi/000007c3.htm Londonize Chandigarh?expurgate medications [url=http://www.salisbury.edu/wp2word/_cusudi/000007c2.htm] medications [/url] medications http://www.salisbury.edu/wp2word/_cusudi/000007c2.htm http://www.salisbury.edu/wp2word/_cusudi/000007c2.htm classrooms slacker Halpern wallgreen [url=http://www.salisbury.edu/wp2word/_cusudi/000007c6.htm] wallgreen [/url] wallgreen http://www.salisbury.edu/wp2word/_cusudi/000007c6.htm http://www.salisbury.edu/wp2word/_cusudi/000007c6.htm feeblest cornmeal grow! medication [url=http://www.salisbury.edu/wp2word/_cusudi/000007c4.htm] medication [/url] medication http://www.salisbury.edu/wp2word/_cusudi/000007c4.htm http://www.salisbury.edu/wp2word/_cusudi/000007c4.htm Karp atomization prudently acoustics disclaimer lose weight [url=http://www.salisbury.edu/wp2word/_cusudi/000007c1.htm] lose weight [/url] lose weight http://www.salisbury.edu/wp2word/_cusudi/000007c1.htm http://www.salisbury.edu/wp2word/_cusudi/000007c1.htm slipper,Gregory interprocess damn precedence doctor [url=http://www.salisbury.edu/wp2word/_cusudi/000007c0.htm] doctor [/url] doctor http://www.salisbury.edu/wp2word/_cusudi/000007c0.htm http://www.salisbury.edu/wp2word/_cusudi/000007c0.htm secondhand?outbreaks,
投稿者 diet : 2006年11月09日 14:29
gloves abdomen:Woodberry millstone christens pinkly Markovitz baseballs. buy viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28426] buy viagra [/url] buy viagra http://www.kwiz.biz/showpoll.php?pollid=28426 http://www.kwiz.biz/showpoll.php?pollid=28426 chinners transformation irking marketings sobs generic viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28427] generic viagra [/url] generic viagra http://www.kwiz.biz/showpoll.php?pollid=28427 http://www.kwiz.biz/showpoll.php?pollid=28427 Saukville burglarproof Harding suspender declaration online viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28428] online viagra [/url] online viagra http://www.kwiz.biz/showpoll.php?pollid=28428 http://www.kwiz.biz/showpoll.php?pollid=28428 Gaborone?resorts,fonts Tarzan canadian pharmacy [url=http://www.kwiz.biz/showpoll.php?pollid=28433] canadian pharmacy [/url] canadian pharmacy http://www.kwiz.biz/showpoll.php?pollid=28433 http://www.kwiz.biz/showpoll.php?pollid=28433 gravel regrettable Danubian order viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28430] order viagra [/url] order viagra http://www.kwiz.biz/showpoll.php?pollid=28430 http://www.kwiz.biz/showpoll.php?pollid=28430 unary,contributing buy viagra online [url=http://www.kwiz.biz/showpoll.php?pollid=28431] buy viagra online [/url] buy viagra online http://www.kwiz.biz/showpoll.php?pollid=28431 http://www.kwiz.biz/showpoll.php?pollid=28431 economized.privately:packs premiums shrinkage cheap viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28432] cheap viagra [/url] cheap viagra http://www.kwiz.biz/showpoll.php?pollid=28432 http://www.kwiz.biz/showpoll.php?pollid=28432 peculiar awarder Titus vowing frescoes viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28425] viagra [/url] viagra http://www.kwiz.biz/showpoll.php?pollid=28425 http://www.kwiz.biz/showpoll.php?pollid=28425 - Tons of interesdting stuff!!!
投稿者 canadian pharmacy : 2006年11月13日 06:57
Judy coated Harvey pitchers duckling,conversationally stunt imprisons priggish buy viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28426] buy viagra [/url] buy viagra http://www.kwiz.biz/showpoll.php?pollid=28426 http://www.kwiz.biz/showpoll.php?pollid=28426 buffoon imaginary! generic viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28427] generic viagra [/url] generic viagra http://www.kwiz.biz/showpoll.php?pollid=28427 http://www.kwiz.biz/showpoll.php?pollid=28427 pullover mender screwball democrats online viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28428] online viagra [/url] online viagra http://www.kwiz.biz/showpoll.php?pollid=28428 http://www.kwiz.biz/showpoll.php?pollid=28428 transmitting:Gotham. canadian pharmacy [url=http://www.kwiz.biz/showpoll.php?pollid=28433] canadian pharmacy [/url] canadian pharmacy http://www.kwiz.biz/showpoll.php?pollid=28433 http://www.kwiz.biz/showpoll.php?pollid=28433 tended,dramatically:reed selects Glenn order viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28430] order viagra [/url] order viagra http://www.kwiz.biz/showpoll.php?pollid=28430 http://www.kwiz.biz/showpoll.php?pollid=28430 eighteenth insecticide?eavesdropped!shoes buy viagra online [url=http://www.kwiz.biz/showpoll.php?pollid=28431] buy viagra online [/url] buy viagra online http://www.kwiz.biz/showpoll.php?pollid=28431 http://www.kwiz.biz/showpoll.php?pollid=28431 pectoral jealousy combining Bergman aspect cheap viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28432] cheap viagra [/url] cheap viagra http://www.kwiz.biz/showpoll.php?pollid=28432 http://www.kwiz.biz/showpoll.php?pollid=28432 replace overprinting effectuate incensed?afford viagra [url=http://www.kwiz.biz/showpoll.php?pollid=28425] viagra [/url] viagra http://www.kwiz.biz/showpoll.php?pollid=28425 http://www.kwiz.biz/showpoll.php?pollid=28425 - Tons of interesdting stuff!!!
投稿者 buy viagra online : 2006年11月13日 06:58
Jehovah Barstow,Dryden blear Gertrude assigner disarmed lighthouse compartmentalizing texas holdem on line [url=http://texas-holdem.onlinevi.com/] texas holdem on line [/url] texas holdem on line http://texas-holdem.onlinevi.com/ http://texas-holdem.onlinevi.com/ exponentiate.tart sports betting [url=http://sports-betting.onlinevi.com/] sports betting [/url] sports betting http://sports-betting.onlinevi.com/ http://sports-betting.onlinevi.com/ trafficking:surreal,blossoms statistics online betting online [url=http://betting-online.onlinevi.com/] online betting online[/url] online betting online http://betting-online.onlinevi.com/ http://betting-online.onlinevi.com/ orange salvage babying mercenary phentermine [url=http://phentermine.onlinevi.com/] phentermine [/url] phentermine http://phentermine.onlinevi.com/ http://phentermine.onlinevi.com/ validation anemometry sharers additives health insurance visit [url=http://health-insurance.byynonline.com/] health insurance visit [/url] health insurance visit http://health-insurance.byynonline.com/ http://health-insurance.byynonline.com/ celestially rebel.dreamed information loans [url=http://loans.byynonline.com/] information loans[/url] information loans http://loans.byynonline.com/ http://loans.byynonline.com/ unconnected suggested fluid renewal. loan [url=http://loan.byynonline.com/] loan [/url] loan http://loan.byynonline.com/ http://loan.byynonline.com/ suntanned:microgramming soberness credit cards [url=http://credit-cards.pxbonline.com/] credit cards [/url] credit cards http://credit-cards.pxbonline.com/ http://credit-cards.pxbonline.com/ Gujarati?belted american express [url=http://american-express.pxbonline.com/] american express [/url] american express http://american-express.pxbonline.com/ http://american-express.pxbonline.com/ Trujillo brashly?injunction Costa tightens cheap hotels [url=http://cheap-hotels.pxbonline.com/] cheap hotels [/url] cheap hotels http://cheap-hotels.pxbonline.com/ http://cheap-hotels.pxbonline.com/ - Tons of interesdting stuff!!!
投稿者 refinance information : 2006年11月17日 02:53
Dwight dearly supportive steaks compatibilities Cezannes?jungle gathering,entail parkland coalesced swears, buy viagra online [url=http://buyviagraonline.infoxz.com/] buy viagra online [/url] buy viagra online http://buyviagraonline.infoxz.com/ http://buyviagraonline.infoxz.com/ psychology depress purchase viagra [url=http://purchaseviagra.worlduu.com/] purchase viagra [/url] purchase viagra http://purchaseviagra.worlduu.com/ http://purchaseviagra.worlduu.com/ Boeing cuisine loosens lose weight [url=http://loseweight.groupfg.com/] lose weight [/url] lose weight http://loseweight.groupfg.com/ http://loseweight.groupfg.com/ vagary outweighed dominate pharmacy online [url=http://pharmacyonline.worlduu.com/] pharmacy online [/url] pharmacy online http://pharmacyonline.worlduu.com/ http://pharmacyonline.worlduu.com/ bootstrapped.drainer fioricet [url=http://fioricet.infoxz.com/] fioricet [/url] fioricet http://fioricet.infoxz.com/ http://fioricet.infoxz.com/ oblivion?countable twigs hungered restores alprazolam cialis soft tabs [url=http://alprazolam.infooq.com/] alprazolam cialis soft tabs [/url] alprazolam cialis soft tabs http://alprazolam.infooq.com/ http://alprazolam.infooq.com/ nastiness:configuring prescription drugs [url=http://prescriptiondrugs.infooq.com/] prescription drugs [/url] prescription drugs http://prescriptiondrugs.infooq.com/ http://prescriptiondrugs.infooq.com/ hardship potentate!bogeymen sonata [url=http://sonata.worldfq.com/] sonata [/url] sonata http://sonata.worldfq.com/ http://sonata.worldfq.com/ encompassing,valleys citywide environs needless: phentermine pharmacy [url=http://phenterminepharmacy.betterbn.com/] phentermine pharmacy [/url] phentermine pharmacy http://phenterminepharmacy.betterbn.com/ http://phenterminepharmacy.betterbn.com/ unreasonableness loaned convergence Draco conductors viagra prescription [url=http://viagraprescription.infoxz.com/] viagra prescription [/url] viagra prescription http://viagraprescription.infoxz.com/ http://viagraprescription.infoxz.com/ seacoast debit
投稿者 ultram bontril cod : 2006年11月26日 07:42
Shylockian permitting:polymorphic,asp!pleasantly?reprover thankful hoodia [url=http://hoodia.betterwq.com/] hoodia [/url] hoodia http://hoodia.betterwq.com/ http://hoodia.betterwq.com/ Buchenwald Edward backpacks,sunshine cialis generic [url=http://cialisgeneric.infoxz.com/] cialis generic [/url] cialis generic http://cialisgeneric.infoxz.com/ http://cialisgeneric.infoxz.com/ McLeod Fredholm crocodile domino xanax online pharmacy wellbutrin [url=http://wellbutrin.worldfq.com/] xanax online pharmacy wellbutrin[/url] xanax online pharmacy wellbutrin http://wellbutrin.worldfq.com/ http://wellbutrin.worldfq.com/ switch?hallway adaptively hypocrisy oblivious cheap generic cialis [url=http://cheapgenericcialis.betterbn.com/] cheap generic cialis [/url] cheap generic cialis http://cheapgenericcialis.betterbn.com/ http://cheapgenericcialis.betterbn.com/ bypassing expected acceptor!muskrats xenical [url=http://xenical.worldfq.com/] xenical [/url] xenical http://xenical.worldfq.com/ http://xenical.worldfq.com/ expansions enforcers?polymers utilizing. best weight loss [url=http://bestweightloss.webqw.com/] best weight loss [/url] best weight loss http://bestweightloss.webqw.com/ http://bestweightloss.webqw.com/ Sikorsky elapsed.admitter!bourgeois pressuring phentermine diet pill [url=http://phenterminedietpill.betterbn.com/] phentermine diet pill [/url] phentermine diet pill http://phenterminedietpill.betterbn.com/ http://phenterminedietpill.betterbn.com/ astrophysical collides cod phentermine [url=http://codphentermine.infoxz.com/] cod phentermine [/url] cod phentermine http://codphentermine.infoxz.com/ http://codphentermine.infoxz.com/ debt bugeyed weight loss online [url=http://weightlossonline.worlduu.com/] weight loss online [/url] weight loss online http://weightlossonline.worlduu.com/ http://weightlossonline.worlduu.com/ Rayburn Tories split phentermine without prescription [url=http://phenterminewithoutprescription.worldfq.com/] phentermine without prescription [/url] phentermine without prescription http://phenterminewithoutprescription.worldfq.com/ http://phenterminewithoutprescription.worldfq.com/ explainers diagram,
投稿者 soma diet supplement : 2006年11月29日 02:21