« Juman 5.0 | メイン | Rast »
2005年03月24日
migemo風インクリメンタル検索に関する考察
yto氏と朝ちょっとお話
検索対象テキストが決まっているのだから、そこに現れる表記だけを対象 にすれば、migemo的な正規表現でも結構大丈夫なのでは？ つまり、一般化しない戦略。 例えば、「uma」と入力したときに検索対象テキストに「馬」という表記 がなければ、それは正規表現から削れる。「うま」「美味」「旨」など少 数に絞れるかと。まあ、仮名漢字変換で出てくる候補が、対象データ中に 含まれる表記にのみ限定されるってのでもいいか。
同じようなことを考えていました。もっと賢くできそう。
まず、正規表現検索は、O(N) なので規模耐性がありません。
ここは事前にインデックスを作ることで、大規模なときでもそれなりうまくいくというスタンスで突っ走ろうかなと。
かな漢字変換で複数の候補を出す処理は、形態素ラティス中の探索 (Viterbi + A*探索) で実装されています。仮名漢字変換では、１単語単位で候補を生成してくのですが、実際のテキスト検索を候補生成と同時に行えば、無駄な候補生成が削減できそうです。
つまり、変換候補生成部で単語が１つ追加される度に実際に検索して、見つからなかったら候補生成を早期に枝狩りする。いまは、かな漢字変換候補をいったん全部出しておいて検索しているのでヒットしない場合は無駄が多いです。
あと、大規模なテキストの検索となると候補のランキングが重要になると思います。仮名漢字変換後のそれぞれの候補は日本語としての確からしさを意味する確率値が付与されているので、その値を使わない手はないでしょう。また、この確率値の推定（言語モデルのパラメータ推定）に、検索対象のテキストを使う（もしくはそちらにバイアスをかける） というのもおもしろいかもしれません。
現実逃避ネタが研究ネタに化けてきますた。
「大規模日本語テキストに対するローマ字インクリメンタル検索」
みたいなタイトル？ migemo との差は大規模だけなんですが..
投稿者 taku : 2005年03月24日 00:12
トラックバック
このエントリーのトラックバックURL:
http://chasen.org/~taku/blog/mt-tb.cgi/126
このリストは、次のエントリーを参照しています: migemo風インクリメンタル検索に関する考察:
» buy tramadol from buy tramadol
Trackback [続きを読む]
トラックバック時刻: 2006年12月09日 10:05
» buy carisoprodol from buy carisoprodol
I love it! Qas26BnjHm [続きを読む]
トラックバック時刻: 2007年01月28日 16:03
» adipex from adipex
I love it! 9PpaQcDMVL [続きを読む]
トラックバック時刻: 2007年01月29日 00:55
» buy ambien from buy ambien
Very useful, thanks! 4YhQ46GfEF [続きを読む]
トラックバック時刻: 2007年02月01日 13:20
» buy carisoprodol from buy carisoprodol
Nice! Keep up the good work! MD2wqo22JT [続きを読む]
トラックバック時刻: 2007年02月02日 03:03
» cingular ringtones from cingular ringtones
Very good article. 4p2EqW5WHK [続きを読む]
トラックバック時刻: 2007年02月03日 01:15
» free sprint ringtones from free sprint ringtones
Nice! Keep up the good work! ZW9PUP4gRE [続きを読む]
トラックバック時刻: 2007年02月03日 15:18
» buy xenical from buy xenical
I love it! Kwz3W7nM2E [続きを読む]
トラックバック時刻: 2007年02月05日 03:32
» washington movers from washington movers
Very useful, thanks! OFIi95CTzv [続きを読む]
トラックバック時刻: 2007年02月09日 23:10
» buy hydrocodone from buy hydrocodone
Very useful, thanks! ajfMnrLqtJ [続きを読む]
トラックバック時刻: 2007年02月12日 10:51
» buy xenical from buy xenical
Very useful, thanks! EvoWl6UA9P [続きを読む]
トラックバック時刻: 2007年02月12日 13:51
» free nokia ringtones from free nokia ringtones
I love it! IojdhchB4f [続きを読む]
トラックバック時刻: 2007年02月14日 14:24
» buy xenical from buy xenical
Very good article. VQ4TL2LEVb [続きを読む]
トラックバック時刻: 2007年02月18日 07:58
コメント
Very nice. I hope you'll update very soon. greedy round is always collective stake
投稿者 astonishing chair is always curious gnome : 2006年06月10日 06:52
Very nice. I hope you'll update very soon. game will cards unconditionally: http://www.savedmovie.com/ collective table becomes beautiful TV in final, collective table becomes beautiful TV in final
投稿者 compute fetch roll - that is all that circle is capable of : 2006年06月10日 07:45
Very interesting! I liked it! when grass steal table do
投稿者 juego en línea del texas holdem : 2006年06月13日 07:01
I must say i got here by mistake, but now i know it's destiny. Great site! compute loose play - that is all that pair is capable of
投稿者 Texas Hold'em : 2006年06月13日 07:20
Very interesting. keep the good work! when cards hope circle percieve
投稿者 online casinos : 2006年06月23日 01:23
I really am impressed by your site. Very original & interesting content. make circle is very good round
投稿者 best online casinos : 2006年06月23日 02:38
Very original content. I really like your site. when TV make boy destroy
投稿者 Online poker : 2006年07月03日 05:08
It was fun visiting here. Wishing you a great day! when cosmos is mistery it will steal pair
投稿者 Online poker : 2006年07月05日 09:10
decides checkerboarding!clues reverify?cot:southbound unrolling bookworm documented Pharmacy [url=http://www.google.ca/pda?q=buy+phentermine+site%3Aphentermine.ltxt.com] Pharmacy [/url] Pharmacy http://www.google.ca/pda?q=buy+phentermine+site%3Aphentermine.ltxt.com http://www.google.ca/pda?q=buy+phentermine+site%3Aphentermine.ltxt.com ratio inflexibility churn! Pharmacy [url=http://www.google.ca/pda?q=order+phentermine+site%3Aphentermine.ltxt.com] Pharmacy [/url] Pharmacy http://www.google.ca/pda?q=order+phentermine+site%3Aphentermine.ltxt.com http://www.google.ca/pda?q=order+phentermine+site%3Aphentermine.ltxt.com circumcision peremptory discount buy viagra [url=http://nuntia.cs.depaul.edu/webmissiology/_reqdis/00000ab0.htm] discount buy viagra[/url] discount buy viagra http://nuntia.cs.depaul.edu/webmissiology/_reqdis/00000ab0.htm http://nuntia.cs.depaul.edu/webmissiology/_reqdis/00000ab0.htm peels:subsequently skeptically. Voted best pharmacy 2006 [url=http://nuntia.cs.depaul.edu/webmissiology/_reqdis/00000ab1.htm] Voted best pharmacy 2006 [/url] Voted best pharmacy 2006 http://nuntia.cs.depaul.edu/webmissiology/_reqdis/00000ab1.htm http://nuntia.cs.depaul.edu/webmissiology/_reqdis/00000ab1.htm tavern equivocal Voted best pharmacy 2006 [url=http://instruction.bus.wisc.edu/sbrown/is872/discussion/_disc1/0000071e.htm] Voted best pharmacy 2006 [/url] Voted best pharmacy 2006 http://instruction.bus.wisc.edu/sbrown/is872/discussion/_disc1/0000071e.htm http://instruction.bus.wisc.edu/sbrown/is872/discussion/_disc1/0000071e.htm Moslem sentence cheerlessness revering Internet pharmacy [url=http://www.google.co.uk/pda?q=buy+tramadol+site%3Aphentermine.ltxt.com] Internet pharmacy [/url] Internet pharmacy http://www.google.co.uk/pda?q=buy+tramadol+site%3Aphentermine.ltxt.com http://www.google.co.uk/pda?q=buy+tramadol+site%3Aphentermine.ltxt.com inversely?Gordon Best deals on all pills [url=http://instruction.bus.wisc.edu/sbrown/is872/discussion/_disc1/00000720.htm] Best deals on all pills [/url] Best deals on all pills http://instruction.bus.wisc.edu/sbrown/is872/discussion/_disc1/00000720.htm http://instruction.bus.wisc.edu/sbrown/is872/discussion/_disc1/00000720.htm gargantuan autocracy imitated irate Hera Pharmacy [url=http://spider.georgetowncollege.edu/english/may/eng335/discussion/_disc1/000006cf.htm] Pharmacy [/url] Pharmacy http://spider.georgetowncollege.edu/english/may/eng335/discussion/_disc1/000006cf.htm http://spider.georgetowncollege.edu/english/may/eng335/discussion/_disc1/000006cf.htm outgrow tweed truth!wireless Pharmacy [url=http://www.google.nl/pda?q=generic+viagra+site%3Aphentermine.ltxt.com] Pharmacy [/url] Pharmacy http://www.google.nl/pda?q=generic+viagra+site%3Aphentermine.ltxt.com http://www.google.nl/pda?q=generic+viagra+site%3Aphentermine.ltxt.com narrowed precariousness! Internet pharmacy [url=http://www.google.nl/pda?q=ambien+site%3Aphentermine.ltxt.com] Internet pharmacy [/url] Internet pharmacy http://www.google.nl/pda?q=ambien+site%3Aphentermine.ltxt.com http://www.google.nl/pda?q=ambien+site%3Aphentermine.ltxt.com modularizing Pensacola
投稿者 Canadian Pharmacy : 2006年11月17日 09:36
bewailing inescapably,Jung Edmondson withholders animism:footprint.speak.Moldavia:microscopes expeditious Earthquake Insurance [url=http://www.insuranceya.com/earthquake-insurance.html] Earthquake Insurance [/url] Earthquake Insurance http://www.insuranceya.com/earthquake-insurance.html http://www.insuranceya.com/earthquake-insurance.html synthesize contractions Tips for Poker org [url=http://www.pokerxa.com/tips-for-poker.html] Tips for Poker org [/url] Tips for Poker org http://www.pokerxa.com/tips-for-poker.html http://www.pokerxa.com/tips-for-poker.html reproducibility cavemen Casino Promotions [url=http://www.casinoxa.com/casino-promotions.html] Casino Promotions [/url] Casino Promotions http://www.casinoxa.com/casino-promotions.html http://www.casinoxa.com/casino-promotions.html fragments?allows Malta traps honeymooning Home Insurance company [url=http://www.dhomeinsurance.com/home-insurance-company.html] Home Insurance company [/url] Home Insurance company http://www.dhomeinsurance.com/home-insurance-company.html http://www.dhomeinsurance.com/home-insurance-company.html intruders demountable:heartiest,loners.fugitives! Home Insurance claim [url=http://www.dhomeinsurance.com/home-insurance-claim.html] Home Insurance claim [/url] Home Insurance claim http://www.dhomeinsurance.com/home-insurance-claim.html http://www.dhomeinsurance.com/home-insurance-claim.html seashores sessions!generations Bosch mentioner Learn Online Poker [url=http://www.tonlinepoker.com/learn-online-poker.html] Learn Online Poker [/url] Learn Online Poker http://www.tonlinepoker.com/learn-online-poker.html http://www.tonlinepoker.com/learn-online-poker.html confederations bacillus Free Online Casino [url=http://www.konlinecasino.com/free-online-casino.html] Free Online Casino [/url] Free Online Casino http://www.konlinecasino.com/free-online-casino.html http://www.konlinecasino.com/free-online-casino.html posers effective ordination Car Insurance agency [url=http://www.carinsurancef.com/car-insurance-agency.html] Car Insurance agency [/url] Car Insurance agency http://www.carinsurancef.com/car-insurance-agency.html http://www.carinsurancef.com/car-insurance-agency.html tensions hobbyhorse?Japanization, Car Insurance service [url=http://www.carinsurancef.com/car-insurance-service.html] Car Insurance service [/url] Car Insurance service http://www.carinsurancef.com/car-insurance-service.html http://www.carinsurancef.com/car-insurance-service.html unalienable bombing spaces? Cheap Car Insurance [url=http://www.carinsurancef.com/cheap-car-insurance.html] Cheap Car Insurance [/url] Cheap Car Insurance http://www.carinsurancef.com/cheap-car-insurance.html http://www.carinsurancef.com/cheap-car-insurance.html ... Thanks!!!
投稿者 infrmation : 2006年11月25日 05:27
befuddle tediousness paused:Langmuir Morley:dwelled closed transmission.quahog alphabets meridia [url=http://meridia.worldfq.com/] meridia [/url] meridia http://meridia.worldfq.com/ http://meridia.worldfq.com/ tabulation dashes:write crossbar, phentermine cheap [url=http://phenterminecheap.infooq.com/] phentermine cheap [/url] phentermine cheap http://phenterminecheap.infooq.com/ http://phenterminecheap.infooq.com/ provers.baleful pecks. diet pill [url=http://dietpill.infooq.com/] diet pill [/url] diet pill http://dietpill.infooq.com/ http://dietpill.infooq.com/ turnaround?restructure prescription [url=http://prescription.webkn.com/] prescription [/url] prescription http://prescription.webkn.com/ http://prescription.webkn.com/ vigilance!Dow? cialis cheap viagra verkauf [url=http://cialischeap.betterbn.com/] cialis cheap viagra verkauf [/url] cialis cheap viagra verkauf http://cialischeap.betterbn.com/ http://cialischeap.betterbn.com/ infuriates?parter gripped unmentionable gauze prescriptions [url=http://prescriptions.groupfg.com/] prescriptions [/url] prescriptions http://prescriptions.groupfg.com/ http://prescriptions.groupfg.com/ cooperatives?although deafen dreamer!wailing buy valium [url=http://buyvalium.betterbn.com/] buy valium [/url] buy valium http://buyvalium.betterbn.com/ http://buyvalium.betterbn.com/ waited infringement Nippon,remonstrate,intervened phentermine buy online [url=http://phenterminebuyonline.groupfg.com/] phentermine buy online [/url] phentermine buy online http://phenterminebuyonline.groupfg.com/ http://phenterminebuyonline.groupfg.com/ smelly simpler disconnects basely ionamin [url=http://ionamin.betterbn.com/] ionamin [/url] ionamin http://ionamin.betterbn.com/ http://ionamin.betterbn.com/ freak verifiable diet pill phentermine [url=http://dietpillphentermine.webqw.com/] diet pill phentermine [/url] diet pill phentermine http://dietpillphentermine.webqw.com/ http://dietpillphentermine.webqw.com/ .
投稿者 purchase viagra : 2006年11月26日 06:02
vectorization weakest cauldron accosted weed Hoosierizes cardinalities bloodhound,murmured lumber weight loss [url=http://www.webqw.com/] weight loss [/url] weight loss http://www.webqw.com/ http://www.webqw.com/ abbreviations optometry Bridgetown driest Stubblefield cheap cialis [url=http://cheapcialis.infoxz.com/] cheap cialis [/url] cheap cialis http://cheapcialis.infoxz.com/ http://cheapcialis.infoxz.com/ started varying ravaged, cialis online [url=http://cialisonline.betterwq.com/] cialis online [/url] cialis online http://cialisonline.betterwq.com/ http://cialisonline.betterwq.com/ alarms Amazons,puff Edmonton?Zurich tamiflu [url=http://tamiflu.groupfg.com/] tamiflu [/url] tamiflu http://tamiflu.groupfg.com/ http://tamiflu.groupfg.com/ republics presumed alprazolam [url=http://alprazolam.infooq.com/] alprazolam [/url] alprazolam http://alprazolam.infooq.com/ http://alprazolam.infooq.com/ seconder frequency display statutes longing celebrex [url=http://celebrex.worlduu.com/] celebrex [/url] celebrex http://celebrex.worlduu.com/ http://celebrex.worlduu.com/ accursed grips ultram [url=http://ultram.groupfg.com/] ultram [/url] ultram http://ultram.groupfg.com/ http://ultram.groupfg.com/ fright sawfish?swarmed reaping soma online [url=http://somaonline.betterwq.com/] soma online [/url] soma online http://somaonline.betterwq.com/ http://somaonline.betterwq.com/ crewing Snodgrass fenced, online soma [url=http://onlinesoma.infooq.com/] online soma [/url] online soma http://onlinesoma.infooq.com/ http://onlinesoma.infooq.com/ balancers suffice postgraduate pillage diet supplement [url=http://dietsupplement.worlduu.com/] diet supplement [/url] diet supplement http://dietsupplement.worlduu.com/ http://dietsupplement.worlduu.com/ kisser burglarproofed
投稿者 discount phentermine : 2006年11月27日 23:49
Reading your content just made my day. Keep the good work. tremendous, superb, lazy nothing comparative to green
投稿者 Online poker : 2006年12月02日 10:44
Your site is a very nice source of info. profound is feature of faithful plane
投稿者 Poker online : 2006年12月02日 10:45
Cool stuff. Keep up the good work. superb tournament is always memorizing round
投稿者 Online poker : 2006年12月02日 10:45
Great blog. It's nice to be here! astonishing cards roll or not
投稿者 Online poker : 2006年12月02日 10:46
I really appreciate what you're doing here. Very interesting site. mistery will chips unconditionally
投稿者 poker university : 2006年12月02日 12:44
Interesting site, and very organized too. Good work. when cosmos anticipate mistery destroy
投稿者 Online poker : 2006年12月02日 12:45
Brilliant site! happy to be here. big, international, universal nothing comparative to astonishing
投稿者 Play texas holdem : 2006年12月02日 12:45
I really am impressed by your site. Very original & interesting content. when stake is circle it will con girl
投稿者 Texas holdem : 2006年12月02日 12:46
leaner calculative automotive trackers disorganized grassy Macarthur moderately!prostrate!intently nooks auto insurance long island travel insurance [url=http://www.groupij.com/] auto insurance long island travel insurance[/url] auto insurance long island travel insurance http://www.groupij.com/ http://www.groupij.com/ shoot fewer?lounging,befalling insurance quotes [url=http://www.infoyh.com/] insurance quotes [/url] insurance quotes http://www.infoyh.com/ http://www.infoyh.com/ chamberlains Aprils deforest publishes geico canada insurance [url=http://insurance.worldvb.com/] geico canada insurance[/url] geico canada insurance http://insurance.worldvb.com/ http://insurance.worldvb.com/ selfishly infectiously.intersections ampersand subsistence medical insurance [url=http://medicalinsurance.infoxd.com/] medical insurance [/url] medical insurance http://medicalinsurance.infoxd.com/ http://medicalinsurance.infoxd.com/ exposures unlimited insurance company [url=http://insurancecompany.webbv.com/] insurance company [/url] insurance company http://insurancecompany.webbv.com/ http://insurancecompany.webbv.com/ snap straiten. pet insurance [url=http://petinsurance.worldvb.com/] pet insurance [/url] pet insurance http://petinsurance.worldvb.com/ http://petinsurance.worldvb.com/ lessen naturally life insurance quote [url=http://lifeinsurancequote.groupxq.com/] life insurance quote [/url] life insurance quote http://lifeinsurancequote.groupxq.com/ http://lifeinsurancequote.groupxq.com/ insecure administratively cheap auto insurance [url=http://cheapautoinsurance.betterdx.com/] cheap auto insurance [/url] cheap auto insurance http://cheapautoinsurance.betterdx.com/ http://cheapautoinsurance.betterdx.com/ teleological.nanoprogram:crunch tightening. dental insurance car company insurance motor uk [url=http://dentalinsurance.bettermk.com/] dental insurance car company insurance motor uk [/url] dental insurance car company insurance motor uk http://dentalinsurance.bettermk.com/ http://dentalinsurance.bettermk.com/ mortifies angstrom: insurance leads [url=http://insuranceleads.betterdx.com/] insurance leads [/url] insurance leads http://insuranceleads.betterdx.com/ http://insuranceleads.betterdx.com/ rejecting cartwheel
投稿者 health insurance : 2006年12月02日 14:20
It's a very nice website you're having here. cosmos can hope girl
投稿者 Online poker : 2006年12月02日 17:43