基于统计语言模型的信息检索演进探析_李进华.pdfVIP

情报 、信息与共享 In telligence , Inform a tion Shar ing 基于统计语言模型的信息检索演进探析 A Study on the Evolution of Inform a tion Retr ieva l Ba sed on Sta tistica l L anguage M odel 1 2 李进华 　周朴雄 ( 1. 华中师范大学信息管理系, 武汉, 4 30079; 　2. 华南理工大学经济与贸易学院, 广州, 5 10006 ) [摘要 ] 　将 自然语言处理技术 ———统计语言模型引入信息检索领域产生了一系列全新的检索模型, 典型包括查询似然模 型 、生成相关性模型 、词项依赖模型 、统计翻译模型、泊松分布模型以及风险最小化框架等 。本文从统计学模型以及 N gram 技术的角度重点解析这些信息检索模型的演进过程 。最后对基于统计语言模型的信息检索模型的发展过程以及未 来发展趋势和挑战进行了总结 。 [关键词 ] 　信息检索 　统计语言模型 　平滑技术 　演进 [中图分类号 ] 　G354 　[文献标识码 ] 　A 　[文章编号 ] 　1003 2797 ( 2 0 10 ) 03 005 111 [A b s t ra c t ] 　The app lica tio n o f sta tistica l la ngu a ge m o de l, o n e o f th e n a tu ra l la n gu a ge p ro ce s s ing te chno lo g ie s, in in fo rm a tio n re trieva l h a s b ro u gh t abo u t a se rie s o f b ran d new re trie va lm o de ls, such a s qu e ry like lihoo d m o de l, ge ne ra tive re le van ce m o de l, item dep en de n ce m o de l, sta tistica l tra n s la tio n m o de l, p o is so n d istribu tio n m o de l a nd risk m in mi um fram ew o rk. Th is a rtic le an a lyze s the e vo lu tio n o f the se in fo rm a tio n re trie va l m o de ls b a se d o n sta tistica l m o de l an d N g ram. It a lso com p a re s th e re trieva l e ffe c ts o f sta tistica l lan gu a ge m o de l a nd c la s s ic p ro b ab ility m o de l th ro u gh re trie va l e xp e rmi e n ts. A t the en d o f th e a rtic le , a co n c lu s io n is d raw n abo u t th e evo lu tio n , th e tren d s