问答系统研究.pptVIP

问答系统研究 Research on Question Answering 黎新 xinli@ 2010-5-30 提 纲 1、问答系统介绍 2、问答系统的研究情况 3、目前研究的热点问题 问答系统介绍（1） 自动问答技术（Question Answering，QA）是综合运用了自然语言处理、信息检索、语义分析、人工智能等技术的一种新型的信息服务技术 。与传统的有哪些信誉好的足球投注网站引擎不同，自动问答系统以自然语言句子提问， 系统分析并理解用户的问题，返回用户想要的答案。 例如:问题“Which city is the capital of China?”(中国的首都是哪个城市?)，问答系统将会给出直接的答案“Beijing”（北京）。问答系统比传统的有哪些信誉好的足球投注网站引擎更加直接、高效和准确。 问答系统介绍（2） 传统有哪些信誉好的足球投注网站=问答式有哪些信誉好的足球投注网站 关键字查询=自然语言问题 问答有哪些信誉好的足球投注网站：处理更复杂的信息需求 文档级响应=精确答案相应 文档相关度要求：与查询相关度低 答案：要求精确和高度相关 数据源：网页数据库、FAQ库、百科全书库、知识库等。 问答系统介绍（3） 研究现状 自动问答系统 START （MIT） AskMSR（微软） Lexxe AnswerBus ASK.com TREC自动问答系统评测 社区问答系统 A () 是目前最成功的问答式检索系统，已经投入了商业运营，成为美国第四大有哪些信誉好的足球投注网站引擎。A允许用户用自然语言表述的问题作为查询进行提交 ,系统在理解用户意图的基础上可以返回较为准确的信息。 例如：“Who is the richest man in the world?” 响应：“Bill Gates was named the worlds richest person by Forbes Magazine in 2009, with a net worth of $40 billion dollars.” 问答系统介绍（4）--自动问答系统 问题分析模块 文档或段落检索模块 答案获取和排序模块 问答系统介绍（4）--社区问答系统 百度知道、yahoo Answer、新浪爱问 、天涯问答等。 通过互动问答的形式，提供用户之间的知识共享和交互服务。 问答系统研究内容 自动问答系统 问题分析（分类、模板匹配、语义分析） 段落检索 （段落抽取、排序） 答案抽取 （实体识别、模板匹配、排序） 社区问答系统 问题分类、问题推荐 专家发现、信誉评估 知识抽取 自动问答系统（1）-问题分析 用自然语言分析技术和语义分析技术，获取问句包含的重要信息，从而让系统更好地理解用户的问题。 问题分类、获取问题的关键字信息 、获取问句的语法和语义信息 问题分类 把问题按照不同的语义主题进行分类。 目的：为了理解问句的问题目标，作为答案查找的必要的约束关系，对不同类型的问题采取不同的处理策略。 问题分类 问题分类的方法 1. 正则表达式模型（Regular Expression Model）：利用句子的模式来判断问题的语义类型，句子的模式包括疑问词、字词序列和一些与问题类型相关的描述性的词语。例如，以“How long”开头的问题往往是询问与距离或长度相关的NUMBER（数字），以“When”开头的问题则问的是某个TIME（时间）。以“What”提问的问题，其语义类型则往往要根据其他的词语来决定，例如，“What country”问题的类型是LOCATION（地点）, “What time”问题的类型则是TIME（时间）。 基于机器学习的自动分类 。例如：训练支持向量机分类模型SVM。 基于语言模型的分类。 语言模型是针对某种语言建立的概率模型，描述了语言的字词和词序列的分布规律，已经被广泛应用于语音识别、自然语言处理、机器翻译等领域。 语言模型最主要是用来估计字词序列的概率，其最关键的问题是：给定前面i -1个词，如何估计第i个词的出现概率。 应用链式法则，一个字符串w1w2…wn的概率可以定义为： 其中S是给定的语言模型。如何估计是语言模型估计的关键，完全考虑所有的历史w1、w2、…、wi-1的计算复杂度过高，也是不现实的。 利用马尔科夫假设，只考虑有限的历史，假设第i个单词wi仅依赖于前n个单词，即 n-gram 马尔科夫模型。 n = 1时，是一元马尔科夫模型（Unigram model），一元模型下的字词之间是关系是独立的，因此得到的是每个字词的独立出现概率；n = 2时，是二元马尔科夫模型