《Python自然语言处理》第12章-智能问答与对话.pptVIP

阅读理解型文本问答系统 01 02 03 阅读理解型文本问答系统 01-什么是阅读理解任务 0 2 智能对话系统 对话系统的基本过程 对话系统的常见场景 对话系统的基本过程 社区问答 系统 阅读理解型问答系统 文本问答系统 对话系统的基本过程 0 2 智能对话系统 对话系统的基本过程 对话系统的常见场景 对话系统的常见场景 任务型 问答型 闲聊型 有明确的任务目标，需要机器通过指令完成某种功能从而达到任务目标，同时还需要将请求参数化。 有明确的任务目标，但不需要参数化请求。问答型对话往往具有固定的标准答案。 没有具体目标，也不限定特定领域，一般而言，聊的越久越好。 0 3 问答系统的主要组成 问答系统的主要组成 问答系统的主要组成 课程小结 谢谢观看 智能问答与对话 Python自然语言处理 第十三章 CONTENT 01 02 03 04 05 章节回顾 01 OPTION 02 OPTION 03 OPTION 智能问答 智能对话系统 对话系统的基本过程 对话系统的常见场景 问答系统的主要组成 0 2 不同类型的问答系统 文本问答系统 阅读理解型文本问答系统 社区问答系统 大型问答系统案例：IBM沃森问答系统 文本问答系统 问题理解 知识检索 答案生成 文本问答系统 01-问题理解 文本问答系统 问题理解的内容 文本是信息的载体，文本通常包括“时间”、“地点”、“人物”、“起因”、“经过”、“结尾”和“情结”等要素，问题也是文本的一种，文本问答系统中，人们提出的问题大多就是查询上面这些要素信息点。 文本问答系统 问题理解的方法 问题理解是从问题中提取关键成分的过程，该过程可使用模板匹配方法和自然语言处理技术。 最直接的方法：字符串-模板匹配方法。 常见的方法：自然语言处理技术。 自然语言处理技术需要分析词法和句法 模板匹配的优点：逻辑清晰、易于理解 模板匹配的缺点：模板形式固定，对于丰富多变的语言无法做到灵活适用，除非用户也编写了对应的模板。 自然语言处理技术与模板匹配相比，在处理不同问句方面，前者更为灵活，尤其现在基于AI+大数据训练出的语义模型，通常可以更为准确的分析出句子，达到与人类同样的水平。但自然语言处理技术与模板匹配技术相比，模型的解释性较差，人工干预较困难。 文本问答系统 问题扩展 自然语言的灵活多变为问题理解增加了较大的难度。某问句可能即存在句式变化，同时还存在同义词或近义词。 例如“谁是居里夫人的丈夫”和“玛丽·居里的老公叫什么”两个问句是同一个意思，这时就需要使用相关的自然语言分析工具来消除歧义，扩增原始问题。在词的级别上，可以借助同义词词典，在句的级别上可以借助句子复述技术。 文本问答系统 02-知识检索 知识检索 知识检索 文本问答系统 知识检索 知识检索 在非结构化信息中，信息通常包含在文本中，而不是以组织成实体和属性的结构存在。对于非结构的信息，可以利用信息检索技术来挖掘与问题相关的信息，信息检索技术中最直接的方式是将问题的关键词（问题理解阶段获得）传给有哪些信誉好的足球投注网站引擎，返回与这些关键词相关的文档。再通过筛选提取步骤，生成最终的答案。 非结构化信息检索 文本问答系统 知识检索 知识检索 结构化知识检索 文本问答系统 知识检索 知识检索 结构化知识检索 文本问答系统 知识检索 知识检索 本体与推理 文本问答系统 知识检索 知识检索 本体与推理 文本问答系统 知识检索 知识检索 问题的关键词和答案词存在联系，答案生成过程中也可参考问题和候选的相似度。 非结构化信息检索知识检索到的信息，往往结构化性质较弱，为了获得更为精确的答案，就需要进行进一步的过滤筛选。 通过多种方式逐步的缩小候选答案的范围，还可以使用其他方法对答案的可信度进行验证。 03-答案生成 课程小结 谢谢观看 智能问答与对话 Python自然语言处理 第十三章 CONTENT 01 02 03 04 05 章节回顾 文本问答系统 01 OPTION 02 OPTION 03 OPTION 答案生成 知识检索 答案生成 0 4 不同类型的问答系统 文本问答系统 阅读理解型文本问答系统 社区问答系统 大型问答系统案例：IBM沃森问答系统 在问题理解过程中，除了提取关键词（问什么）之外，还可对问题的类型进行区别，例如问是物品还是天气，问题类型也可用来对答案进行过滤筛选。问题的关键词和答案词存在联系，答案生成过程中也可参考问题和候选的相似度。如“上海的人口是多少？”中的“多少”可以被替换为答案，即可在答案文本中查找类似“上海的人口是XXX”的句子。 非结构化信息检索知识检索到的信息，往往结构化性质较弱，为了获得更为精确的答案，就需要进行进一步的过滤筛选。针对前文中提到的