《Python自然语言处理》第06章-句法分析.pptVIP

欢迎你学习《Python自然语言处理》课程，本视频将带领大家学习《Python自然语言处理》——句法分析。 * 本章节共分为以下四个内容，包括句法分析概述、句法分析的数据集与评测方法、句法分析的常用方法和使用Standford Parser的PCFG算法进行句法分析的四个部分; 本视频重点讲解句法分析的概述。 * 经过上一章的学习，我想大家大体对对词向量与关键词提取的内容都有了一个自己的理解。在本章开讲之际，我们首先帮助大家做一个整体的章节回顾，大体上就是以下六个概念： 分别介绍了词量算法、关键词提取技术、TF-IDF算法、TextRank算法、LSA/LSI/LDA算法、提取文本关键词。 * 首先我们进入我们第一节的学习，这一小节主要是从句法分析的概念出发，我们将先从句法分析的基本概念简单了解句法分析是什么、其次学习句法分析的基本方法有哪些等方面介绍。 我们先介绍一下句法分析的基本概念 * 句法分析(syntactic parsing)是自然语言处理中的关键技术之一，其基本任务是确定句子的句法结构(syntactic structure)或句子中词汇之间的依存关系。 一般来说，句法分析并不是一个自然语言处理任务的最终目标，但是，它往往是实现最终目标的重要环节，甚至是关键环节。 因此，在自然语言处理研究中，句法分析始终是研究的核心问题之一。 * 句法分析主要有以下两个难点：1.歧义；2.有哪些信誉好的足球投注网站空间。 1.歧义：自然语言区别于人工语言的一个重要特点就是它存在大量的歧义现象。人类自身可以依靠大量的先验知识有效地消除各种歧义，而机器由于在知识表示和获取方面存在严重不足，很难像人类那样进行句法消歧。 2.有哪些信誉好的足球投注网站空间：句法分析是一个极为复杂的任务，候选树个数随句子增多呈指数级增长，有哪些信誉好的足球投注网站空间巨大。因此，必须设计出合适的解码器，以确保能够在可以容忍的时间内有哪些信誉好的足球投注网站到模型定义最优解。 说完难点我们再来看看句法分析的任务 * 句法分析是从单词串得到句法结构的过程，而完成该过程的工具或程序被称为句法分析器(parser)。 * 一般而言，句法分析的任务有三个： 1.判断输入的字符串是否属于某种语言； 2.消除输入句子中词法和结构等方面的歧义； 3.分析输入句子的内部结构，如成分构成、上下文关系等。 如果一个句子有多种结构表示，句法分析器应该分析出该句子最有可能的结构。由于在实际应用过程中，通常系统都已经知道或者默认了被分析的句子属于哪一种语言，因此，一般不考虑任务1，而着重考虑任务2和3的处理问题。 * 句法分析的种类很多，根据其侧重目标可以将其分为完全句法分析和局部句法分析两种。 两者的差别在于，完全句法分析以获取整个句子的句法结构为目的；而局部句法分析只关注于局部的一些成分，例如常用的依存句法分析就是一种局部分析方法。 * 下面学习句法分析的基本方法 * 句法分析的基本方法可以分为基于规则的分析方法和基于统计的分析方法两大类。 * 根据句法分析树形成方向的区别，人们通常将这些分析方法划分为三种类型：自顶向下(top-down)的分析方法、自底向上(bottom-up)的分析方法和两者相结合的这三种分析方法。 自顶向下分析算法实现的是规则推导的过程，分析树从根结点开始不断生长，最后形成分析句子的叶结点。而自底向上分析算法的实现过程恰好相反，它是从句子符号串开始，执行不断归约的过程，最后形成根结点。有些方法本身是确定的，而有些方法既可以釆用自底向上的方法实现，也可以采用自顶向下的方法实现。 下面我们再看看基本分析方法的基本思路，首先是基于规则的分析方法 * 基于规则的句法分析方法的基本思路是由人工组织语法规则，建立语法知识库，通过条件约束和检查来实现句法结构歧义的消除。在过去的几十年里，人们先后提出了若干有影响力的句法分析算法，诸如：CYK分析算法、欧雷分析算法、线图分析算法、移进-规约算法,GLR 分析算法和左角分析算法等等。人们对这些算法做了大量的改进工作，并将其应用于自然语言处理的相关研究和开发任务。 * 基于规则的句法分析方法的主要优点是，分析算法可以利用手工编写的语法规则分析出输入句子所有可能的句法结构；对于特定的领域和目的，利用手工编写的有针对性的规则能够较好地处理输入句子中的部分歧义和一些超语法现象。 但是，规则分析方法也存在一些缺陷。 * 规则分析方法的四个缺陷为： 1.对于一个中等长度的输入句子，分析岀所有可能的句子结构困难，分析过程复杂； 2.即使能够分析出句子所有可能的结构，也难以在巨大的句法分析结果集合中实现有效的消歧，并选择出最有可能的分析结果； 3.手工编写的规则一般带有一定的主观性； 4.手工编写规则本身是一件大工作量的复杂劳动，编写的规则对特定的领域有密切的相关性。 * 那么第二种是基于统计的分析方法，基于统计的上下文