概率上下文无关文法PCFG.PDFVIP

Outlines 什么是句法分析 PCFG 词汇化PCFG 浅层分析 统计依存分析 1 句法分析  句法分析(Grammatical Parsing) ：从单词串得到句法结构 的过程。  Chomsky的短语结构文法  依存文法  完全句法分析——得到一颗完整的句法树  部分句法分析——只分析关心的部分句法结构  浅层分析——分析出基本短语（如基本名词短语、量名短语等）  骨架分析——分析出句子的主要框架（核心动词、主谓宾）  1978 ，Ellegard在Brown语料库上部分标注了句法结构。  1992 ，PenTree Bank ，影响最大。  自动句法分析器（Parser ）的效率、精度还比较低  汉语80% ，英语90%  树库对Parser提升较大 完全句法分析 任务 给出语句的所有分析树 以词为叶子结点 给出每棵分析树上的所有结点 句法分析的难点 句法结构歧义 词汇意义的歧义 未登录词、词语的未登录用法、未登录句法结 构 S S VP VP VC NP VC NP 穿/vt 好/adj 衣服/noun 穿/vt 好/adj 衣服/noun 汉语句法分析的特殊问题 短语结构文法在描写汉语时遇到的问题 相同的树，不同的关系：学习文件 特殊句法结构 （层层二分有点难） 兼语 让他去 连谓 去取钱买东西 重叠 教训教训他 动词拷贝 唱歌唱了一下午 后置词 在教室里 未定义好 买水喝 我不做树库，因为做之前，我怀疑汉语是不是 可以用树来描写，图也许更合适。 ——董振东 汉语树库 已经建立了汉语树库，说明树是可以 作为基本的描写方式的。 薛念文、Palmer主持建立的宾州树库 CTB5.0 Chomsky的短语结构+后期的一些概念 （空语类等） 规模为50万词 周强主持清华大学973树库 朱德熙的语法体系为基础 规模为100万词 宾州树库样例 ├[上海浦东开发与法制建设同步] ├[IP-HLN] ├[NP-SBJ] │ ├[NP-PN] │ │ ├[NR] 上海 │ │ ├[NR] 浦东 │ ├[NP] │ ├[NN] 开发 │ ├[CC] 与 │ ├[NN] 法制 │ ├[NN] 建设 ├[VP] ├[VV] 同步 清华树库样例 [zj-XX [vp-PO 主张/v [np-DZ [vp-ZZ [pp-JB 在/p [sp-FW [np-DZ [vp-PO 发展/v 生产/vN ] 基础/n ] 上/f ] ] [vp-PO 节制/v 赋敛/n ] ] 的 /u [np-DZ 理财/vN 思想/n ] ] ] 。/。 ] 针对汉语，增加了主谓、动宾等句法关系，以 及兼语连动等特殊句式 2 PCFG：统计句法分析的基本技术 上下文无关语法规则（CFG ）  （1.1 ）S N