文本表示[精选].ppt

1 自然语言理解概述 1.1 问题的提出 自然语言是指人类日常使用的语言，如 汉语、英语、法语，德语，等等 语言是思维的载体，是人类交流思想、 表达情感最自然、最直接、最方便的工具 人类历史上以语言文字形式记载和流传 的知识占知识总量的80％以上 1.1 问题的提出 1.1 问题的提出 如何让计算机实现自动的或人机互助的 语言处理功能？ 如何让计算机实现海量语言信息的自动 处理、知识挖掘和有效利用？ 1.2 基本概念 定义1-1：自然语言理解 (Natural Language Understanding, NLU) 自然语言理解也称自然语言处理(Natural Language Processing, NLP)。 自然语言处理就是利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术。 －冯志伟《自然语言的计算机处理》 1.2 基本概念 自然语言处理可以定义为研究在人与人交际中以及在人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence ）和语言应用（linguistic performance ）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。 －马纳瑞斯（Bill Manaris）在《从人－机交互的角度看自然语言处理》 1.2 基本概念 定义1-2：计算语言学(Computational Linguistics) 计算语言学是利用电子数字计算机进行的语言分析。虽然许多其他类型的语言分析也可以运用计算机，计算分析最常用于处理基本的语言数据－例如建立语音、词、词元素的搭配以及统计它们的频率。 －《大不列颠百科全书》 1.2 基本概念 计算语言学是语言学的一个研究分支，用计算技术和概念来阐述语言学和语音学问题。已开发的领域包括自然语言处理，言语识别，自动翻译，语法的检测，以及许多需要统计分析的领域。 －《现代语言学词典》[戴维.克里斯特尔，1997] 1.2 基本概念 近几年来，自然语言处理技术迅速发展成为一门相对独立的学科，倍受关注，而且该技术不断与语音技术相互渗透和结合形成新的研究分支，因此，很多人在谈到“计算语言学”、“自然语言处理”或“自然语言理解”这些术语时，往往默认为同一个概念。甚至有专著[刘颖，2002]干脆直接解释为：计算语言学也称自然语言处理或自然语言理解。 1.2 基本概念 NLP 技术与语言的相关性？ － 汉语 － 英语 － 西班牙语 － 阿拉伯语 － 印度语 …… 1.2 基本概念 1.2 基本概念 1.2 基本概念 定义1-3：中文信息处理(Chinese Information Processing) 针对汉语的自然语言处理技术。由于其语言本身的多变、灵活，所以有很多难以处理的问题。 1.2 基本概念 1.2 基本概念 1.2 基本概念 1.3 基本问题 1.3 基本问题 1.3 基本问题 1.3 基本问题 1.3 基本问题 2 文本表示方法介绍 文本表示意义 文本表示是指将实际的文本内容变成机器内部表示结构。 可以用字、词、短语、n-Gram等形成向量或树等结构。 文本表示包括2个问题：表示和计算，表示特指特征的提取，计算指权重的定义和语义相似度的定义。 该部分以信息检索为背景介绍文本表示。 文本表示模型分类 从所使用的数学方法上分： 基于集合论的模型(Set Theoretic models) ??布尔模型(1) ??基于模糊集的模型(3) ??扩展布尔模型(4) 基于代数论的模型(Algebraic models) ??向量空间模型(2) ??潜在语义索引模型(5) 基于概率统计的模型(Probabilistic models) ??回归模型(6) ??二元独立概率模型(7) ??语言模型建模IR模型(8) 2.1 布尔模型-Boolean Model 从所使用的数学方法上分： 基于集合论的模型(Set Theoretic models) ??布尔模型(1) ??基于模糊集的模型(3) ??扩展布尔模型(4) 基于代数论的模型(Algebraic models) ??向量空间模型(2) ??潜在语义索引模型(5) 基于概率统计的模型(Probabilistic models) ??回归模型(6) ??二元独立概率