《自然语言处理》全套PPT课件_1-100.pptxVIP

自然语言处理

第1章绪论

1

绪论

●自然语言

●通常指人类的语言

●人类思维和逻辑的载体

●对自然语言的研究是人工智能的重要研究内容

2

绪论

●自然语言

●通常指人类的语言

●人类思维和逻辑的载体

●对自然语言的研究是人工智能的重要研究内容

被测试者：一个人和一台机器

测试者向被测试者随意提问

误判超过30%

认为具有人类智能

图灵测试

3

绪论

●人工智能发展的三个阶段

●运算智能

●机器的基础运算和存储能力

●已完胜人类

●感知智能

●机器的识别能力，如语音的识别以及图像的识别

●基本达到人类水平

●认知智能

●涉及自然语言处理以及常识建模和推理等研究内容

●与人类还有很大差距

4

第1章绪论

●1.2自然语言处理的研究内容●1.3自然语言处理的流派

●1.4自然语言处理的挑战

1.1自然语言处理的定义

5

第1章绪论

√1.1自然语言处理的定义

●1.2自然语言处理的研究内容●1.3自然语言处理的流派

●1.4自然语言处理的挑战

6

定义

●自然语言处理(NatureLanguageProcessing)

●使计算机理解人类的语言，能够让计算机以自然语言作为接口与人类进行交互

●研究对象：名、实、知、人之间的关系●“知”:语言符号的表征

●“实”:客观世界存在的实体或主观的概念

●“知”:知识，包括常识和领域知识

●“人”:语言的使用者

●研究层次：形式、语义、推理和语用四个层次

●研究问题：分类、解析、匹配和生成四类问题

7

第1章绪论

然语言处理的定义

√1.2自然语言处理的研究内容

●1.3自然语言处理的流派

●1.4自然语言处理的挑战

8

自然语言处理的研究内容

●资源建设

●语料库建设

●基于统计自然语言处理方法的基础

●语料库中的语言知识能够以统计参数或机器学习参数的形式被计算机习得

(IP(NP-SBJ(PN他))

(VP(ADVP(AD还))

(VP(VV提出))

(NP-OBJ(QP(CD一)

(CLP(M系列))

(NP(NP(ADJP(JJ具体)

(NP(NN措施)))

(CC和)

(NP(NN政策)

(NN要点)))))

(PU。))

9

自然语言处理的研究内容

●资源建设

●语料库建设

●语言知识库建设

●借助外部语言知识库，帮助计算机在一定程度上消歧

NO=015492

w_C=打

G_C=V

E_C=~毛衣，~毛裤，~双毛袜子，~草鞋，~一条围巾，~麻绳，~条辫子

W_E=knit

G_E=V

E_E=

DEF=weavel辫编

|NO.=000001

W_C=打

G_C=V

E_C=~酱油，~张票，~饭，去~瓶酒，醋~来了

W_E=buy

G_E=V

E_E=

DEF=buyl买

weavel辩编

“buyl买”

“酱油”

“打”

“手套”

计算语义距离

歧义判定结果

歧义语境：“我女儿给我打的那副手套哪去了”

10

自然语言处理的研究内容

●基础研究

●词法分析

●目标是能够独立运用的最小语言单位：词

●包括：

·自动分词(Segmentation)

·词性标注(POStagging)

·命名实体识别(Namedentityrecognition)

●等

冬天

的

哈尔滨

好

美

啊

nt

U

ns

d

a

u

wp

地名

11

●基础研究

●词法分析

●句法分析

●目标是确定句中词的语法功能或词之间的关系

●包括：

·短语结构分析(Phrasestructureparsing):短语结构树·依存关系分析(Dependencyparsing):依存树

S

NPVP

NNVNP

NN

II

铁路工人学习英语语法

12

短语结构树依存树

自然语言处理的研究内容

自然语言处理的研究内容

●基础研究

●词法分析

●句法分析

●语义分析

●目标是获得不同语言单位的语义信息

●包括：

·词义消歧(Wordsense

disambiguation)

·语义角色标注(Semantic

rolelabeling)

·语义依存分析(Semantic

dependencyparsing)

13