2015.08.22 文本数据的浅层处理到深度理解_太原AI会议_宗成庆_v3.0.pdf

文本数据的浅层处理到深度理解 宗成庆 中国科学院自动化研究所 模式识别国家重点实验室 内容提要 1. 引言 2. 自然语言处理方法概要 3. 深度学习及应用 4. 问题讨论 内容提要 1. 引言 2. 自然语言处理方法概要 3. 深度学习及应用 4. 问题讨论 1. 引言  自然语言理解(Natural Language Understanding, NLU) 1950S ，人工智能最重要的研究方向之一  计算语言学(Computational Linguistics, CL) 1960S ，形成相对独立的学科。1962年国际计算语言学学会 (ACL)成立，1965年国际计算语言学委员会(ICCL)成立，1966 年 “计算语言学”首次出现在美国国家科学院ALPAC报告里  自然语言处理(Natural Language Processing, NLP) 1980S ，面向计算机网络和移到通信，从系统实现和语言工 程的角度开展语言信息处理方法的研究 统称:人类语言技术(Human Language Technology, HLT) 1. 引言 【新闻】张小五从警20多年来，历尽千辛万苦，立下无 数战功，曾被誉为孤胆英雄。然而，谁也未曾想到，就 是这样一位曾让毒贩闻风丧胆的铁骨英雄竟然为了一个 女人而精神崩溃，悔恨之下昨晚在家开枪自毙。 1. 引言 【新闻】张小五从警20多年来，历尽千辛万苦，立下无 数战功，曾被誉为孤胆英雄。然而，谁也未曾想到，就 是这样一位曾让毒贩闻风丧胆的铁骨英雄竟然为了一个 女人而精神崩溃，悔恨之下昨晚在家开枪自毙。 问题：谁开枪自杀？ 张小五死了没有？ 张小五是什么警察？ 张小五为什么自杀？ 1. 引言 【新闻】张小五从警20多年来，历尽千辛万苦，立下无 数战功，曾被誉为孤胆英雄。然而，谁也未曾想到，就 是这样一位曾让毒贩闻风丧胆的铁骨英雄竟然为了一个 女人而精神崩溃，悔恨之下昨晚在家开枪自毙。 问题：谁开枪自杀？ 张小五死了没有？ 张小五是什么警察？ 张小五为什么自杀？ 1. 引言 【新闻】张小五从警20多年来，历尽千辛万苦，立下无 网上87.8%为文本内容 数战功，曾被誉为孤胆英雄。然而，谁也未曾想到，就 移到终端：微信、短信…… 是这样一位曾让毒贩闻风丧胆的铁骨英雄竟然为了一个 非结构化文本语义概念关系分 女人而精神崩溃，悔恨之下昨晚在家开枪自毙。 析、表示应用系统 问题：谁开枪自杀？ 张小五死了没有？ 张小五是什么警察？ 张小五为什么自杀？ 1. 引言 【新闻】张小五从警20多年来，历尽千辛万苦，立下无 网上87.8%为文本内容 数战功，曾被誉为孤胆英雄。然而，谁也未曾想到，就 移到终端：微信、短信…… 是这样一位曾让毒贩闻风丧胆的铁骨英雄竟然为了一个 非结构化文本语义概念关系分 女人而精神崩溃，悔恨之下昨晚在家开枪自毙。 析、表示应用系统  基础问题和关键技术─ 问题：谁开枪自杀？ 张小五死了没有？ 句子结构和语义分析 张小五是什么警察？  汉语自动分词 张小五为什么自杀？  句法结构、关系分析  命名实体(NE)识别与翻译、 语块识别