人工智能在自然语言处理中的应用初步研究.pptx

人工智能在自然语言处理中的应用初步研究;一个项目的需求;再如：;一、什么是人工智能;二、自然语言处理概述;语言;1 ．什么是自然语言理解;语言理解所包含的功能，即NLP的应用;2 ．自然语言处理的兴起;3 ．自然语言理解过程的层次 ;语音分析;语音分析传统的方法;深度学习下的语音分析;词法分析;;中文的分词及其中存在的问题;思考：;;词法分析的传统的方法;深度学习下的词法分析;句法分析;句法分析的传统方法;深度学习下的句法分析;语义分析;语义分析的传统方法;深度学习下的语义分析;语用分析;4．自然语言处理的主要困难：消歧;;;自然语言处理困难的根源;5．自然语言处理的应用;自然语言处理的应用;工业界中NLP的应用;NLP应用：情感分析;;NLP应用：问答系统;;NLP应用：机器翻译;;三、自然语言处理的方法;1．基于规则的自然语言处理;句法模式匹配和转移网络 ;转移网络(TN);???充转移网络 ;名词短语(NP)的扩充转移网络;句子的扩充转移网络;词汇功能语法(LFG) ;用LFG语法对句子进行分析的过程;语义的解析 ;句子的自动理解:简单句的理解方法 ;;复合句的理解方法 ;语言的自动生成(Automatic Generation of Language) ;2．自然语言处理的统计学模型;自然语言处理与人工智能;统计语言学与基于规则的理性语义的结合;四、向量空间模型(Vector space models, VSMs);语义词典;语义词典存在的问题;1．词向量及其表示方式; one-hot representation;one-hot representation的缺点;分布式表示：Distributed Representation;Distributional similarity based representations基于统计的分布相似;2 ．词向量的获得方法;; 3 ．词向量的作用;4 ．词向量应用;这意味着什么？;1 ． Word2vec及其实现模型;;词向量的语言学含义;;2 ．Word2vec的应用;3．Word2vec的应用过程;Word2vec开发环境;（1）语料库;（2）文本合并与编码;（3）分词;（4）训练;（5）测试;4 ．Word2vec应用举例;（1）显示一个词的相关词;与“苗族”相关的前200个词;与“西南”有关的词（相关性0.45);（2）三个词进行类比推理;（3）显示不同类的词;Word2vec在语义方面已经展现出了不错的潜能。;5 ．Word2vec更深入的应用;Wordnet：英语成熟的语义词典visual Thesaurus为其可视化版本;同义词林：汉语的语义词典;Word2vec计算出的所有相关词的分类;;;不靠谱的信息;Word2vec应用;;操作：;自动提取关键词、自动摘要、文档相似度计算;自动摘要;自动文摘（Automatic Summarization）的方法主要有两种：Extraction和Abstraction。;主要方法;TF-IDF算法;;;;;TFIDF实现;;;TFIDF特点;TextRank?算法;TextRank算法原理;使用TextRank提取关键字;使用TextRank提取关键短语;使用TextRank提取摘要;利用simhash算法计算句子/文档相似度;simhash算法;操作：;;浅层语义分析（LSA）算法;;概述：词-文档矩阵（Occurences Matrix);降维;推导;?;?; 上述公式可以变换为： 有了这个变换，则可以做以下事情： 判断文档 j 与 q 在低维空间的相似度。 判断词i和词p的相似度。 有了相似度则可以对文本和文档进行聚类。 给定一个查询字符串，算其在语义空间内和已有文档的相似性。;要比较查询字符串与已有文档的相似性，需要把文档和查询字符串都映射到语义空间，对于原始文档，由以下公式可以进行映射： 同理，对于查询字符串，得到其对应词的向量后，根据公式: 将其映射到语义空间，再与文档进行比较。 低维的语义空间可以用于以下几个方面: 在低维语义空间可对文档进行比较，进而可用于文档聚类和文档分类。 在翻译???的文档上进行训练，可以发现不同语言的相似文档，可用于跨语言检索。 发现词与词之间的关系，可用于同义词、歧义词检测。d 通过查询映射到语义空间，可进行信息检索。 从语义的角度发现词语的相关性，可用于“选择题回答模型”;LSA的一些缺点;LSA无法扑捉一词多以的现象。在原始词-向量矩阵中，每个文档的每个词只能有一个含义。比如同一篇文章中的“The Chair of Board和the chair maker的chair会被认为一样。在语义空间中，含有一词多意现象的词其向量会呈现多个语义的平均。相应的，如果有其中一个