第六讲_文本数据分析.pdfVIP

法律声明  本课件包括：演示文稿，示例，代码，题库，视频和声 音等，小象学院拥有完全知识产权的权利；只限于善意 学习者在本课程使用，不得在课程范围外向任何第三方 散播。任何其他人或机构不得盗版、复制、仿造其中的 创意，我们将保留一切通过法律手段追究违反者的权利。  课程详情请咨询  微信公众号：大数据分析挖掘  新浪微博：ChinaHadoop 互联网新技术在线教育领航者 第六讲 LOGO 文本数据分析 --梁斌 互联网新技术在线教育领航者 目录 • Python文本分析工具NLTK • 情感分析 • 文本相似度 • 文本分类 • 分类预测模型：朴素贝叶斯 • 实战案例：微博情感分析 互联网新技术在线教育领航者 目录 • Python文本分析工具NLTK • 情感分析 • 文本相似度 • 文本分类 • 分类预测模型：朴素贝叶斯 • 实战案例：微博情感分析 互联网新技术在线教育领航者 NLTK Natural Language Toolkit • NLP领域中最常用的一个Python库 • 开源项目 • 自带分类、分词等功能 • 强大的社区支持 • 安装 pip install nltk • 语料库，语言的实际使用中真是出现过的语言材料 互联网新技术在线教育领航者 NLTK Natural Language Toolkit • 语料库安装 import nltk nltk.download() 互联网新技术在线教育领航者 NLTK NLTK模块 • /py-modindex.html# 语料库 • nltk.corpus 分词 (tokenize) • 将句子拆分成具有语言语义学上意义的词 • 中英文分词区别 • 英文中，单词之间是以空格作为自然分界符的 • 中文中没有一个形式上的分界符，分词比英文复杂的多 • 中文分词工具，如结巴分词 • 得到分词结果后，中英文的后续处理没有太大区别 示例代码： 01_nltk.ipynb 互联网新技术在线教育领航者 NLTK 特殊字符的分词 • 使用正则表达式进行处理 /zh/regref.htm 词形问题 • look, looked, looking • 影响语料学习的准确度 • 词形归一化 词形归一化 • stemming ，词干提取，如将ing, ed去掉，只保留单词主干 • lemmatization ，词形归并，将单词的各种词形归并成一种形式 如am, is, are - be, went-go 示例代码： 01_nltk.ipynb 互联网新技术在线教育领航者 NLTK 词形归一化 • NLTK中的stemmer • PorterStemmer, SnowballStemmer, LancasterStemmer • NLTK中的lemma • WordNetLemmatizer • 问题 went 动词 - go ，走 Went 名词 - Went ，文特 • 指明词性可以更准确地进行lemma 示例代码： 01_nltk.ipynb 互联网新技术在线教育领航者 NLTK 词性标注 (Part-Of-Speech) • NLTK中的词性标注 nltk.word_tokenize() 停用词(Stopwords) • 为节省存储空间和提高有哪些信誉好的足球投注网站效率， NLP中会自动过滤掉某些字或词 • 停用词都是人工输入、非自动化生 成的，形成停用词表 • 分类 • 语言中的功能词，如the, is… • 词汇词，通常是使用广泛d额 词，如want 互联网新技术在线教育领航者