第五章 朴素贝叶斯.pptxVIP

使用朴素贝叶斯进行社会媒体挖掘理论前提朴素贝叶斯毫无疑问，朴素贝叶斯概率模型是以对贝叶斯统计方法的朴素解释为基础。 尽管存在朴素的一面，这种方法应用面很广且都取得了不错的效果。 特征类型和形式多样的数据集也可以用它进行分类。本次实验重点讲解如何用二值化后的特征组成的词袋模型来分类。 贝叶斯定理公式如下：我们可以用朴素贝叶斯公式来计算个体从属于给定类别的概率。因此，它可以用来分类。理论前提多种测量方法能够帮上忙。比如，平均词长和平均句长可用来预测文本的可读性。除此之外，还有很多其他类型的特征，比如我们接下来要用到的单词是否出现（word occurrence）。文本转换器Python有很多用于处理文本的库。我们将使用主流的NLTK库（Natural Language ToolKit，自然语言处理工具集）抽取特征。词袋我们来创建一个矩阵，每一行表示数据集中的一篇文档，每一列代表一个词。矩阵中的每一项为某个词在文档中的出现次数。N 元语法比起用单个词作特征，使用N元语法能更好地描述文档，具体优势稍后会讲。N元语法是指由几个连续的词组成的子序列。拿我们的数据集来讲，N元语法指的是每条消息里一组连续的词。N元语法的计算方法跟计算单个词语方法相同，我们把构成N元语法的几个词看成是词袋中的一个词。数据集中每一项就变成了N元语法在给定文档中的词频。理论前提F1 值评估 F1值是以每个类别为基础进行定义的，包括两大概念：准确率（precision）和召回率（recall）。 准确率是指预测结果属于某一类的个体，实际属于该类的比例。召回率是指被正确预测为某个类别的个体数量与数据集中该类别个体总量的比例。 计算出准确率和召回率后，就能得到F1值，它是两者的调和平均数。实验准备文本挖掘的一个难点来自于歧义，消除歧义常被简称为消歧。我们实验的目的是根据消息的内容，判断消息中的Python是不是指编程语言可以翻墙下载Cmd -python -import nltk -nltk.download(punkt)---------------------或将相应的文件【附件中】解压放在下面的任一路径中（部分需要自己创建文件夹）-?‘C:\\Users\\自己用户名/nltk_data-?C:\\nltk_data-?D:\\nltk_data-?E:\\nltk_data‘-?C:\\Program?Files?(x86)\\Microsoft?Visual?Studio\\Shared\\Anaconda3_64\\nltk_data?-?C:\\Program?Files?(x86)\\Microsoft?Visual?Studio\\Shared\\Anaconda3_64\\share\\nltk_data?-?C:\\Program?Files?(x86)\\Microsoft?Visual?Studio\\Shared\\Anaconda3_64\\lib\\nltk_data?-?C:\\Users\\自己用户名\\AppData\\Roaming\\nltk_data实验数据：本次实验的数据已以JSON格式提供或有兴趣同学可以自行下载（详情后面两页ppt）相关Python库：(下载 cmd-pip install 对应第三方库名 或通过ide下载）Jsonnltk （还需要下载punkt）Numpy Sklearn 从社交网站下载数据import twitterconsumer_key = Your Consumer Key Hereconsumer_secret = Your Consumer Secret Hereaccess_token = Your Access Token Hereaccess_token_secret = Your Access Token Secret Hereauthorization = twitter.OAuth(access_token, access_token_secret,consumer_key, consumer_secret)从Twitter网站下载一些语料，从中剔除垃圾信息后，用于分类任务。Twitter提供了从他们服务器采集信息的强大API，小规模使用免费。登录后，访问/，点击Create New App（创建新应用）。指定新应用的名称，填好描述及要在哪个网站中使用。如果不打算在网站中使用，请在Website文本框中随意输入些内容，确保提交时表单能通过验证。Callback URL文本框空着不填——我们用不到。在下面的开发者协议处选中Yes, I agree前面的复选框（如果你确实同意），点击Create your Twitter application。 接下来，我么需要相关库来