2 2基于文本内容的垃圾短信识别.docxVIP

基于文本内容的垃圾识别 基于文本内容的垃圾 识别 目录1背景与挖掘目标2分析方法与过程3上机实验拓展思考42大数据挖掘 目录 1 背景与挖掘目标 2 分析方法与过程 3 上机实验 拓展思考 4 2 大数据挖掘 案例背景据360卫士安全中心发布的数据，2015年全国垃圾拦截总量约为318.3亿条，平均每天收到垃圾超过5000万条。据统计，各类垃圾内容中，冒充类占所有垃圾的92.9%，多以银行诈骗、互联网虚假网购、电信诈骗等内容为主。3大数据挖掘 案例背景 据360 卫士安全中心发布的数据，2015年全国垃圾 拦截总量约为318.3亿条，平均每天收到垃圾 超过5000万 条。据统计，各类垃圾内容中，冒充类 占所有垃圾 的 92.9%，多以银行诈骗、互联网虚假网购、电信诈骗等内容为主。 3 大数据挖掘 案例背景我国目前的垃圾现状：垃圾黑色利益链缺乏法律保护类型日益多变?4大数据挖掘 案例背景 我国目前的垃圾 现状： 垃圾 黑色利益链 缺乏法律保护 类型日益多变 ? 4 大数据挖掘 案例背景我国目前的垃圾现状：最常见的诈骗非法贷款、址、网购、类型则包括、网站和高薪招聘等。需要关注的是，诈骗中往往包含或木马病毒链接，用户不要轻易去点击链接，以免造成财产损失5大数据挖掘 案例背景 我国目前的垃圾 现状： 最常见的诈骗非法贷款、址、网购、 类型则包括 、 网 站和高薪招聘 等。需要关注的是，诈骗 中往往包含 或木马病 毒 链接，用户不要轻易去 点击链接，以免造成财产损失 5 大数据挖掘 案例背景现状一：垃圾黑色利益链由于由于的方便、低成本等特点，垃圾已经形成了黑色利益链，严重为害公众安全。信息卖给有需求的商家和缺失，一些不良组织通过各式各样的收集个人信息，并将业务人员获取利益，同时商家等通过广告推销、诈骗等垃圾短息，来谋取利益，严重危害了用户的及正常生活。主要的黑色利益链存在形式：站商家??6大数据挖掘 案例背景 现状一：垃圾 黑色利益链 由于 由于 的方便、低成本等特点，垃圾 已经形成了黑色利益链，严重为害 公众安全。 信息卖给有需求的商家和 缺失，一些不良组织通过各式各样的 收集个人 信息，并将 业务人员获取利益，同时商家等通过 广告推销、诈骗等垃圾短息，来谋取利益，严重危害了 用户 的 及正常生活。 主要的黑色利益链存在形式： 站 商家 ? ? 6 大数据挖掘 案例背景现状二：缺乏法律保护公安部、信息知》等;但目前规范、银行业管理委员会联合发出《在全国范围内统一严机违法息的通业务的制度法来说，仍属空白;7大数据挖掘 案例背景 现状二：缺乏法律保护 公安部、信息 知》等; 但目前规范 、 银行业 管理委员会联合发出《在全国范围内统一严 机违法 息的通 业务的制度法来说，仍属空白; 7 大数据挖掘 案例背景现状三：垃圾形式日益多变投放方式不断改进垃圾垃圾内容多变类型多样8大数据挖掘 案例背景 现状三：垃圾 形式日益多变 投放方式不断改进 垃圾 垃圾 内容多变 类型多样 8 大数据挖掘 案例目标基于文本内容，建立识别模型，准确地识别出垃圾，以解决垃圾过滤问题。9大数据挖掘 案例目标 基于 文本内容，建立识别模型，准确地识别出垃圾 ，以解决垃圾 过滤问题。 9 大数据挖掘 目录1背景与挖掘目标2分析方法与过程3上机实验拓展思考410大数据挖掘 目录 1 背景与挖掘目标 2 分析方法与过程 3 上机实验 拓展思考 4 10 大数据挖掘 数据数据展示11大数据挖掘id类别内容10商业 的 性那是维系其商业价值和 地位的前提条件之一21南口阿玛施新春第一批限量春装到店啦 春暖花开淑女裙、冰蓝色公主衫 气质粉小西装、冰丝 长半裙、 皇……… 数据 数据展示 11 大数据挖掘 id 类别 内容 1 0 商业 的 性那是维系其商业价值和 地位的前提条件之一 2 1 南口阿玛施新春第一批限量春装到店啦 春暖花开淑女裙、冰蓝色公主衫 气质粉小西装、冰丝 长半裙、 皇 … … … 分析方法与过程总体流程抽取数据模型评价分词结果建模准备、模型建立数据预处理结果与建议80万数据太大，抽取2万数据处理12大数据挖掘专家 分析方法与过程 总体流程 抽取数据 模型评价 分词结果 建模准备、模型建立 数据预处理 结果与建议 80万数据太大，抽取2万数据处理 12 大数据挖掘专家 思考建模前需要对文本数据做哪些处理？需要怎么评价模型的好坏？13大数据挖掘 思考 建模前需要对文本数据做哪些处理？ 需要怎么评价模型的好坏？ 13 大数据挖掘 数据探索数据分布对原始80万条数据进行数据探索，发现数据中并无存在空值，进一步查看垃圾况。和非垃圾的分布情14大数据挖掘 数据探索 数据分布 对原始80万条数据进行数据探索，发现数据中并无存在空值，进一步查看垃圾