采集站的逆袭之路.pptVIP

采集站的逆袭之路 刘哲 * * * #1 #2 #3 #4 大内容来源 内容整合 逆袭机遇 用户体验 目 录 案例 本次分享内容将以问他网（7）贯穿始终 10 35 1月份 4月份 6月份 8月份 30 500 #1 大内容来源 大内容来源 01 购买内容 购买已经商业化的数据 03 人工编辑内容 安排编辑发内容 02 用户产生内容(UGC) 社区、问答等产品形态 04 采集内容 通过各工具、程序等采集海量内容 采集后数据处理 结构化 入库 发布 展示 更新 维护 采集数据处理流程 结构化：分类、分词、标签 入库：一次性导入、连续入库 发布：去重后发布（爬虫与用户双标准） 展示：展示位置，展示规则 更新：更新频率，更新规则 维护：定期检查未被抓取的内容 A 火车头 B PY程序 C Scrapy 采集工具介绍 #2 内容整合 专题 关键词 标签 相关 A 基于lucene做的文档内容相似度，根据相似度做相关推荐，70%-80%相似度进行推荐 B 基于自有行业词库做基库，根据基库做分词并抽取标签 C 整理有哪些信誉好的足球投注网站关键词，分阶段做不同 D 对整理过的关键词做细分、扩展做专题内容，并聚合全部内容，包括采集，ugc 内容整合 专题做法 专题 1 2 3 细分主题内容 专题细分主题 专题主题 #3 逆袭机遇 1 魔方格 答案可见 百度知道有合作 3年左右 2 问他网 答案不可见 没有合作 1年左右 3 菁优网 答案限制性开放 与百度知道有合作 5年左右 行业SEO流量排名 2014-10至2015-2 玩转爬虫 大量分布式爬虫不设置的访问，造成网站性能急剧下滑甚至瘫痪 攻击网站 采集任何想要的数据 采集数据 #4 用户体验 SEO流量骤降 90%+ 1、收录下滑95% 2、爱站排名关键词85% 3、流量下滑90% ？？？？？？？？？原因 1、分析竞品网站的是否有变化 2、分析页面内容是否存在过度优化（关键词密度、页面内容质量） 3、网站是否存在异常（链接、稳定性） 4、有哪些信誉好的足球投注网站用户的跳出率及体验 原因分析 * *