大数据知识体系大全资料.pdfVIP

16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn 大数据知识体系 很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不 成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了 解大数据产品设计架构和技术策略。 大数据产品，从系统性和体系思路上来做，主要分为五步： o 针对前端不同渠道进行数据埋点，然后根据不同渠道的采集多维数据，也就是做大数据 的第一步，没有全量数据，何谈大数据分析； o 第二步，基于采集回来的多维度数据，采用ETL 对其各类数据进行结构化处理及加 载； o 然后第三步，对于ETL 处理后的标准化结构数据，建立数据存储管理子系统，归集到 底层数据仓库，这一步很关键，基于数据仓库，对其内部数据分解成基础的同类数据集 市； o 然后基于归集分解的不同数据集市，利用各类R 函数包对其数据集进行数据建模和各类 算法设计，里面算法是需要自己设计，个别算法可以用R 函数，这个过程产品和运营参 与最多；这一步做好了，也是很多公司用户画像系统的底层。 o 最后根据建立的各类数据模型及算法，结合前端不同渠道不同业务特征，根据渠道触点 自动匹配后端模型自动展现用户个性化产品和服务。 建立系统性数据采集指标体系 建立数据采集分析指标体系是形成营销数据集市的基础，也是营销数据集市覆盖用户 行为数据广度和深度的前提，数据采集分析体系要包含用户全活动行为触点数据，用户结构 化相关数据及非结构化相关数据，根据数据分析指标体系才能归类汇总形成筛选用户条件的 属性和属性值，也是发现新的营销事件的基础。 构建营销数据指标分析模型，完善升级数据指标采集，依托用户全流程行为触点，建 立用户行为消费特征和个体属性，从用户行为分析、商业经营数据分析、营销数据分析三个 想拿高薪，选对行业很重要！学大数据，工资高，前景好！ 16 年老品牌，上市IT 培训机构 官方网站 学大数据，就选光环大数据 Hadoop.aura.cn 维度，形成用户行为特征分析模型。用户维度数据指标是不同维度分析要素与用户全生命周 期轨迹各触点的二维交叉得出。 目前做大数据平台的公司，大多数采集的数据指标和输出的可视化报表，都存在几个 关键问题： o 采集的数据都是以渠道、日期、地区统计，无法定位到具体每个用户； o 计算统计出的数据都是规模数据，针对规模数据进行挖掘分析，无法支持； o 数据无法支撑系统做用户获客、留存、营销推送使用。 所以，要使系统采集的数据指标能够支持平台前端的个性化行为分析，必须围绕用户 为主线来进行画像设计，在初期可视化报表成果基础上，将统计出来的不同规模数据，细分 定位到每个用户，使每个数据都有一个用户归属。 将分散无序的统计数据，在依据用户来衔接起来，在现有产品界面上，每个统计数据 都增加一个标签，点击标签，可以展示对应每个用户的行为数据，同时可以链接到其他统计 数据页面。 由此可以推导出，以用户为主线来建立数据采集指标维度：用户身份信息、用户社会 生活信息、用户资产信息、用户行为偏好信息、用户购物偏好、用户价值、用户反馈、用户 忠诚度等多个维度，依据建立的采集数据维度，可以细分到数据指标或数据属性项。 ① 用户身份信息维度 性别，年龄，星座，居住城市，活跃区域，证件信息，学历，收入，健康等。 ② 用户社会生活信息维度 行业，职业，是否有孩子，孩子年龄，车辆，住房性质，通信情况，流量使用情况…… ③ 用户行为偏好信息 是否有网购行为，风险敏感度，价格敏感度，品牌敏感度，收益敏感度，产品偏好，渠 道偏好…… ④ 用户购物偏好信息 品类偏好，产品偏好，购物频次，浏览偏好，营销广告喜好，购物时间偏好，单次购物 最高金额……