永洪Z-Data Mart手册V5.2.pdfVIP

永洪Z-DataMart 用户使用手册 ©2011-2015YonghongTechnologyCO.,Ltd 版权声明 本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记，由永洪商智科技有限公司 合法拥有，受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国 际版权条约、法律、法规以及其它知识产权法律和条约的保护。未经授权许可，不得非法使用。 免责声明 本文档包含的永洪科技公司的版权信息由永洪科技公司合法拥有，受法律的保护，永洪科技公司对本文 档可能涉及到的非永洪科技公司的信息不承担任何责任。在法律允许的范围内，您可以查阅，并仅能够 在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。任何单位和个人未经永洪科技公 司书面授权许可，不得使用、修改、再发布本文档的任何部分和内容，否则将视为侵权，永洪科技公司 具有依法追究其责任的权利。 本文档中包含的信息如有更新，恕不另行通知。您对本文档的任何问题，可直接向永洪商智科技有限公 司告知或查询。 未经本公司明确授予的任何权利均予保留。 目录 第1章 Data Mart简介1 第2章 快速搭建并使用4 机器部署5 数据抽取7 数据建模9 数据应用10 第3章 ETL11 抽取方式12 数据源13 如何导入数据14 任务调度器15 增量更新16 加入标签18 多节点同时入库19 第4章 如何使用集市中的数据20 应用的模式21 文件系统22 SQL支持27 ROLAP的支持28 如何使用标签31 第5章 集市管理系统32 启动集市管理系统33 服务器管理34 节点管理35 集市管理36 属性配置说明38 第6章 配置和调优39 硬件要求40 常见配比关系41 常见配置属性42 第7章 通讯层43 通讯层协议44 Pin机制46 第8章 二次开发47 导数的API48 删除文件的API51 JDBC访问的API52 第9章 附录53 详细配置参数54 Pushdata举例57 PullData例子58 增删CloudFile和CloudFolder的例子59 ParseCSV例子61 运行Query获得结果的例子72 JoinQuery的Task76 第1章：DataMart简介 工业革命之后，书籍等以文字为载体的知识大约每十年翻一番；1970年以后，知识大约每三年就翻一 番；如今，全球信息总量每两年就翻一番；2010年互联网的数据量，比之前所有年份的总和还要多。 现在，人类每天产生数以PB的数据。在互联网、电子商务、生产制造、交通和物流、金融和保险、医 疗卫生、地理信息、政府机构等行业，每天都在创造着大量的数据。大数据正在成为从工业经济向知识 经济转变的重要特征，已经成为新时代最关键的生产要素和产品形态。 Google、Yahoo、Facebook等公司正成为这场变革的推动力量，同时新企业也层出不穷。在商业智 能（BI）领域，AsterData、Greenplum、Vertica等公司刚刚卓然而生，便被传统IT巨头EMC、 IBM、HP等公司各自收入囊中。经过对这些新生公司的大数据技术进行消化和整合之后，传统IT巨头 们迅速推出了各自的大数据产品和服务。 数据库时代之后，随着可用数据的持续积累，各行业的领军企业逐步开始了数据价值的发现之旅，这一 阶段的商业智能系统，一般是以数据仓库+OLAP为主。一般地，传统数据仓库能够存储大数据，但并 不提供针对大数据的分析和统计功能，因此，在开发OLAP这种数据应用时，需要用户预先提出的分析 及统计的需求，再预先计算好这些主观的分析及统计的结果，才能确保OLAP系统的实时交互能力。然 而，数据仓库+OLAP这一组合有着其先天的缺陷，在终端用户眼中也许是一个微小的变化，却可能需 要很长的响应周期。行业内企业整体经营管理水平的持续提高，竞争态势不断加剧，