有哪些信誉好的足球投注网站- 1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
数栖·离线开发v5.0.0产品白皮书
更新时间：2020.07.30
版本：v5.0.0
1背景
目前，大多数的大数据分析开发者通过对开源组件进行简单的功能组合，再使用各种开源组件进行数据开发。这种开发环境没有串联数据开发全流程，不能提供数据开发与线上生产环境的隔离，不能实现多人协同开发。这种粗放式的数据开发环境，会降低数据开发的工作效率，也会增加数据开发学习者的学习成本。
因此，亟待开发一款能基于Hadoop、ODPS等大数据计算存储引擎，提供海量数据的离线加工分析和数据挖掘的数据开发工具。该工具能提供全面的托管式任务流服务、一站式的数据开发管理，让企业和数据开发者专注于数据价值的挖掘和探索。
?
2产品概述
2.1什么是离线开发
离线开发是数栖平台提供的一站式大数据开发环境，提供了数据同步、数据开发、发布管理、运维监控的全链路解决方案，可用于构建PB级别的数据仓库，实现超大规模数据集成，通过对数据价值的深度挖掘，实现数据的资产化。
离线开发集成了主流的开源大数据组件的一系列能力，其不仅继承开源大数据组件的功能和特性，支持Hive、SparkSQL等各类主流的数据开发任务，还支持数据的开发与生产环境隔离、多人协同开发、开发任务智能调度与检测、托管式任务流服务等，提供了数据开发过程中的一整套解决方案，大力降低了使用门槛。
2.2产品定位
离线开发是一站式数据开发平台，其不仅具备海量数据的离线加工分析、数据挖掘的能力，也集成了数据交换、生产运维等功能，同时还对接机器学习平台，采用“开箱即用的使用方式，让用户无需再关心底层集群的搭建和运维，能极大提高数据开发和应用的效率。
2.3产品受众
从事数据开发的技术人员
从事数据运维的技术人员
2.4核心能力
基于该产品能够获得的能力：
数据交换：复杂网络环境、丰富数据源之间的数据传输。
数据开发：在线批处理、构建复杂的调度依赖，多人协同开发、提供开发任务智能调度与检测、托管式任务流服务。
发布运维：提供发布审核流程、实时监控任务运行状态，提供多维度指标分析、并支持在线运维操作。此外，提供丰富的告警策略，支持短信、邮件等多种告警方式。
3产品优势
提升数据研发效率
提供从数据交换、数据开发、发布运维、监控告警的一站式大数据开发环境，采用“开箱即用的使用方式，让用户无需再关心底层集群的搭建和运维，能极大提高数据开发和应用的效率。
降低研发人员要求
封装大数据相关技术并提供简易的操作界面，摆脱大数据建设对复杂底层技术的要求，通过提供的简易的操作界面和规范数据加工流程进行数据研发，告别传统命令行，降低了门槛，节省巨大的学习成本。
稳定高效的调度
支持自定义数据处理逻辑，任务可以实现定时、依赖方式自动调度，并提供出错重试和基线配置，即可全链路监控，保障任务定时保质产出。此外，支持任务数高达200000个/日以上，并支持高可用。
不改变企业技术栈
兼容主流的大数据底层技术，与企业IT系统建设不冲突，对现有业务侵入性低，更多的是补充和赋能，挖地道式的建服务。
灵活的底层适配
离线开发适配市面上大部分存储计算平台，如：Hadoop社区、CDH、HDP、星环、FusionInsight、MaxCompute等，并提供灵活插件化的方式扩展。
4产品架构
4.1功能架构
离线开发提供从数据交换、数据开发、发布运维、监控告警的一站式大数据开发环境，满足平台用户的数据需求，整体功能架构如下图所示：
5功能特性
5.1数据交换
多源异构数据同步
支持20+种多源异构数据的稳定高效传输，如MySQL、Oracle、SQLSever、Hive、ODPS、Greenplum、HANA等。
跨网络的数据传输
适配各种复杂网络的数据传输，保障异构网络系统的数据互联互通。
插件化设计
数据源的支持以插件方式，通过热插拔来快速支持二次开发，实现各种类型数据源与平台的快速对接。
可视化配置
简单易用，用户通过可视化界面进行数据交换的源头与目的端的配置。同时，可根据具体场景对带宽、容错等参数进行设置并进行监控，避免抢占业务资源的同时保障任务按时、准确完成。
灵活的预处理策略
提供数据清洗功能，以支持在数据交换的前、中、后任何阶段进行数据预处理操作，从而避免由于数据敏感、重复等因素造成的困扰
5.2数据开发
强大的多人协作
提供加、解锁，支持多人协作开发、管理，对数据权限、功能权限进行有效区分，提高开发效率，保证开发进度。
完善的作业调度机制
支持依赖和开始时间两种约束条件下的调度，支持小时、分钟、天、周、月、季度等多种调度周期，并支持环路检测、出错重试和自依赖等功能，保障任务的正常运行。
可视化开发
通过可视化业务流程开发的方式，无需搭配任何开发工具，简单的拖拽式任务开发和调试，
文档评论（0）