基于数据湖构建云上的数据分析架构.pptxVIP

基于数据湖构建云上的数据分析架构

企业应用数据的演进数据察觉数据监控数据驱动ReportStaticbatchreportsExecutives,departmentheadsFinancialandoperationaldata功能能力用户数据MonitorInteractivedashboards,datawarehousePowerusersSiloeddataGuideDatascience,AI/ML,DataLakeEveryoneAlldata

企业应用数据的现状和常见的功能障碍孤立数据和被丢弃的数据低保真数据多样性的处理散乱数据发展趋势随着数字化技术的成熟发展，企业现在比以往任何时候都需要更好地处理自身拥有的数据，成为数据驱动型组织现实情况企业越来越认识到数据的价值企业在使用越来越多的复杂的技术捕获数据和处理数据。然而，仍然有超过9成的数据没有被用到有超过8成的企业被认为应用数据能力低应用数据的能力赤字严重地限制了企业的发展并削弱了生存能力

现代分析平台要具备的特点访问想要的任何数据提供交互式洞察的方式智能嵌入业务流程数据驱动型决策需要访问众多不同类型数据多种类型不同来源的数据转储到企业数据湖接近实时的处理和报告数据即时响应上游数据源的变化采用AmazonS3或Hadoop等大数据技术存储数据采用流处理技术正确的时间正确的工具以正确的形式提供数据需要同时使用多种工具以满足不同用户需求支持机器学习探索对变化的响应性（数据的访问速度决定了决策速度）算法平台与业务平台集成业务平台能集成外部数据源或API能利用所有可用云服务帮助实现系统的现代化

传统的数据技术链面临挑战，并且一直在艰难地试图适应企业规模的数据发展变化无法扩展数据存储和处理时间增加总体拥有成本以支持数据管理数据模型变更延迟数据分析部署时间长使洞察滞后本地数据平台难以支持现代化数据分析的要求

围绕业务挑战、业务趋势和业务模式快速洞察更快、实时的洞察力内部数据仓库无法实现的业务洞察力加强客户体验处理数据多样性移动、社交等多种数据来源创新利用数据进行业务创新设计未来的产品和服务专注于卓越运营利用云技术降低总体拥有成本利用数据提供最高级别的卓越运营确保法规遵从减少部署时间网安法/等保2.0行业合规要求云数据平台帮助构建新型的数据洞察力和驱动力

亚马逊对数据驱动型企业的理解“一个将数据作为战略资产加以利用的组织，以驱动创新，并建立可行动的洞察力，从而为其客户、合作伙伴和员工提供增强体验”亚马逊数据分析飞轮模型提高运营效率降低试验成本增强客户体验产品（use-case）信息需求人技术流程关键词资产：常被忽视、低估或误解持续创新：关键是持续，实现数据驱动的自我推动力可行动的洞察力：能推动业务的洞察客户体验：要增强体验就会产生新的特性和产品需求

持续创新的数据分析飞轮应用举例增加乘客里程收入减少每可用座位里程成本价格优化需求预测乘客推荐微目标市场航班中断预测维护事件预测Andmore…愉悦的客户体验航空公司举例MoreusersMeaningfulimpactMoredataBetteranalytics机票价格航班计划客户忠诚度飞机运营成本遥测/维修Andmore…

传统数据平台的模式已成为数据分析能力的瓶颈应用程序集中的数据存储集中的数据团队企业BI能力中心数据消费者ProvidedataQuerydata

构建能支持敏捷业务的现代化数据分析平台领域专业知识简化数据的注入执行业务优先级数据所有权和治理安全控制业务分析开发数据质量构建并运行平台数据发现元数据管理企业数据集数据管道的开发培训和社区创造新的洞察数据驱动的组织通过将责任扩大到边缘，将责任推广到数据的生产者和消费者身上，从而实现敏捷性数据湖平台运行数据市场的团队数据生产者想要分享数据的团队数据消费者想要使用数据的团队

现代化数据分析平台的需求SupportexploratorydataanalysisandMLDatadiscovery,search,andcollaborationDataprocessingandplatformframeworksInteractiveQueryDashboardsSQLbasedpipelinesCatalogandsearchSharedataNotebookautomationOperationalanalyticsPredictiveanalyticsExploratoryresearchPipelineschedulingCodeandinfrastructureau