云架构师手册：如何使用 Talend 和 Microsoft Azure 实现大数据分析 云平台现代化.pdfVIP

云架构师手册： 如何使用Talend 和Microsoft Azure 实现大数据分析 云平台现代化 0 引言 Talend 是一家云和大数据软件领域的领先提供商，以数据驱动型公司为主要服务对象，旨在针对数据 集成、数据管理和应用程序集成用例提供能够跨公共云、私有云和混合云及本地部署环境执行敏捷数据 分析的单一平台。 通过与Microsoft 合作，Talend 在 Microsoft Azure Cloud Platform 上提供大数据ETL 处理、云数据湖、 云数据仓库和实时分析项目的快速开发，这使得各公司能够以可预测的价格，实时连接来自本地部署系 统、云端、社交和移动应用程序的关键业务数据和应用程序，从容应对现代集成和分析的挑战。 结合Talend 和 Microsoft Azure 的强大功能，许多组织已成功实现了大数据分析云平台的现代化。本白 皮书将详细介绍能源业、食品饮料和酿制行业与物流业的用例，以及解决方案中使用的IT 架构。 1 目录 引言1 用例1：最大限度提高客户参与度，使液化石油气供应商在竞争中保持领先3 用例2：帮助一家食品饮料和酿制行业零售商实现GDPR 合规与社交媒体分析以改进营销活动6 用例3：通过构建云数据仓库提供实时包裹跟踪服务9 关于 TALEND11 2 用例1：最大限度提高客户参与度，使液化石油气供应商在竞争中保持领先 对于任何公司而言，想要保持竞争力，都势必维持高水平的客户参与度，而对英国一家领先的液化石油气供应商 而言，更需要付出巨大的努力。从产品质量到定价，再到供应和运营，乃至引人注目的品牌化和定位策略，都必 须保持高客户参与度。确保良好客户参与度的一种方式是找准客户群，并通过适合的渠道在恰当的时间有针对性 地向客户进行正确的消息传递。然而，想要获取个人客户的准确而深入的关联数据却颇有挑战性。 通过利用Talend Big Data Platform 在Microsoft Azure Cloud Platform 上构建云数据湖，该公司得以集成和清洗来 自多个来源的数据并提供实时洞察。通过清楚了解每个客户群的盈利能力，他们可在恰当的时间针对客户提供定 制化的产品和服务，从而最大限度提高参与度。 云数据湖架构由Talend Big Data Platform 、Microsoft Azure Data Lake Store (ADL Store)、Azure HDInsight 和Azure SQL 数据仓库组成。该公司运用这一架构，将来自多个本地部署应用程序的大量数据移至Azure 上的中央云存储 库中，以进行实时分析。 数据摄取 这家天然气供应商的文件位于多个地点的 JD Edwards EnterpriseOne (E1) ERP 系统中。该系统缺少数据验证功 能，并且系统中包含的记录里混有用户输入的错误数据。该公司还使用TIBCO Enterprise Service Bus (ESB) 来提 取、添加数据并检测 E1 ERP 系统内数据的变化。ESB 是一种具有一套规则和原则的架构，用于在类似总线的基 础架构上集成众多应用程序。Talend Big Data Platform 从 E1 下载文件，然后将这些文件移至 Microsoft Azure Data Lake Store (ADL Store)，一个针对Apache Spark 和Hadoop 分析引擎进行优化的企业级超大规模存储库。它 为与Azure Blob 存储完全集成的文件系统和对象数据提供单一存储。 3 数据转换 Talend Big Data Platform 可快速集成、清洗和剖析存储在ADL Store 上的已摄取数据，同时客户可添加对数据治 理、业务规则和合规性规则的要求。数据随后被发送至Azure HDInsight ，一项启用托管的Hadoop 实例的集群的 服务，通常用于简单、快速且经济高效的大数据处理。使用具有此架构的 Talend 产品将数据摄取至 Azure 的过 程相比从该公司现有ETL 架构执行这一过程，在速度上提高了50%。 图1.借助Azure 云数据湖最大限度提高客户参与度 客户应用规则后，Talend Data Quality 会检查各字段中的数据，例如地址、邮政编码、姓名、电话号码及其他参 考字段等。随后验证在 E1 中编码的客户业务部门，例如农业、家用和制造业。需要时，数据团队可使用 Talen