PowerExchange实时抽取架构介绍.docVIP

工作原理 准实时抽取架构图： 以上共有核心业务系统数据库服务器、ETL服务器、BI数据库服务器〔目标数据库服务器〕，三台服务器和ETL客户端（PowerCenter客户端）。其中核心业务系统上有核心系统产生的Redo Log、安装Oracle Logminer、安装PowerExchange，ETL服务器上安装PowerCenter及PowerExhchange的客户端、BI数据库服务器为目标数据库、ETL客户端安装（PowerCenter客户端）。 核心业务系统数据库服务器在进行业务过程中，会一直写Redo Log；Logminer为Oracle日志分析工具，能够对Redo Log及Achive Log进行解析；PowerExhchange为Oracle Logminer和ETL工具PowerCenter的接口，实现对Logminer的封装，通过他来定义要获取哪些表的增量及增量数据放到哪张对应的增量表中〔增量表结构是自己定义〕。 ETL客户端主要用来定义数据的抽取、转换、加载规则，比如：定义要抽取哪些表的增量、抽取的频率、要将增量数据插入到那个数据库〔可以是任何数据库服务器上的表〕。在获取增量后如何处理这些增量（转换）等。 ETL服务器执行客户端定义好的ETL规则。在执行过程中，通过PowerExchange接口实时抽取核心业务系统产生的增量，并根据规则转换处理或不进行转换插入到BI数据库服务器上相应的目标表中。 具体执行流程是，PowerExchange和Logminer以类似服务的形式，在核心业务系统上执行，当ETL服务器启动抽取时，通过PowerExhchange接口调用在核心业务系统上的PowerExchange，PowerExhchange再调用Logminer，Logminer对核心业务系统产生的Redo Log进行解析。解析完成后将数据返回给PowerExhchange，PowerExhchange将数据返回给ETL服务器，ETL服务器根据ETL客户端指定的规则（经过加工处理或不经过加工处理）处理后将增量数据加工到BI数据库服务器相关的表中。 详细介绍 在Oracle服务器端的详细操作如下： 执行以下脚本 说明：如果数据库已经是归档模式则不需要创建和指定归档日志存放路径。 必须创建针对PowerExchange使用的Oracle用户并赋予指定权限，主要是为了对Logminer解析出数据后，存放数据的视图进行操作。 设置Oracle Supplemental Logging，默认情况下。Oracle记录日志，是没有数据表中的字段数据内容，设置Supplemental Logging完成或。Redo log会记录发生变化的每条记录的前像内容和后像内容。只有这样，才能获取到变化记录内容。 创建Logminer 表空间，Logminer在进行数据解析后。会将解析的结果数据保存到，几个视图中。也就是说需要将数据暂存到数据表空间中。 编译Logminer系统包。 将Oracle Catalog复制到redo logs Logminer根据对数据字典的使用分为三种模式〔数据字典是将redo log中的对象代码转换成具体表名等对象名的映射文件〕，user online Catalog、Extracting a LogMiner Dictionary to the Redo Log Files、Extracting the LogMiner Dictionary to a Flat File。 PowerExchange在调用Logminer时，使用Extracting the LogMiner Dictionary to a Flat File这种模式。这种模式不需生成数据字典文件，即将数据字典内容写入到redo log中，因此没有额外的对数据库的操作。 在Oracle服务器端安装PowerExchange PowerExchange主要是实现对Oracle Logminer进行封装的工具，Logminer实现了对数据库日志的解析，但是要达到实时获取增量数据的目的需要涉及以下方面的问题 如何实时进行解析 Oracle Logminer进行日志解析，需要调用Logminer的命令。每次命令可以解析整个redo log内容，也可以按照时间进行解析。但是，需要手工执行命令。PowerExchange利用自身的触发机制，对logminer进行自动的调用，实现准实时增量数据的获取 解析出的内容的处理 Logminer在解析出变化数据后，会存放到相关视图中。视图存放所有变化数据表的数据，在应用时，必须对视图进行查询，然后将数据转移到相关的数据表中。操作麻烦，需要变成处理