SQLSeverCDC实施方案教程.docx

北京恒久信信息技术有限责任公司 Beijing Everlasting Information Technology Co., Ltd. SQL Sever CDC 实施手册 目录  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc427087232 1. SQL Server 变更数据捕获简介  PAGEREF _Toc427087232 \h 3  HYPERLINK \l _Toc427087233 2. CDC与传统增量处理方式的对比  PAGEREF _Toc427087233 \h 4  HYPERLINK \l _Toc427087234 3. 现行数据库架构  PAGEREF _Toc427087234 \h 5  HYPERLINK \l _Toc427087235 4. 建议方案  PAGEREF _Toc427087235 \h 7  HYPERLINK \l _Toc427087236 5. 启用变更数据捕获  PAGEREF _Toc427087236 \h 8  HYPERLINK \l _Toc427087237 6. 添加CDC之后的影响  PAGEREF _Toc427087237 \h 12  HYPERLINK \l _Toc427087238 7. 注意事项  PAGEREF _Toc427087238 \h 13  HYPERLINK \l _Toc427087239 9. 监视变更数据捕获进程  PAGEREF _Toc427087239 \h 15   SQL Server 变更数据捕获简介 变更数据捕获可记录应用于 SQL Server 表的插入、更新和删除活动。这样，就可以按易于使用的关系格式提供这些更改的详细信息。更改表镜像了所跟踪原表的列结构，将修改的行应用到目标环境所需的列信息和元数据会被捕获并存储在更改表中。SQL提供了一些表值函数，以便使用这对更改数据进行系统级访问。 CDC技术典型应用场景是提取、转换和加载 (ETL) 应用程序。通常ETL应用程序需要以增量方式将 SQL Server 源表中的更改数据加载到数据仓库或数据集市。虽然数据仓库中的源表的表示形式必须反映源表中的更改，但数据仓库中目标表的数据表现形式不一定和源表相似，因而刷新源副本的端到端技术并不适用。相反，需要一种结构化的可靠更改数据流，以便使用者可以将其应用于不同的目标数据表示形式。SQL Server 变更数据捕获就提供了这一技术。 变更数据捕获的变更数据源为 SQL Server 事务日志。 在将插入、更新和删除操作应用于跟踪的源表时，描述这些更改的条目会添加到事务日志中。日志用作变更数据捕获进程的输入来源，它会读取日志，并在所跟踪的表的关联更改表中添加有关更改的信息。系统将提供一些函数，以枚举在更改表中指定范围内发生的更改，并以筛选的结果集的形式返回该值。应用程序进程使用筛选的结果集通常用以在某种外部环境中更新源表示形式。 CDC与传统增量处理方式的对比 在没有使用CDC之前，为了确定数据更改，通常应用程序开发人员必须在其应用程序中使用触发器、时间戳列和其他表的组合来实现自定义跟踪方法。创建这些应用程序通常涉及多项工作，导致架构更新，并且通常带来较高的性能开销。 通过触发器可以把DML操作中的INSERT/UPDATE/DELETE数据记录下来，但是触发器的维护比较困难。 另外一种常用的方式是时间戳,?它是以业务表中某一个字段的值，作为判断新旧数据的标志，每次只抽取上次抽取记录时间以后产生的数据。时间戳方式也存在一些问题： 变化数据的捕获需要在源数据库上进行，并且只能捕获最终结果，而非整个变化历史。时间戳的粒度通常设置到秒，在某些场合下这个粒度可能会略掉一些变化数据。 无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。?而且?要求业务系统的表必须一个可以标识新旧数据的列，并且需要对该列做索引，而某些表没有设置这种列。 CDC提供了一种机制，对源表数据的更新进行跟踪，在应用程序中使用变更数据捕获而不开发自定义解决方案来跟踪数据库中的更改具有以下好处： 减少了开发时间。 由于 SQL Server 中提供了功能，因此无需开发自定义解决方案。 不需要架构更改。 您无需添加列、添加触发器或创建要在其中跟踪已删除的行或存储更改跟踪信息的端表（如果无法将列添加到用户表）。 具有内置清除机制。 更改跟踪的清除操作在后台自动执行。不需要端表中存储的数据的自定义清除。 提供功能的目的是获取更改信息。 降低了 DML 操作的开销