用SSIS对数进行ETL操作.pptVIP

4.1认识SSIS 1、SSIS的作用 数据类型转换，格式的转换，字段解码 2、SSIS的工作原理 3、第一个SSIS包的设计 认识开发环境，设置连接管理器，规划控制流，计“计算归档值”数据流，设置“备份”文件系统任务组件，运行包 4.2 SSIS关键元素的使用 -----包 1、包对象的主要功能是把其他SSIS对象组合成一个整体（也就是打包）。首次创建包后，包是一个空对象，不能实现任何功能。若要向包添加功能，就需要向包添加对象，如控制流、数据流及相关的元素。包中含有一个带有数据流任务的控制流，而数据流任务中又包含数据流，数据流由源、转换和目标等对象组成。 包的典型使用方式 容器 1、Foreach循环容器 Foreach循环容器定义包中的重复控制流。 实现文件批量复制的最关键的地方在于将平面文件连接管理器的ConnectionString属性修改为在Foreach循环容器配置时设置的用户定义的变量copyfile。在运行时，Foreach循环容器的每次迭代都将动态更新copyfile变量，这样会使连接管理器连接到不同的平面文件，从而逐一处理源文件夹中的文件。 2、For循环容器 For循环容器定义包中的重复控制流。 3、序列容器 在SSIS编辑的时候，控制流如果过于庞大是很不容易管理的，因此可以把完成流某一项功能的操作作为一个大控制流的一部分，这就需要序列容器。序列容器将包分组到多个单独的控制流中，每个控制流包含一个或多个在整体包控制流中运行的任务和容器。 任务 任务是一些控制流元素，它定义包控制流中执行的工作单元。如果包中包含多个任务，则它们将按照优先约束在控制流中进行连接和排序。 1、数据流任务 用于运行数据流及提取数据、应用列级转换和加载数据。 2、数据准备任务 用于复制文件和目录、下载文件和数据、执行Web方法和对XML文档应用操作。数据准备文件包括文件系统认为、FTP任务、Web服务任务和XML任务等。 3、工作流任务 工作流任务与其他进程通信以运行包、程序或批处理文件的形式，在包之间发送和接收消息、发送电子邮件、读取Windows Management Instrumentation（WMI）数据和监视WMI事件。 按对象分为执行包任务、执行DTS2000包任务、执行进程任务、消息队列任务、发送邮件任务、WMI数据读取器任务和WMI事件观察器任务。 4、SQL Server任务 用于访问、复制、插入、删除和修改SQL Server对象和数据。 1）大容量插入任务 2）执行SQL任务 3）传输数据库任务 4）传输错误消息任务 5）传输作业任务 6）传输登录名任务 7）传输主存储过程任务 8）传输SQL Server对象任务 5、维护任务 用于执行管理功能，如备份和收缩SQL Server数据库、重新生成和重新组织索引及运行SQL Server代理作业。 6、其他任务 比如通过使用脚本来扩展包功能，以及通过Analysis Services任务来创建、修改、删除和处理对象。甚至还可以使用支持COM的编程语言（如Visual Basic）或.NET编程语言（如C#）编写自定义任务。 优先约束 优先约束将包中的可执行文件、容器和任务链接成控制流，并指定决定可执行文件是否运行的条件。 优先约束的修改方法： 1）使用快捷菜单 2）修改属性 3）使用编辑器 源，转换，目标 -----数据流组件 源从数据存储区（如关系数据库中的表和视图、文件及Analysis Services数据库）中提取数据；转换则用于修改、汇总和清除数据；目标将数据加载到数据存储区，或创建内存中的数据集。 转换：商业智能转换，行转换，行集转换，拆分和连接转换，其他转换。 连接管理器变量事件处理程序 日志提供程序 4.3创建一个完整的SSIS包 1、生成SSIS解决方案 2、设计控制流 3、设计数据连接 4、设计数据流 4.4包的调试 1、控制流的调试 断点，进度报告，调试窗口 2、数据流的调试 工具：数据查看器，行计数和运行时的进度报告。 4.5包的配置和部署 1、包的配置 XML配置文件:将配置存储为XML文件。 环境变量：将配置储存在一个环境变量中。 注册表项：将配置储存在注册表中。 父包变量：将配置储存为包含该任务的包中的 变量，这种配置类型通常用于更新被调用的包中的属性。 SQL Server：将配置储存在SQL Server表中 2、包的部署 3、包的运行 在SSIS设计器中运行 使用dtexec运行包 使用dtexecui运行包 4.6