海量影像數据集入库策略.docxVIP

海量影像数据入库策略（oracle为例）栅格数据量越来越大，尤其是影像数据量激增。虽然随着影像数据量的激增，不建议影像数据本身存储到空间数据库（ArcSDE）中，但仍有用户为了解决多用户并发、数据安全性、便于备份与恢复等问题，要将海量的影像或栅格数据存储到空间数据库中。那么，如何更快、更高效的把海量的影像数据入到空间数据库中呢？需要考虑哪些因素？提前做哪些准备工作？海量影像数据入库主要做好以下三步工作。第一步：数据库和ArcSDE准备配置DBMS参数配置ArcSDE参数估算DBMS存储空间大小 分配DBMS存储空间第二步：数据入库准备原始数据创建栅格数据存储对象创建DBMS统计值第三步：数据查看下面分别对上述内容进行详细介绍。第一步：数据库和ArcSDE准备配置DBMS参数设置checkpoint间隔：通过DBA设置初始化参数LOG_CHECKPOINT_INTERVAL和LOG_CHECKPOINT_TIMEOUT为0，实现在线redo日志组切换时，强制出现checkpoint。增加redo日志文件单个文件大小至少为1GB。增加数据块缓冲区大小DB_BUFFER_CACHE。创建数据块大小为8KB的Oracle数据库。8KB是存储blob数据最佳的块大小设置，已经成为ArcGIS二进制数据存储的默认存储类型。16KB或者32KB可能会导致blob存储空间的浪费。配置ArcSDE参数在ArcSDE客户端和服务器之间，ArcSDE使用“传输缓冲区”进行数据传输。在向空间数据库中写入数据时，当ArcSDE客户端数据缓冲区达到阈值，数据将被提交到ArcSDE服务器。当ArcSDE服务器处理数据时，客户端再将更多数据写入到缓冲区，达到阈值时，提交到ArcSDE服务器。依次循环往复。对于栅格数据，“传输缓冲区”的大小是被ArcSDE服务器参数RASTERBUFSIZE控制的。默认情况下，该参数大小为200KB。对于大多数栅格数据入库而言是足够的。在默认参数设置情况下，ArcSDE会为客户端和服务器端分配RASTERBUFSIZE两倍大小的内存，即如果默认参数设置为200KB，那么ArcSDE客户端将会被分配400KB大小的内存，服务器端同样会分配400KB大小的内存。除该参数外，ArcSDE在服务器端还提供了三个缓存区参数，用于从DBMS中读写数据。通过这三个参数，可将服务器端的内存分配增加到1000KB。如果使用直连direct connection方式（如下图所示），ArcSDE客户端和服务器端的操作都在客户机上执行，因此通过直连方式分配的内存是RASTERBUFSIZE参数指定大小的7倍。直连方式下，如果RASTERBUFSIZE参数指定的大小无法满足未压缩栅格块的大小，仅需修改RASTERBUFSIZE参数默认值的大小，与其他三个缓冲区参数无关。格式：sde @oradb未压缩块大小计算方式：块高×块高×像素深度因子（pixel depth）。例如：128*128块，像素深度为32位，那么未压缩块大小=128*128*4（像素深度因子）=65536byte200KB。再如:256*256分块，像素深度为32位，那么未压缩块大小=256*256*4=262144byte200KB。像素深度与像素深度因子对照表:序号像素深度像素深度因子11bit0.12524bit0.2538bit1416bit2532bit4664bit8RASTERBUFSIZE参数大小设置：如果未压缩块大小大于默认RASTERBUFSIZE参数，那么必须要对RASTERBUFSIZE参数值进行修改，否则将会导致错误-SE_RASTER_BUFFER_TOO_SMALL（-294）。RASTERBUFSIZE参数修改方法: 使用sdeconfig管理工具进行修改，修改后的结果写入SDE.SERVER_CONFIG表，具体命令参数如下Sdeconfig –o alter –v RASTERBUFSIZE–u sde –p sde。提醒：如块的大小未超出默认RASTERBUFSIZE参数大小，请尽量不要修改RASTERBUFSIZE参数值。因为RASTERBUFSIZE参数值过大将会影响整个系统的栅格数据流。估算DBMS存储空间大小为了在海量栅格入库之前，科学的分配和组织存储空间，优化ArcSDE DBTUNE参数（参见分配DBMS存储空间），需提前对栅格入库后的数据量进行评估。栅格数据主要存储在以下四个表：SDE_Aux_#/SDE_BLK_#/SDE_BND_#/SDE_RAS_#。其中SDE_BLK_#主要用于存储栅格数据，其数据量大小是其他表的近150倍。因此其他表忽略不计。估算DBMS存储空间大小主要有两种方法。方法一：加载小部分示例