SDML－论文答辩.pptVIP

空间数据挖掘语言SDML的设计与实现 高韬 2003年6月9日 目录 1. 应用背景及研究现状 2. 数据挖掘视图概念的提出 3. SDML的设计 4. SDML的实现 5. 应用SDML解决SDM的两个特殊问题 6. 展望 应用背景 空间数据挖掘 长期以来，遥感、遥测等对地观测技术的发展，特别是GIS的广泛使用，积累了大量丰富的地理空间信息。这些需求促进了空间数据挖掘的发展，并使之成为数据挖掘研究领域中的一个重要分支。 数据挖掘语言 数据挖掘语言是数据挖掘研究的一个重要内容。正如SQL语言极大地促进了关系数据库的发展一样，数据挖掘语言也将对数据挖掘系统的标准化和广泛应用产生巨大和深远的影响。然而现有的数据挖掘语言对空间数据挖掘的支持远远不够。 研究现状——空间数据挖掘 空间数据的特点 1. 空间数据的海量性 2. 空间数据复杂的数据类型 3. 空间对象间的空间关系 4. 空间自相关性 SDM的两种研究策略 1. 沿用地理统计分析的方法——桌面GIS中广泛使用 2. 对数据挖掘方法进行扩展——数据挖掘领域的普通观点 空间数据?空间数据预处理?通用DM算法 研究现状 空间关联：Koperski, Han[KH95], ILP[ML01] 空间聚类：BIRCH[ZRL96], CLIQUE[AGGR98], CLARANS[NH94] 空间分类：Neighborhood Graph[EKS97], [KHS98] 系统开发：GeoMiner[HK97], SPIN![Mic00], S-PLUS[KJV01] 研究现状——数据挖掘语言 数据挖掘语言 ——数据挖掘系统的标准化访问界面 数据挖掘发展的两个阶段 第一阶段：由学术界提出的数据挖掘查询语言 DMQL[HFW+96], MSQL[IV99], MineRule[MPC96] 第二阶段：工业界的介入和数据挖掘建模语言PMML[PMML01], OLEDB for DM[Mic03] 研究现状——数据挖掘语言（续） 数据挖掘模型的提出——知识的共享 数据挖掘模型的内容 数据字典 模型类别、算法及参数 数据挖掘的结果 PMML2.0: W3C的正式推荐标准 XML格式的数据挖掘模型交换格式 OLE DB DM: OLE DB的演化和延伸 支持向PMML的导入、导出 数据挖掘语言研究中的不足 1. 对于空间数据挖掘的支持远远不够 已有研究：1996, J. Han, GMQL, 对DMQL的简单扩展 不支持：空间数据预处理、数据挖掘建模 对空间数据挖掘的特殊应用支持不够 2. 对数据库上的DM缺乏系统化的、强大的预处理 应用程序的大量重复开发、算法的额外负担 低效的DM算法运行 3. 数据预处理与数据挖掘定义层次不明确 理想的模型：PMML 4. 对于数据挖掘结果的应用缺乏在语言上的支持 目录 1. 应用背景及研究现状 2. 数据挖掘视图概念的提出 3. SDML的设计 4. SDML的实现 5. 应用SDML解决SDM的两个特殊问题 6. 展望 数据挖掘视图概念的提出 面向数据挖掘的数据视图 数据挖掘视图 ＝ 预处理后的数据＋元数据 功能 通用预处理 空间预处理 数据整合 元数据补充 高效访问 数据挖掘视图与数据挖掘模型 DM View对于DM Model的支持 强化了数据提供者的能力 提高了数据挖掘模型的独立性 提高挖掘过程的共享能力 DM View概念 派生列定义 元数据补充 嵌套表 视图索引 DM View概念——派生列 派生列(Derived Column) 通过对原始数据的处理得到新的数据表现形式 涵盖了绝大部分的预处理、属性构造方法 派生列的定义 函数变换：离散化、正规化函数 基于规则的值映射 表达式计算 嵌入式的SQL查询 派生列的物化选择——对性能的支持 DM View概念——派生列（续） 派生列对空间数据挖掘的扩充： 允许表达式中的空间算子——基于空间属性的属性构造 允许嵌入式的Spatial-SQL语句 空间函数变换：空间对象的近似 派生列功能的进一步强化 多步计算的派生列 临时派生列 DM View概念——嵌套表 嵌套表：DM View中对于多表连接的结果采用嵌套表集成在视图中并以一列的形式出现 OLE DB DM中嵌套表——非空间自然连接 完成数据整合 减少数据冗余 支持算法有效运行 DM View概念——嵌套表（续） SDML对于嵌套表的扩充 ——在嵌套表定义中支持使用了空间谓词的空间连接 提供了对于空间关系的描述能力 自然地支持了邻域图的使用——空间自相关性 提供了对于更多空间预处理手段的扩展能力 DM View概念——元数据补充 1. 统计信息预计算 支持数据