PostgreSQL 外部表扩展.pptVIP

Agenda 背景与目标 基于PostgreSQL的外部表实现 应用 展望 QA 背景与目标 Oracle穿Prada的“魔鬼” 好处： 方便数据库管理人员开发ETL过程 提高了数据处理时间，节省了大量数据库空间 缺点： Oracle昂贵的许可证费用支出 核心技术和知识产权不能控制 对于Oracle的依赖越多，离开放标准越远 开源技术革命尚未成功，同志还需努力 目前主流的开源数据库对于数据仓库的需求还没有深入考虑，并且没有提供可实用的外部表功能，因此在开源技术的基础上，开发扩展功能，势在必行： 基于PostgreSQL的外部表实现 --------功能对比 功能对比（vs Oracle） 基于PostgreSQL的外部表实现 --------用户使用 简便的使用 基于PostgreSQL的外部表实现 --------运作流程 应用 目前 口碑日志query处理和分析 进行中 SDS Oracle数据库替换项目 预计： 替换目前使用Oracle的12个CPU，能节省预算约200w元 展望 深入PostgreSQL内部，针对外部表进行查询计划优化和缓存技术优化，提高效率 结合StreamDB数据库技术，为Web数据统计提供有力支持 QA 谢谢！ PostgreSQL 外部表扩展 中国雅虎工程技术部SDS 为什么要使用外部表？ 日志文件 数据库 load 效率：装载速度慢 容错性：容易出现装载失败 后续分析 使用外部表： 避免了装载的过程，直接使用日志进行数据库层面的分析 因此目前Oracle外部表在SDS数据仓库系统中被大量使用 易用性稍显不足，国内使用人员较少 优秀的扩展性设计，对于开发人员友好，属于松散开源基金会，知识产权不存在风险 PostgreSQL 目前被Sun收购，今后的知识产权方面存在风险 使用简便、用户基础好，在web领域有大量应用 MySQL 缺点 优点 主流开源数据库 站在巨人的肩膀上——PostgreSQL 通过详细的比较和谨慎的技术评估： 我们选择PostgreSQL作为外部表开发的基础数据库 支持 支持 多个外部文件 支持（通过配置文件完成） 支持 生成BAD文件和日志 不支持 不支持 创建索引 不支持 不支持 对外部表本身数据的insert、update等增删改操作 支持 支持 过滤不正常记录 除了内置函数，用户可根据需要写特殊函数 支持 函数操作：select substring（a,1,4）from ext; 支持 支持 筛选和聚集语义的SQL PostgreSQL Oracle 操作 我们拥有完整的知识产权和核心技术！ 源码：/cgi-bin/cvsweb.cgi/pgexternaltable/src/ 联系方式：易波 bo.yi@