网络社区中数据交换引擎设计.pptxVIP

网络社区中的数据交换引擎设计 答 辩 人： 指导老师：教授 答辩时间：5 月 25 日 武汉大学2014届工程硕士专业学位论文答辩 大纲 研究背景 研究目标和内容 本文工作 本文总结 1 2 3 4 研究背景-项目基础 研究背景-选题来源 教育社区 研究背景-网络社区中的数据特色 网络社区特色 数据量大，增长迅速 开放平台，数据来源广泛 注重人的 参与，数 据来源更 多 网络社区中的数据交换 问题 数据的异构性 与传统数据源相比，数据结构更为多样化，来源更广 海量数据堆积 数据增长迅速，数据中蕴含了巨大的价值，呈现出“大数据”特色 研究背景-数据交换技术研究现状 研究数据定义以及数据源与目的数据之间的转换 1976年 21世纪 网络社 区出现 使用半结构化数据定义中间数据格式，如XML、二进制格式数据 研 究 1 2 3 基于数据库工具的数据交换 传统数据交换中间件 基于XML、CVS等中间文本的数据交换 通用性差 数据交换流程复杂 中间文本冗余 研究背景 目录 研究目标和内容 本文工作 本文总结 1 2 3 4 研究目标和内容 8 工具的 易用性 问题 研究内容 建立网络社区中灵活通用、高效、易用的数据交换引擎 研究目标和内容-研究思路 应用场景分析 功能模块设计 研究背景 目录 研究目标和内容 本文工作 本文总结 1 2 3 4 本文工作 本文工作一 数据交换引擎框架 触发器与日志 表相结合 屏蔽异构数据 间的差异 所见即所得 数据序列化 提高传输效率 本文工作二 统一交换标准-数据标准定义 定义和描述 数据系统 数据实体 交换内容 交换流程 本文工作二 统一数据交换标准-序列化 数据交换内容 Java对象格式 二进制数据格式 org.msgpack  org.msgpack.annotation  org.msgpack.io  org.msgpack.packer  org.msgpack.template  org.msgpack.template.builder  org.msgpack.type  org.msgpack.unpacker  org.msgpack.util  org.msgpack.util.json MsgPack对各类数据的处理 MsgPack 序列化 本文工作二 本文工作三 数据变化监控方法 捕获方法 复制策略 优点 缺点 触发器 实时 及时更新，逻辑简单 网络消耗大 日志 实时/异步 效率高、占用资源少 日志格式难以统一 时间戳 异步 使用方便、效率高 无法捕获删除数据 摘要 异步 处理逻辑简单 需要额外资源计算空间 触发器法+自定义日志表 数据变化捕捉方法比较 本文工作三 数据变化监控方法 触发器+自定义日志表法 数据同 步依据 字段 说明 CID 变更项ID sourceTable 变更数据项所在表 keyField 变更数据项的主键 changeType 变更类型 changeTime 变更时间 字段 说明 SID 变更项ID sourceField 产生数据变更的数据源地址 sourceTable 变更数据项所在表 keyField 变更数据项的主键 changeType 数据变更类型 changeTime 数据变更时间 日志表结构设计 本文工作四 实验结果及验证-实验系统 实验环境 源数据系统 目标数据系统 操作系统 CentOS 6.0 Windows 7 数据库系统 Oracle MySQL 内存 8G 4G 操作系统 Windows 7 开发语言 Java、Jsp、html、css等 IDE My Eclipse 8.5 开发架构 JavaEE 实验系统 实验场景 本文工作四 实验结果及验证-实验结果 系统初始化 数据源 数据交换内容对象 数据交换内容配置 数据密文 数据解密、反序列化 目的数据库 数据序列化、加密 研究背景 目录 研究目标和内容 本文工作 本文总结 1 2 3 4 总结-本文特色 提供了所见即所得的数据源配置方式 用户自行对数据源进行配置，提升了数据交换引擎的易用性及用户体验。 使用序列化工具提高数据交换效率 将数据交换内容序列化为二进制格式，提高数据传输的速率，减少了数据交换文件的占用空间，从而提高数据交换效率。 提出了触发器与日志表结合的数据变化监控方法 提高了变化监测方法的适用性和效率，改善了传统方法占用空间大，效率低下的问题。 总结-下一步工作 半结构化和非结构化的数据交换 本文主要以关系数据库作为研究对象，后续可以丰富数据源的数据类型，将注意力放在半结构化与非结构化的数据上，提高系统通用性； 数据质量评估 在网络社区茁壮成长的今天，数据源中数据的可