支持高能模糊检索的内存数据库EMSP.pptxVIP

支持高性能模糊检索的内存数据库EMS 百度 商务有哪些信誉好的足球投注网站部 罗立刚 2011-7-05 内容 EMS架构和工作原理 1 2 EMS典型应用 EMS性能测试 EMS简介 5 EMS下一步工作 5 EMS的定义 EMS: Extreme Mirror System EMS针对物理内存而优化的应用层内存镜像数据库，具有以下特点： 支持从异构数据源实时同步数据 支持个性化的数据镜像 支持定制化的索引结构 支持SQL-LIKE的更新和查询 极高的响应速度 需要新型数据库管理系统 信息服务遇到瓶颈 快速处理海量信息 满足大量并发访问 极高的并发访问能力 极强的业务定制能力 信息管理系统 磁盘数据库管理系统 内存数据库管理系统 数据库系统处理能力不足 EMS产生的背景 传统数据库查找数据的方式 SQL Query Optimizer Executor Application Determine Disk Address of Desired Record Table# Page# IPC Assuming the Page is Already in Memory… Locate Page Pointer Via Hashing and Linear Search Copy Row to Private Buffer Send buffer to application (via IPC) Hash Function Buffer Tool Linked Lists Into Buffers Linked Lists Into Buffers Data Page Data Page Data Store SQL Query Optimizer Executor Memory Address Application The full database is preloaded from disk to memory Determine Memory Address of Desired Record Copies data to application buffers Memory-Resident Database 内存数据库查找数据的方式 内容 EMS架构和工作原理 1 2 EMS典型应用 EMS性能测试 EMS简介 5 EMS下一步工作 5 2 mysql 2 armor …… 公共数据源 本地数据镜像 业务系统 EMS 系统架构 上游同步管理 数据处理 下游同步管理 业务逻辑so 监控管理 mysql 1 ZCache Memcache 请求解析 数据和表管理 索引管理 replicate update BROKER STORAGE BROKER 高版本MySQL向低版本复制 跨数据库系统的复制 支持多主库向单台Slave的复制 支持数据触发，用户可对数据增量进行预处理，代替数据库触发器 STORAGE 命令服务：创建表、删除表、dump表、load表、查看表信息、更新表状态（启动、停止更新、检索服务等），支持动态加载可向storage发送命令请求的白名单ip列表。 更新服务：插入表记录、删除表记录、更新表记录，支持动态加载可向storage发送更新请求的白名单列表。 检索服务：对某列、某几列的精确、范围、模糊查找，及对结果的order by、limit等。 监控服务：动态监控遵循《动态监控协议规范 [AMPv1]》，监控系统运行状况。 BROKER工作原理 STORAGE工作原理 系统限制 基于MYSQL5.1 行复制协议 同步的更新指令是幂等操作 storage不支持联表查询 storage不支持事务 内容 EMS架构和工作原理 1 EMS典型应用 EMS性能测试 EMS简介 5 EMS下一步工作 5 2 2 性能测试条件 所有测试均基于如下表结构进行： CREATE TABLE `wordinfo` ( `adid` int(10) unsigned NOT NULL, `unitid` int(10) unsigned NOT NULL, `planid` int(10) unsigned NOT NULL, `userid` int(10) unsigned NOT NULL, `keyword` char(40) character set gbk collate gbk_bin NOT NULL)’? Storage主程序测试： 内存：64G CPU： 8核 Intel(R) Xeon(R) CPU 2.40GHz 针对 adid + useri