缓存框架.pptxVIP

缓存框架2013年09月26日目 录缓存选型Redis架构高可用方案集群管理平台缓存选型1.1 – Key-Value存储系统简介按照分布式领域的CAP理论来衡量，传统的关系数据库的ACID只满足了Consistency、Availability。传统的关系数据库在处理海量数据、分布式架构等方面有很大的局限性。而Key-Value存储更加注重对海量数据存取的性能、分布式、扩展性支持上，它在分布式环境下的性能相对于传统的关系数据库有较大的提升。分类： Cassandra、MemCached、Hbase、Redis等为什么选择Key-Value存储系统大规模的互联网应用云存储缓存选型1.2 – Redis简介Redis是一个高性能的Key-Value内存数据库高性能官方性能测试结果：50个并发请求10w次，set和get大小为256字节字符串set操作110000次/秒，get操作81000次/秒多数据类型string、hash、list、set及zset(sorted set)持久化、主从复制缓存选型1.3 – Redis对比MemCachedRedisMemcached数据类型支持5种数据类型支持1种数据类型持久化支持4种持久化方式不支持主从复制支持树形主从复制不支持数据结构设计需要一点点设计不需要设计多核CPU需要配置多个实例支持认证机制支持不支持，需要放在防火墙内缓存选型1.4 – Redis缺点数据容量受物理内存大小限制数据超过内存性能急剧下降持久化机制需要大量I/O，可能会导致短期性能下降，并有可能导致内存吃紧。主从复制（Master/Slave）机制存在双方重新连接后，需要主一次快照操作以及复制所有内容的问题暂不支持集群管理，未来可能提供（一致性hash、灾难恢复等）目 录缓存选型Redis架构高可用方案集群管理平台Redis架构Hotel AppFlight App2.1clientclient一致性Hash一致性Hashmastermastermastermasterslaveslaveslaveslave缓存集群管理平台集群管理内容管理实例管理监控报警Redis架构2.2 - 双中心策略优点缺点备注保持目前现状缓存在第一中心实现简单，目前已支持1、不能实现双中心隔离2、需要开通第二中心访问第一中心缓存服务器权限双中心隔离双中心完全隔离1、命中率降低2、需要保证流量不会在两中心移动，否则业务会有问题第一中心主第二中心从没有前一种策略的两个缺点1、双中心没有完全隔离2、实现复杂主从从Redis架构2.3 - 主从master一主多从master一主一从slaveslaveslavemaster链式主从多写随机读mastermasterslaveslaveRedis架构2.4 - 持久化Snapshottingsave 900 1save 300 10save 60 10000AOFappendfsync alwaysappendfsync everysec //性能和持久化方面很好的折中appendfsync noRedis架构2.4 - 持久化1.无持久化2. Snapshotting3. aof-always4. aof-everysec5. aof-no目 录缓存选型Redis架构高可用方案集群管理平台高可用方案3.1 – Redis常见故障Redis持久化时会造成服务暂停现象主从建立复制的时候会由于数据过大而服务暂停主从模式的单点问题网络抖动当机高可用方案3.2 – 读使用ELB来读多台机器（主从）如果主挂了，从从实例上读如果从挂了，从主实例上读需要ELB提供：1、报警接口 2、配置接口问题：有多少个主从对，就要在ELB中配置多少个配置，例如网站需要配置40个配置，ELB是否可以提供一个配置接口？高可用方案3.3 – 写判断故障并选主自动选主人工选主更新客户端配置文件高可用方案3.3 – 更新客户端配置文件方案内容优点缺点恢复时间自动选写（可考虑ELB）优先写主实例，主挂后，写从实例1、不依赖人2、实时修复主实例起来后，会导致数据不一致的现象基本实时自动恢复配置下发目前的方案，收到主挂的报警后，人为的修改配置，把从提升为主，主修复后，当作原从的从实例来使用数据一致1、依赖人2、依赖配置下发：配置管理平台；AOS；下发redis机器发现及时情况下时间：5+3min使用DNS1、使用域名来写到Redis的主实例上2、如果主实例挂了，收到报警后，NOC把域名指到从IP数据一致1、依赖于人2、域名解析有延时，这段时间内服务无法访问发现及时情况下时间：5+5(?)min目 录缓存选型Redis架构高可用方案集群管理平台集群管理平台4.1 – 主要内容网站现状管理group和app（频道）的关