高材生似的Redis材料.ppt

主从和自动切换(二) 4 单机多例 4 如果有一台服务器 4核 * 32G 做redis缓存 taskset -c 0 ./redis-server ../redis_6380.conf 内存:6G taskset -c 1 ./redis-server ../redis_6381.conf 内存:6G taskset -c 2 ./redis-server ../redis_6382.conf 内存:6G taskset -c 3 ./redis-server ../redis_6383.conf 内存:6G 1.这样aof可以通过bgrewriteaof命令控制dump的时,每个节点时间dump时间错开， 只需要预留6G内存可以保证做到 数据持久化并且稳定性 2.开多实例可以充分利用系统CPU、网卡处理小包能力。如果多实例是为了提高处理能力， 需要注意配置网卡软中断均衡，否则处理能力也无法提升。 优点 ：省内存,提高吞吐量 缺点：运维维护复杂 一致性HASH（高速缓存） 4 /cywosp/article/details使用Twemproxy 实现集群方案（高速缓存） 4 一个由twitter开源的c版本proxy，同时支持memcached和redis，目前必威体育精装版版本为：0.2.4，持续开发中; /twitter/twemproxy .twitter用它主要减少前端与缓存服务间网络连接数。 特点：快、轻量级、减少后端Cache Server连接数、易配置、支持ketama、modula、random、常用hash 分片算法。 客户端自定义集群 4 前端缓存 4 redis cluster 架构 4 架构细节: (1)所有的redis节点彼此互联(PING-PONG机制), 内部使用二进制协议优化传输速度和带宽. (2)节点的fail是通过集群中超过半数的节点检测失效时才生效. (3)客户端与redis节点直连,不需要中间proxy层. 客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可 (4)redis-cluster把所有的物理节点映射到[0-16383]slot上, cluster 负责维护node-slot-value redis-cluster选举:容错 4 (1)领着选举过程是集群中所有master参与,如果半数以上master节点 与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉. (2):什么时候整个集群不可用(cluster_state:fail),当集群不可用时, 所有对集群的操作做都不可用， 收到((error) CLUSTERDOWN The cluster is down)错误 ? ? a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态, 也可以理解成进群的slot映射[0-16383]不完成时进入fail状态. ? ? b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态. + 4 1 智能化监控报警 开机服务自动重启 故障自动重启,重启失败转移 。。。。。。。。。。。 一款优秀的产品是整个团队的一起辛劳的结果 谢谢 高材生 方少 似 的 博而不精？ 1 挑战群英~ 2 实战演示！ 3 高可用集群+ 4 博而不精？ 1 Redis可用场景 1 Redis三种角色介绍 1 Redis 内存存储结构 1 Redis 底层功夫 对于一个hash对像，当成员数量少于512的时候使用zipmap 反之使用hash表 对于一个list对像，当成员数量少于512的时候使用ziplist ,反之使用双向链表(list); 1 Redis SDS数据结构 相比c语言中的字符串，sds有如下的好处： 1.记录了字符串的长度，用O(1)的时间复杂度可以获得字符串的长度。 2.有效的管理字符串所占用的空间，自动扩展空间等,杜绝缓存益处 3.减少修改字符串长度时所需内存重新分配次数 4. 二进制安全 1 博而不精？ 放心使用 内存爆表,宕机,有一到两秒钟数据丢失风险, 数据一致性非常高的数据不合适使用。 避免dump时内存不足 能满足大部分业务需求,不过要了解 各指令复杂度，避免O(N)一个超大集合 它仅仅是保证事务里的操作会被连续独占的执行 没有隔离级别的概念 不保证原子性 少量应用可以，功能挺美, 推送消息量太大会出现性能问题 挑战群英~ 缓存体系 2 配置缓存 2 缓存名称 命中率 数据量 读取速度 集群