Squirrel缓存系统Rehash机制解析.pptx

Squirrel缓存系统Rehash机制解析

Squirrel缓存系统介绍Redis满容状态下的RehashRedisRehash内部实现Scan原理RootCause定位

1Squirrel缓存系统介绍

Squirrel缓存系统架构Squirrel缓存系统是基于RedisCluster实现的分布式架构。该架构支持自动扩缩容和高负载情况下的中断优化。

RedisRehash机制介绍RedisRehash机制用于解决数据分布不均的问题。它会在高负载情况下重新分配数据，以保持数据的平衡。该机制会增加系统的复杂性和延迟，需要谨慎使用。可以通过调整Redis参数来控制Rehash的频率和策略。

高负载情况下物理机丢包的解决方案分析网络环境和物理机状态，定位丢包原因。采用负载均衡技术和故障切换机制，确保系统可用性。

2Redis满容状态下的Rehash

监控图示例Redis满容状态下，由于Rehash导致Key驱逐现象严重。Master/Slave主从不一致，需要进行RootCause定位。Slave内存区域比Master少一个repl-backlogbuffer，因此不会因满容触发驱逐。通过Redis监控和业务链路监控均未定位成功，需要进一步排查。

RootCause定位Slave内存陡增是导致Redis内存陡增的主要原因。外部因素包括客户端连接、输入/输出缓冲区、业务数据存取访问和网路抖动。Redis源码中存在Rehash机制，可能影响内存开销。

Redis源码分析RedisRehash是一个重要机制，影响内存开销。Rehash会导致内存重新分配，可能引发问题。通过深入研究Redis源码，发现问题所在。Rehash机制的优化可能解决问题。需要进一步研究Rehash的具体实现，以便找到解决方案。

解决方法探索优化Redis的Rehash机制，降低内存开销。避免在Rehash过程中产生Key驱逐现象。调整Redis参数以改善性能和稳定性。研究和实践Redis的内存优化技巧。

3RedisRehash内部实现

Redis哈希表结构体Redis哈希表采用键值对存储数据。哈希表使用哈希函数将键映射到特定位置。每个位置的值是一个列表，用于存储该键的所有值。哈希表支持多种数据结构，如字符串、列表、集合和有序集合。键值对在哈希表中是唯一的，因此不存在冲突。

Redis哈希桶Redis哈希桶是Redis内部数据结构的一种，用于存储键值对。哈希桶通过哈希函数将键映射到桶中的某个位置，提高了数据存储和查询的效率。Redis哈希桶允许高效的插入、删除和查找键值对，因为它采用跳表结构来存储桶中的数据。Redis哈希桶对于高并发、低延迟的数据处理具有很好的性能表现，被广泛应用于各种应用场景。

Redis字典Redis是一种内存数据库，支持键值对存储。Redis采用发布-订阅模型实现高可用性。Redis支持多种数据结构，如字符串、列表、集合和哈希表。Redis具有高效的数据读写性能和可扩展性。Redis广泛应用于缓存、消息队列、排行榜和实时计数等领域。

dictExpand源码实现dictExpand:用于展开字典的函数基本思路：遍历字典的键值对，将键值对添加到新字典中使用setdefault()方法处理未在原字典中存在的键返回展开后的新字典

总结哈希表大小和内存申请大小关系哈希表大小与内存申请大小成正比。哈希表的扩容机制会导致内存申请增加。哈希冲突会影响哈希表的大小和内存申请。负载因子是衡量哈希表填充程度的指标。合理设置哈希表的大小可以提高性能。

不进行Resize操作在RedisRehash源码实现的逻辑上，加上了一个判断条件，如果现有的剩余内存不够触发Rehash操作所需申请的内存大小，即不进行Resize操作。通过提前运营进行规避，比如容量预估时将Rehash占用的内存考虑在内，或者通过监控定时扩容。

提前运营规避容量预估时将Rehash占用的内存考虑在内。通过监控定时扩容。提前运营进行规避。

Scan清理Key不彻底的问题Redis使用Scan清理Key由于Rehash导致清理数据不彻底。实际线上运行效果并不是每次都能完全清理干净。

4Scan原理

Scan原理Redis提供Scan命令匹配符合给定模式的Key。Scan命令返回符合规则的部分Key和游标值Cursor。Cursor用于迭代Scan结果，直到遍历结束。RedisScan在不同字典状态下的实现：tablesize保持不变、Resize扩大、Resize缩小、Rehashing。Scan通过Hash桶掩码的高位顺序访问来避免重复扫描或遗漏Key。

Scan实现原理RedisScan依赖字典状态。高位顺序访问用于减少重复扫描。根据掩码访问Hash桶。遍历过程及