神级memcached源代码分析文档_.0代码分析.docxVIP

Analysis of Source Code of Memcached By Honglin Tan Memcached源代码分析 谭洪林 Memcached是一个经典的分布式内存对象缓存系统，当前很多知名互联网公司都在用memcached为自己的用户浏览提供更好（更快）的体验。故而对memcached源代码的分析是十分有必要的。 本文档总共分以下几个部分对memcached进行详细的剖析： Memcached的架构 Memcached的代码结构 Memcached核心数据结构 Memcached的内存管理机制 Memcached的线程机制 Memcached的分布式hash算法 Memcached的架构 memcached的架构是C/S架构，client不是指“用户”的客户端，而是指能够处理“应用程序”发出的请求，并且对请求进行分布式处理的“类似中间服务器”。Memcached的工作原理是两阶段hash。第一阶段：应用程序将请求发送到客户端，客户端调用算法库，选择一个memcached server接受请求来进行后续的服务。一般来说，这种选择是根据请求的key值决定的。通过这样来讲不通的key-value对分配到不通的memcached server中。 Memcached server的工作就是处理应用程序的请求。它的内部线程机制master – worker模式。一个主线程不停监听、accpt、以及分配“连接”到worker手中，worker负责真正的处理请求。Worker负责和最底层的“内存”打交道，以及对hash表的管理。 将负责分布式的“客户端” 和 负责处理请求的 “服务器” 分开的做法有其优点：1、减轻memcached server的负担，是memcached server能更加专注的处理请求。 2、利于memcached server的扩展。无论memcached server失效还是新增，只需要在客户端添加或者删除记录即可，这对集群而言是很方便高效的。 3、memcached server 不需要互相通信，避免了多播或者广播协议，能减轻网卡负担。 Memcached的代码结构 下面是memcached的主要代码目录： hash.h\hash.c // server端的hash算法 assoc.h\assoc.c //server端的hash表管理 Items.h\items.c //server端的item对象管理 slabs.h\slabs.c //server端内存管理 memcached.h\memcached.c //主要逻辑、main函数 thread.c //线程管理 stats.h\ stats.c //监控器 sasl_defs.h\ sasl_defs.c //安全认证 protocol_binary.h //而禁止协议 cache.h\cache.c //不要紧、、 util.h\ util.c //小工具，字符串转化整数之类从memcached的定义给代码分层次结构： Memcached是 分布式 内存 对象 缓存 系统 内存：内存是memcached的基础，对内存的管理在slabs.h\slabs.c中被定义 对象：内存中存储的是对象，对对象的操作在Items.h\items.c中被定义 缓存：系统的作用是缓存，也就是提高存取速度。主要由hash表和hash算法来完成，在中hash.h\hash.c assoc.h\assoc.c被定义。 系统：作为一个系统，必须有自己的主要逻辑，线程处理等等，在memcached.h\memcached.c thread.c中被定义 分布式：不属于server的范畴，在客户端中被定义 本文档主要分析三个方面的内容：内存机制、线程机制和客户端hash算法。因为主要逻辑、二进制协议、安全认证等部分并不是memcached特色。 Memcached的核心数据结构 这里介绍两个重要的数据结构。一个是整个系统配置settings结构体，一个是整个系统状态记录结构体stats。 Settings： size_t maxbytes; 最大容量 初始64M –m int maxconns; 最大连接数 初始1024 –c int port; tcp端口 初始11211 –p int udpport; udp端口 初始11211 -U char *inter; Ip地址 初始NULL -l int verbose;