浅谈建立用户访问模型的重要性与方法.pdfVIP

浅谈建立用户访问模型的重要性与方法 背景 最近一段时间参与了较多微博中的长微博业务，与包括无线部门、Web、平 台等技术同事都有过深入的沟通与探讨，从其他人身上学习到很多东西，其中启 发最多的是持续建立用户访问模型非常重要，这篇文章通过长微博业务实例，论 证一下其对系统架构设计、性能优化的重要意义。 业务实例 以长微博为例，分析了2015 年1 月6 日的访问日志，得出下面的数据： 从结果看，最近6 天的访问量只有20%，这个与普通微博完全不一样，普通 微博访问量中创建日期在7 天内的占比达到80%以上。 进一步扩大分析范围，能够得出类似的数据： 这个数据进一步验证了用户访问的长微博在时间维度上是相对比较均匀的， 其中的一个原因是用户发布的长微博质量更高、数量更少、间隔时间更长。 分析访问的长微博大小，可以帮助我们对底层存储引擎做选型与优化。 建立用户访问模型的方法 通过上面长微博直观的数据分析结果，可以看到用户访问模型对于业务系统 架构设计以及后期优化，有着至关重要的作用，在实际工作中，我们可以分成几 个阶段来构建与使用用户访问模型： 1. 模型摸索阶段 在这个阶段，通过简单的分析接口日志，从不同维度的汇总，得出初步 的结论。 2. 建立用户访问模型阶段 在这个阶段，通过前期的统计分析，可以对系统做进一步梳理，将不同 维度的分析结果有机的聚合起来，形成业务的一个有效用户访问模型。 3. 自动构建用户访问模型 在这个阶段，用户访问模型基本确定，这时通过自动化脚本或者Spark 等分布式计算平台将用户访问模型收集自动化并监控起来，一旦用户访 问模型发生变化，可以快速的做出响应。 基本的用户访问模型分析方法 本文列举一些基本的用户访问模型建立方法，方便大家在系统设计时参考。 1. 读写比 读写比是各个业务都需要量化的因素：1）读写比高的业务，首先需要考 虑的是将业务系统的上（写）、下行（读）分开，这样有利于访问量发 生变化时，灵活的扩容上行或者下行，其次读比例高的也可以方便的增 加缓存降低数据库的访问压力；2）读写接近的业务，因为通常写入的性 能比读取差很多，所以写入的瓶颈成为系统的瓶颈。 2. 缓存命中率 在读写比高的用户访问模型下，可以进一步分析缓存命中率来决定缓存 容量与数据库容量，在长微博场景下，可以看到每一天的长微博阅读量 为1000 （非真实数据），排重后的长微博为50，排重比达到20:1，所以 缓存命中率可以轻易达到95%以上的概率，非常适合增加缓存提高系统系 统吞吐量，降低响应时间。 3. 平均QPS 与峰值QPS 分析业务系统的平均QPS 与峰值QPS，可以清楚的知道系统的访问量与峰 值访问量，然后压测单台机器的峰值QPS，可以计算出系统所需要的机器数 量 （业务峰值QPS/单机峰值QPS），在容量规划方面，需要留出30%以上的 buffer。 4. RT （Response Time） 业务系统的响应时间，与业务复杂性和算法优劣息息相关，在做系统优 化上，根据响应时间可以快速找到系统瓶颈，然后对症下药。 5. 应用来源分析 用户可能通过不同的设备、不同版本的客户端访问，通过应用来源分析， 可以清楚的知道各个来源的占比与具体分布，然后有针对性进行系统优 化。 6. 网络来源分析 分析PC 与移动请求来源占比，可以帮助了解用户访问设备的变化趋势， 目前情况下，移动端占比越来越高，所以系统优化的重心逐渐向移动端 倾斜。 冰冻三尺，非一日之寒，在实际业务开发中，只有不断探索、总结、改 进业务系统的用户访问模型，才能设计出越来越好的系统。