centlinux大规模网站开发技术.pptVIP

——原理和实践 宋登高，2014年9月 “分”而治之，分是根本 垂直切分的思想 Apache水平扩展 数据库的垂直拆分 user blog App DAL 数据库的水平拆分 user 33% user 33% user 34% DAL App 分层的软件架构 服务层 应用层 数据层 分层的软件架构 架构模式在新浪微博的应用 分割网站中的不同业务 用户统一认证子系统 网站前台 子系统 网站管理后台 子系统 分隔网站中的不同业务 销售后台 会员管理 跟单管理 财务管理 运营后台 Offer审批 会员审批 类目运营 数据采集分析 网站前台 用户登录 用户前台 用户后台 旺铺、广告 社区、论坛 合作部门 有哪些信誉好的足球投注网站引擎 阿里旺旺 支付宝 淘宝总体分解：按不同的业务领域进行分离 分而治之，分布式的思想 分布式应用和服务：将分层和分割后的应用和服务模块分布式部署，除了改善网站的性能外，还便于业务的扩展。 分布式静态资源：动静分离，减少应用服务器的压力 分布式数据和存储：单台计算机无法提供足够的存储空间，数据需要分布式存储，各种NoSQL产品几乎都是支持分布式的 分布式计算：有哪些信誉好的足球投注网站引擎等索引的创建，数据仓库的数据分析等这些业务的计算规模非常庞大，目前普遍采用的技术是用Hadoop及其MapReduce分布式计算框架来进行处理 分而治之，动静分离 动静分离：所谓的动静分离，就是将 Web 应用程序中静态和动态的内容分别放在不同的 Web 服务器上，有针对性的处理动态和静态内容，从而达到性能的提升。 动静一旦分离开，就很方便对静态资源做高效的缓存。 分而治之，读写分离 读写分离：MySQL的主从复制解决了数据库的读写分离，并很好的提升了读的性能，其原理如左图所示： 分而治之，集群的思想 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 缓存，缓存还是缓存 将处理结果保存起来，等到再需要同样的处理结果的时候就直接返回。不再去进行重复的处理。 缓存，缓存还是缓存 异步消息队列 大型网站中，系统解耦的手段除了分层、分割、分布等，还有一个重要手段就是异步。 加快网站访问速度 消除并发高峰 提高系统可用性 自动化思想 自动化代码管理：代码版本控制、代码分支创建合并等 自动化测试：代码开发完成后，提交测试后，系统启动自动化测试用例进行测试，并给相关人员发送测试报告 自动化部署：将工程代码自动部署到线上生成环境 自动化监控：对服务器进行心跳监测，监控各种性能指标 自动化报警：如果监控出现异常，超过阀值就进行自动报警 自动化安全监测：检测工具对代码进行静态安全扫描 自动化失效转移和恢复：监测到系统故障，自动将失效的服务器从集群中隔离出去，故障消除后，又自动加入集群 精益求精，优化每一个细节 Linux优化 依据应用的特性来选购服务器 安装系统后进行的优化 优化内核TCP参数提高系统性能 正式环境尽量选择编译安装软件包 Apache优化：选择运行模式、修改参数、去掉不用的模块 MySQL优化：分析慢查询、建立恰当索引、简化SQL、非范式设计 PHP优化：编译最小化、利用opcode缓存、php.ini配置 大型网站常用技术和工具 大型网站常用技术和工具 负载均衡技术：英文名称为Load Balance，其意思就是将负载（工作任务）进行平衡、分摊到多个操作单元上进行执行 高可用技术：High availability，在一个给定的时间间隔内，对于一个功能个体来讲，总的可用时间所占的比例 文件分发技术：把服务器上的文件迅速传送到其它的服务器 代码管理工具：SVN、Git NoSQL技术：Memcache、Redis、Mongodb 虚拟化技术：Xen、 VMware CDN技术和缓存工具：加速静态资源的访问 负载均衡技术 负载均衡 （Load Balancing） 提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。通常是由专用软件或硬件来完成。 负载均衡技术 优点 缺点 并发数 LVS 抗负载能力强、配置性比较低、工作稳定、应用范围比较广 不支持7层转发，配置较为繁琐 十多万的并发 Haproxy 4层 和7层都支持、配置简单、有监控界面 性能没有LVS高 可以支持5到10万的并发 Nginx 只支持7层转发、配置简单、epoll模型能挡高并发 主要支持http和Email应用范围小 1万次 F5 BIG-IP 性能非常高，功能非常强大 需要专业维护人员售价几十万，比较贵 几百万并发 TCP/IP 和7层网络模型 负载均衡的常见算法 随机：负载均衡方法随机的