《网站存储经验谈@阿里巴巴》.pdfVIP

1 这里讲的“存储”不只是传统意义上的专业存储设备。 一般意义上讲的“存储”，是指数据库用的专业存储设备，而现下的存储服务 器、云存储应用场景越来越多，此其一 在维护、优化方面来讲，管理存储也并不仅限于对存储本身的配置、调整，需 要结合应用甚至其他系统综合分析，此其二 2 非常简单的单台服务器结构 3 非常简单的单台服务器结构→多台服务器的集群 4 数据库、各种功能增多、剥离，出现了独立的应用集群，与图片服务器共享数 据 （共享存储经历了PC-Server 、PC+DAS、NAS的过程） 5 前端负载 增加——增加了Cache层 6 服务器数量多到一定的规模，出现File-Server ，统一文件操作接口，避免过多 mount，还作为云存储的网关 7 特点： 文件量众多，数以十亿计 并发访问大，10W+ connections 应用环境杂，项目多，文件共享需求多 要求低成本，高可靠 这个时候，各种各样的问题就出现了 8 数据混合导致空间被耗尽，存储空间上限瓶颈：拆分目录 随单个目录文件数量爆满、子目录数爆满导致写失败 意的软链接是日后运维的地雷，存储迁移、数据拆分的隐患 存储性能瓶颈：scale-up/应用层面分卷 → 集群 → 云存储 9 文件系统的组织： 业务规模小时，没有任何问题：随意创建目录、往一个目录中随意堆放文件…… 规模扩大，积重难返：目录有上限（用满子目录限制、文件数限制导致无法新 建文件） 实例：cnfenjie001→ memberid_to_path 之后，cn/fe/nj/… cn这个目录爆满 缓存的影响：例如随机小IO运行得非常好，出现了一个顺序大数据量IO的需求 ，必然导致存储性能意料之外的表现—— 中端存储一套，测试满足18000 IOPS，符合DB的需求，实际使用中发现IO影响慢 →Cache持续满→后端磁盘忙←发现实际使用中有另一个顺序读写定时跑； NAS在搬迁时，磁盘利用率50%，两台NAS临时并到一台进行搬迁，发现元数据 存取缓慢； FC→SATA copy备份数据，缓存被占满，导致FC IO响应缓慢 降级：GreenPlum集群，用SATA盘+ZFS 的raidz2 ，初期非常顺利，第三年，SATA 盘故障率升高，业务增长导致IO负荷增加 → 每周坏盘 FS3，SATA实现了低廉的成本，唯一的问题就是坏盘后RTO非常长 10 大图+分卷是主要目标，缩短文件路径是补充要求，但是最终缩短文件路径取得 了很好的成效 11