自定义数据处理平台的容器化实践 - 七牛云资深研发架构师 - 袁晓沛.pdfVIP

ArchSummit全球架构师峰会 深圳站2016 七牛自定义数据处理 自我介绍 • 袁晓沛 • 经历：盛大、七牛、EMC、七牛 • 领域：分布式存储，容器、微服 务，大规模数据处理 大纲 • 业务、产品介绍 • 官方数据处理 • 业务特点、挑战 • 架构演化 • 解决方案 • 自定义数据处理 • 业务特点、挑战 • 注册、开发、构建 • 启动、升级、伸缩 业务定义 • 针对海量数据 • 提供零运维、高可用、高性能的数据处理服务 • 日处理数近百亿次 • 让用户轻松应对图片、音视频以及其他各类数据的实时、 同步处理场景 处理方式 • 官方数据处理 • 提供基础的数据处理服务，包括但不限于图片转码、水印、原图保护、防 盗链等，及音视频的转码、切片和拼接等。 • 自定义数据处理 • 允许用户构建、上传自定义的私有数据处理服务，并无缝对接存储在七牛 的数据及其他数据处理服务。 • 第三方数据处理 • 开放应用平台，提供大量功能丰富的第三方数据处理服务，如图片鉴黄、 人脸识别、广告过滤、语言翻译、TTS等。 使用方式 图片URL UFOP命令 请求参数 原图 结果 官方数据处理 挑战 • 请求量非常大 • 突发流量频繁 • CPU密集型计算 • IO操作频繁 官方数据处理 - v1 官方数据处理 - v2 • 增加 Discovery 组件 ，收集 Agent 上报信 息 • FopGate 从 Discovery 获取集群信息，做 LB • 增加业务 Agent • 上报后端信息 • 上报保活信息 • 单机内 worker LB 系统测量 • FopGate • 单机最大请求数、句柄数 • 根据实际的业务量，确定机器数 • Image/Audio/Video Worker • 找到资源使用最佳范式 • 根据最佳范式，合理分配资源、配置实例 • 意外发现 • 大实例、高并发，不如多实例、限制并发 • 操作系统对CPU调度，比进程好 增加队列 • 服务质量 • 请求排队，不争抢资源 • 保证运行速度最快 • 运营角度 • 根据节点个数、队列长度， • 区分免费、付费客户 • 免费用户，确保高可用 • 付费用户，确保高质量 限流 • 为什么限流？ • 大量长链接影响FopGate性能 • 突发流量，导致队列过长 • 限流手段 • 并发HTTP请求限制 • 单用户请求数限制 • 但Cmd数限制 合理协调IO、CPU • 为什么？ • 下载、写盘、处理、写盘、返回 • 协调方式 • 总原则：就近计算 • FopAgent、Worker混布(1:N) • 缩减网络IO的路由次数 • 挂载ramfs ，将内存当磁盘使用 • 跳过磁盘IO 自定义数据处理挑战 • 处理程序由客户提供 • 安全性 • 隔离性 • 业务规模不确定性 • 可伸缩性 自定义数据处理 - 业务流程 注册 $ ./qufopctl reg ufop-demo -m 2 注册后端 ufop.yml ufop.tar 构建 $./qufopctl build ufop-demo -d ./ufop-demo- folder 构建后端 使用Debian镜像服务 AppRox - 经常下载超时 - 下载出错后，需要手动清除 Debian Pkg Mirror -