网络性能调优.pdfVIP

⺴络性能调优分享 阿⾥云核⼼系统鸣嵩 weibo @曹伟-鸣嵩 ⼤纲 • ⺴卡硬件 • Linux⺴络报⽂处理 • ⼩报⽂性能瓶颈分析 • ⼩报⽂性能优化技术 • 协程 ⺴卡硬件 • 千兆⺴卡 • bnx2/tg3/igb • MSI/MSI-X • 多队列/多中断 • RSS • 查看⺴卡型号 # ethtool -i eth0 • 查看⺴卡中断 # cat /proc/interrupts|grep CPU\|eth0 Linux系统接收报⽂流程 • NIC DMA • 中断处理例程 • softirq • 协议栈处理 • 查看软中断 # cat /proc/softirqs | grep CPU\|NET • 实时看irq/softirq # mpstat -P ALL 1 ⺴络性能指标 • 吞吐量 Mb/s • PPS (packet per second) • 丢包率 • 响应时间 • 资源使⽤率 cpu, memory, bus, etc 优化之前测试带宽 • iperf⼯具 检查各⺴卡pps • watch ifconfig 报⽂性能开销分析 • 每个报⽂固有的开销 • 中断/上下⽂切换 • 报⽂header • 和报⽂⻓度相关的开销 • CRC/Checksum计算 ⼩报⽂理论上的瓶颈 提⾼⼩报⽂性能 • Packet polling • 不使⽤⺴卡中断 • Linux NAPI • 20-25%性能提升 • 不使⽤TCP/UDP ，私有协议，2层数据包 ⺴络框架层合并⼩报⽂ • 应⽤层传递⼩报⽂到框架（异步/协程） • 框架缓存⼩报⽂，延迟批量发出 • 框架层I/O线程 • 与应⽤层线程的cpu affinity保持⼀致 • 压缩LZ4/Snappy • Tradeoff 延迟v.s.吞吐量 协程 • ucontext实现 • ⼤量sigprocmask调⽤ • spin lock in kernel • 多线程下性能较差 • setjmp/longjmp • 没有系统调⽤和锁，性能⾼ • 构造jmpbuf复杂 • 参考”Portable Multithreading The Signal Stack Trick For User-Space Thread Creation” • Trick • 利⽤ucontext进⼊协程，setjmp获得jmpbuf Thanks