优化卷积计算directconvolutionim2col-based-51ctocom.pdfVIP

深度学习在移动端的 优化实践 黄文波(鬼谷) 美丽联合集团 集团简介 美丽联合集团是专注服务女性的时尚消费平台 ，成立于2016 年 6 月 15 日。美丽联合集 团旗下包括：蘑菇街、美丽说、uni、锐鲨、MOGU STATION等产品与服务。覆盖时尚 消费的各个领域 ，满足不同年龄层、消费力和审美品位的女性用户日常时尚资讯与时尚 消费所需。 整体数据 时尚红人 120,000+ 日活用户 10,000,000+ 注册用户数 200,000,000+ 移动用户占比 女性用户占比 95%+ 成交规模 95%+ ¥20,000,000,000+ 主要内容 背景与现状 模型压缩与设计 移动端实践 总结 01 背景及现状 深度学习：从云端到边缘计算 蘑菇街为什么做深度学习优化 ？ 服务器 • 减少训练、预测的时间 • 节约GPU资源，节约电 移动端 • 实时响应需求 • 本地化运行，减少服务器压力 • 保护用户隐私 CNN基础 CNN基础 Challenge 深度学习：网络越来越深，准确率越来越高 越多的存储和 模型越来越大 耗费越多能量 计算 移动设备：内存有限、计算性能有限、功耗有限 02 模型压缩与设计 Model Compression Pruning Quantization Huffman Encoding Pruning Weight-Level Pruning for the sparse connections Han et al, “Learning both weights and connections for efficient neural networks”, NIPS 2015 Pruning Channel-Level Pruning and retraining iteratively Li et al, “Pruning filter for efficient convnets”, ICLR 2017 Pruning Channel-Level Pruning with L1 regularization Liu et al, “Learning efficient convolutional networks through network slimming”, ICCV 2017 Quantization Han et al, “Deep Compression: Compressing deep neural networks with pruning, trained quantization and huffman coding”