语音产品测试宾峥.pptVIP

语音产品测试 音质测试和性能测试 网易杭州研究院 宾 峥 bz326@163.com 移动通信 电话会议 网络电话 游戏语音 。。。 语音产品的范围 低劣音质的悲剧 音质测试 语音过程的实现 什么在影响音质？ 如何改善音质？ 怎么测试音质？ 服务器性能测试 测试需求 测试方法 测试数据 测试瓶颈 概要 语音过程的实现 衡量语音质量的因素 延时 流畅 清晰 舒适 ...... 什么在影响音质？ 环境背景 客户端硬件 输入输出设备 cpu 语音引擎 有损压缩 采样率 语音处理技术 网络 服务器 服务器丢包 网络对音质的影响 抖动 tcp抖动 udp抖动、乱序 udp丢包 网络延时 延时的来源 网络延时 客户端 接收端jitter延时 发送端延时 采集、回放延时 编、解码延时 服务器延时 如何改善音质？ 语音引擎的优化 回声消除 噪声抑制 自动增益 静音检测和舒适噪音 ...... 适应网络环境 强大的服务器 适应网络环境 对于延时 网络传输延时无法规避 对于抖动 jitter buffer 对于丢包 发送端增加冗余数据 接收端增加丢包补偿策略 服务器端增加丢包补偿策略 极端情况下 发送端转成tcp 接收端转成tcp 强大的服务器 分布式、可扩展 转发语音数据不做任何逻辑处理 确保硬件处理能力达到要求 改善音质的悖论 语音引擎无法兼顾高音质、低延时、低带宽 使用jitter缓解抖动时，会增加延时 发送冗余数据缓解丢包，会增加延时和带宽占用 发送冗余数据会增加服务器压力 极差网络环境下，TCP连接虽能明显改善音质，但也会增加延时、带宽占用和服务器压力 ...... 如何评价音质？ 主观评价 平均意见分MOS（Mean Opinion Score） 下降的平均MOS（Degradation Mean Opinion Score） 诊断押韵测试DRT（Diagnostic Rhyme Test） 满意度判断测试DAM（Diagnostic Acceptability Measure）等 客观评价 建立一个人脑与耳朵的模型，模拟听众环境 通过这个模型模拟听觉失真 计算出一个质量指标，衡量原始语音与经过处理的语音之间音质下降的程度 这些指标通常都与主观测试有相似的值域，但没有严格的映射。 PSQM（Perceptual Speech Quality Measure，感知通话质量测量）-- ITU-T P.861 PSQM+ -- 荷兰KPN公司 PESQ（Perceptual Evaluation of Speech Quality，感知评估通话质量测量）-- ITU-T P.862 客观评价算法 音质评价方法比较 主观评价方法 是最终用户的感受，反映语音的真实质量 耗时、成本高，不可重复 客观评价方法 可以批量、自动进行 评估结果较为准确 操作复杂、成本高昂，适用于电信级别 我们怎么测试？ 语音引擎设置的影响 语音引擎对网络的适应性 产品对网络的适应性 与其它产品音质对比 语音引擎设置的影响 语音样本输入到语音引擎 语音引擎输出到播放设备 排除网络因素 调整语音引擎参数和设置 多人次、多样本主观评价 语音引擎 语音样本 采样率x 采样率y 音质评分 延时 音质评分 延时 引擎A 对话样本 歌曲样本 引擎B 对话样本 歌曲样本 语音引擎对网络的适应性 udp丢包时的音质 语音引擎 语音样本 丢包率x 丢包率y 丢包率z 引擎A 对话样本 歌曲样本 引擎B 对话样本 歌曲样本 引擎C 对话样本 歌曲样本 抖动乱序时的音质 语音引擎 语音样本 随机抖动区间x 随机抖动区间y 引擎A 对话样本 歌曲样本 引擎B 对话样本 歌曲样本 引擎C 对话样本 歌曲样本 产品对网络的适应性 测试场景设计 上行 or 下行 tcp or udp 抖动 udp丢包 语音样本 测试场景A 测试场景B 测试场景C 音质评分 延时 音质评分 延时 音质评分 延时 对话样本 歌曲样本 与其它产品音质对比 测试场景设计 网络环境 软硬件环境 所在测试房间的人数、设置等 语音产品 语音样本 测试场景A 测试场景B 音质 延时 音质 延时 产品A 对话样本 歌曲样本 产品B 对话样本 歌曲样本 如何可重复 如何更客观 如何更精确 。。。 怎样做得更好？ 除了音质... 还需要强大的服务器 语音服务器架构 不同房间段的服务器隔离 同一房间段内服务器可扩展 性能测试需求 基于udp 单台服务器转发量 是否丢包 对延时的影响 服务器集群的扩展性 ...... 基于tcp 严格限制用户使用tcp 测试系统架构 测试场景 测试场景 1个房间里，X人说话、Y人听众 N个房间里，分别Xn人说话、Yn人听众 理论上等价于 单位时间内的u