南京大学城市与资源学系 多媒体技术与应用 第二讲.多媒体信息的表示 声音.ppt

多媒体技术与应用 南京大学城市与资源学系 陈　刚 Chengang@nju.edu.cn 语音识别技术的难点 语音变化大，不同人不一样，同一人也会有变化。 语音有模糊性，不同词语听起耒很相似。 同一字和词的发音受上下文影响而有不同（语音的同化、异化、换位、弱化、脱落等音变现象）。 环境噪声的干扰，例如墙壁与物体对声波的反射会与主声波重迭。 连续语音流不易把单字（词）区分出来（端点检测）例如，若单字（词）识别正确率为0.95，则：3个单字（词）组成的句子识别正确率为 0.857; 8个单字（词）组成的句子识别正确率为 0.663 单字（词）与库中的模板比较之前，必须进行复杂的时间归一化处理。 Sonique 超级音频解霸 1. 何谓VQF？ VQF，全称为TwinVQ（Transform-domain Weighted Interleave Vector Quantization)，是由日本的YAMAHA和NTT集团共同开发的一种频压缩技术。 简单地说，它和MP3都是通过采用一定的算法来将声音进行压缩，不过它所采用的是一种称为“矢量化音频编码”的压缩技术，它是先将音频数据矢量化，然后对音频波形进行分析，将该波中相类似的波形部分统一与平滑化，并强化突出人耳敏感的部分音频，最后对处理后的矢量数据标量化再进行压缩。这样，经过压缩的音乐，压缩比就可以达到1：18或者更高，跟MP3比起来，大小只是它的一半，而音质几乎一样，可以达到“CD音质”。 3.7.4 数字音频——VQF 当VQF以44Khz-80kbp/s的音频采样率压缩音乐时，它的音质优于44Khz-128kb/s的MP3，当VQF以44Khz-96kbp/s的 频率压缩时，它的音质几乎等于 44Khz-256kb/s的MP3！ 1. 何谓网络流媒体 （Streaming Media） 在Internet上传输音/视频（A/V）等多媒体信息，目前主要有下载和流式传输两种方式。对于用户比较熟悉和经常使用的下载方式而言，下载一个A/V文件往往需要耗费数分钟或数小时。这主要是由于通常A/V文件数据量较大以及网络带宽的限制。为此，用户需要一种突破带宽限制的新的信息传输方式，于是流媒体技术应运而生。 所谓流媒体是指采用流式传输的方式在Internet播放的媒体格式，而流式传输方式则是将整个A/V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视音频服务器向用户计算机连续、实时传送。 3.7.5 数字音频——网络流媒体 在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备对压缩的A/V、3D等多媒体文件解压后进行播放和观看。这是一种“边下载，边回放”的模式。 与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。 流媒体大大适应了视频点播、直播的要求。 音频流媒体格式有：.ra，.wa，.mov 2. 常见的流媒体 到目前为止，Internet上使用较多的流媒体格式主要有RealNetworks公司的RealMedia、Apple公司的QuickTime和Microsoft公司的Windows Media。 RealNetworks公司的RealMedia包括RealAudio、RealVideo和RealFlash三类文件。其中RealAudio用来传输接近CD音质的音频数据；RealVideo用来传输不间断的视频数据；RealFlash则是RealNetworks公司与Macromedia公司新近联合推出的一种高压缩比的动画格式。RealNetworks公司自1995年发布RealAudio 1.0以来，RealAudio和RealVideo产品已经成为Internet网上最受欢迎的解决方案。其中所采用的SureStream（自适应流）技术是RealNetworks公司具有代表性的技术。 QuickTime支持几乎所有主流的个人计算平台，是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。 Microsoft公司的Windows Media的核心是ASF（Advanced Stream Format）。ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。其中，在网络上传输的内容就称为ASF Stream。 除了上述流媒体技术的三种主要格式外，流媒体技术还有Macromedia的Shockwave Flash技术，用户通过这一技术可以方便地在Web页面中加入图像、动画以及交互式界