Android平台上H.264视频前端模块研究.pdfVIP

Android平台上H.264视频前端模块的研究 许建东 彭 宏 浙江省通信网应用技术研究重点实验室，浙江杭州310023 摘要：随着通信网络的不断升级，手机终端在下行与上行的速度得到了显著的提高。因此相对于 2G网络时代，3G与以后的升级网络中，视频应用将会迎来蓬勃的发展。该文将介绍如何在An- droid平台上实现H.264视频应用前端模块的设计与实现。H.264视频应用前端模块将完成手机 端摄像头的视频数据采集，压缩，分片等工作。可以为各种视频应用做好前端准备。 关键词：安卓；采集压缩；本地开发包 TN919 A 杭州电子科技大学学报 2012焦 图1 模块示意图 整个模块最终得到的结果是可以直接作为负载传输的数据。但是考虑到视频数据流大，数据传输质 量难以保证，因此视频数据往往不会以裸数据的形式进行传输，比较常见的方法是利用R口(实时传输协 议)来进行封装之后再进行传输。经过分片之后的数据即可直接作为RTP负载，进行实时视频流传输。 2 NDK配置 本地开发包(Native DevelopmentKit，DNK)提供了一系列的工具，帮助开发者快速开发C(或C++) 的动态库，使开发者能够最大程度的源码再利用【2J。在开发有关音视频编解码的应用中，使用C／C++的 编解码代码，往往比使用Java来进行编解码能够带来更好的性能。使用要求：(1)一套交叉编译工具(编译 器，连接器等)，可以产生本地的ARM二进制文件在Linux，OS X和Windows操作系统运用，推荐使用Cygwin； (2)—套系统头符合于Android平台支持的稳定本地API列表。AndroidSDK版本需要在1．5以上。 ANDROID—NDK— 3采集压缩分片 由模块分析可知，整个模块主要分为3个功能模块：采集模块；压缩模块；分片模块。3个模块完成 各自不同的功能，同时最大限度的保证整个模块的实用性。 3．1采集压缩模块 供的AndroidAPI来完成。为保证模块的实用性，压缩过程中需要保证参数集的确定。 参数集是H．264标准引入的一个新概念。H．264取消了序列层和图像层，而将原本包含于上述两 层的信息游离出来并放人参数集中。序列和图像头信息是非常关键的信息，它们对后续的解码工作至 关重要[4]。参数集序列分为序列参数集和图像参数集。序列参数集包括一个视频序列的所有信息，如 帧数、参考帧数目、解码图像尺寸等；图像参数集包括一个图像的所有分片的相关信息，如片组数目、熵 编码模式选择标识、初始量化参数、去方块滤波系数调整标识等∽J。因此，在编码端控制好参数集可以 为后续的解码工作提供反馈调节。解码端可以通过发送参数集数据来调整编码端的编码质量。 TheDesignandImplementationofH.264Video Front-endModuleinAndroid XUJian-dongPENGHong ZhejiangProvincialKeyLaboratoryofCommunicationNetworksandApplications, HangzhouZhejiang310023,China Abstract:Asthecommunicationnetworkskeepupgrading,ourmobileterminalshaveasignificantimprove mentinthespeedofdownloadandupload.Therefore,comparedwiththesecondgenerationnetwork,thethird andupgradednetworksinthefuture,videoapplication