手机硬件编码直播方法（汤力嘉）.pptxVIP

手机硬件编码直播方法如何用mp4文件进行直播一下视频 汤力嘉炫一下（北京）科技有限公司名词解释如何理解标题标题：手机硬件编码直播方法手机——智能手机Android／iPhone硬件编码——利用手机自带的编码芯片录制视频耗电少视频清晰（码流可以很高）直播——正在拍什么，别人就能看什么名词解释大B和小b：B for Byte，b for bit，1字节＝8位码流/码率：单位是bps(bit pre secord),一秒钟有多少数据2/10/16进制：二进制 0000 1111 =0x0F=十进制的15帧率：单位是fps(frame pre secord),一秒钟有多少幅画面I、P、B帧：关键帧、参考帧、双向参考帧IP 第一帧 第二帧 I帧 P帧视频格式Mp4究竟是什么？ISO发布的标准MPEG-1 VCDMPEG-2 DVDMPEG-4 ISO 14496ITU 发布的标准H261H263 ≈ ISO 14496-2,DivX,XvidH264/AVC/ISO 14496-10 蓝光DVDMp4究竟是什么？ISO 14496-14：MPEG-4文件格式，这是常见的mp4的说法音频格式AMR／AMR-NB(4-10k)／AMR-WB(6-23k)MP3(MPEG Audio Layer 3)AAC(Advanced Audio Coding)/HE-AAC文件（容器）格式AVI（MS）RM/RMVB（Real）FLV（Adobe）3GP／MOV／MP4格式（MPEG-4 Part 14）3GP是MP4格式的一种简化版本MOV（QuickTime，Apple）他们都是使用ISO 14496-12定义的文件格式直播技术标准MMS（Windows Media Player）RTSP（类似HTTP交互方式，Real）RTMP（Adobe）HTTPFLV天下武功出少林都使用某种视音频格式进行编码可封装到不同的文件格式中各种直播协议都以TCP发数据为主，并加入辅助的流控各种直播流格式和文件格式基本都可以互相转换在不涉及到重编码的情况下，这种转封装的效率非常高FLV－大简至美FLV－大简至美每个FLV文件开头都是这13个字节属性05表示文件中既有视频，也有音频RRRRRARLV－块定义文件头块头内容块尾块头内容块尾块头内容块尾块头是固定的11字节，因此内容长度＋11＝块长度类型只有08音频 09视频 12文本数据（metadata，cuepoint）FLV－视频块帧类型：0x1 P帧 0x2 I帧 0x3 B帧编码格式：0x1 JPG 0x2 H263 0x4 On2 VP60x7 AVC／H264FLV－音频块编码格式：0x2、0xE MP3 0x4~6 Nellymoser 0x7~8 G711 0xA AAC属性设置： 采样率： 0x0 5.5kHz 0x1 11kHz 0x2 22kHz 0x3 44kHz 位长： 0x0 8bit 0x1 16bit声道：0x0 mono 0x1 stereo采 样率位长声道FLV－H264的NALU由于H264编解码时需要设置很多基本参数，因此flv格式封装的h264特别空出第一个字节（图中红字）来描述数据内容是什么。其中00 后面的数据是NALU单元01 后面的是普通视频数据NALU里装着H264必须的SPS和PPS（序列、图像参数集）,可参照ISO 14496-15FLV－AAC的SeqHeaderAAC编解码时也需要设置一些基本参数，因此flv格式封装的AAC也空出第一个字节（图中红字）来描述数据内容是什么。其中00 后面的数据是Sequence Header01 后面的是普通音频数据SeqHeader定义可参照ISO 14496-3MP4－有容乃大MP4－BoxsMp4文件由N个Box组成每个Box都有一个4个字节的标识(atom)，该标识一般为易理解的4个英文字母目前规定的Box种数已经有171种，详见/atoms.htmlMP4－ftypFtyp为Mp4的第一个Box，标识文件是什么类型的文件，图中可见MP4，3GP，MOV的数据内容都是差不多的。MP4－freeFree box就是占坑用的。在修改mp4文件时，这个box用处非常大，后面将会提到。MP4－mdat顾名思义，用于存放多媒体数据的Box。这个Box的大小一般和文件的大小差不多。文件的视频，音频数据都杂乱无章地，穿插着存放在这里！！MP4－moovMoov记录了视频文件中的关键信息，里面包含了很多Box。只需要处理mvhd，trak两个Box即可，mvhd是moov的头部，保存时长等信息，trak是mp4里的多条轨道，一般是视频一条，音频