多媒体文件格式之FLV

[时间：2016-07] [状态：Open]

FLV是一个相对简单的多媒体格式，仅支持单节目，也就是说每个FLV只能至多一个音频、至多一个视频。FLV(Flash Video)是Adobe的一个免费开放的音视频格式。由于在流媒体中应用比较多，还是可以简单了解下的。
这是说明下，F4V和FLV格式不太一样，建议不要混淆了。具体的可以参考下标准文档。整体来说，F4V是FLV的升级版，解析起来跟MP4有点类似，复杂很多，但是功能更复杂。

0. 学习多媒体容器格式的目的

主要是为了回答以下问题：

  1. 该容器中数据是如何组织的？
  2. 该容器包含哪些编码格式的数据？这些数据是如何存储的？
  3. 该容器包含哪些元数据信息？包含哪些节目信息？
  4. 对于支持多节目的容器格式，如何找到对应的音频流、视频流、字幕流？
  5. 如何确定该容器的节目播放时长？
  6. 如何从该容器中提取音频、视频、字幕数据，并交给解码器解码，有时间戳否？
  7. 该容器是否支持seek？有哪些辅助信息？
  8. 是否支持直接流化？
  9. 哪里可以找到该容器格式最标准的文档资料？
  10. 有哪些可用的工具，方便分析容器格式异常或者错误？

1. FLV整体结构

FLV从整体来看包括两大部分：header和body。
header中主要用于辨识文件的标志以及版本号，以及音视频是否存在。
body是Flv的数据区域，这些是FLV的具体内容，因为FLV中的内容有多种，并可同时存在，因此，Body也不是一整块的数据，而是由更细分的块来组成，这个细分的块叫Tag。
总体上来说，其结构是这个样子的：

===================
      header
-------------------
   prev tag size
-------------------
     tag 0
-------------------
   prev tag size
-------------------
    ………………………
-------------------
     tag N
-------------------
   prev tag size   
===================

在这里可以把header作为一个特殊的tag，这个tag只能出现在flv文件头中。下面依次看一下各部分的字段定义。
注意FLV中所有字段都是按照大端存储的，比如258（0x0102），按照字节序存储应该是0x01、0x02。

2. FLV header

FLV header总共9个字节，其具体含义如下表所示：

Field Type Comment
Signature UI8 Signature byte always 'F' (0x46)
Signature UI8 Signature byte always 'L' (0x4C)
Signature UI8 Signature byte always 'V' (0x56)
Version UI8 File version (for example, 0x01 for FLV version 1)
TypeFlagsReserved UB[5] Must be 0
TypeFlagsAudio UB[1] Audio tags are present
TypeFlagsReserved UB[1] Must be 0
TypeFlagsVideo UB[1] Video tags are present
DataOffset UI32 Offset in bytes from start of file to startof body (that is, size of header)

前三个字节是文件标志，FLV的文件标志为固定的“FLV"，字节（0x46， 0x4C，0x56），这个可以用于唯一识别FLV文件。
第四个字节是文件版本号，具体含义可以参考标准文件。
TypeFlagsAudio和TypeFlagsVideo分别标志当前文件是否存在音频、视频。
最后一个字段，DataOffset是用于标识body的起始位置，其长度大小为header长度，主要是为了后续扩展header使用。
注意上表中UB表示二进制，UB[n]表示n bit数据长度。

下面看一下一段比较典型FLV header的二进制码流：
46 4c 56 01 05 00 00 00 09
前三个字节是FLV，文件版本号为1，TypeFlagsAudio和TypeFlagsVideo均是1，表示音视频都有，DataOffset是9。

3. FLV body

FLV header之后紧跟着就是body。标准中推荐使用DataOffset字段读取FLV body的偏移位置，这里面记录了所有的音频、视频、脚本等数据。
其构成如下：

Field Type--- Comment
PreviousTagSize0 UI32 Always 0
Tag1 FLVTAG First tag
PreviousTagSize1 UI32 Size of previous tag, including its header, in bytes. For FLV version 1, this value is 11 plus the DataSize of the previous tag.
Tag2 FLVTAG Second tag
... ... ...
PreviousTagSizeN-1 UI32 Size of second-to-last tag, including its header, in bytes.
TagN FLVTAG Last tag
PreviousTagSizeN UI32 Size of last tag, including its header, in bytes.

除了第一个TagSize为0外，其他的一般都不是0。每一个PreviousTagSize都是其上一个FlvTag的DataSize+固定偏移。这样就可以通过TagSize实现快速的逆序访问文件。

FLV Tag中有VideoTag、AudioTag、ScriptTag三种，可以通过标志位区分，其结构定义如下：

Field Type Comment
Reserved UB[2] Reserved for FMS, should be 0
Filter UB[1] Indicates if packets are filtered.
0 = No pre-processing required.
1 = Pre-processing (such as decryption) of the packet is required before it can be rendered.
Shall be 0 in unencrypted files, and 1 for encrypted tags.
TagType UB[5] Type of contents in this tag. The following types are defined:
8 = audio
9 = video
18 = script data
DataSize UI24 Length of the message. Number of bytes after StreamID to end of tag (Equal to length of the tag – 11)
Timestamp UI24 Time in milliseconds at which the data in this tag applies. This value is relative to the first tag in the FLV file, which always has a timestamp of 0.
TimestampExtended UI8 Extension of the Timestamp field to form a SI32 value. This field represents the upper 8 bits, while the previous Timestamp field represents the lower 24 bits of the time in milliseconds.
StreamID UI24 Always 0.
AudioTagHeader IF TagType == 8 AudioTagHeader AudioTagHeader element
VideoTagHeader IF TagType == 9 VideoTagHeader VideoTagHeader element
EncryptionHeader IF Filter == 1 EncryptionTagHeader Encryption header shall be included for each protected sample
FilterParams IF Filter == 1 FilterParams FilterParams shall be included for each protected sample
Data IF TagType == 8 AUDIODATA
IF TagType == 9 VIDEODATA
IF TagType == 18 SCRIPTDATA		 Data specific for each media type.

从上面表格中可以看出在StreamID之前的字段都是通用的，这11个字节，可以认为是TagHeaderInfo。
第1字节：其中5 bit，TagType标志当前Tag的类型，音频（0x08），视频（0x09），Script Data（0x12），除此之外，其他值非法；
第2-4字节：表示一个无符号24位整型数值，表示当前Tag Data的大小；
第5-7字节：无符号24位整型数值（UI24），当前Tag的时间戳（单位为ms），第一个Tag的时间戳总为0；
第8字节：为时间戳的扩展字节，当前24位不够用时，该字节作为最高位，将时间戳扩展为32位无符号整数（UI32）；
第9-11字节：UI24类型，表示Stream ID，总是0。

后面的数据对应的包括Tag header和实际负载数据。

Audio Tag

当TagType=8时，当前Tag是音频数据，包含AudioTagHeader和AudioData。AudioTagHeader通常是1-2个字节，各字段含义如下（这里仅列出常用的，更详细的建议参考FLV标准文件）：

Field Type---- Comment
SoundFormat UB[4] Format of SoundData. The following values are defined:
0 = Linear PCM, platform endian
2 = MP3
10 = AAC
AAC is supported in Flash Player 9,0,115,0 and higher.
SoundRate UB[2] Sampling rate. The following values are defined:
0 = 5.5 kHz
1 = 11 kHz
2 = 22 kHz
3 = 44 kHz
SoundSize UB[1] Size of each audio sample. This parameter only pertains to uncompressed formats. Compressed formats always decode to 16 bits internally.
0 = 8-bit samples
1 = 16-bit samples
SoundType UB[1] Mono or stereo sound
0 = Mono sound
1 = Stereo sound
AACPacketType IF SoundFormat == 10
UI8		 The following values are defined:
0 = AAC sequence header
1 = AAC raw

很明显，这里面记录了音频编码类型、采样率、量化位数，对于AAC编码，还会包含额外的sequence header。
接下来的AudioData需要按照实际音频编码格式解析，格式并不固定。

Video Tag

当TagType=9时，当前Tag是视频数据，包含VideoTagHeader和VideoData。VideoTagHeader通常是1字节或者5字节，各字段含义如下（这里仅列出常用的，更详细的建议参考FLV标准文件）：

Field Type--------------- Comment
Frame Type UB[4] Type of video frame. The following values are defined:
1 = key frame (for AVC, a seekable frame)
2 = inter frame (for AVC, a non-seekable frame)
3 = disposable inter frame (H.263 only)
4 = generated key frame (reserved for server use only)
5 = video info/command frame
CodecID UB[4] Codec Identifier. The following values are defined:
2 = Sorenson H.263
3 = Screen video
4 = On2 VP6
5 = On2 VP6 with alpha channel
6 = Screen video version 2
7 = AVC
AVCPacketType IF CodecID == 7
UI8		 The following values are defined:
0 = AVC sequence header
1 = AVC NALU
2 = AVC end of sequence (lower level NALU sequence ender is not required or supported)
CompositionTime IF CodecID == 7
SI24		 IF AVCPacketType == 1
  Composition time offset
ELSE
  0
See ISO 14496-12, 8.15.3 for an explanation of composition times. The offset in an FLV file is always in milliseconds.

VideoTagHeader中记录了帧类型和视频编码方式，这样就可以根据视频编码类型来确定如何解析VideoData字段。其具体含义如下：

IF FrameType == 5
	UI8
ELSE (
	IF CodecID == 2
	  	H263VIDEOPACKET
	IF CodecID == 3
		SCREENVIDEOPACKET
	IF CodecID == 4
		VP6FLVVIDEOPACKET
	IF CodecID == 5
		VP6FLVALPHAVIDEOPACKET
	IF CodecID == 6
		SCREENV2VIDEOPACKET
	IF CodecID == 7
		AVCVIDEOPACKET
)

在FrameType=5时，Tag里面保存的不再是视频负载数据，而是一个字节的字段，表示seeking开始和结束，具体取值含义如下：

0 = Start of client-side seeking video frame sequence
1 = End of client-side seeking video frame sequence

对于具体每个数据包的解析，建议参考FLV和swf标准文档中的说明。

Script Tag

Script Tag包含的负载数据是ScriptTagBody类型，里面的SCRIPTDATA编码为AMF（Action Message Format）。ScriptTagBody由Name和Value两个字段组成（类型均为SCRIPTDATAVALUE）。那么SCRIPTDATAVALUE如何定义的，见下表：

Field Type--------------- Comment
Type UI8 Type of the ScriptDataValue. The following types are defined:
0 = Number
1 = Boolean
2 = String
3 = Object
4 = MovieClip (reserved, not supported)
5 = Null
6 = Undefined
7 = Reference
8 = ECMA array
9 = Object end marker
10 = Strict array
11 = Date
12 = Long string
ScriptDataValue IF Type == 0
 DOUBLE
IF Type == 1
 UI8
IF Type == 2
 SCRIPTDATASTRING
IF Type == 3
 SCRIPTDATAOBJECT
IF Type == 7
 UI16
IF Type == 8
 SCRIPTDATAECMAARRAY
IF Type == 10
 SCRIPTDATASTRICTARRAY
IF Type == 11
 SCRIPTDATADATE
IF Type == 12
 SCRIPTDATALONGSTRING		 Script datavalue.
The Boolean value is (ScriptDataValue ≠ 0).

onMetaData

FLV的metadata存储在名为onMetaData的SCRIPTDATA，里面有很多字段，可以通过下表看到：

Property Name Type Comment
audiocodecid Number Audio codec ID used in the file (see AudioTagHeader for available SoundFormat values)
audiodatarate Number Audio bit rate in kilobits per second
audiodelay Number Delay introduced by the audio codec in seconds
audiosamplerate Number Frequency at which the audio stream is replayed
audiosamplesize Number Resolution of a single audio sample
canSeekToEnd Boolean Indicating the last video frame is a key frame
creationdate String Creation date and time
duration Number Total duration of the file in seconds
filesize Number Total size of the file in bytes
framerate Number Number of frames per second
height Number Height of the video in pixels
stereo Boolean Indicating stereo audio
videocodecid Number Video codec ID used in the file (see VideoTagHeader for available CodecID values)
videodatarate Number Video bit rate in kilobits per second
width Number Width of the video in pixels

4. 其他问题

从上面介绍中可以知道FLV是单节目的，不会有多节目流的选择，其格式解析非常简单，甚至看不到专门的索引表。

如何确定该容器的节目播放时长？

节目时长只能通过onMetaData中的duration解析。

如何从该容器中提取音频、视频、字幕数据，并交给解码器解码，有时间戳否？

这里只强调下时间戳信息，在每个Tag的开头都有时间戳信息，是可以通过两个域计算的。

哪里可以找到该容器格式最标准的文档资料？

Adobe官网有提供FLV、SWF的标准文档，具体可以查看本文的参考文献

有哪些可用的工具，方便分析容器格式异常或者错误？

比较经典的分析工具主要是FLVParser。

参考文献

  1. 分析flv文件的信息
  2. FLV文件格式详解
  3. SWF and AMF Technology Center
  4. F4V/FLV Technology Center
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/tocy/p/media_container_5-flv.html