DASH简介及使用方法(FFmpeg, MP4Box)

DASH

为什么选择DASH

YouTube采用DASH!其网页端及移动端APP都使用了DASH。DASH的其他采用者包括:Netflix, Hulu, …

什么是DASH

一种服务端、客户端的流媒体解决方案: 
服务端: 
将视频内容分割为一个个分片,每个分片可以存在不同的编码形式(不同的codec、profile、分辨率、码率等); 
播放器端: 
就可以根据自由选择需要播放的媒体分片;可以实现adaptive bitrate streaming技术。不同画质内容无缝切换,提供更好的播放体验。

DASH中的重要概念

  • MPD 
    媒体文件的描述文件(manifest),作用类似HLS的m3u8文件。MPD文件以XML格式组织,其层次结构参图1。

  • Representation 
    对应一个可选择的输出(alternative)。如,480p video,720p video, 44100采样 audio,22050采样audio,都使用Representation描述。

  • Segment(分片) 
    每个Representation会划分为多个Segment。Segment分为4类,其中,最重要的是:Initialization Segment(每个Representation都包含1个Init Seg),Media Segment(每个Representation的媒体内容包含若干Media Seg)!


图1. MPD的层次示意图 (每个Rrepresentation使用fMP4文件格式)

fMP4

fMP4(fragmented MP4),可以简单理解为分片化的MP4,是DASH采用的媒体文件格式,文件扩展名通常为(.m4s或直接用.mp4)。


图2. 普通MP4与fMP4组织结构对比,fMP4与DASH 分片概念对照

图2说明:

普通MP4 由索引文件头文件moov box和媒体数据mdat box组成。

fMP4 由分片组成,可以按整个文件存储,也可以按分片存储:

  • 如果按照单个文件存储,每个输出是一个m4s文件。 完整的fMP4视频可以描述为如下形式: 
    moov + (moof + mdat) * N 
    其中moof box是分片(fragment)的标识, mdat box存放的是当前分片的媒体数据;

  • 如果按照分片存储,每个分片是一个m4s文件,输出对应了多个m4s。

fMP4中的第一个分片,对应了DASH协议中Initialization Segment;其后的分片,则对应Media Segment。

YouTube调研

一段15’ 720分辨率视频,YouTube有如下Representation: 
1. audio1 id:139 codec:HE-AAC 采样率22050 分片:5 
2. audio2 id:140 codec:AAC-LC 采样率44100 分片:5 
3. video1 id:133 codec:264 main profile level1.2 240p 分片:4 
4. video2 id:134 codec:264 main profile level2.0 360p 分片:4 
5. video3 id:135 codec:264 main profile level2.0 480p 分片:4 
6. video4 id:160 codec:264 main profile level1.1 144p 分片:4 
7. video5 id:136 codec:264 main profile level3.0 720p 分片:4

关注视频部分,4个分片包含:1个Init Seg,3个Media Seg,视频内容部分分别为5.12s 5.12s 4.76s。

正常顺序播放 

图3. 正常顺序播放的时序图

  1. 下载MPD
  2. 下载Init Seg
  3. 下载Media Seg(s) 
    在第6s已经完成所有视频分片的下载。

切换行为 

图4. 发生switch的时序图

切换前,Representation 0的所有分片已经下载完成,交互流程同上, 
第8s进行画质切换: 
1. 下载Representation 1的Init Seg # 每次切换都会先下载Init Seg 
2. 下载Representation 1 当前所在分片!Seg2 
3. 下载后续分片。

说明:YouTube在播放Rep0 Seg2期间发生切换,会下载Repr1的Seg2,这属于YouTube的播放策略。很多DASH播放器,此时会直接请求Repr1的Seg3。

DASH应用

1)FFmpeg 转码

FFmpeg支持DASH封装,仿YouTube格式的命令:

ffmpeg -hide_banner -y -threads 0 -i INPUT_VIDEO -filter_complex 'split=2[s0][s1];[s0]scale=480:-2[480s];[s1]scale=360:-2[360s]' -map '[480s]' -c:v:0 libx264 -crf 25 -preset veryslow -map '[360s]' -c:v:1 libx264 -crf 27 -preset veryslow -map a -c:a:0 libfdk_aac -ar:a:0 22050 -map a -c:a:1 libfdk_aac -ar:a:1 44100 -g 150 -sc_threshold 0 -b_strategy 0 -min_seg_duration 5000 -use_timeline 0 -use_template 1 -single_file  1 -window_size 5 -adaptation_sets "id=0,streams=v id=1,streams=a" -f dash OUTPUT.mpd

  

输出:

  • mpd描述文件
  • m4s 输出文件 
    视频两个文件分别是480p crf25 和360p crf 27。 
    音频两个文件分别是22050采样率和44100采样率。 
    独立文件内部每个分片时长5s。

2)FFmpeg 转封装

若存在兼容普通mp4转码的需求,可以直接对已编码视频转封装得到DASH文件,避免重复编码。 
要点在于保证编码命令中的GOP length与DASH要求匹配,否则会发生卡顿问题,需要在播放器端做额外处理。

3) MP4Box 转封装

mp4box -dash 5000 -frag 5000 -rap -frag-rap -profile dashavc264:onDemand ld.mp4 hd.mp4 audio.m4a -out OUTPUT.mpd

  

4)DASH播放

使用开源的网页端DASH player dash.js可以播放,如下图。 

图5. 后台转码的实际播放效果

原文地址:https://www.cnblogs.com/saryli/p/8963006.html