[VCB-Studio 科普教程 3] 視頻格式基礎知識

這本來是群內寫給隊友做入門知識學習的，然後覺得挺適合改改貼出來向大家科普，所以就有了這篇教程。之前的兩篇播放器教程可以算 1 和 2 吧。

本教程意在講述一些視頻音頻製作的基礎知識和術語，適合不了解壓片原理的收片黨們自學。它可以比較詳細地回答以下常見的問題：

. MP4/MKV 這些格式有什麼區別？哪個畫質好？

. 視頻的碼率是怎麼算的？為什麼同樣是 1080p 的視頻，有些體積大有些體積小？

. 視頻儲存的圖像信息是什麼格式的？跟顯示器一樣的紅綠藍么？

. 8-bit/10-bit 到底指的什麼？為什麼說 8-bit 顯示器還有必要看 10-bit 視頻？

. YUV420/444 這些標示到底什麼意思？哪個好？

. 線條，平面，紋理這些到底是什麼意思？視頻為啥還有高頻低頻？

. 碼率越高的視頻畫質越好么？

本教程將分以下模塊詳細敘述：

1. 封裝格式（MP4/MKV…）vs 媒體格式（H.264/FLAC/AAC…）

2. 視頻的基礎參數：分辨率、幀率和碼率

3. 圖像的表示方法：RGB 模型 vs YUV 模型

4. 色深

5. 色度半採樣

6. 空間上的低頻與高頻：平面、紋理和線條

7. 時間上的低頻與高頻：動態

8. 清晰度與畫質簡述

1、封裝格式(MP4/MKV…)  vs 媒體格式(H.264/FLAC/AAC…)

MP4+MKV是你下載的視頻文件最常見的種類。這些文件其實類似一個包裹，它的後綴則是包裹的包裝方式。這些包裹裡面，包含了視頻（只有圖像），音頻（只有聲音），字幕等。當播放器在播放的時候，首先對這個包裹進行拆包（專業術語叫做分離/splitting）,把其中的視頻、音頻等拿出來，再進行播放。

 

既然它們只是一個包裹，就意味着這個後綴不能保證裡面的東西是啥，也不能保證到底有多少東西。包裹裡面的每一件物品，我們稱之為軌道(track)，一般有這麼些：

 

視頻(Video): 一般來說肯定都有，但是也有例外，比如mka格式的外掛音軌，其實就是沒視頻的mkv。注意我們說到視頻的時候，是不包括聲音的。

音頻(Audio)：一般來說也肯定有，但是有些情況是靜音的，就沒必要帶了。

章節(Chapter): 藍光原盤中自帶的分段信息。如果文件帶上了，那麼你可以在播放器中看到帶章節的效果：

.potplayer右鍵畫面，選項-播放-在進度條上顯示書籤/章節標記

.mpc-hc 右鍵畫面，選項-調節-在進度條顯示章節標記

字幕(Subtitles)：有些時候文件自帶字幕，並且字幕並非是直接整合於視頻的硬字幕，那麼就是一起被打包在封裝容器中。

其他可能還有附件等，不一一列舉。每個類型也不一定只有一條軌道，比如經常見到帶多音軌的MKV。

 

每個軌道，都有自己的格式。比如大家常說的，視頻是H.264，音頻是AAC，這些就是每個軌道的格式。

視頻的格式，常見的有H.264(可以細分為8bit/10bit)，H.265(當前也有8bit/10bit之分)，RealVideo(常見於早期rm/rmvb)，VC-1(微軟主導的，常見於wmv)。基本上，H.264=AVC=AVC1, H.265=HEVC。

音頻的格式，常見的有 FLAC/ALAC/TrueHD/DTS-HD MA這四種無損，和AAC/MP3/AC3/DTS(Core)這四種有損。

 

MKV vs MP4，主要的區別在於：

1. MKV支持封裝FLAC作為音頻，MP4則不支持。但是MP4也可以封裝無損音軌(比如說ALAC，雖然普遍認為ALAC的效率不如FLAC優秀)
2. MKV支持封裝ASS/SSA格式的字幕，MP4則不支持。一般字幕組製作的字幕是ASS格式，所以內封字幕多見於MKV格式
3. MP4作為工業標準，在視頻編輯軟件和播放設備上的兼容性一般好於MKV。這也是vcb-s那些為移動設備優化的視頻基本上選擇MP4封裝的原因。

除此之外，這兩個格式很大程度上可以互相代替。比如它們都支持封裝AVC和HEVC，包括8bit/10bit的精度。所以MP4畫質不如MKV好，這種論斷是非常無知的——它們完全可以封裝一樣的視頻。

為什麼會有這樣的分歧，就是歷史原因了。MKV是民間研發，為了代替古老的AVI，從而更好地支持H264，它開發和修改的靈活度使得它可以兼容flac/ass這類非工業標準的格式；而MP4則是出生豪門，作為工業標準，替代更古老的MPG，作為新一代視頻/音頻封裝服務的。

2、視頻的基礎參數：分辨率，幀率和碼率。

視頻是由連續的圖像構成的。每一張圖像，我們稱為一幀(frame)。圖像則是由像素(pixel)構成的。一張圖像有多少像素，稱為這個圖像的分辨率。比如說1920×1080的圖像，說明它是由橫縱1920×1080個像素點構成。視頻的分辨率就是每一幀圖像的分辨率。

 

一個視頻，每一秒由多少圖像構成，稱為這個視頻的幀率(frame-rate)。常見的幀率有24000/1001=23.976, 30000/1001=29.970, 60000/1001=59.940, 25.000, 50.000等等。這個數字是一秒鐘內閃過的圖像的數量。比如23.976，就是1001秒內，有24000張圖像。視頻的幀率是可以是恆定的(cfr, Const Frame-Rate)，也可以是變化的(vfr, Variable Frame-Rate)

 

碼率的定義是視頻文件體積除以時間。單位一般是Kbps(Kbit/s)或者Mbps(Mbit/s)。注意1B(Byte)=8b(bit)。所以一個24分鐘，900MB的視頻：

體積：900MB = 900MByte = 7200Mbit

時間：24min = 1440s

碼率：7200/1440  = 5000 Kbps = 5Mbps

 

當視頻文件的時間基本相同的時候（比如現在一集番大概是24分鐘），碼率和體積基本上是等價的，都是用來描述視頻大小的參數。長度分辨率都相同的文件，體積不同，實際上就是碼率不同。

碼率也可以解讀為單位時間內，用來記錄視頻的數據總量。碼率越高的視頻，意味着用來記錄視頻的數據量越多，潛在的解讀就是視頻可以擁有更好的質量。（注意，僅僅是潛在，後文我們會分析為什麼高碼率不一定等於高畫質）

3、圖像的表示方法：RGB模型 vs YUV模型

光的三原色是紅(Red)、綠(Green)、藍(Blue)。現代的顯示器技術就是通過組合不同強度的三原色，來達成幾乎任何一種可見光的顏色。圖像儲存中，通過記錄每個像素紅綠藍強度，來記錄圖像的方法，稱為RGB模型 (RGB Model)

常見的圖片格式中，PNG和BMP這兩種就是基於RGB模型的。

 

比如說原圖：

分別只顯示R G B通道的強度，效果如下：

三個通道下，信息量和細節程度不一定是均勻分布的。比如說可以注意南小鳥臉上的紅暈，在3個平面上的區分程度就不同——紅色平面下幾乎無從區分，造成區別的主要是綠色和藍色的平面。外圍白色的臉頰，三色都近乎飽和；但是紅暈部分，只有紅色飽和，綠色和藍色不飽和。這是造成紅色凸顯的原因。

 

除了RGB模型，還有一種廣泛採用的模型，稱為YUV模型，又被稱為亮度-色度模型（Luma-Chroma）。它是通過數學轉換，將RGB三個通道，轉換為一個代表亮度的通道(Y,又稱為Luma)，和兩個代表色度的通道(UV，並成為Chroma)。

 

舉個形象點的例子：一家養殖場飼養豬和牛，一種記數方式是：（豬的數量，牛的數量）

但是也可以這麼記錄：（總數量=豬的數量+牛的數量，相差=豬的數量-牛的數量）。兩種方法之間有數學公式可以互轉。

 

YUV模型乾的是類似的事兒。通過對RGB數據的合理轉換，得到另一種表示方式。YUV模型下，還有不同的實現方式。舉個用的比較多的YCbCr模型：它把RGB轉換成一個亮度(Y)，和 藍色色度(Cb) 以及 紅色色度(Cr)。轉換背後複雜的公式大家不需要了解，只需要看看效果：

只有亮度通道：

只有藍色色度：

只有紅色色度：

在圖像視頻的加工與儲存中，YUV格式一般更受歡迎，理由如下：

 

1、人眼對亮度的敏感度遠高於色度，因此人眼看到的有效信息主要來自於亮度。YUV模型可以將絕大多數的有效信息分配到Y通道。UV通道相對記錄的信息少的多。相對於RGB模型較為平均的分配，YUV模型將多數有效信息集中在Y通道，不但減少了冗餘信息量，還為壓縮提供了便利

2、保持了對黑白顯示設備的向下兼容

3、圖像編輯中，調節亮度和顏色飽和度，在YUV模型下更方便。

幾乎所有的視頻格式，以及廣泛使用的JPEG圖像格式，都是基於YCbCr模型的。播放的時候，播放器需要將YCbCr的信息，通過計算，轉換為RGB。這個步驟稱為渲染（Rendering）

每個通道的記錄，通常是用整數來表示。比如RGB24，就是RGB各8個bit，用0~255 (8bit的二進制數範圍)來表示某個顏色的強弱。YUV模型也不例外，也是用整數來表示每個通道的高低。

 

4、色深

 

色深(bit-depth)，就是我們通常說的8bit和10bit，是指每個通道的精度。8bit就是每個通道用一個8bit整數(0~255)代表，10bit就是用10bit整數(0~1023)來顯示。16bit則是0~65535

(注意，上文的表述是不嚴謹的，視頻在編碼的時候，並非一定能用到0~255的所有範圍，而是可能有所保留，只用到一部分，比如16~235。這我們就不詳細展開了)

 

你的顯示器是8bit的，代表它能顯示RGB每個通道0~255所有強度。但是視頻的色深是YUV的色深，播放的時候，YUV需要通過計算轉換到RGB。因此，10bit的高精度是間接的，它使得運算過程中精度增加，以讓最後的顏色更細膩。

 

如何理解8bit顯示器，播放10bit是有必要的呢：

一個圓的半徑是12.33m, 求它的面積，保留兩位小數。

半徑的精度給定兩位小數，結果也要求兩位小數，那麼圓周率精度需要給多高呢？也只要兩位小數么？
取pi=3.14, 面積算出來是477.37平方米
取pi=3.1416，面積算出來是477.61平方米
取pi精度足夠高，面積算出來是477.61平方米。所以取pi=3.1416是足夠的，但是3.14就不夠了。

 

換言之，即便最終輸出的精度要求較低，也不意味着參與運算的數字，以及運算過程，可以保持較低的精度。在最終輸出是8bit RGB的前提下，10bit YUV比起8bit YUV依舊具有精度優勢的原因就在這裡。事實上，8bit YUV轉換後，覆蓋的精度大概相當於8bit RGB的26%，而10bit轉換後的精度大約可以覆蓋97%——你想讓你家8bit顯示器發揮97%的細膩度么？看10bit吧。

 

8bit精度不足，主要表現在亮度較低的區域，容易形成色帶：

 

注意這圖右邊那一圈圈跟波浪一樣的效果。這就是顏色精度不足的表現。

10bit的優勢不只在於顯示精度的提高，在提高視頻壓縮率，減少失真方面，相對8bit也有優勢。這方面就不展開了。

 

5、色度半採樣

 

在YUV模型的應用中，Y和UV的重要性是不等同的。圖像視頻的實際儲存和傳輸中，通常將Y以全分辨率記錄，UV以減半甚至1/4的分辨率記錄。這個手段被稱為色度半採樣(Chroma Sub-Sampling)。色度半採樣可以有效減少傳輸帶寬，和加大UV平面的壓縮率，但是不可避免的會損失UV平面的有效信息。

 

我們平常的視頻，最常見的是420採樣。配合YUV格式，常常被寫作yuv420。這種採樣是Y保留全部，UV只以(1/2) x (1/2)的分辨率記錄。比如說1920×1080的視頻，其實只有亮度平面是1920×1080。兩個色度平面都只有960×540的分辨率。

當然了，你也可以選擇不做縮減。這種稱為444採樣，或者yuv444。YUV三個平面全是滿分辨率。

 

在做YUV->RGB的時候，首先需要將縮水的UV分辨率拉升到Y的分辨率（madVR中允許自定義算法，在Chroma Upscaling當中），然後再轉換到RGB。做RGB->YUV的轉換，也是先轉換到444（YUV的分辨率相同），再將UV分辨率降低。

 

一般能拿到的片源，包括所有藍光原盤，都是420採樣的。所以成品一般也保留420採樣。所以yuv420就表示這個視頻是420採樣的yuv格式。

將420做成444格式，需要自己手動將UV分辨率拉升2×2倍。在今天madVR等渲染器可以很好地拉升UV平面的情況下，這種做法無異於毫無必要的拉升DVD做成偽高清。

當然了，有時候也需要在444/RGB平面下做處理和修復，常見的比如視頻本身RGB平面不重疊（比如摩卡少女櫻），這種修復過程首先要將UV分辨率拉升，然後轉RGB，做完修復再轉回YUV。修復後的結果相當於全新構圖，這種情況下保留444格式就是有理由，有必要的。

 

H264格式編碼444格式，需要High 4:4:4 Predictive Profile（簡稱Hi444pp）。所以看到Hi444pp/yuv444 之類的標示，你就需要去找壓制者的陳述，為什麼他要做這麼個拉升。如果找不到有效的理由，你應該默認作者是在瞎做。

 

6、空間上的低頻與高頻：平面，紋理和線條

在視頻處理中，空間(spatial)的概念指的是一幀圖片以內（你可以認為就是一張圖所呈現的二維空間/平面）。跟時間(temporal)相對；時間的概念就強調幀與幀之間的變換。

 

於是我們重新來看這張亮度的圖：

亮度變化較快，變動幅度大的區域，我們稱之為高頻區域。否則，亮度變化緩慢且不明顯的區域，我們稱為低頻區域。

 

圖中的藍圈就是一塊典型的低頻區域，或者就叫做平面（平坦的部分）。亮度幾乎沒有變化

綠圈中，亮度呈現跳躍式的突變，這種高頻區域我們稱之為線條。

紅圈中，亮度頻繁變化，幅度有高有低，這種高頻區域我們稱為紋理。

 

有時候，線條和紋理（高頻區域）統稱為線條，平面（低頻區域）又叫做非線條。

 

這是亮度平面。色度平面，高頻低頻，線條等概念也同樣適用，就是描述色度變化的快慢輕重。一般我們所謂的“細節”，就是指圖像中的高頻信息。

一般來說，一張圖的高頻信息越多，意味着這張圖信息量越大，所需要記錄的數據量就越多，編碼所需要的運算量也越大。如果一個視頻包含的空間性高頻信息很多（通俗點說就是每一幀內細節很多），意味着這個視頻的空間複雜度很高。

記錄一張圖片，編碼器需要決定給怎樣的部分多少碼率。碼率在一張圖內不同部分的分配，叫做碼率的空間分配。分配較好的時候，往往整幅圖目視觀感比較統一；分配不好常見的後果，就是線條紋理尚可，背景平面區域出現大量色帶色塊（碼率被過分的分配給線條）；或者背景顏色過渡自然，紋理模糊，線條爛掉（碼率被過分的分配給非線條）。

 

7、時間上的低頻與高頻：動態

在視頻處理中，時間(temporal)的概念強調幀與幀之間的變換。跟空間(spatial)相對。

動態的概念無需多解釋；就是幀與幀之間圖像變化的強弱，變化頻率的高低。一段視頻如果動態很高，變化劇烈，我們稱為時間複雜度較高，時域上的高頻信息多。否則如果視頻本身舒緩多靜態，我們稱為時間複雜度低，時域上的低頻信息多。

 

一般來說，一段視頻的時域高頻信息多，動態的信息量就大，所需要記錄的數據量就越多，編碼所需要的運算量也越大。但是另一方面，人眼對高速變化的場景，敏感度不如靜態的圖片來的高（你沒有時間去仔細觀察細節），所以動態場景的優先度可以低於靜態場景。如何權衡以上兩點去分配碼率，被稱為碼率的時間分配。分配較好的時候，看視頻無論動態還是靜態效果都較好；分配不好的時候往往是靜態部分看着還行，動態部分糊爛掉；或者動態部分效果過分的好，浪費了大量碼率，造成靜態部分欠碼，瑕疵明顯。

 

很多人喜歡看靜止的截圖對比，來判斷視頻的畫質。從觀看的角度，這種做法其實並不完全科學——如果你覺得比較爛的一幀其實是取自高動態場景，那麼這一幀稍微爛點無可厚非，反正觀看的時候你注意不到，將碼率省下來給靜態部分會更好。

 

8、清晰度與畫質簡述

 

我們經常討論，一個視頻清晰度如何，畫質好不好。但是如何給這兩個術語做定義呢？

 

經常看到的說法：“這個視頻清晰度是1080p的”。其實看過上文你就應該知道，1080p只是視頻的分辨率，它不能直接代表清晰度——比如說，我可以把一個480p的dvd視頻拉升到1080p，那又怎樣呢？它的清晰度難道就提高了么？

 

一個比較接近清晰度的概念，是上文所講述的，空間高頻信息量，就是一幀內的細節。一張圖，一個視頻的細節多，它的清晰度就高。分辨率決定了高頻信息量的上限；就是它最清晰能到什麼地步。1080p之所以比480p好，是因為它可以允許圖像記錄的高頻信息多。這個說法看樣子很靠譜，但是，有反例：

右圖的高頻信息遠比左圖多——它的線條很銳利，有大量緻密的噪點（注意噪點完全符合高頻信息的定義；它使得圖像變化的非常快）
但是你真的覺得右圖清晰度高么？
事實上，右圖完全是通過左圖加工而來。通過過度銳化+強噪點，人為的增加無效的高頻信息。

 

所以清晰度的定義我更傾向於這樣一個說法：圖像或視頻中，原生、有效的高頻信息。
原生，強調這種清晰度是非人工添加的；有效；強調細節本身有意義，而不是毫無意義的噪點特效。

 

值得一提的是，人為增加的高頻信息不見得完全沒有幫助。有的時候適度銳化的確能夠起到不錯的目視效果：

這是一幅適度銳化後的效果。如果有人覺得右圖更好，至少某些部分更好，相信我，你不是一個人。所以適度銳化依舊是視頻和圖像處理中，可以接受的一種主觀調整的手段，一定的場合下，它確實有助於提高目視效果。

 

以上是清晰度的概述。注意，清晰度只是空間方面（就是一幀以內）。如果再考慮到動態效果的優秀與否（視頻是不是那種一動起來就糊成一團的，或者動起來感覺卡頓明顯的，常見於早起RMVB），空間和時間上優秀的觀看效果共同定義了畫質。所以我們說madVR/svp那些倍幀效果有助於提高畫質，實際上它們增強了時間上的觀看效果。

 

好的畫質，是製作者和觀眾共同追求的。怎麼樣的視頻會有好的畫質呢？是不是碼率越高的視頻畫質越好呢？真不見得。視頻的畫質，是由以下幾點共同決定的：

 

1、源的畫質。
俗話說的好，上樑不正下樑歪。如果源的畫質本身很差，那麼再如何折騰都別指望畫質好到哪去。所以壓制者往往會選擇更好的源進行壓制——舉個栗子，BDRip一般都比TVRip來的好，哪怕是720p。藍光也分銷售地區，一般日本銷售的日版，畫質上比美版、台版、港版啥的都來得好，所以同樣是BDRip，選取更好的源，就能做到畫質上優先一步。

 

2、播放條件。
觀眾是否用了足矣支持高畫質播放的硬件和軟件。這就是為啥我們在發布Rip的同時大力普及好的播放器；有時候一個好的播放器勝過多少在製作方面的精力投入。

 

3、碼率投入vs編碼複雜度。
視頻的時間和空間複雜度，並稱為編碼複雜度。編碼複雜度高的視頻，往往細節多，動態高（比如《魔法少女小圓劇場版 叛逆的物語》），這樣的視頻天生需要較高的碼率去維持一個優秀的觀看效果。
相反，有些視頻編碼複雜度低（比如《請問今天要來點兔子么》，動態少，線條細節柔和），這種視頻就是比較節省碼率的。

 

4、碼率分配的效率和合理度。
同樣多的碼率，能起到怎樣好的效果，被稱為效率。比如H264就比之前的RealVideo效率高；10bit比8bit效率高；編碼器先進，參數設置的比較合理，編碼器各種高端參數全開（通常以編碼時間作為代價），碼率效率就高。
合理度就是碼率在時空分配方面合理與否，合理的分配，給觀眾的觀看效果就比較統一協調。 碼率分配的效率和合理度，是對製作者的要求，要求製作者對片源分析，參數設置有比較到位的理解。

碼率分配和合理度做的好，就常常能做出低碼率高畫質的良心作品。

 

這裡再多提一句，至少在這個時間點，也就是此文發布的2014年年底，HEVC相對於AVC可以提高50%的效率，依舊是一個紙面上的理論值。實際操作中，因為HEVC編碼器的成熟度遠不及經過了十幾年發展的AVC編碼器，導致現在HEVC的潛力遠沒有能發揮出來，特別是高畫質下甚至不如。
對於目前主流的，定位收藏畫質的BDRip，同樣碼率下x265的畫質相對於x264沒有優勢；所以在近期，大家不用優先的去下載HEVC版作為收藏目的，更不必迷信什麼“碼率降低一半”。再強調一次，這個時間點；如果一年後以上陳述被不斷進步的HEVC編碼器推翻，我毫不驚訝。

 

 

5、編碼前的預處理。預處理分三種：

①，客觀修復。強調修復片源固有的瑕疵，比如鋸齒，色帶，暈輪等等。
②，主觀調整，強調將片源調整的更適合人眼觀看，比如適度的銳化，調色（有時候你是可以通過科學方法判定片源的顏色有問題，然後針對的做修復的）。
③，移除無效高頻信息，比如降噪，避免碼率浪費在無效的噪點上

預處理做的好，往往能達到畫質上超越片源，或是在幾乎不犧牲清晰度的前提下，節省碼率開銷。

但是預處理是一把雙刃劍，優化的同時，可能引入副效果。降噪、抗鋸齒、去暈輪等操作會不可避免的損失一些有效細節（或多或少，取決於製作者水準）；主觀調整很可能會引入副效果（比如過度銳化會導致鋸齒和暈輪），或是變成了作者的自我滿足，形成對觀眾的欺騙。

 

綜上，一個優秀的畫質，是由片源、製作者、觀看者共同決定的；碼率高低也只是部分因素，並非決定性的效果。

於是這篇教程就寫到這裡吧。它最初的目的是給學習視頻製作入門的人而寫，也不知道對於一般的觀眾，能讓大家理解多少。有啥需要交流討論提問的就在下文回復吧。如果反響較好，以後我們還會發布更多這樣科普教學類的文章。