視訊壓縮
視像壓縮（英語：Video compression）是指運用資料壓縮技術將數碼視像資料中的冗餘資訊去除，降低表示原始視像所需的資料量，以便視像資料的傳輸與儲存。實際上，原始視像資料的資料量往往過大，例如未經壓縮的電視質素視像資料的位元率高達216Mbps，絕大多數的應用無法處理如此龐大的資料量，因此視像壓縮是必要的。目前最新的視像編碼標準為ITU-T視像編碼專家組（VCEG）和ISO／IEC動態圖像專家組（MPEG）聯合組成的聯合視像組（JVT，Joint Video Team）所提出的H.264/AVC[1]。
簡介
[編輯]視像壓縮通常包含了一組編碼器和解碼器。編碼器將原始的視像資料轉換成壓縮後的形式，以便進行傳輸與儲存。解碼器則是將壓縮後的形式轉換回視像資料的表示。一組成對的編碼器與解碼器通常被合稱為編解碼器（CODEC、enCOder/DECoder）。
壓縮方法
[編輯]
資料壓縮是透過去除資料中的冗餘資訊而達成。就視像資料而言，資料中的冗餘資訊可以分成四類：
- 時間上的冗餘資訊（temporal redundancy）
- 在視像資料中，相鄰的幀（frame）與幀之間通常有很強的關連性，這樣的關連性即為時間上的冗餘資訊。
- 空間上的冗餘資訊（spatial redundancy）
- 在同一張幀之中，相鄰的像素之間通常有很強的關連性，這樣的關連性即為空間上的冗餘資訊。
- 統計上的冗餘資訊（statistical redundancy）
- 統計上的冗餘資訊指的是欲編碼的符號（symbol）的概率分佈是不均勻（non-uniform）的。
- 感知上的冗餘資訊（perceptual redundancy）
- 感知上的冗餘資訊是指在人在觀看視像時，人眼無法察覺的資訊。
右上圖為一個典型的視像編碼器。在進行當前訊號編碼時，編碼器首先會產生對當前訊號做預測的訊號，稱作預測訊號（predicted signal），預測的方式可以是時間上的預測（inter prediction），亦即使用先前幀的訊號做預測，或是空間上的預測（intra prediction），亦即使用同一張幀之中相鄰像素的訊號做預測。得到預測訊號後，編碼器會將當前訊號與預測訊號相減得到殘餘訊號（residual signal），並只對殘餘訊號進行編碼，如此一來，可以去除一部份時間上或是空間上的冗餘資訊。接着，編碼器並不會直接對殘餘訊號進行編碼，而是先將殘餘訊號經過變換（通常為離散餘弦變換）然後量化以進一步去除空間上和感知上的冗餘資訊。量化後得到的量化系數會再透過熵編碼，去除統計上的冗餘資訊。
在解碼端，透過類似的相反操作，可以得到重建的視像資料。
衡量
[編輯]衡量視像壓縮技術的優劣，可以從運算複雜度和壓縮質素兩方面來看。就運算複雜度而言，理想的編碼器運算複雜度越低越好。而就壓縮質素而言，必須同時考慮壓縮後視像的位元率和失真程度。壓縮後的位元率和失真程度皆為越低越好，兩者之間存在一個權衡關係，理想的編碼器旨在追求能夠提供位元率和失真程度間的最佳折衷關係。
一般情況下，編碼器的運算複雜度和壓縮質素之間也存在一個折衷關係，根據應用的不同而有所抉擇。例如當應用為視像資料的儲存時，可以選擇運算複雜度和壓縮質素較高的設計。而當應用為視像會議或是手機視像通話，受限於即時（即時）通訊的要求或是有限的運算資源，可能會選擇運算複雜度和壓縮質素較低的設計。
由於編碼後的影像質素最終是由人眼所判斷的，在衡量失真程度時，應使用與人類視覺感知相符的影像質素衡量標準。然而，傳統所使用的衡量標準像是峰值信噪比和人類視覺感知不全然相關[2]。近幾年已有基於人類視覺感知的影像質素衡量標準被提出，例如結構相似性指標[3]（結構相似性 index，SSIM index）與視覺資訊忠誠[4]（visual information fidelity，VIF），並且在編碼器的設計中被使用[5]，進一步提昇了壓縮後的影像質素。
標準
[編輯]視像編碼標準主要是由ITU-T與ISO／IEC兩大組織制定而成，其發展如下表所示。
| 年份 | 標準 | 制定組織 | 解除版權保護 （DRM-free） |
主要應用 |
|---|---|---|---|---|
| 1984 | H.120 | ITU-T | 是 | |
| 1990 | H.261 | ITU-T | 是 | 視像會議、視像通話 |
| 1993 | MPEG-1第二部份 | ISO／IEC | 是 | 影音光碟（VCD） |
| 1995 | H.262/MPEG-2第二部份 | ISO／IEC、ITU-T | 否 | DVD影碟（DVD-Video）、藍光（Blu-Ray）影碟、數碼視像廣播（DVB）、SVCD |
| 1996 | H.263[6] | ITU-T | 視像會議、視像通話、3G手機視像（3GP） | |
| 1999 | MPEG-4第二部份 | ISO／IEC | 否 | |
| 2003 | H.264/MPEG-4 AVC[1] | ISO／IEC、ITU-T | 否 | 藍光（Blu-Ray）影碟、高清DVD（HD DVD）、數碼視像廣播（DVB）、串流媒體、影片錄製 |
| 2013 | 高效率影片編碼（H.265/HEVC） | ISO/IEC、ITU-T | 否 | 超高清藍光光碟（UHD Blu-Ray）、數碼視像廣播（DVB）、串流媒體、影片錄製 |
| 2020 | 多功能影片編碼（H.266/VVC） | ISO/IEC、ITU-T | 否 | 未普及 |
不同視像編碼標準之間的效能比較可以在文獻[7]中找到。此外還有VP9、AV1等其他編碼標準。
參見
[編輯]外部連結
[編輯]參考資料
[編輯]- ^ 1.0 1.1 Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC), May 2003.
- ^ Zhou Wang and Alan C. Bovik, "Mean squared error: Love it or leave it? - A new look at signal fidelity measures," IEEE Signal Processing Magazine, vol. 26, no. 1, pp 98−117, Jan. 2009.
- ^ Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli, "Image quality assessment: from error visibility to structural similairty," IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600−612, Apr. 2004.
- ^ H. R. Sheikh and A. C. Bovik, "Image information and visual quality," IEEE Trans. Image Process., vol.15, no.2, pp.430−444, Feb. 2006.
- ^ Z. Y. Mai, C. L. Yang, K. Z. Kuang and L. M. Po, "A novel motion estimation method based on structural similarity for H.264 inter prediction,」 in Proc. IEEE Int. Conf. on Acoustics, Speech, and Signal Processing, vol. 2, pp. 913−916, May 2006.
- ^ ITU-T, "Video coding for low bit rate communications," ITU-T Recommendation H.263, version 2, Jan. 1998.
- ^ Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, and Gary J. Sullivan, "Rate-constrained coder control and comparison of video coding standards," IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 7, July 2003.