一、JPEG的引入

JPEG屬于一種圖片壓縮格式，之前我們通過對YUV420圖像格式的學(xué)習(xí)，了解了怎么計算一幀YUV圖像的大小。假設(shè)這里一幀圖片的分辨率為1080p，像素格式為YUV420，那么它的大小就應(yīng)該為192010803/2，大約為3M大小。那么如果幀率為10fps時，一秒鐘的大小就為30M。顯然，耗費的內(nèi)存過于龐大。這個時候就應(yīng)該引入圖像壓縮的概念，JPEG就是一種最常用的圖像壓縮格式。

二、JPEG壓縮原理簡述

在日常生活中所見的壓縮有分為有損壓縮和無損壓縮，JPEG壓縮屬于有損壓縮的一種。有損壓縮的原理也就是把原始數(shù)據(jù)中不重要的部分去掉，這樣就可以節(jié)省它的內(nèi)存占用。比如說“3.141592653”這個小數(shù)，我們計算的時候可以取“3.14”，這便是一種有損壓縮的形式。JPEG壓縮的簡單原理亦是如此，將圖像數(shù)據(jù)分為重要數(shù)據(jù)和不重要數(shù)據(jù)，這里的不重要數(shù)據(jù)就是人眼不易觀察的部分，這里可以適當(dāng)?shù)厝コ?。如上，便是JPEG壓縮設(shè)計的簡單原理。

三、JPEG壓縮的具體步驟

步驟一：圖像分割

JPEG算法的第一步，會將一幀完整的圖片切割為8*8大小的小塊。被切割的這些小塊在JPEG壓縮的過程中被當(dāng)作最小處理單元。

步驟二：圖片像素格式由RGB轉(zhuǎn)YUV

之前的文章中講解過RGB轉(zhuǎn)YUV，這里簡單說明一下為什么要轉(zhuǎn)成YUV格式。對于我們而言，壓縮最重要的是將重要的信息和不重要的信息分開來，YUV格式的圖像格式恰好能做到這一點。對于人眼來說，明暗的變化更容易感知，這里相關(guān)生物學(xué)的知識就不班門弄斧了，因為本人也不是專業(yè)的。這里，YUV格式的圖片將亮度和色度進行了分離，這樣可以方便我們分離開數(shù)據(jù)的重要程度，從而進行下一步驟的處理。這就是為什么要轉(zhuǎn)成YUV格式。

步驟三：離散余弦變換

下面我們來介紹一下JPEG壓縮的核心技術(shù)，離散余弦變換（DCT變換）。具體的故事背景感興趣的自己百度。
前面在步驟一中，我們對圖像進行了分割，分成了一個個小塊。每一小塊中，像素的數(shù)值的變化是平滑的。假設(shè)這一小塊的像素值在79-81之間變化，如果這里用cos函數(shù)去模擬這段變化的軌跡，由于塊的大小特別小，所以這里cos函數(shù)的頻率是特別大的，這些變化被稱為高頻信息。
人眼對于這些高頻信息是不敏感的，對低頻信息比較敏感。假如將8*8的圖像塊和你的電腦背景作為對比，這樣像素值會出現(xiàn)不平滑的變化，變化很大，這時要用函數(shù)組合去擬合這段離散數(shù)值時, 就會出現(xiàn)低頻信息。
因此, 再結(jié)合圖像壓縮的核心思想, 要用較少的不同數(shù)值來表示圖像, 就需要找到一種變換, 將圖像高頻的信息和低頻的信息區(qū)分開來, 并將人眼不敏感的信息映射到接近或等于0。
當(dāng)我們要處理的是一堆離散的數(shù)據(jù)時，并且這些數(shù)據(jù)是對稱的話，那么傅里葉變化出來的函數(shù)只含有余弦項，這種變換稱為離散余弦變換。舉個例子，有一組一維數(shù)據(jù)[x0,x1,x2,…,xn-1],那么可以通過DCT變換得到n個變換級數(shù)Fi

這個變換是可逆的，原始數(shù)據(jù)Xi可以通過離散余弦變換變化的逆變換（IDCT)表達出來。

經(jīng)過DCT變換，可以把一個數(shù)組分解成數(shù)個數(shù)組的和，如果我們數(shù)組視為一個一維矩陣，那么可以把結(jié)果看做是一系列矩陣的和

經(jīng)過DCT，雜亂的數(shù)據(jù)會被轉(zhuǎn)換成幾個工整變化的數(shù)據(jù)。DCT轉(zhuǎn)換后的數(shù)組中第一個是一個直線數(shù)據(jù)，因此又被稱為“直流數(shù)據(jù)”，簡稱DC，后面的數(shù)據(jù)被稱為“交流數(shù)據(jù)”，簡稱AC，這個稱呼起源于信號分析中的術(shù)語
在JPEG壓縮過程中，經(jīng)過顏色空間的轉(zhuǎn)換，每一個8X8的圖像塊，在數(shù)據(jù)上表現(xiàn)為3個8X8的矩陣，緊接著我們對這三個矩陣做一個二維的DCT轉(zhuǎn)換，二維的DCT轉(zhuǎn)換公式為

下面我們做一個實際的測試，比如一個所有數(shù)值都一樣的矩陣，經(jīng)過DCT轉(zhuǎn)換后，將所有級數(shù)組合成一個新的矩陣

可以看到，經(jīng)過DCT轉(zhuǎn)換，矩陣的“能量”被全部集中在左上角上的直流分量F(0,0）上，其他位置都變成了0。
在實際的JPEG壓縮過程中，由于圖像本身的連貫性，一個8X8的圖像中的數(shù)值一般不會出現(xiàn)大的跳躍，經(jīng)過DCT轉(zhuǎn)換會有類似的效果，左上角的直流分量保存了一個大的數(shù)值，其他分量都接近于0，我們以剛剛那張圖片的左上角第一塊圖像的Y分量為例，經(jīng)過變換的矩陣為

可以看到，數(shù)據(jù)經(jīng)過DCT變化后，被明顯分成了直流分量和交流分量兩部分，為后面的進一步壓縮起到了充分的鋪墊作用，可以說是整個JPEG中最重要的一步，后面我們會介紹數(shù)據(jù)量化。

步驟四：數(shù)據(jù)量化

剛剛將數(shù)據(jù)進行了離散余弦變換，并從剛剛的講述中可以得知，離散余弦變換是有逆過程的。所以上一個步驟是無損的， 真正有損的步驟是在這一步的數(shù)據(jù)量化。
經(jīng)過剛剛的格式轉(zhuǎn)換和離散余弦變換后，每一個小圖塊都變成了3個8*8的浮點矩陣，為什么是3個，因為每個像素點由Y,U,V三個分量組成。它的數(shù)據(jù)如下

接下來，我要在可以損失一部分精度的情況下，用更小的空間來存儲這些數(shù)。這個時候我們用到了數(shù)據(jù)量化。何為量化，就像我們在看小電影的時候，每次快進沒有按幀快進，而是按照10s一次往前進。忽略了一些不太必要的細節(jié)，從而達到要求，這里就叫量化。JPEG提供的量化算法如下：

其中G是我們需要處理的圖像矩陣，Q稱作量化系數(shù)矩陣，JPEG算法提供了兩張標(biāo)準(zhǔn)的量化系數(shù)矩陣，分別用于處理亮度數(shù)據(jù)Y和色度數(shù)據(jù)U以及V。

亮度量化表

色度量化表

其中round函數(shù)是取整函數(shù)，但考慮到了四舍五入，也就是說

比如上面數(shù)據(jù)，以左上角的-415.38為例，對應(yīng)的量子化系數(shù)是16，那么round(-415.38/16)=round(-25.96125)=-26。最終得到的量子化后的結(jié)果為

可以看到，一大部分數(shù)據(jù)變成了0，這非常有利于后面的壓縮存儲。這兩張神奇的量化表也是有講究的，有損壓縮就是把數(shù)據(jù)中重要的數(shù)據(jù)和不重要的數(shù)據(jù)分開，然后分別處理。DCT系數(shù)矩陣中的不同位置的值代表了圖像數(shù)據(jù)中不同頻率的分量，這兩張表中的數(shù)據(jù)時人們根據(jù)人眼對不不同頻率的敏感程度的差別所積累下的經(jīng)驗制定的，一般來說人眼對于低頻的分量必高頻分量更加敏感，所以兩張量化系數(shù)矩陣左上角的數(shù)值明顯小于右下角區(qū)域。在實際的壓縮過程中，還可以根據(jù)需要在這些系數(shù)的基礎(chǔ)上再乘以一個系數(shù)，以使更多或更少的數(shù)據(jù)變成0，我們平時使用的圖像處理軟件在生成jpg文件時，在控制壓縮質(zhì)量的時候，就是控制的這個系數(shù)。
在進入下一節(jié)之前，矩陣的量化還有最后一步要做，就是把量化后的二維矩陣轉(zhuǎn)變成一個一維數(shù)組，以方便后面的霍夫曼壓縮，但在做這個順序轉(zhuǎn)換時，需要按照一個特定的取值順序。

這么做的目的只有一個，就是盡可能把0放在一起，由于0大部分集中在右下角，所以才去這種由左上角到右下角的順序，經(jīng)過這種順序變換，最終矩陣變成一個整數(shù)數(shù)組

-26,-3,0,-3,-2,-6,2,-4,1,-3,0,1,5,1,2,-1,1,-1,2,0,0,0,0,0,-1,-1,0,0,0,0,…,0,0

步驟五：編碼

JPEG最后一步是對變換,量化后的圖像進行編碼. 用huffman編碼或者其他編碼方式, 可以顯著節(jié)省存儲空間。