影像与视讯的色彩.ppt

1、1,第四章 影像與視訊的色彩,2,4.1 色彩學,光與頻譜 光是一種電磁波，且它的顏色由它的波長所決定 電射光只包含單一波長的光 舉例來說，紅寶石雷射產生明亮的深紅色光束 大多數的光源都是由許多波長的光所組成的 然而，人並不能偵測出所有種類的光，只能看到分佈在可見光波長的那些光 其中波長較短的產生藍色的視覺，而波長較長的產生紅色的視覺 分光光度計：一種量測可見光的設備，其利用了由繞射光柵所分離出來不同波長的反射光，就像三棱鏡一樣來量測,3,人類視覺,眼睛的功能就像照相機，由水晶體將影像作對焦至視網膜(在視網膜上的呈像為上下左右顛倒的) 視網膜由許多的柱狀體和三種錐狀體陣列所組成 柱狀體在當光線

2、較不足時會產生出影像的灰階訊號(如同西諺：“At night，all cats are gray！) 當光線較充足時，錐狀體由其色素之不同，會產生不同的訊號。 三種錐狀體分別對紅光，綠光和藍光可發生感應。 腦部的行為大致上是會利用紅色綠色、綠色藍色、藍色紅色之間的色差，以及將紅色、綠色、藍色結合成一個高亮度的無彩色訊號,4,眼睛對頻譜的感應,人的眼睛對可見光頻譜的中間部分感應程度最強 人類的視覺接受器的感應程度和光線波長的關係為一函數(圖4.3)。 藍色接受器的感應程度並沒有按照比例畫上去，因為其曲線的數值要比紅色或綠色小得多 藍色是在進化過程中最後加入的感覺能力。 根據統計，藍色是人類最喜歡

3、的顏色，不分國籍也許是因為藍色帶有多點驚奇吧！ 圖4.3中的虛線顯示了眼睛的加總感應程度，這個重要的曲線稱作感光效率函數 其為對紅光、綠光和藍光的感應程度曲線的加總，表示為V(),5,柱狀體的對波長的感應程度曲線看起來就像感光效率函數V()一樣，但是在頻譜圖上稍微往紅色端偏移一點 錐狀體的無彩色訊號產生的方式就像2R+G+B/20 圖4.3：錐狀體的感應度：紅光(R)、綠光(G)、和藍光(B)錐狀體，和感光效率曲線V(),6,這類頻譜感應函數通常由R、G、B之外的字母來表示，所以這裡我們把它們用向量函數q()來表示： (4.1) 眼睛對每種顏色頻段的反應是和大腦神經元的活動數量成比例 波長為的

4、雷射光會在某些大腦神經元產生反應。頻譜能量分佈為單頻光(如雷射)的合成，故將所有落在視網膜且會使錐狀體發生感應的光線，再依各波長的值加權上感應程度的總和。,7,我們可以把這個概念簡潔的寫成積分的型式： (4.2),8,影像的成型,物體表面反射各種不同波長不同大小的光，而且暗色表面比淺色表面反射較少的能量 圖4.4顯示了(1)橙色帆布鞋和 (2)褪色牛仔褲的表面的頻譜反射比。反射比的函數以S（）表示,9,影像成型的情形如下： 由光源發出頻譜能量分佈為E()的光線打在物體表面上，表面的反射比為S()，形成反射後由眼睛的錐狀體函數q()所過濾 圖4.5顯示了這基本的模型配置 其中函數C()為色彩訊號

5、，為光源E()乘上反射比S()： C()E() S()。,10,此方程式類似於方程式(4.2)，再加上了影像成型模式的部分 (4.3),11,照相機系統,人類利用和眼睛類似的方式發展了照相機系統。一個好的照相機在同一個像素的位置(對應到視網膜的位置)可以產生三種訊號 類比的訊號可以轉換成數位的，成為整數來儲存。如果是用8-bit的精確度，則R、G、B訊號的最大值為255，最小值為0 然而，對電腦的使用者來說，進入眼睛的光線是由螢幕所發出的螢幕本身是一個自發光源。所以我們需要知道進入眼睛的光源E(),12,珈瑪校正,射出的光實際上大約和電壓的次方成正比。此次方項稱作珈瑪(Gamma)，以符號表示

6、 因此，如果檔案中紅色訊號的數值為R，則螢幕上由紅色訊號電子槍的目標區域螢幕上佈塗的紅色磷光質射出光的頻譜會和R成正比。Gamma的數值大約為2.2。 習慣上會在傳送前把訊號加上（1/）的次方項，成為已珈瑪校正後的訊號（Gamma-corrected）R。 我們可得： (4.4),13,圖4.6(a)顯示了沒有珈瑪校正的光源輸出，我們可以看到較暗的數值會被顯示的過暗。另外在圖4.7(a)顯示此圖從左至右的線性漸變圖。 圖4.6（b）顯示了加上冪次R1/r，加以正規化使電壓在0到1的範圍中的預先處理訊號的影響。,14,從這個珈瑪校正的定義我們可以看出，應用這簡單冪次法則作校正會使得在電壓為零時造

7、成導數無限大這會讓使類比的校正電路難以實作。 所以在實際上會使用更一般化的式子： RRaR1/r + b，另外會在原點附近作特別的處理：,15,配色函數,在圖.3的眼睛感應度曲線被發現之後，我們使用了包含心理學的技術來利用基本紅，綠，藍光的組合來比對給定的顏色。 這些可用的特定三種基本色光集合，稱作原色集合。 為了和給定的顏色相配，可由一群觀察者分別調整三原色的亮度，直到最後產生的組合光和需要的顏色最相配。 基本的情況如圖4.8所顯示。而執行這樣一個實驗的設備稱作比色計。,16,CIE色度圖,由於 的配色曲線會有負值，因此定出了一組假設的原色，使色彩比對函數只會有正值。 圖4.10顯示了這個曲

8、線；這通常被稱作the配色函數 這是由 曲線作線性轉換(用33矩陣)所得出的結果 而所選擇使用的矩陣必須要讓標準配色函數的 項的中心會和圖4.3中的感光效率曲線()剛好相同。,17,對一般的頻譜能量分佈E()來說，本質上描述色彩的色度資訊是由三色刺激值(tristimulus values)X、Y、Z集合組成，其定義類似於方程式4.2(中間數值Y稱為明度)： (4.6) 然而3D的資料是難以視覺化的，所以CIE根據（X，Y，Z）三個數值以圖4.10的曲線設計了2D的圖形來表示。,18,我們設計2D的圖形以(X，Y，Z)向量不同倍數的大小來表示；我們除以X+Y+Z的和取代除以 來得到色度 (4.

9、7) 這明顯地表示了在（X，Y，Z）集合中有一個數值是多餘的，因為我們得知： (4.8) 因此 (4.9),19,我們可以將每個三色刺激值向量(X，Y，Z)投影到由(1，0，0)、(0，1，0)、(0，0，1)三點所組成之平面 國4.11顯示了在CIE色度圖上，單色度光產生的點坐標的軌跡 圖4.11 CIE色度圖,20,配色曲線在設計上是用相同的值來相加每段曲線的區域的 值都相同 因此所有頻譜能量分佈值為一的白色明度稱為等能量白光其色度值為(1/3，1/3)。圖4.11顯示了這個白點位在色度圖的中心位置 因為我們必須要讓x，y且xy，所有可能的色度一定必落在圖4.11中的虛線對角線之中,21,

10、在頻譜軌跡上色度(圖4.12的馬蹄)的色彩表示為純色，這些大多數是飽和的；相反的，愈靠近白點的色彩是愈不飽和的 色度圖有一個很好的特性，就是對兩個色光的混合結果的色度，就會落在此兩色光的色度連接直線上。 對任何在CIE圖上的色度，其主波長是以白點到此色彩的連接線往下延伸到和頻譜軌跡的交點位置決定。,22,彩色顯示器規格,彩色顯示器會希望其規格能在RGB三個電子槍都動作到最大的能量時，可以顯示出想要的白點(1.0，如果我們把電壓值正規化至0到1的範圍 ) 我們希望可以指定讓顯示器在RGB1時可以顯示出想要的白點 表4.1顯示了三種常見規格中的這些數值,23,超出色域色彩,對任意的(x，y)，我們

11、希望由指定的(x，y，z)找出RGB三數值：即是我們要由z1 x y和由製造商指定的RGB色度來產生磷光質的z數值 我們經由下列運算結合RGB中非零數值： (4.10),24,如果(x，y)是已知，而不是由上述式子得來，我們可以轉換磷光質(x，y，z)的數值矩陣，來建立正確的RGB數值來維持想要的色度。 但是如果有RGB的數值為負數時會怎麼樣呢？ 有某個色彩，是人類可以感覺到的，但是使用的設備卻無法表示出來。這種情況我們稱作此色彩超出色域 第一個方法：簡單的改用在色域中最接近的色彩來表示，如圖4.13 另一種方法：選擇最接近的補色色彩,25,格拉斯曼定律： (加成)配色是線性的。這意味著若我們

12、使用一組權重配出color1，而使用另一組權重配出color2，則color1+color2的顏色則可由兩組權重的總和得到。 由原色加成所得的顏色，用於投影到白色螢幕，或是在具磷光值的玻璃螢幕。(印表機的顏色則不一樣，其為相減得到) 圖4.13顯示了NTSC系統在CIE色度圖上的三角形色域 對螢幕來說，所有可以顯示的色彩會包含在一個三角形中,26,白點校正,問題： 到目前為止我們還缺了一件事，就是當我們需要去對三色刺激值XYZ和設備的RGBs間作映對，而不只是考慮xyz的色度時要如何處理 使用表4.1可能會產生錯誤的數值： 以SMPTE規格來說，設定RGB1時，X數值等於所有x數值的總合，即0

13、.6300.3100.155，但這總合會等於1.095。相同的，Y和Z值為1.005和0.9，在除上(XYZ)後會使色度為(0.365，0.335)，而不是想要的(0.3127，0.3291)。,27,改正這兩個缺陷的方法首先要把Y對白點的量當成單位元素： Y (white point) = 1 (4.11) 現在我們需要找到三個校正係數的集合使電子槍訊號的增益乘上這些數值，讓我們在RGB1時可以正好得到白點的XYZ數值。,28,假設在方程式(4.10)中磷光質色度xr，xg，的矩陣為M。我們可用對角矩陣Ddiag(d1，d2，d3)來表示校正值，使得： XYZwhite = M D (1 ,

14、 1 , 1)T (4.12) 對SMPTE規格我們得到(x，y，z)(0.3127，0.3291，0.3582)或是除上中間值得到XYZwhite (0.95045，1，1.08892)。我們可以注意到D乘上(1 , 1 , 1)T可以直接以(d1，d2，d3)T表示，故我們最後可以用方程式解出(d1，d2，d3)T： (4.13),29,利用上述得出的XYZwhite值加以轉換，可以得到： (d1, d2, d3) = (0.6247, 1.1783, 1.2364) (4.14),30,XYZ到RGB的轉換,現在從XYZ到RGB的33轉換矩陣如下 T = M D (4.15) 對不是白點

15、的點來說： (4.16) 對SMPTE規格，我們可以得到： (4.17) 將之完全寫出來得到： (4.18),31,包含珈瑪校正的轉換,我們通常都不是得到線性的R、G、B訊號，而是非線性經珈瑪校正後的R、G、B。 把XYZ轉換到RGB的最好方法為先依方程式(4.16)轉換出線性的RGB訊號,再透過珈瑪校正產生非線性的訊號 不過通常情況並不是像上述的這麼做。替代的是對方程式中的Y數值雖然作一樣的處理，但是是用非線性的訊號。 其對精確度唯一的妥協在對這個從R、G、B得來的Y值改稱做Y。 Y意義為其代表了對像素的亮度的描述符號。,32,但是是使用了針對NTSC系統的表4.1中的數值，我們可得到下列的

16、轉換： (4.19) 如此，非線性訊號的編碼從非線性的相關明度的編碼開始： (4.20),33,L*a*b（CIELAB）色彩模型,韋伯定律：當數量愈大時，改變量也就要愈大才能被感覺到差異性 。 這個簡單實際的定律說明了可產生相同感覺的改變是相對的 不管是在亮或暗的光線下，如果改變的比例相同，也會感覺到相同的改變。 以數學來說，若密度為I，能被察覺到的改變量為與常數 相同。若環境很安靜，我們可以聽到很小的聲音。若有許多噪音，要感覺到相同的改變必須是同樣的比例。,34,而對人類的視覺來說，CIE對此定律提供稍微深入的版本 CIELAB色彩空間。這個空間的數量是利用對色彩及亮度感覺的差異度來表示

17、。 圖4.14顯示了對色彩差異度矩陣的座標空間的3D立體剖面圖。,35,CIELAB (4.21) (4.22) Xn、Yn、Zn為白點的XYZ數值。補助的定義為：,36,其他色彩座標設計,考慮：是否要加入珈瑪校正 其他的設計包含了： CMY 青色(C)、洋紅色(M)、黃色(Y) HSL色相，飽合度和光線亮度； HSV色相，飽合度和數值 HIS色相，飽合度和明暗強度 HCIC彩度 HVCV數值 HSDD暗度,37,4.2 影像的色彩模型,色彩模型和坐標系統用來儲存、顯示和輸出影像 CRT顯示器的RGB色彩模型 我們期望可以每個色頻使用8位元來達到足夠的精確度。 然而，事實上我們必須對每個色頻使

18、用12位元來避免影像暗處的混疊效應由珈瑪校正所產生的邊緣混淆帶 利用電腦圖形來輸出影像時，我們會把整數部分儲存在頁框緩衝記憶體中，然後在頁框緩衝記憶體到CRT之間時建立珈瑪校正的查詢表格。 如果是在儲存到頁框緩衝記憶體之前，數字還沒轉換成整數前時對浮點數就做珈瑪校正，則我們可以只對每色頻使用8位元就能避免邊緣的瑕疵。,38,減法色彩：CMY色彩模型,事實上到目前為止我們只提及了加法色彩，即當兩個光線照在同一個目標上，它們的色彩會相加；當CRT螢幕上的兩種磷光質被打開，它們的色彩會相加。 但是對印在紙上的顏料來說，實質上是完全相反的情況：黃色顏料是將白色照明減去藍色，反射出紅色和綠色；使得它顯示

19、出黃色！,39,因此，我們需要把紅、綠、藍三原色取代，原色改成紅、綠、藍(表示為負號)；即我們需要減法的R、G、B。 這些減法的原色為青色、洋紅色、黃色顏料。 圖4.15 RGB與CMY色彩方塊,40,RGB到CMY的轉換,最簡單的系統來對某個需求的RGB色彩，決定要指定多少顏料印來紙上： (4.24) 則其反向轉換為 (4.25),41,底色去除：CMYK系統,底色去除：較銳利且較便宜的印表機顏色：計算出哪些部分的CMY的混合可以得到黑色，將之從色彩的比例中移除，再以同比例加回真正的黑色，這稱為底色去除。 這新的顏料設計為： (4.26),42,印表機色域,實際上傳輸曲線在CMY顏料上都有重

20、疊。這導致了在色頻間的串擾和增加預測印刷輸出的色彩的困難 圖4.17(a)顯示了對實際阻擋顏料的典型傳輸曲線，而圖4.17(b)顯示了使用這些顏料的彩色印刷機產生的彩色色域。,43,4.3 視訊的彩色模型,視訊色彩的轉換 處理數位視訊的色彩的方法有許多都來自從前對電視訊號彩色編碼的類比方法。一般來說有些版本的明度和彩色資訊會成單一的訊號。 舉例來說，有種和方程式(4.19)類似的矩陣轉換方法稱作YIQ，在北美和日本被用來傳送電視訊號。 在這些國家這種編碼也成功地成為VHS錄影帶的編碼格式，因此錄影帶技術也使用了YIQ。 在歐洲因為根據電視所使用的為稱作YUV的轉換矩陣，錄影帶是使用了PAL或S

21、ECAM編碼。 最後，數位視訊大多數使用的轉換矩陣為YCbCr，其和YUV有很密切的相關。,44,YUV色彩模型,依方程式(4.20)先對明度訊號(對已珈瑪校正訊號)編碼成Y，(回想Y通常稱為明度Luma。) 我們使用色差(chrominance)來表示色彩和參考白色在相同明度之下的差值 這可以用色彩對U，V的差值來表示： (4.27) 依據方程式(4.20) (4.28) 注意到對RGB灰色的像素，因為根據方程式（4.20）的係數為0.2990.5870.1141.0，故其明度Y會和灰階值R相同，因此對於灰階（黑白）影像，其色差值（U，V）為零。,45,最後在實際實作時，U和V會為了有更方便的最大最小值而重新調整。 在處理複合視訊(composite video)時，為了方便性我們會將包含U,V的複合訊號振幅抑制在13到43的範圍中。為了這個需求，U和V調整成： (4