《视讯通讯导论》PPT课件.ppt

1、1,視訊通訊導論,第四章 影像與視訊中的顏色,2,影像與視訊中的色彩,色彩學(Color Science) 影像中的色彩模型 視訊中的色彩模型,3,色彩學,光線與頻譜(Spectra) 光線是一種電磁波. 光線中的波長決定該光波的外在顏色. 雷射光含有單一的波長：雷射光包含單一波長，例如紅寶石雷射會產生光亮且深紅色的光束 大多數的光源可以含有許多波長的光線 但是人無法辨識其中所有的光線，只能看到所謂的可見光 藍光屬短波長，紅光屬長波長 分光光度計 (Spectrophotometer) 可已經由一個可繞射方格物質表面將光線反射並產生多個不同波長的光線,4,色彩學,牛頓的實驗中，顯示白光包含所有

2、彩虹中的顏色。 可見光是波長從400nm到700nm的電磁波,5,色彩學,下圖是典型戶外有陽光下，光線中不同波長的相對能量，其中的曲線稱為光譜能量分佈(Spectral Power Distribution)或者光譜(Spectrum) 波長的符號是，該曲線稱為E(),6,人的視覺,人的視覺系統就像是照相機的光圈將影像聚焦在視網膜上(上下及左右顛倒) 視網膜包含一組桿狀體細胞(rod)的陣列及三種錐狀體細胞(cones) 當光線變黯淡時 ，桿狀體細胞就產生灰色的陰暗影像 當光線變亮時，每一個錐狀體細胞就會產生一個訊號，因為彼此不同的色素組成，這三個錐狀體細胞對於R,G,B三原色最敏感。 大腦極

3、有可能利用R-G, G-B, B-R，與RGB的組合形成一個在明亮光線下無色差的波道。,7,眼睛對光譜的敏感度,人的眼睛對於可見光的頻譜中間部分的光線最敏感 視覺感應器官的敏感度也是波長的函數,8,眼睛對光譜的敏感度,如上圖所示，藍色的感受程度並沒有像其他顏色的數值來的大，在發展過程中，藍色屬於後來者 統計上來說，藍色是比較受歡迎的顏色，不論國界。 圖中斷線的部分使顯示光線的普遍敏感度，這個重要的曲線就是所謂亮度有效函數(luminous-efficiency function) 通常寫成V()，就是R,G,B反應曲線總和的結果,9,眼睛對光譜的敏感度,桿狀體細胞(rod)敏感度曲線就像是亮度

4、有效函數V() ，但是被移到紅色曲線尾端 椎狀體細胞所產生的無色差波道應該是 2R+G+B/20 頻譜敏感度的函數通常不是用RGB等字母來表示，所以通常用的是一個向量函數q(),10,眼睛對光譜的敏感度,眼睛中每一個顏色波道的反應與神經細胞的反應數目成正比 一個波長為 的雷射可以導致一定數量的神經細胞反應，一個頻譜能量分佈(SPD)是單一頻率的光線的組合，所以我們將椎狀體細胞對於所有波長的反應，利用該波長的相對反應值列出 我們可以概要的用函數寫下我們的想法,11,影像的形成,物體的表面會根據不同波長反射不同數量的光線，黑的表面所反射的能量會比光亮表面所反射的能量來的少 下圖在橘色布鞋與褪色牛仔

5、褲的表面頻譜反射 反射函數用S()來表示,12,影像的形成,13,影像的形成,因此影像的形成是 有著頻譜能量分佈函數為E()的發光體的光線打在一個物體表面，而物體表面反射了頻譜反射函數S(), 然後被眼睛的椎狀體細胞透過函數q()過濾. 下圖顯示反射模式. 下面的函數的C() 稱為顏色訊號，而且包含了光源函數E()與反射函數S()的乘積：,14,影像的形成,15,影像的形成,由上圖模型所形成的完整函數為,16,照相機系統(Camera system),照相機系統是用類似上述的方式來完成，一個現場品質的照相機在每個像素上產生三個訊號(對應到一個視網膜的位置) 類比訊號會轉換成數位，切成整數然後儲

6、存. 假使精確度是8位元, R,G,B的最大值就是255,最小值就是0 電腦螢幕所發射出來光線進入電腦使用者的眼睛，而電腦螢幕是自我發光體. 所以我們必須曉得光線E() 進入了眼睛,17,Gamma修正,螢幕光線能量的發射與電壓的指數大致成正比，這個指數稱為gamma, 符號為 因此，如果在紅色波道中的值是R，螢幕發出的光線能量與R成正比，而這個SPD的值相等於紅色波道電子光束想要塗在螢幕上紅色磷粉上的強度 習慣將訊號作gamma correction，利用加上一個1/指數，還原原來線性的訊號,18,Gamma修正,19,Gamma修正,20,Gamma Correction,在實際狀況下，通

7、常會用一個更完整的轉換來解決零電壓的轉換問題，例如：RR=aR1/+b,21,色彩配對函數,即使不曉得前面所提到眼睛敏感度曲線，可以使用一個在心理學中發展出來的技術：將RGB三光線配對成某一深淺不同的色調 這三個基本光線的特定集合在實驗中稱為 三原色(Color Primaries)集合. 要配對成某一個顏色，實驗主題被要求分別用一套控制的方式來調整三原色的亮度，一直配對到想要的顏色顯示為止 實驗狀況如下圖 ，完成這樣實驗的設備叫色度計(colorimeter),22,23,顏色配對曲線,實驗主題所選擇RGB的數量來對應符合一個單一波長的光線，形成所謂顏色配對曲線(color-matching

8、 curves),24,CIE光品質圖(chromaticity diagram),因為上圖的r()顏色配對曲線有一段負值的曲現，所以推導出一套虛設的基本函數將顏色配對函數只有正值 如下圖10; 所以他們會常常拿來當作是真正的顏色配對函數 他們是由一個3x3的陣列將r,g,b曲線轉換成 x,y,z曲線 這個陣列的選取要使得中間這個標準函數y()要恰好等於亮度有效函數V(),25,26,CIE光品質圖,對一般SPD E(),需要能分別顏色的重要色度計上的資訊就是三重刺激值(tristimulus values)X, Y , Z的集合 (前面的函數有定義過)(Y就是亮度，luminance): 3

9、D的資料不容易辨識瞭解，所以CIE由前面圖中(X,Y,Z)曲線導出了一個2D圖，,27,CIE光品質圖,是可以將原來(X,Y,Z)的值除上一個SQRT(X2 +Y2 +Z2), 但是我們改用除以X +Y +Z 來形成光品質: x = X/(X +Y +Z) y = Y/(X +Y +Z) z = Z/(X +Y +Z) 因為它可以有效的表示出(x,y,z)中有一個值是多餘的，因為x+y +z =(X +Y +Z)/(X +Y +Z )=1 所以z = 1 - x - y,28,CIE光品質圖,將(X,Y,Z)值投影在連接(0,0,1), (0,1,0), (1,0,0)三點所形成的平面上。 下

10、圖就是顯示單色點的軌跡：,29,CIE光品質圖,對所有的而言，E()=1，也就是一個等能量的白光，如上圖中間部分所示，當光品質值是(1/3,1/3)時，會顯示一個典型的白點(white point)。 因為x,y1，x+y+z1，所有可能光品質的值都落在上圖斷線的左下角。,30,CIE光品質圖,CIE定義了幾個白色光譜:illuminant A, illuminant C以及標準日光D65 and D100. (如下圖)的能量分佈情形：,31,CIE光品質圖,在前面所看到頻譜軌道(也就是像馬鞋印的圖)表示出有關於純色彩(pure color)的光品質(chromaticities)，這些值都是

11、最飽和的(most saturated)，而接近於白點(white point)的顏色是比較不飽和的顏色。 光品質圖 兩個光線的混合所產生的結果，就是落在連接兩個光線的光品質曲線所在的的直線上。 所謂顯著波長(dominant wavelength)就是落在頻譜軌道上，也就是連接白點指到某一顏色的一條線與頻譜軌道上的交點上。,32,顯示器色彩規格,當RGB電子槍是不是要以最大能量啟動時(1.0也就是將電壓標準化到0,1，監視器色彩的功能部分是需要的白點光品質來指定。 我們要求控管功能能顯示指定的白色當R=G=B=1 (gamma corrected)。 下表中有一些現已在使用的監視器顏色標準：

12、,33,超出範圍的色彩,對每一個(x,y)而言，我們希望找到RGB三原色在給定的(x,y,z)下： 可以經由z = 1- x-y 找到對應z值，並從燐的光品質中解出對應的RGB。 經由下列方式組合RGB：,34,超出範圍的色彩,假使指定了(x,y) 無實際值的顏色 ，我們必須用上面的式子將磷光品質透過反矩陣獲致RGB。 如果RGB數字有負值，怎麼辦?(超出範圍的色彩) 那樣的顏色人可以看見，可是螢幕設備卻無法顯示。 方法一: 很簡單就利用最接近範圍內可用的色彩，如下圖。 方法二：挑選接近的互補色。,35,CIE圖中NTSC的三角形範圍,36,超出範圍的色彩,Grassmans Law: (可加

13、性,Additive) 人的顏色配對是線性的，這意味著如果我們經由線性組合光線配出顏色color1並且經由另一組比重配出顏色color2, 而經由將兩組比重相加配出新的組合顏色。 可加性顏色是來自於自我發光源，譬如光線投影在白色螢幕上，或者是在螢幕上發光的磷粉 (另外有可減性的顏色處理，通常是用在印表機，非常不同）。 上圖顯示的就是NTSC系統，畫在CIE圖上，螢幕只能顯示在三角形範圍內的顏色。,37,白點修正(White point correction),到目前為止，我們需要能將tristimulus值XYZ對應的設備顯示RGB的數量，不僅只看光品質xyz。 前面表格是不是有錯誤的值？ 例

14、如其中SMPTE規格，設定R =G = B = 1導致X的值等於x相關值的總和, 就是0.630 + 0.310 + 0.155, X值就是1.095，同樣的Y和Z 值分別是1.005及0.9. 所以將原值除以(X + Y + Z) 使得光品質為(0.365; 0.335),而不是表中的 (0.3127, 0.3291).,38,白點修正(White point correction),為了修正這兩個問題，首先將白點能量Y的數量設成單位1: Y (white point) = 1 現在需要找到一個三個修正係數的集合使得 假使三個電子槍的增益可以被這三個值相乘而獲得白點的 XY Z值當R = G

15、 = B = 1。 令前面有關於燐光品質的二維陣列(xr, xg等)為M，我們可以以一個對角線陣列 D = diag(d1; d2; d3)使得,39,白點修正(White point correction),對SMPTE規格而言，我們有(x, y, z) = (0.3127, 0.3291, 0.3582) , 或者除以中間值得到XYZwhite = (0.95045, 1, 1.08892)，並且改寫前面的函式可以獲致 然後，獲得的XYZwhite新值，經過反轉後，得到 (d1, d2, d3) = (0.6247, 1.1783, 1.2364) ，這些就是修正係數,40,XYZ與RGB

16、的轉換,所以現在的3x3轉換陣列可以表示為T = M D 即使不是白點的值 所以對SMTPE標準而言，我們可以有 也就是,41,含有Gamma correction的轉換,除了可以線性處理的R,G,B外，我們通常還有需要gamma Correction處理的非線性R, G, B (由攝影機或數位相機所產生)。 將XYZ轉換成RGB經由前面式子算出線性的RGB，然後再由gamma correction轉換成非線性訊號。 但是事實並不是如此操作，作法是將方程式中的Y函數有關線性RGB都換成非線性的R, G, B 唯一對於精確度的妥協就是給Y一個由RGB所產生新的Y值。 Y 值的用處就在於它對於在像

17、素位置上亮度值的編碼。,42,NTSC系統的範例,原來NTSC的線性方程式 有關於亮度編碼的非線性訊號,43,CIELAB色彩模型,Webers Law: 相等的感官的差異程度要用相同比例的數量來區分，數量越大表示感官上的差異越大。. 這個現象的一般說法就是相等比例的感官變化必須是相對的，不管是黑色或白色等等。 數學上來說，強度為I的顏色只要變化I/I 是常數，感官上的變化量也是相等的，假使是一個安靜的聲音 ，我們可以聽到聲音的一點點變化，假使有許多雜訊，所感受到的變化也必須等比例的強烈。 就人的視覺系統，CIE 獲得一個不同的視覺空間(CIELAB) ，也就是在這個空間上數量的不同就是顏色與

18、亮度感官上的差異。 下圖顯示屬於顏色差異參數的三維空間 座標的切面圖。,44,CIELAB色彩模型,45,46,更多色彩座標方法,CMY Cyan (C), Magenta (M) and Yellow (Y ) color model; HSL Hue, Saturation and Lightness; HSV Hue, Saturation and Value; HIS Hue, Saturation and Intensity; HCI C=Chroma; HVC V=Value; HSD D=Darkness.,47,影像中的色彩模型,色彩模型及空間是用來儲存、顯示及列印影像 RGB

19、 Color Model for CRT Displays 我們期望可以用8個bit準確地來表示顏色中每一個色彩通道 事實上我們需用大概12個bit才可以避免在深色影像中所謂的aliasing effect 由gamma correction所造成的contour bands 對於有電腦繪圖所產生的影像，我們將於強度比例的整數放入frame buffer中，所以應該有一個在frame buffer與CRT間經過gamma correction的LUT。 假使gamma correction是浮點數，在強度資料存入frame buffer前，就必須量化成整數I, 這樣仍然可以用8個bit來避免所

20、謂的contouring的人造效果.,48,可減性顏色：CMY色彩模型,到目前為止，只討論到所謂的可加性顏色 也兩個光速打在一個物體上，他們的顏色會相加 當在CRT上的兩種磷粉同時啟動時，它們所對應的顏色會相加. 但是在紙張上置入的墨水，不同的狀況會發生 黃色墨水會從白色中減去藍色，但是反射紅色及綠色，也就是出現黃色 除了RGB三原色外，還需要-red, -green以及-blue. 也就是需要去減R, G或B Cyan (C), Magenta(M) and Yellow (Y )三種互補色墨水,49,50,從RGB轉換為CMY,我們可以有一個放在紙上墨水強度產生需要的RGB色彩的模型 反轉

21、換函數為:,51,底色移除：CMYK系統,準確而且低成本的印表機色彩 計算出來其實部分的CMY混和就可以產生黑色，也就是等比例重CMY中減去，再相加成為更真的黑色一樣的黑色 CMYK,52,相加性與相減性色彩,53,印表機色彩範圍,CMY墨水曲線傳遞會重疊，導致color通道彼此會干擾，使的產生的顏色的預測困難,54,視訊中的色彩模型,Video Color Transforms 大部分都是來採納電視系統舊的色彩類比編碼的方式， 亮度與色彩資訊是分開來的。 舉例來說類似在前面函數用到的陣列轉換方式類似，稱為YIQ格式，在北美及日本用來傳送電視色彩訊號。 這些國家就以這樣的編碼以它的方式(YIQ)進入VHS錄影帶成為內容編碼格式. 歐洲，錄影帶用PAL或SECAM編碼，也是基於電視上所使用的YUV陣列轉換。 最後數位視訊幾乎都使用一個非常接近YUV方法，也就是稱為陣列轉換YCbCr 的方式,55,YUV色彩模式,YUV將前面提過一個經過gamma correction的亮度訊號編碼，就是Y，稱為“luma”。 而Chrominance是一個顏色與白色在相同亮度下的差異