机器人资料-论文-133-色彩影像初阶校正与缩放技术研究.pdf

中 原 大 學 資 訊 工 程 學 系 碩士學位文 色彩影像初階校正與縮放技術研究 color image preliminary calibration and resizing technique 指導教授：張元翔 博士 研 究 生：蔡孟達 中華民國九十四月 i 摘要摘要 隨著影像技術與資訊技術的發展，數位影像已遍及每一個地方，影像色彩亦 從灰階影像進展到彩色影像，因此數位色彩裝置(如掃描器)也就越來越普遍。除 了效率之外，消費者最重視的就是色彩品質，顏色是否接近真實色彩相當重要， 而色彩校正就是修正色彩特性的技術。一般而言，色彩校正過程繁複，因此一般 使用者不容易進行色彩校正，本研究嘗試發展一套簡易色彩校正程序，能夠協助 使用者自行校正色彩且達到一定程度的校正效果。利用校色稿之色彩線性分佈的 特性，修正影像於掃描過程中所產生的非線性反應誤差，在實驗結果中可以看出 本研究已達到初步的校正效果，然而為了追求更近一步的效能，仍需深入研究並 改進校正程序。 基礎的影像處理技術(如縮放、分割)通常是醫學影像、多媒體技術等的基本 運算，若基礎處理效果不佳使得影像失真，接下去的後續處理就是對錯誤的資料 做處理。本論文針對色彩影像縮放進行研究，影像縮放大多採用內插法來處理， 傳統內插法包括：最近鄰內插法、雙線性內插法、雙立方內插法，傳統內插法的 縮放效果並未達到高水準，本論文研究另一種內插法斜角投射 b-spline 內插 法。分別以主觀與客觀(訊號雜訊比)的方式來評估各個內插法的縮放效果，以實 驗結果來看 ， 不論主觀或客觀的評估方式皆指出斜角投射 b-spline 內插法對色彩 影像有較佳的縮放效果，但考慮執行速率，斜角投射 b-spline 內插法並非最有效 率的影像縮放處理法。 關鍵字：色彩影像、色彩校正、色彩影像縮放、內插法技術 ii abstract with the advance of imaging and information techniques, digital images are popular everywhere. the color of image has also been developed from achromatic to chromatic. so, color imaging device (ex. scanner) has become more and more popular. except for efficiency, consumers respect color quality. it is very important that digital color data represent original color. calibration is a technique of correcting color characteristics. in general, calibration process is not tedious. so, general users can not easily calibrate themselves. this thesis tried to develop one simple calibration process. it could help users calibrate themselves and achieve certain degree of calibration. using the property of linear distribution of standard color chart, we fixed the non-linear response error during scanning process. experimental results show that the process we proposed achieved preliminary success. however, for better results, more research effort is desired. basic technique of image processing (e.g. resizing, segmentation etc.) is usually the basic operator of medical image and digital multimedia. if the results of fundamental processing are performed badly, this could cause distortion such that the follow-up step will be processing wrong data. this thesis is to study the color image resizing. image resizing was generally processed by interpolation. the conventional interpolation included: nearest neighbor interpolation, bilinear interpolation, and bicubic interpolation. the conventional interpolation could not achieve high quality of image resizing. this thesis is an attempt to overcome the deficiency of conventional methods and to study another method, namely oblique projection of b-spline interpolation. both subjective and objective (signal to noise ratio) methods are used to estimate the quality of resized images. experimental results show that the oblique projection of b-spline interpolation has achieved best results. however, the iii oblique projection of b-spline interpolation was not the most efficient image resizing processing method. key words: calibration, color images, image resizing, interpolation technique iv 致謝致謝 本論文得以順利完成，首先必須感謝我的指導教授 張元翔博士，由於教授 的教導總能讓我快速地找出問題所在並解決，協助我找到研究目標且適時地給予 我鼓勵，讓我在研究所的兩年中獲益頗多。並感謝口試委員：鄭明傑博士與辛錫 進博士給予本論文建議。另外要感謝德鑫科技熱心提供色彩測試儀器及測試影 像，使我可以快速地完成研究。 在這兩年中，相當感謝實驗室的所有成員，明生、鴻明、文邵等同學及佑偵、 雅雯、榮成、忠驊、立文等學弟妹，有時和你們一同說笑聊天、放鬆心情，有時 一起討論課業、互相勉勵，讓我在研究所的生活中有許多回憶，也感謝其他所有 關心我的朋友們(你們終於可以不必再問我”畢業沒?”了)。 最後，將本論文獻給我的父母：蔡松讚先生與張錦珠女士，你們的付出讓我 在求學路途中無需顧慮其他，你們對我的關懷、叮嚀及其他的一切，我衷心地感 激。 兩年的研究所生活中難免有瓶頸與挫折，但也有得到相當的收穫，在此學習 到的一切將會成為我的回憶及指標 ； 畢業了 ， 願所有我關心的人能分享我的喜悅 。 蔡孟達 謹識 於中原大學資訊工程系 中華民國 94 年 6 月 v 目錄目錄 摘要.i abstractii 致謝iv 目錄.v 圖索引.viii 表索引.x 第一章 緒論1 1-1 研究動機與目的1 1-2 色彩理論2 1-3 論文架構3 第二章 理論基礎4 2-1 色彩模型4 2-1-1 rgb 色彩模型.4 2-1-2 cmyk 色彩模型.5 2-1-3 hsi 色彩模型.6 2-1-4 cielab色彩模型.7 2-2 色彩轉換8 vi 2-2-1 rgb色彩模型轉換成hsi色彩模型8 2-2-2 rgb色彩模型轉換成cielab色彩模型8 2-3 色彩輸入裝置初階校正9 2-4 影像縮放11 2-4-1 內插法的應用11 2-4-2 最近鄰內插法12 2-4-3 雙線性內插法12 2-4-4 雙立方內插法14 2-4-5 斜角投射 b-spline 內插法15 2-4-6 色彩影像縮放18 第三章 實驗方法19 3-1 色彩輸入裝置初階校正19 3-1-1 實驗設計19 3-1-2 校色稿三原色色彩分佈20 3-1-3 校正色彩分佈線21 3-2 不同內插法之色彩影像縮放實驗23 3-2-1 實驗設計23 3-2-2 內插法實作24 3-2-3 客觀評估方法26 3-2-4 內插法效果比較26 第四章 實驗結果29 4-1 色彩輸入裝置初階校正實驗結果29 vii 4-1-1 校色稿色彩分佈29 4-1-2 色彩分佈線校正31 4-1-3 校正結果比較32 4-2 不同內插法之色彩影像縮放實驗結果35 4-2-1 主觀評估35 4-2-2 客觀評估44 第五章 結論與未來研究方向49 5-1 結論49 5-2 未來研究方向50 參考文獻51 viii 圖索引圖索引 圖 1-1 彩色光譜2 圖 2-1 rgb 色彩模型示意圖.5 圖 2-2 hsi 色彩模型示意圖.6 圖 2-3 cielab色彩模型示意圖.7 圖 2-4 kodak q-60校色稿10 圖 2-5 最近鄰內插法說明圖12 圖 2-6 雙線性內插法說明圖13 圖 2-7 雙立方內插法說明圖14 圖 3-1 色彩校正實驗設計方塊圖19 圖 3-2 校正色彩分佈線示意圖21 圖 3-3 10張測試影像(縮圖).22 圖 3-4 色彩影像縮放實驗設計方塊圖23 圖 3-5 測試影像一lenna影像.25 圖 3-6 測試影像二 patterns 影像25 圖 3-7 測試影像一 baboon 影像(縮圖)27 圖 3-8 測試影像二 peppers 影像(縮圖).27 圖 3-9 測試影像三 travelers 影像(縮圖)28 圖 3-10 測試影像四 wheel 影像.28 圖 4-1 第17欄 紅色色階rgb平均測量值分佈圖.29 圖 4-2 第18欄 綠色色階rgb平均測量值分佈圖.30 圖 4-3 第19欄 藍色色階rgb平均測量值分佈圖.30 圖 4-4 校正稿 r 值與第一種校正方式所校正出的 r 值分佈線.31 圖 4-5 校正稿 r 值與第二種校正方式所校正出的 r 值分佈線.32 ix 圖 4-6 測試影像33 圖 4-7 校正影像(使用方法一).33 圖 4-8 校正影像(使用方法二).33 圖 4-9 部份測試影像35 圖 4-10 lenna 部份影像 使用最近鄰內插法放大 7.03 倍.36 圖 4-11 lenna 影像 使用最近鄰內插法縮小 0.23 倍.36 圖 4-12 patterns部份影像 使用最近鄰內插法放大7.03倍.37 圖 4-13 patterns 影像 使用最近鄰內插法縮小 0.23 倍37 圖 4-14 lenna 部份影像 使用雙線性內插法放大 7.03 倍.38 圖 4-15 lenna 影像 使用雙線性內插法縮小 0.23 倍.38 圖 4-16 patterns部份影像 使用雙線性內插法放大7.03倍.39 圖 4-17 patterns 影像 使用雙線性內插法縮小 0.23 倍39 圖 4-18 lenna 部份影像 使用雙立方內插法放大 7.03 倍.40 圖 4-19 lenna 影像 使用雙立方內插法縮小 0.23 倍.40 圖 4-20 patterns部份影像 使用雙立方內插法放大7.03倍.41 圖 4-21 patterns 影像 使用雙立方內插法縮小 0.23 倍41 圖 4-22 lenna 部份影像 使用斜角投射 b-spline 內插法放大 7.03 倍.42 圖 4-23 lenna 影像 使用斜角投射 b-spline 內插法縮小 0.23 倍.42 圖 4-24 patterns部份影像 使用斜角投射b-spline內插法放大7.03倍.43 圖 4-25 patterns 影像 使用斜角投射 b-spline 內插法縮小 0.23 倍43 圖 4-26 圖3-10使用最近鄰內插法縮放5次之結果45 圖 4-27 圖 3-10 使用斜角投射 b-spline內插法縮放 5 次之結果46 x 表索引表索引 表 4-1 色彩校正實驗記錄表34 表 4-2 內插法 snr 值比較表一(縮小後放大重覆一次).47 表 4-3 內插法 snr 值比較表二(放大後縮小重覆一次).47 表 4-4 內插法 snr 值比較表三(縮小後放大重覆五次).48 1 第一章 緒論第一章 緒論 1-1 研究動機與目的研究動機與目的 近年來影像科技發展迅速，影像普遍存在於我們周遭(電視、印刷刊物等)， 而網路的普及以網路為媒介的影像應用越來越廣泛，影像的色彩也逐漸從灰階 (achromatic)演進到彩色(chromatic)，因此色彩裝置(掃描器、數位相機等)也越來 越普遍，色彩的正確使用將會更加重要。通常人們會要求影像上的色彩更接近真 實的顏色，要達成這個要求就必須透過校正(calibration)1的程序來修正色彩特 性。在本研究中，主要是就掃描器對色彩的精確度做校正，經過量化測量及客觀 評估即可提供校正的標準，根據這些資料開發出一套電腦輔助色彩校正程序。 除了色彩真實性之外，色彩影像也常會需要運用電腦去做一些處理，下列相 關論文即是研究色彩影像相關的處理與分析，主要的議題包含有：色彩影像分割 25、色彩影像之物件描述6、色彩影像合併7、色彩還原方法8,9、色彩特 徵10等。在眾多影像處理技術11中，影像縮放是數位影像處理中的基礎，通 常是醫學影像、多媒體技術、數位相片等的基本運算，若縮放處理得不好使得縮 放後的影像失真，接下去的後續處理就等於是對錯誤的資料做處理，可能產生無 法預期的結果。因此縮放處理是相當重要，使用失真率較小的方法去做縮放處理 是必需的。 一般來說處理縮放的方法大多採用內插法(interpolation)，標準的內插程序是 將影像資料符合成連續的影像模型，再對這模型重新取樣(resample)成所需要的 縮放大小，傳統的內插法包括：最近鄰內插法(nearest neighbor)、雙線性內插法 (bilinear)、雙立方內插法(bicubic)，然而在縮放品質要求較高的情況之下，傳統 內插法所處理的效果可能並無法達到要求，本論文針對傳統內插法的缺點，研究 另一種縮放內插法，稱為斜角投射 b-spline 內插法(oblique projection of b-spline interpolation)1315，這些不同內插法的縮放效果是本篇研究所要探討的課題。 2 1-2 色彩理論色彩理論 由於人類眼睛本身可以分辨數千種色彩，因此色彩對於影像來說是一種非常 有效的描述子，而且相較於灰階影像，人類偏愛色彩影像，所以色彩在影像處理 中佔有相當重要的地位。一些灰階影像的處理方法雖可以直接套用到色彩影像 上，但其他方法仍需要將影像轉換到其他色彩空間(color space)11才能套用。 人類能察覺某樣物體的顏色是由物體反射該顏色的光波的波長而決定，例 如：綠色物體主要反射波長 500 到 570 nm 之間的光，同時吸收其他波長光的大 部份能量。可見光在電磁頻譜(圖 1-1)中僅佔很窄的一個頻帶，涵蓋範圍大約從 400 到 700 nm，其中可大致分割為六個區域：紫色、藍色、綠色、黃色、橙色、 紅色等，每種顏色皆平順地融入下一種顏色。 圖 1-1 彩色光譜 錐狀體(cones)是眼睛裡負責彩色視覺的感應器，錐狀體可被分成三個感應 類別，分別能感受到紅色、綠色及藍色光源，由於人類眼睛的這些吸收特性，所 有顏色可看作三種所謂原色(primary color)，即是紅(r)、綠(g)、藍色(b)的各種 組合。為了標準化，1931 年國際照明委員組織(cie)指定下列特性的波長為三原 3 色：藍色=435.8 nm、綠色=546.1 nm 以及紅色=700 nm，在此要提醒三原色只是 為了標準化的目的所訂定的，而並非由三原色便能將頻譜中所有的色彩產生出 來。 除了 rgb 的表示方法外，為了因應人類視覺對色彩之反應，一般用於區別 彩色的特徵有：亮度(brightness)、色調(hue)和飽和度(saturation)，亮度使色彩強 度的觀念具體化，色調則與混合光的波長有關，代表觀察者所察覺到的主要色 彩，而飽和度指的是相對純度與色調混合之白光的量。 1-3 論文架構論文架構 第一章我們簡單介紹影像處理的發展過程，由灰階影像處理發展到色彩影像 處理。接著是文獻回顧，包括了色彩理論、色彩影像校正概念及縮放處理演算法 簡介。 第二章主要是理論基礎，對於本研究所使用的理論做詳細介紹。首先是色彩 模型，它對於色彩影像來說是一個重要的觀念，再來說明色彩影像校正方法，另 外色彩影像縮放處理運用到的內插法技術也會在第二章中介紹。 第三章則是說明本研究所設計的實驗內容，包括了實驗流程以及詳細的實驗 過程，利用第二章所提出的理論實作，並介紹相關測試用之影像。 第四章是研究實驗的結果，按照前章所敘述的實驗流程，將實驗結果整理於 本章，以表格方式呈現出來。 最後，第五章將會依據第四章所得到的實驗結果做出簡單扼要的結論，並且 提出看法、找出未來可能的研究方向。 4 第二章第二章 理論基礎理論基礎 本章介紹在此研究所運用到的理論基礎，大致可分為下列數項：(一)色彩模 型(如 rgb 色彩模型、cielab 色彩模型等)；(二)色彩空間轉換(如 rgb 色彩模 型轉換至 cielab 色彩模型等)；(三)色彩校正概念及標準(kodak q-60 校色稿介 紹)及(四)内插法介紹(如最近鄰內插法、雙線性內插法、雙立方內插法等)。 2-1 色彩模型色彩模型 色彩模型亦稱為色彩空間或色彩系統(color system)，其目的是便於用某種標 準且一般大眾皆可接受的方式來指定色彩。就目前數位影像處理而言，實際上最 常用的色彩模型有：供彩色顯示器和彩色電視攝影機用的 rgb(紅、綠、藍)模型， 供彩色印刷用的 cmyk(青色、紫紅色、黃色、黑色)模型，以及 hsi(色調、飽 和度、強度)模型，以下簡單介紹各種色彩模型。 2-1-1 rgb 色彩模型色彩模型 在 rgb 模型11中，每種色彩都是以其紅、綠、藍的主要頻譜成份來顯示。 此模型是建立在直角座標系統的基礎上，其模型示意圖見圖 2-1，紅色、綠色、 藍色是在模型中的三個座標軸上的頂點，青色(cyan)、紫紅色(magenta)、黃色 (yellow)則是在另外的三個頂點上，原點上表示的是黑色，而白色是離原點最遠 距離的頂點。以 rgb 色彩模型表示的影像是由三個分量影像所組成，每個原色 對應一個分量影像，在顯示時將三個分量影像結合起來產生色彩影像。全彩(full color)影像這個術語用來表示 24 位元像素深度(pixel depth)的彩色影像，每個 r、 g、b 的分量各為 8 位元，因此 24 位元的 rgb 影像能夠表示216,777,16)2( 38 = 種色彩。 5 圖 2-1 rgb 色彩模型示意圖 2-1-2 cmyk 色彩模型色彩模型 rgb 是光的主色彩，而 cmy 則為次色彩，cmyk 模型主要運用在彩色印 刷上，舉例來說，當一個塗有青色(c)顏料的表面以白光照射，紅光能量將會被 該平面吸收，只反射綠光及藍光，使我們看到青色的表面。利用彩色墨水在紙上 成像的裝置，如彩色印表機和影印機等都需要 cmy 資料輸入，因此必須將 rgb 資料轉換成 cmy 資料，可以利用下列簡易的式子11轉換： = b g r y m c 1 1 1 (2-1) 在此所有的色彩值都被正規化到0,1的範圍內。等量的青色、紫紅色、黃色 混合可以產生黑色，但實際上這樣將顏料混合所產生出來的黑色非常混濁並且浪 費顏料，因此為了能印出真實的黑色，加入第四種顏料黑色，因而產生 cmyk 模型，也就是一般所謂 四色印刷 所使用的色彩模型，而由 cmy 轉換成 cmyk 的轉換式如下： 6 = = = = ),min( 1 1 1 ymck k ky y k km m k kc c (2-2) 2-1-3 hsi 色彩模型色彩模型 rgb 色彩模型極適合以硬體實現，但並不適合用在人類解讀或描述色彩， 人們在看到一種顏色時會用色調、飽和度和亮度去描述它，因此就有 hsi(色調、 飽和度、強度)色彩模型出現，此模型是人們對自然和直覺的色彩描述來發展影 像處理演算法的一個理想工具，圖 2-2 是 hsi 模型的示意圖11。 圖 2-2 hsi 色彩模型示意圖 由上圖可以瞭解到色調(h)是相對於 hsi 空間紅色軸所量測而得，飽和度(s) 即為色彩與中央軸(黑白軸)的距離，而強度(i)則是越接近白色(i=1)越大，反之越 近黑色(i=0)越小。 7 2-1-4 cielab 色彩模型色彩模型 任何一種特定色彩可以由三色激勵值(tristimulus)表示，即是 x、y 和 z，因 此一個色彩可以用其三色度係數(tristimulus coefficients)來表示，此係數定義成： zyx z z zyx y y zyx x x + = + = + = (2-3) 而係數總和為 1。cie(國際照明委員組織)利用激勵值在 1931 年訂定出 cielab 色彩模型，作為色彩測量國際標準，在 cielab 影像中的每個像素有 24(8x3)位 元，cielab 色彩模型被設計成與裝置無關(device independent)意思即是不論 使用的裝置為何(顯示器、印表機、電腦或掃描器等)都能夠呈現出一致的顏色， 用以建立或輸出影像。 cielab 色彩模型由明度(l)及兩個彩度(a、b)所組成，彩度 a 由綠到紅，彩 度 b 由藍到黃 ， cielab 色彩模型是所有色彩模型中輸出色域最大的 ， 涵括了 rgb 和 cmyk 色域的所有色彩，下圖為 cielab 色彩模型的示意圖16。 圖 2-3 cielab 色彩模型示意圖 8 2-2 色彩轉換色彩轉換 現今存在許多色彩模型，因應不同需求使用不同的色彩模型，如彩色顯示器 使用 rgb 模型，彩色印表機採用 cmyk 模型；在許多情況下我們需要將影像色 彩資料從一個色彩空間轉換到另一個色彩空間，如電腦中的色彩影像要列印時， 需要將影像的色彩資料由 rgb 空間轉換到 cmyk 空間才可以列印 ， 這種轉換稱 為色彩轉換(color transformation)，通常以數學式來表達空間的轉換，之前 rgb 轉換為 cmyk 的式子(2-1)便是一個簡單的範例。 2-2-1 rgb 色彩模型轉換成色彩模型轉換成 hsi 色彩模型色彩模型 rgb 色彩模型要轉換到 hsi 色彩模型可由下列式子來轉換11。首先，色調 (hue)轉換式為： g g h = b if b if 360 + + = 2/1 2 1 )()( )()( 2 1 cos bgbrgr brgr (2-4) 而飽和度(saturation)由下式求出： ),min( )( 3 1bgr bgr s + = (2-5) 最後強度(intensity)為： )( 3 1 bgri+= (2-6) 上列三式可以將色彩模型由rgb轉到hsi，亦可由上三式推導出從hsi色彩模 型轉換回rgb色彩模型上的公式。 2-2-2 rgb 色彩模型轉換成色彩模型轉換成 cielab 色彩模型色彩模型 要將rgb色彩模型轉換到cielab色彩模型必須先算出三色激勵值，其公 式1618如下： 9 = 255 255 255 b g r zzz yyy xxx z y x bgr bgr bgr (2-5) 其中x、y、z便是三色激勵值，後面的r、g、b就是在原本rgb色彩模型時 的rgb三值，中間的陣列是用來轉換用的，會因適用環境而有所不同，以彩色 電視機為例，上式可以以另個式子表示之： bgrz bgry bgrx 9393. 01296. 00202. 0 0713. 07068. 02219. 0 1784. 03416. 04303. 0 += += += (2-6) 也就是： = 9393. 01296. 00202. 0 0713. 07068. 02219. 0 1784. 03416. 04303. 0 bgr bgr bgr zzz yyy xxx (2-7) 將xyz求出之後便可以轉成cielab色彩模型，其公式如下： )()(200* )()(500* 16)(116* ww ww w z z h y y hb y y h x x ha y y hl = = = + = 008856. 0 008856. 0 116 16 787. 7 )( 3 q q q q qh (2-8) 公式當中的x、y、z便是之前所求出來的三色激勵值，而 w x、 w y、 w z則是做 為標準的三色激勵值， w y固定為100， w x和 w z則要參照標準光源表來決定其 值。 2-3 色彩輸入裝置初階校正色彩輸入裝置初階校正 色彩圖片在經過掃描器處理後可以得到數位色彩影像，然而時常會發現所得 到影像的色彩與原圖的色彩有所差異，這種情形稱之為失真。許多研究都是為了 將失真的情形減到最小，本研究則提出一些簡易的校正方法。 10 本論文所構想的校正方法與一般校正法不太一樣的地方在於一般校正法是 將校正後之影像與原始圖片做比較，判斷校正影像之色彩是否與原始圖片相似， 而本論文所提出之校正法則是還原色彩分佈線的做法，將已失真的色彩分佈線還 原回到理想的色彩分佈線上，再比較校正影像與原始影像之色彩。 每一台掃描器所產生的失真程度皆不相同，而校正方法就必須能夠對每一台 掃描器皆有效果才行，校正時應該選擇一致的校色標準，在此使用kodak q-60 校色稿(圖2-4)來當作一個測試標準，使用一致的標準才能夠確保校正的可靠 性，並且可以用單一程序來處理。 圖2-4 kodak q-60校色稿 kodak q-60校色稿主要分為兩大部份，一個部份是彩色色格，另一部份則 是灰階色格，在本實驗主要是針對色彩部份分析，因此灰階部份不列入考慮。在 彩色色格部份，總共有19欄，每欄12格，共228格色格。第1欄到第12欄的 11 色彩為”中間色調”(非三原色之rgb)顏色，而第13欄開始可以發現每欄色格的 顏色是由淺至深(al)排列，第13欄到第16欄分別為青(c)、紫紅(m)、黃(y)、 黑(k)，在2-1-2有提過cmyk主要運用在色彩印刷方面，而本實驗主要研究是 放在色彩影像上，因此較重視的是第17欄到第19欄的色格，分別為紅(r)、綠 (g)、藍(b)，由於顏色的分佈是由淺至深，所以在本實驗中假設該校色稿在第17 欄到第19欄的色彩分佈情形應該是平均且呈現遞減的直線。第20欄到第22欄 則以膚色為主，在本研究中亦不列入考慮。 2-4 影像縮放影像縮放 當在做影像大小的改變(image resizing 或 image scaling)時 ， 原始影像與目的 影像間的像素座標與一般影像處理一對一的關係並不相同。當放大時，原始影像 中的一個像素點可能對應到目的影像中的許多像素點；相對的，當縮小時，原始 影像中的許多像素點可能會對應到目的影像的一個像素點。若目的影像對應到原 始影像時剛好落在整數點上，目的影像的像素值即為所對應到的原始影像之像素 值，反之，若對應回到原始影像時並非落在整數點上，這種像素就需要經過特殊 處理來求得該像素值，一般而言就是所謂內插法的處理。 2-4-1 內插法的應用內插法的應用 內插其實就是藉由離散(discrete)的取樣點估算出一個通過這些取樣點的連 續(continuous)函數)(xf，利用這個連續函數(亦稱為內插函數)找出非取樣點的 值，內插函數的定義域如果是有理數則具有數的稠密性(或稱為數的密度)，也就 是空間解析度是無窮的，可以在這個函數上根據需求作重新取樣(resampling)， 而影像可視為一組二維離散取樣點所形成的訊號，因此，影像縮放就可視為是訊 號的重新取樣。 12 2-4-2 最近鄰內插法最近鄰內插法(nearest neighbor interpolation) 從目的影像對應到原始影像時有可能產生像素對應到非整數位置的情況，因 而造成目的影像中有些像素沒有值，所以必須藉由鄰近幾個像素的值來內插出新 的數值，一般最簡單的內插法叫做最近鄰內插法，見下方說明圖(圖2-5)19。 (a) (b) 圖2-5 最近鄰內插法說明圖。(a) 原始影像；(b) 目的影像 由上圖可見到在目的影像(b)中的像素p，對應回原始影像(a)中的像素p，並 非落在整數位置的像素上，而是落在像素a、b、c、d四點之間，最近鄰內插法 的做法是將原始影像中選擇a、b、c、d四點中離p最接近的一點當成p的像素 值，在圖2-5中 4321 ,llll，因此p的像素值即是a的像素值。 2-4-3 雙線性內插法雙線性內插法(bilinear interpolation) 再來介紹的是雙線性內插法，它與最近鄰內插法都是利用鄰近的四個像素點 來計算新的像素值，圖2-6為雙線性內插法說明圖19。 13 (a) (b) 圖2-6雙線性內插法說明圖。(a) 原始影像；(b) 目的影像 從上圖來看，若要求p點的像素值，首先將p對應回到原始影像，假設為p 點，其位置介於a、b、c、d四點之間，由其座標可以得知p點與a、b、c、d四 點的距離，這些鄰近點越接近p點則對p的貢獻度就越大，反之距離越遠影響越 小，雙線性內插法的原理就是鄰近像素點對p點的影響與其之間的距離成反比。 雙線性內插法實際上就是連續計算三次線性內插，首先第一次內插，亦即是a、 b兩點對p點的影響，可以求出e點的像素值： bae+=)1 ( (2-9) 接著計算c、d兩點對p點的影響，便是第二次內插求出f點的像素值： dcf+=)1 ( (2-10) 最後，針對e、f兩點再做第三次內插，求得p點的像素值： fep+=)1 ( (2-11) 在以上各式中的、分別是p點對應鄰近四個像素點的相對水平與垂直距離， 並假設點與點間的距離為1，即是1,0。 14 2-4-4 雙立方內插法雙立方內插法(bicubic interpolation) 接下來介紹的是雙立方內插法，因雙立方內插法所限制的條件較為嚴謹，就 其內插核心而言會比之前的兩種內插法更加近似於csin函數 ， 所以利用雙立方內 插法來做影像縮放的效果將會比最近鄰內插法與雙線性內插法更好，但相對地運 算量卻增加許多，使得效率較差。 雙立方內插法的核心方程式)(xhc(interpolation kernel)20如下： x x x xxx xx xhc + + = 2 , 21 , 10 , 0 584 21 )( 32 32 (2-12) 其實雙立方內插法與雙線性內插法類似，雙立方內插法乃是根據目標像素點與鄰 近16個像素點的貢獻程度來計算目標像素點的像素值，圖2-7為雙立方內插法 說明圖19。 (a) (b) 圖2-7 雙立方內插法說明圖。(a) 原始影像；(b) 目的影像 由上圖可以得知，若p為目標像素點，對應回到原始影像的p點，取其周遭 鄰近的16個像素點與核心函數)(xhc作摺積(convolution)運算，所得即為目標像 15 素點p的像素值，其計算公式如下： = + = 2 1 2 1 , )()( mn ccnjmi bmhanhxp (2-13) 其中 njmi x +, 為原始影像的像素值。 2-4-5 斜角投射斜角投射 b-spline 內插法內插法(oblique projection of b-spline interpolation) 關於b-spline在此做簡短的介紹，b-spline曲線是於1946年首次由 schoenberg提出21。b-spline曲線及曲面在電腦輔助設計應用上較bezier及 cubic曲線21廣泛，因b-spline曲線是包含bezier曲線的通用數學表示法，除 了有bezier曲線的優點，同時又具有其他獨有的特性，例如具有局部控制(local control)的能力，及可以在不改變曲線階數(order)下增加曲線的控制點等。與 bezier曲線相較下，b-spline曲線的理論，可將曲線的階數從原本由控制點個數 所決定下獨立出來，因此由四個控制點定義之bezier曲線只能建立三次曲線， 而b-spline曲線卻可有一次至三次不同的曲線建立。b-spline曲線具有這些特性 的主因就在於b-spline所選擇的基底函數(basic function)與bezier曲線選擇不 同。 標準的內插法是將原始影像符合於一個連續函數，然後根據縮放倍率對這個 連續函數做重新取樣，而最佳的解法則是將縮放後的影像垂直映射(orthogonal projection)在取樣空間(sampling space)上，可惜的是，垂直映射的運算量相當大， 尤其是高階的內插法(3n)。為了減少運算量又不失去太多的精確度，所以採用 斜角投射來代替垂直映射13。 b-spline內插法所使用的合成函數(synthesis function)如下： = x x x 2 1 , 2 1 0 , 0 1 )( 0 (2-14) 由上式所處理的影像縮放效果與最近鄰內插法的效果一致，而使用下式處理過後 16 將會與雙線性內插法的效果一樣： x xx xx = 1 , 10 , 0 1 )(*()( 001 (2-15) 其中)( 1 x為)( 0 x對自身作摺積運算而得。因此合成函數的通式可寫成： )(*()( 1 000 xx n n 4434421 l 次+ = (2-16) 在本篇論文中僅討論3階的b-spline內插法，其合成函數如下： x x x x xx x = 2 , 21 , 10 , 0 )2( 6 1 ) 2( 2 1 3 2 )( 3 2 3 (2-17) 接著說明b-spline內插法，)( int x n 為一個cardinal(fundamental)函數，可以表示 成： = zk nnn kxkbx)()()()( 1 int (2-18) 式子中的 1 )( n b為 n 的逆摺積(convolution inverse)函數，而原始訊號s(x)有兩種 表示法，其一為cardinal spline表示法： )()()( int kxksxs zk n = (2-19) 其二為equivalent b-spline表示法： = zk n knkcxs)()()( (2-20) 比較上列二式可以得出： )(*)()( 1 ksbkc n = (2-21) c(k)乃是連續函數(由原始訊號所得)的係數數列，由這個係數數列便可以對連續 函數做內插以求出目的訊號。 再來說明斜角投射的步驟，最後的目的訊號)( xf可表示為： = zk kcqxf)(*()( 1 (2-22) 17 上式的副函數)( 1 kc是由縮放後的訊號函數)(axg與分析函數(analysis function) )( 0 x做積分而得，a為縮放倍率，因此)( 1 kc可以表示成： + = = 2 1 2 1 0 1 )( )()()( k k dxaxg dxkxaxgkc (2-23) g(x)可由式2-20可以得知為 = zk n knkcxg)()()(，因此g(x)的積分為： = x k x n dxkxkcdxxg )()()( (2-24) n階的b-spline函數積分如下： = + = x k nn kxdxx 0 1 ) 2 1 ()( (2-25) 在此先定義一個unit step函數u(k)： = 0 0, 0 1 )( k k ku (2-26) 而g(x)的積分g(x)則可推導成： = + = + = = = + = = = k n l n k x kkl n kxkcu lxklukc lxkcdxxgxg ) 2 1 ()(*( ) 2 1 ( )( )( ) 2 1 ()()()( 1 1 1 (2-27) 上式中的(u*c)(k)可以由簡單的積分求出，如下： = = k l lckcukc)()(*()( (2-28) 因而g(x)將可以導出下式： + = zk n kxkcxg) 2 1 ()()( 1 (2-29) 求出g(x)之後便可以繼續導出)( 1 kc： 18 ) 2 1 () 2 1 ( )()( )()( 2 1 2 1 2 1 2 1 1 aa k ag aa k ag dxaxgdxaxg dxaxgkc kk k k += = = + + (2-30) 接著將求式2-22中另一個副函數q(k)，q(k)為correction filter，)()( 1 12 kkq =，而 )( 12 k為cross-correction函數，如下