Webcam-NBCam-ISP-工作原理简介

Page 5 of 5Webcam ISP 工作原理簡介一題目：Webcam ISP 工作原理簡介二摘要：ISP 是Webcam中的重要搭配零組件，ISP主要負責對感測器中出來的圖像資料進行後處理。直接從感測器中得到的圖像是很糟糕的，不論色彩還是細節都與實際圖像有很大差距，只能看到圖像的中物體的大致輪廓。經過ISP的處理，包括內插、去噪、去壞點、邊緣加強、膚色矯正、白平衡等操作後，可以使圖像變的更加細膩，更加貼近真實世界中的圖像。ISP的主要功能包括線性糾正、雜訊去除、壞點去除、內插、白平衡、自動曝光控制等。三內容Webcam/NBCam ISP 方塊圖工作原理:CMOS Sensor 使用傳統的Parallel 或MIPI CSI-2 的介面與ISP 做影像的傳輸, 合併CMOS Sensor 介面支援10 bit高品質的Jpeg, RAW, YUV 格式的影像, 影像的解析度根據ISP 型號的不同可支援1.3M(1280x1024) 到3.0M(2048x1536)的CMOS Sensor, 當數位影像輸入利用CDSP處理色彩運算,壞點去除,空間Noise消去,自動對焦,自動曝光,自動白平衡,HDR 等功能,利用MCU 8032 CPU 來處理這些功能的程式運作, 程式Code燒錄在外掛的serial flash,經處理的影像信號RAW/YUY2/M420/MJPEG利用USB 2.0 HS/FS 的介面輸出到PC/NB, 在高速的USB 2.0 介面可傳輸FHD(1920x1080) 30fps 的影像。 相關名詞說明1.何謂CCD sensor 與CMOS sensor?CCD(Charge Coupled Device, 感光耦合元件)為數位相機記錄光線變化的半導體,CCD主要材質為矽晶半導體,透過光電效應,由感光元件表面來感應光源,從而轉換成儲存電荷的能力,CCD元件上安排有通道線路,將這些電荷傳輸至放大解碼元件,就能還原所有CCD感光元件產生的信號,並購成一幅完整的畫面。CMOS(Complementary Metal-Oxide Semiconductor,互補性氧化金屬半導體),CMOS具有指有在電晶體需要切換開關才需耗能的優點,因此非常省電且發熱少,CMO也用來生產CMOS Sensor, 這是一種光感元件,透過將羅及運算功能轉變成接受外界光線後轉換成電能,在透過晶片上數位類比轉換器(ADC),將感應的影像信號轉換為數位訊號輸出。2.CCD Sensor 與CMOS Sensor 優缺點比較CCDCMOS設計單一感光器感光器連結放大器靈敏度同樣面積下較高感光開口小較低成本高(線路品質影響良率)低(整合製程方式)解析度高(因結構複雜度低)低(因傳統技術)雜訊比低(單一放大器主控)高(多元放大器)耗能比高(需外加電壓導出電荷)低(畫素直接放大)反應速度慢快IPA(個別畫素定址)無有製造機具特殊定製機台可使用記憶體或處理器製造機3. 何謂MIPI CSI-2傳輸介面?行動處理器介面(Mobile Industry Processor Interface), MIPI架構可透過減少其差分串列介面中的輸入/輸出(I/O)來降低處理器的接腳數目及功耗，因而成為最佳選擇。動態可調的低功耗(Low-power, LP)資料模式和高速(High-speed, HS)資料模式以及高速模式下的低訊號擺動(Signal Swing)，也可為MIPI提供比單端介面更好的電磁干擾(EMI)輻射和EMI電磁干擾容忍性能。MIPI 架構設計為每個數據線支援80Mbps 到1Gbps的傳輸資料速率,支持單一時脈通道,以串列方式傳送資料以達到最大傳輸的吞吐量。CSI-2 (Camera Serial Interface 2)規格為訂定Camera發射器與ISP接收器之間的標準傳輸與控制介面。4. CDSP 功能?彩色數位處理器(Color Digital Signal Processing),DSP其特性在於能夠即時處理數位訊號，以便為連續的類比訊號進行測量或濾波。在進行數位訊號處理之前必須先透過類比數位轉換器(ADC)將訊號從類比轉換成數位；而數位訊號處理的輸出則再透過數位類比轉換器(DAC)變換為類比訊號輸出,在Webcam ISP可以為處理CMOS 進來color 信號的鏡頭陰影補償, 壞點隱藏,光學黑色補償, GAMMA修正, 銳利提高,亮度/對比調整, 喜好顏色的調整和色調的映像圖。5.貝爾圖(Bayer pattern)在透鏡感測器使用貝爾圖來做色彩元素的排列,所使用的CCD/CMOS感光元件並無法分辨RGB三色,獲得影像的方法是在CCD/CMOS 表面覆蓋一個含R,G,B的馬賽克濾片，使影像能夠以彩色的面貌投影在感光元件上,Bayer pattern以GRGB的方式排列出一個方形的陣列, 這個彩色濾光片 50% green, 25% red and 25% blue,其輸出信號通過一定的數學公式將色彩的元素實現。6.CPU(MCU8032)Sunplus IT ISP 內建8032 單晶片,8032 為MCU 8052 系列,指示將8052 的ROM 拿掉,8052 與8051差別為多一組時間計數器, MCU8032 規格如下a. 專為控制使用所設計的8位元單晶片,b. 具有位元邏輯運算能力。c. 具有128位元的RAM，以及4K位元的ROM。d. 具有4個8位元I/O埠。e. 具有3個16位元的計時/計數器。f. 具有全雙工的UART。g. 具有5個中斷源及兩層中斷優先權結構。h. 具有時脈產生電路。i. 具有外部電路擴充64位元程式記憶體的能力。7.何謂JPEG, RAW, YUV 影像格式?JPEG:採可失真編碼法的概念,利用數位餘弦轉換法DCT將影像先切割成8x8各區域,在依照每一區域中資料較不重要的色彩部分予以去除,僅保留重要明度的資訊,以達到高壓縮的目的。RAW:擷取所有影像處理之前的源頭信號,最直接從感測器降解下來的位元訊號,這個訊號可能為10bits, 12bits或14bits, 將這訊號進行非失真式的壓縮, 比color R,G,B 共24bits 可達到更高的壓縮率。YUV: 是一種顏色編碼方法, YUV則著重於視覺對於亮度的敏感程度，Y 代表的是亮度，UV 代表的是彩度, 為節省頻寬起見，大多數 YUV 格式平均使用的每像素位數都少於24位元。主要的採樣（subsample）格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。8.USB 2.0 HS/FS傳輸通用序列匯流排(Universal Serial Bus，USB),是連線電腦系統與外部裝置的一個串列埠匯流排標準，也是一種輸入輸出介面的技術規範，被廣泛應用於個人電腦和行動裝置等訊息通訊產品, 12 Mbps 的全速速率(FS), 在USB 2.0之前是曾經是最高速率，後起的更高速率的高速介面應該相容全速速率。 一般Webcam有支援USB 2.0 連接埠高速速率(HS)為480 Mbps 。高速連接埠具有所謂Transaction Translator功能，能夠隔離全速、低速裝置與高速之間資料流，但是不會影響供電和串聯深度。9. AE(Auto Exposure) 自動曝光是相機根據光線的強弱自動調整曝光量,防止曝光過度或不足,光圈優先或是快門優先是自動曝光的考慮因素,如果使用光圈優先,應注意將快門速度調低,以防止圖像過度曝光而不清晰 。10. AF(Auto Focus)自動對焦是利用相機上的光感應器將物體反射的光接受,根據相機內部晶片的計算與處理，最後由電動對焦裝置對焦。11.AWB(Auto White Balance)自動白平衡是為表現出拍攝當時的色溫，因為燈、太陽、天陰、閃光燈等等在不同的情況下的白色都會出現色差，把當時的色溫輸入相機中，告訴相機甚麼叫做白色,然後根據內建的白平衡資料作調整。12.HDR(High Dynamic Range)高動態範圍處理, 通常是用多張不同曝光的照片,透過軟體的合成,呈顯具有亮部及暗部曝光接正常清楚的影像,例如攝影師使用黑卡的手法減少天空曝光時間(較亮),增加地面/海面(較暗)的曝光時間,來達到類似的效果。13.YUY2 輸出格式為YUV 影像處理的一種,採用不壓縮的畫面傳輸,格式為像素保留Y,而在UV水平空間相隔二個像素採樣一次,一個宏像素為12位元組,實際表示8個像素。14. LPM(Link Power management) 功能?為USB 2.0 新增的電源管理操作,在起動與待機時間增加了一種新電源模式,當裝置處於這個模式時不向其發送指令以減少電源消耗。所以，在啟用及睡眠模式間切換要比在啟用及待機模式間切換來的快得多。15. USB 2.0 傳輸ISO 與 BULK 協定的差異ISO :在限定時間內將封包資料傳輸到目的地,傳輸不考慮資料是否有錯誤。BULK: 確保封包資料正確傳輸到目的地,傳輸不考慮時間長短。四結論Webcam ISP(Image Signal Processor) 為圖像信號處理器,它是一