CMOS图像传感器培训PPT课件

1、12015/03/20SuperPix Confidential第1页/共25页 光电转换原理 Pixel结构 曝光方式 Sensor架构及工作原理 Sensor的寄存器控制 ADC Gain 频率计算 帧率计算2BlacklevelFlickerImage lag太阳黑子尺寸和窗口BinningPLDOPAD 驱动实验Outline 第2页/共25页光电转换原理3光电转换的输出信号与光照强度成正比，与曝光时间成正比图像传感器的作用就是把光信号转换为电信号并且量化输出PDNote：光电转换并不是没有限制的，当电荷累积到一定程度，效率慢慢下降，最后不再增加，这也是sensor中pixel有一个最

2、大输出范围的原因。左图为实际某sensor 的pixel输出电压的测试结果单个pixel结构Gr, 0.001223619, 0.05Gr, 0.104007619, 47.76Gr, 0.206791619, 95.71Gr, 0.309575619, 143.93Gr, 0.412359619, 191.99Gr, 0.515143619, 240.14Gr, 0.617927619, 288.20Gr, 0.720711619, 336.35Gr, 0.823495619, 384.58Gr, 0.926279619, 432.61Gr, 1.029063619, 479.87Gr, 1

3、.131847619, 524.98Gr, 1.234631619, 562.07Gr, 1.337415619, 585.36Gr, 1.440199619, 596.36Gr, 1.542983619, 600.10Gr, 1.645767619, 602.40Gr, 1.748551619, 604.03Gr, 1.851335619, 604.97Gr, 1.954119619, 605.41Gr, 2.202514286, 605.77Gr, 2.447238095, 606.13R, 0.001223619, 0.05R, 0.104007619, 36.20R, 0.206791

4、619, 72.38R, 0.309575619, 108.73R, 0.412359619, 145.21R, 0.515143619, 181.70R, 0.617927619, 218.11R, 0.720711619, 254.75R, 0.823495619, 291.29R, 0.926279619, 327.92R, 1.029063619, 364.72R, 1.131847619, 401.82R, 1.234631619, 440.00R, 1.337415619, 480.63R, 1.440199619, 517.93R, 1.542983619, 556.72R, 1

5、.645767619, 582.96R, 1.748551619, 594.85R, 1.851335619, 598.68R, 1.954119619, 599.79R, 2.202514286, 600.34R, 2.447238095, 600.71B, 0.001223619, 0.08B, 0.104007619, 42.06B, 0.206791619, 83.97B, 0.309575619, 126.25B, 0.412359619, 168.54B, 0.515143619, 210.72B, 0.617927619, 253.07B, 0.720711619, 295.40

6、B, 0.823495619, 337.78B, 0.926279619, 380.32B, 1.029063619, 422.74B, 1.131847619, 465.22B, 1.234631619, 507.59B, 1.337415619, 548.16B, 1.440199619, 577.59B, 1.542983619, 595.37B, 1.645767619, 601.88B, 1.748551619, 604.09B, 1.851335619, 604.99B, 1.954119619, 605.43B, 2.202514286, 605.81B, 2.447238095

7、, 606.20Gb, 0.001223619, 0.05Gb, 0.104007619, 48.16Gb, 0.206791619, 96.27Gb, 0.309575619, 144.74Gb, 0.412359619, 193.10Gb, 0.515143619, 241.54Gb, 0.617927619, 289.87Gb, 0.720711619, 338.31Gb, 0.823495619, 386.81Gb, 0.926279619, 435.09Gb, 1.029063619, 482.61Gb, 1.131847619, 527.86Gb, 1.234631619, 564

8、.88Gb, 1.337415619, 588.00Gb, 1.440199619, 598.97Gb, 1.542983619, 602.86Gb, 1.645767619, 605.15Gb, 1.748551619, 606.66Gb, 1.851335619, 607.51Gb, 1.954119619, 607.93Gb, 2.202514286, 608.31Gb, 2.447238095, 608.680.00200.00400.00600.00800.0000.511.522.53Mean Output (mV)Exposure (lux*sec)photo responseG

9、rRBGb第3页/共25页Pixel结构4分辨率 VGA,640*480; 2M,1600*1200 5M,2592*1944 Position（定义颜色位置）行 row & 列 columnFSI (Front Side Illumination) BSI (Back Side Illumination)Color filterMicro-lens通常长方向为行，短方向为列，在调试中一定要正确区分，因为行列噪声或行列线出现问题的原因是完全不一致的！!第4页/共25页曝光方式5目前sensor多采用滚动曝光方式，即逐行曝光逐行读出，每行复位到读出的时间间隔即曝光时间。曝光控制寄存器中数

10、值代表曝光多少行：曝光时间=曝光行数*行长。注意：当曝光时间大于1帧时，会插入vblank来获得较长的曝光时间。为了便于调试和计算，行长通常用多少个clk表示，如sp2508行长为1158，指的是1158个DAC_CLK周期，用时间表示：行长=1158*T_dac_clk。请注意不同sensor可能用不同的clk来表示，参数给出时会注明。VSYNC定义一帧的有效数据输出时间HSYNC定义一行的有效数据输出时间帧长=有效数据行+vblank行（单位：行）并口输出时，平台端需要pclk，VSYNC, HSYNC三个信号共同作用来采集有效的图像数据，并且能准确判断行和帧。!第5页/共25页Senso

11、r架构及工作流程6Pixel array 完成光电转换模拟电路 把电信号转换成数字信号数字电路 控制sensor工作，数字信号处理， 根据需要输出不同格式MIPI 把数字信号以mipi协议格式输出其它辅助电路 如有的sensor带有OTP第6页/共25页Sensor的寄存器控制 Timing 包括sensor内部各个模块的工作时序关系，时钟频率，工作模式，相关配合关系等 模块电路功能控制 包括子模块电路的开关，电气性能调节等7寄存器分为两类，一类为timing控制寄存器，如pll频率控制，hb，vb，全尺寸或binning等模式选择等等；另外一类寄存器为内部电路性能控制，如pixel LDO使

12、能，输出电压控制，pad驱动能力等等。第7页/共25页ADC ADC（Analog to Digital Converter），模数转换器，把模拟信号转换为二进制的数字信号。如8bit的ADC输出数字码为01111 1111（255）。ADC Range即ADC的有效输入范围 如8bit ADC Range=500mv，输入信号大于等于500mv时，转换输出码值为255.8在sensor中ADC Range不能大于pixel的最大输出电压，如pixel最大输出电压为400mv，而ADC Range为500mv，显然输出图像最亮的部分都不能到255，会导致图像高亮发粉。当出现adc range大

13、于pixel最大输出电压时，要么减小adc range，要么放大pixel信号再做量化。这就是在某些项目中最小增益不是1倍的原因。第8页/共25页Gain 增益（gain）分为模拟增益和数字增益 模拟增益指在模拟电路中把pixel输出的电信号进行放大，而数字增益指的电信号完成模数转换后，把数字信号进行放大（自动增益主要是调节模拟增益）。把信号放大的作用主要是增加输出图像亮度，而增益越大噪声也会相对更为明显，在实际项目中都需要根据sensor的具体情况确定最大增益和最小增益。900.10.20.30.40.50.60.70.80.91增益的寄存器控制：h10-1倍h20-2倍hf0-15倍增益调

14、节分为4档1倍到2倍步长1/162倍到4倍步长1/84倍到8倍步长1/48倍到倍步长1/2第9页/共25页频率计算 PLL频率计算 芯片输入E_clk，通过PLL倍频获得一个很高频率的pll_clk，芯片内部时钟均由pll_clk分频获得，pll_clk的频率由通常由两个寄存器共同配置。10)2(1_3_*_outdivpllmcpllncpllclkEclkpllP0:0 x2fpll_ctrl_buf706:2 pll_nc1:0 pll_mc0 x10P0:0 x34buf_pll_outdiv10Pll frequency divider control00- 101- 210- 41

15、1- 80 x01调试中做降频实验时只需要修改pll_clk即可，内部其它时钟频率会同步随着pll_clk变化而变化，不能单独修改内部其它时钟频率。1_3_*_mcpllncpllclkE其中， 建议在120M300M之间!第10页/共25页帧率计算Pclk，指sensor输出数据的频率，不是pll_clk。通常在给出的参数文件名中会包括pclk的信息，通常说的sp2508 60M参数，就是指pclk 60M。在代码deviceinfo中请注意填写的频率是否正确。行长是用来计算曝光时间的，关系flicker和帧率问题，请注意行长对应的频率。如sp2508 行长1158对应的是内部的dac_cl

16、k，如果以pclk计算，则行长为2316，因为所给sp2508参数中pclk频率为dac_clk的两倍。帧率计算方法11帧长=有效数据行+vblank行=1225+16=1241行行长=2316，对应pclk 60M最大帧率=1/最小帧时间 =1/（2316/60M）*1241）=20.8 fps当曝光时间大于1帧时，帧率由曝光时间决定，如果曝光时间为200ms，那么帧率就为5 fps。!不要单独更改内部clk频率控制寄存器第11页/共25页flicker 交流电照明灯发出的光会以一定频率抖动，导致sensor图像出现行方向的水波纹，称之为flicker。目前主要的交流电频率有50Hz（中国）

17、和60Hz两种。为了避免出现flicker，要求曝光时间大于base值时必须是base的整数倍。12行）行长()(1000050_ushzbase行）行长()(833360_ushzbase如所给参数行长为1158（clk周期个数），对应clk频率为30M，则)(259)(30/115810000)()us(1000050_行行行行长hzbase!当出现flicker时，首先要判断曝光时间是否正确，打印曝光寄存器值，看是否是base的整数倍；如果是base的整数倍，那么就得确认所用的行长和频率是否正确；如果都正确就需要向研发反映，可能sensor功能异常或者是行干扰。第12页/共25页blac

18、klevel Blacklevel简单的说就是黑电平，指在dark下pixel的输出值，这个值可能为正亦可能为负，在正常光照输出时需要减掉blacklevel值。Blacklevel的统计和正常输出时减blacklevel都在芯片内部实现，可通过寄存器调整。Blacklevel值的统计方法有三种，1帧统计，4帧统计，8帧统计。13 Blacklevel引起的图像抖动 通过开关blacklevel来确认。主要可能是blacklevel不稳，如果是单帧统计改为4帧，8帧统计是否有变化；是否sensor散热不好引起；需要测试ob值的变化。 Blacklevel引起的偏色 通过开关通过开关blackl

19、evel来确认。来确认。Blacklevel统计值偏大会引起暗态偏绿，而统计值偏小会引起暗态统计值偏大会引起暗态偏绿，而统计值偏小会引起暗态偏红偏红。 拍照切换 当预览和拍照采用不同参数时，需要注意blacklevel控制寄存器的修改，因为拍照时间很短，不可能有很多帧来统计blacklevel，因此要求把拍照参数中的blacklevel改为1帧统计。第13页/共25页Image Lag Image lag即图像残留，在每个pixel曝光前都需要把上一次曝光产生的信号抹除（复位），然后再进行新一帧图像的曝光。当复位时间太短或者其他原因造成复位不完全，那么下一次的曝光读出就包含了上一帧残留的信号，

20、并且不同亮度区域残留的信号量不同，导致图像反映的信号量与曝光时间不匹配 Lag在手机图像上表现： 1.晃动时拖影严重，灯管高亮区域拖出绿色 2.高亮四周较暗区域图像分层明显，暗区域偏绿14第14页/共25页太阳黑子 太阳黑子指的是拍照高亮物体时，在高亮区域反而出现黑色的斑点，这是由于光照太强pixel不能有效工作引起的，在sensor中都做相应的校正功能，可以消除该现象。 Sp2508 太阳黑子校正寄存器151使能，0关闭不同的设置电压如果出现太阳黑子现象，使能寄存器不生效或者使能后出现列噪时，需要反馈到研发做分析。!第15页/共25页Updown/mirror16Sensor默认所见即所得，

21、图像显示与人眼看到场景一致。当进行updown或者mirror时，sensor内部pixel array的输出顺序相应发生变化，第一个输出pixel颜色发生变化，所以position定义需要调整。Updown和mirror在调试中的另一个作用是用来判断行线和列线产生的原因，如果是pixel array出现问题，那么行线列线会随着updown和mirror位置改变，如果是电路工作timing的问题，行线列线位置一般不会变化。第16页/共25页ColorbarColorbar为芯片内部自测试数据，可以用来判断芯片到平台的数据传输正确性，当出图不正常，颜色异常，偏色，抖动，坏线坏点都应该先看看col

22、orbar是否正常，判断问题出在哪里 MIPI也有自己的colorbar17Digital YUV colorbarDigital RAW colorbarMIPI colorbarSP2508 Digital colorbar 使能寄存器SP2508 MIPI colorbar 使能寄存器第17页/共25页尺寸和窗口 Sensor通常都支持比自身全尺寸小的各种格式尺寸输出 如sp2508全尺寸输出为1616*1216，就支持720p(1288*728), 900p(1288*908), 1600HD+(1608*908), 2*2 binning(808*608)等等输出尺寸，通过寄存器控制

23、选择。 默认给出的各尺寸都比标准尺寸大，是为了便于图像的边界处理，有的平台只需要标准尺寸，就需要同时修改数字输出尺寸寄存器和MIPI的输出尺寸寄存器18例如之前高通平台认证时要求输出标准尺寸，sp2508全尺寸输出1600*1200；sp5409全尺寸输出2592*1944.第18页/共25页19尺寸和窗口19P2:0 x37dem_v_start_3msb2:020Image vertical start 3msb0 x00P2:0 x38dem_v_start_8lsb 70Image vertical start 8lsb0 x00P2:0 x39dem_v_size_3msb2:0 2

24、0Image vertical size 3msb0 x04P2:0 x3adem_v_size_8lsb 70Image vertical size 8lsb0 xc0P2:0 x3bdem_h_start_3msb2:020Image horizontal start 3msb0 x00P2:0 x3cdem_h_start_8lsb 70Image horizontal start 8lsb0 x00P2:0 x3ddem_h_size_3msb2:0 20Image half horizontal size 3msb0 x03P2:0 x3edem_h_size_8lsb 70Imag

25、e half horizontal size 8lsb0 x28sp2508数字尺寸控制寄存器Start寄存器从0开始，如减少2行，那么dem_v_start =0 x02!P1:0 x8eh_size_mipi_4msb30MIPI column number0 x06P1:0 x8fh_size_mipi_8lsb70MIPI column number0 x50P1:0 x90v_size_mipi_3msb20MIPI line number0 x04P1:0 x91v_size_mipi_8lsb70MIPI line number0 xc0sp2508mipi尺寸控制寄存器注意sp

26、2508和sp5409一样，列尺寸定义寄存器是实际尺寸的一半，例如输出1024列，则dem_h_size寄存器应该写为512，即11h200；而行尺寸寄存器应该与实际输出行数一样。如果需要修改start位置，dem_v_start必须为偶数，保证position不变，否则颜色出现错误；dem_h_start没有这个问题。通常尺寸变化不大时可以不修改start寄存器！注意2倍关系!另外修改输出尺寸寄存器不会改变行长和帧长！因此不能提高帧率！另外修改输出尺寸寄存器不会改变行长和帧长！因此不能提高帧率！第19页/共25页Binning 目前采用的binning方法就是把同通道相邻四个pixel通过一定的算法相加，合并成一个像素点输出，因此输出行列数均减少一半。采用列ADC结构的sp2508和sp5409 binning模式速度较全尺寸快，但不是2倍的关系