CMOS Sensor Interface CSI.doc

cmos sensor interface csicmos图像传感器分为两类，非智能和智能。非智能的这类图像传感器只是支持传统的摄像头时序(场同步和行同步)，然后输出一个bayer(拜耳)以及统计的数据,而智能传感器支持ccir656视频解码格式，并且还提供了额外的一些图像处理(例如：图像压缩，图像滤波预处理，以及多种数据输出格式)csi的包含的能力如下：.前端-配置逻辑接口以便支持大多数通用的可用的cmos摄像头接口。.支持ccir656视频接口以及传统的摄像头接口。.8位数据口，支持方便ycc,yuv,bayer或者是rgb的数据格式输入。.完全可控的8-bit或16-bit数据到32-bit的fifo进行打包.32*32大小的fifo存储接受到的的图像像素数据，该fifo可以通过可编程的io或者是dma进行读取.后端-提供了直接到emma的预处理prp块接口(prp和pp组成了mx27图形加速器emma，prp和pp能够用来给视频做预处理和后期处理，例如，放大，缩小，颜色转换).提供sensor的可屏蔽中断源，该中断源也是中断可控的：开始frame,结束frame,change of field,fifo full.提供给外部sensor用的，可配置的主时钟频率.由统计数据产生的自动曝光(ae)和自动白平衡(awb)控制。39.1 csi结构39-5图，显示了cmos摄像头接口的框图，它包含了2个控制寄存器(control register 1和3)来建立接口的时序以及中断产生，另外一个控制器(control register 2)用来产生统计数据，还有一个状态寄存器，接口逻辑，数据包逻辑，ccir时序编码，中断控制，主时钟产生源，统计数据产生，32*32图像数据接受fifo(rxfifo),还有16*32统计数据fifo(statfifo).39.2 csi接口信号描述csi模块和外部的cmos图像传感器的接口如下：.csi_vsync input vertical sync(start of frame)摄像头传输进csi接口，是场同步接口，提供起始帧.csi_hsync input horizontal sync(blank signal)摄像头传输进csi接口，是行同步接口，提供行同步信号，判断消隐信号.csi_d7：0input 8-bit摄像头数据总线(传输yuv,ycc,rgb，或者bayer等数据).csi_mclk output sensor master clock该接口是csi输出接口，提供给外部摄像头的主时钟.csi_pixclk input pixel clock该接口是摄像头输出的像素时钟，一般都等于mclk主时钟在csi的rxfifo和emma的预处理块prp之间有一条用来快速传输数据的数据线.该数据线可以enabled或者disabled。当该bus enabled时，csi的rxfifo会从ahb总线上取消，并且连接到prp上。任何cpu或者dma通道到rxfifo寄存器的请求读取都将被忽略(因为连接到prp上了)所有的csi中断都被mask防止软件访问fifo以及相关的状态寄存器。rxfifo设定full level等级为4/8/16 words,如果是24words那么内部逻辑认为是8words.用户使用rxfifo的full level来参考数据格式和线性宽度，来确保传输的帧是一个完整的帧，图像的大小(in words)必须是rxfifo设定的full level的整数倍。关系如下：数据格式每个像素包含的byte数目每个words包含的像素数目rxfifo full level等级所需要的线宽(line width)yuv422 22 4/8/16words 8/16/32的倍数ycc422 22同上8/16/32的倍数rgb565 22同上8/16/32的倍数rgb888 41同上4/8/16的倍数bayer 14 16/32/64的倍数39.3操作原理该小段描述sensor接口的操作模式csi设计是为了支持普通的sensor接口时序以及ccir656的视频接口时序。传统的cmos传感器典型使用sof,hsync(消隐)，和pixclk信号给bayer或者yuv输出。智能cmos传感器，一般在片上都有图像处理，并且通常都支持视频模式的传输，它们使用了内嵌的时序编码来取代了sof和blank信号。该时序编码依据的标准就是ccir656.39.3.1门选通时钟模式(gated mode)vsync，hsync,以及pixclk信号采用的都是门选时钟模式(脉冲门)一个帧通常都开始于vsync的上升沿_|_,然后hsync信号开始变高high,并且hold高电平整行数据(line)。并且当hsync信号是高电平的时候，pixel clock才是合法的像素时钟，data数据就是每hsync高电平期间，每个pixel clock上升沿读取的数据才是有效数据。当hsync为低电平的时候那么该行就结束了。pixel clock就是不合法了，并且csi也停止从stream中接收数据。然后等待下一行的hsync重复开始,最后重复vsync进入下一帧。39.3.2非门选通时钟模式(non-gated mode)该模式下，只有vsync和pixel clock两个信号使用到，hsync是被忽略的。该模式下，总的时间是和gated mode一样的,区别只是在于hsync信号。hsync是被csi忽略的，所有的pixel clock时钟所表示的数据都是合法的，其实区别就是gate模式的pixel clock是一直开着的，而该模式下是和hsync同步进行了与门的操作，只保留了有效数据的pixel clock.所以pixel clock在非法数据时候是低电平。39.3.3 ccir656接口模式在ccir656模式中，只有pixel clock和data7：0信号被使用到。起始帧vsyhc和blank消隐信号都被摄像头内直接内嵌的时序编码根据时序直接替换为有效数据流，不需要后期进行数据流的处理。每一个有效行伴随sav码激活，并且伴随eav码结束。有一些方案，数字化的消隐信号是插在sav和eav之间的。csi会从数据流中进行编码以及滤出相关的时序，来还原vsyhc和hsync信号，来给内部使用，例如统计块控制和csi-to-prp互连时。数据从直接转发，以原来连续的方式进行打包。因此，第一帧是跟在第二帧后面的(如果得到了2帧的话)。所以，该帧序是需要重新进行排序的，来还原原来的图像。cof(change of field改变域/帧/场)，它触发奇偶场的变化。中断服务会读取状态寄存器来确定是否是当前的帧。依据ccir656标准，图像必须是625/50帧的pal,或者是525/60帧的ntsc格式。另外，图像还要交错成奇偶场，垂直和行消隐数据都被填入特定的行。数据必须是ycc422格式，每个像素包含了2 bytes,y+cr+y+cb.这些都是tv模式的设定。该csi仅仅支持pal和ntsc制式。从39-3图中可以看到，sof是一个中断，时序编码timing codec中断产生，表示来了新的帧，sov1和sov2是表示奇偶域。39-4，39-5两图表示具体的码和有效数据位。39.3.4 ccir656更进模式cmos摄像头系统提供的vga或cif分辨率，cif标准中，奇偶场交错不用很严格的指出，因为cif图像本身就很小，使用奇场或偶场就可以了。一般是使用奇场，即field 1.大多数的sensor都支持该ccir模式，因此在cif下，只要一个sof中断进入新的一帧，而不需要sov来判断奇偶场了。39.3.5 ccir656编码错误校验依据ccir编码表，sav和evav之间的保护数据是被编码过的，使用这种方法，编码器可以纠正1-bit错误，可以检查2-bit的错误。该特征只是在csi的ccir编码中，仅仅是奇偶交错模式中支持。39.4中断产生39.4.1起始帧中断start of frame interrupt(sof_int)-一般都是vsyhc的上升沿开始，就触发了在传统模式中，vsyhc信号来自传感器，因此sof_int中断是由vsyhc信号的上升沿或者是下降沿触发的。在ccir模式中，sof中断信息是从嵌入的代码检索出来的，并且产生sof_int的。在ccir更进模式中，有下面两个sof中断：.内部vsyhc模式，sof是从嵌入的代码检索出来.外部vsyhc模式，来自外部摄像头输入的vsyhc信号，根据vsyhc的上升沿或下降沿来产生sof.39.4.2结束帧中断end of frame interrupt(eof_int)当一帧结束或者是一个在rxfifo中的完整的帧数据被全部读出时，eof中断就产生了，eof并不在csi的prp模式中使用。39.4.3改变帧中断change of field interrupt(cof_int)该中断是用在ccir奇偶域交错的模式下使用，该中断当field 1和field 2交错的时候产生。f1_int和f2_int会产生39.4.4 ccir错误中断(ecc_int)ccir中断仅仅用在ccir奇偶场交错的模式下使用，因为如果没有奇偶场交错的话，不需要校验该帧的奇偶帧，如果有的话，那么如果是错误下，还将该奇偶场拼接进行合成的话，那么画面肯定出问题了。39.4.5 data packing style数据打包格式由于图像在采集的过程中，不同的端口大小，不同的阶段，数据的字节顺序是非常重要的。为了能够灵活的对图像数据进行打包，csi模块提供了数据交换空间，通过pack_dir和swap16_en bits(包含在csirc1-csi control register1中)数据在提交给rxfifo之前，利用设置pack_dir的bit位来进行打包。39.4.6 rxfifo路径bayer数据是一个从图像传感器获得典型的行数据。该数据宽度一定要通过软件转化为rgb空间或者是yuv空间的数据格式。pack_dir bit设置为0，表示系统是小端，不是大端系统。使用p0,p1,p2,p3存放了打包了的数据内容，p0是第一个data,依次，p3是最后一个data.page 1438 39.4.6.1 rgb565数据(我们用的ov9660-0xd71：0是选择yuv还是rgb模式，yuv=00,rgb=01)rgb565数据是从图像传感器获得的处理过的数据，该数据可以直接显示到video buffer上面。这个数据格式是16-bits的宽度，该数据可以直接通过csi给memory,然后memory给lcdc.39.4.6.2 rgb888数据格式-24位bit屏可用总结：mx27提供了一个非常专业的摄像头csi接口，可以配置相关的口进行接口匹配。我们的摄像头是ov9660，输出设定为yuv模式，因此，csi获取的数据也是yuv格式的数据，因此还需要通过软件，将yuv的格式转化为rgb565、rgb656、rgb888格式放到lcdc对应的memory进行显示输出。转化公式如下：from rgb to yuv y=0.299r+0.587g+0.114b u=0.492(b-y)v=0.877(r-y)it can also be represented as：y=0.299r+0.587g+0.114b u=-0.147r-0.289g+0.436b v=0.615r-0.515g-0.100b from yuv to rgb r=y+1.140v g=y-0.395u-0.581v b=y+2.032u我的额外话题：当前摄像头的参数我们基本上主要看：1.摄像头像素是多少万的?我这边罗列了一部分2560*1960=4915200,也就是通常说的500w 1600*1200=1920000，也就是200w 1280*960=1228800，也就是130w像素640*480=307200,也就是30w该像素可以放映到你的抓图上面的大小，该像素就是说明你的cmos或者是ccd感光元件的像素点多少，可以想象在相同的面积上，数量越多，感光元件肯定要越小，感光元件小，那么图像的质量其实会变差，这个当然可以理解，但是从大的方面来说，只要镜头好，光源充足，那么效果也会变好，这样画面就比像素低的更加的细腻，所以高像素的好处就在这里。有种专业上的说法，是你的摄像头达到几线几线的?2.帧率?也就是看你的最大分辨率的时候能够达到的最大帧率是多少?像ov系列来说，一般最大的分辨率下的帧率是30帧左右，也可以调频率进行提高。我们人的眼睛一般情况下，只要图像能够达到每秒30帧，那么利用眼睛的视觉残留，基本上可以感觉到图像是连续的，人眼的视觉残留时间超过30ms。我调试摄像头的时候，可以发现有个非常严重的现象就是，加开夜光模式的时候，帧率掉的非常严重，这个估计就是dsp后期处理的时候，处理不了每秒30帧，只能往下降了，黑白的话效果好一些。3.镜头也是非常关键的，这个就要看不同的厂家，不同的显示效果题外篇我们买到的数码相机，现在都是1300w以上的，但是并不是说我们的摄像模式下可以达到这个分辨率，不信的话你可以去试试看，因为摄像要求比较高，需要达到每秒30帧以上，这个对dsp处理的负荷很重(rgb-颜色空间转换-h264编码/jpg编码)，有人说我们为什么不利用数码相机的连续抓拍功能，这样既能保证分辨率又可以摄像，其实原理是一样的，抓拍也不可能高像素下达到每秒30帧。还有，我们有一些非常高的像素是如何达到的呢?其实现在的做法都是靠拼装，也就是说两块ccd感光模块分别进行摄像，然后在末端进行同步，这样就能提高像素，而且dsp的负荷不用太过进行提升，但是这样的拼装方