摄像头接口分类及基础知识

一 一 CameraCamera 工作原理介绍工作原理介绍 1 结构 2 工作原理 外部光线穿过 lens 后 经过 color filter 滤波后照射到 Sensor 面上 Sensor 将从 lens 上传导过来的光线转换为电信号 再通过内部的 AD 转换为数字信号 如果 Sensor 没有集 成 DSP 则通过 DVP 的方式传输到 baseband 此时的数据格式是 RAW DATA 如 果集成 了 DSP RAW DATA 数据经过 AWB 则 color matrix lens shading gamma sharpness AE 和 de noise 处理 后输出 YUV 或者 RGB 格式的数据 最后会由 CPU 送到 framebuffer 中进行显示 这样我们就看到 camera 拍摄到的景象 了 3 YUV 与 YCbCr 一般来说 camera 主要是由 lens 和 sensor IC 两部分组成 其中有的 sensor IC 集成 了 DSP 有的没有集成 但也需要外部 DSP 处理 细分的来讲 camera 设备由下边几部 分构成 1 lens 镜头 一般 camera 的镜头结构是有几片透镜组成 分有塑胶透镜 Plastic 和 玻璃透 镜 Glass 通常镜头结构有 1P 2P 1G1P 1G3P 2G2P 4G 等 2 sensor 图像传感器 Senor 是一种半导体芯片 有两种类型 CCD Charge Coupl ed Device 即电荷耦合器件的缩写 和 CMOS Complementary Metal Oxide Semiconduc tor 互补金属氧化物半导体 Sensor 将从 lens 上传导过来的光线转换为电信号 再通 过内部的 AD 转换为数字信号 由于 Sensor 的每个 pixel 只能感光 R 光或者 B 光或 者 G 光 因此每个像素此时存贮的是单色的 我们称之为 RAW DATA 数据 要想将每 个像素的 RAW DATA 数据还原成三基色 就需要 ISP 来处理 注 CCD 传感器 电荷信号先传送 后放大 再 A D 成像质量灵敏度高 分辨率好 噪声 小 处理速度慢 造价高 工艺复杂 CMOS 传感器 电荷信号先放大 后 A D 再传送 成像质量灵敏度低 噪声明显 处 理速度快 造价低 工艺简单 3 ISP 图像信号处理 主要完成数字图像的处理工作 把 sensor 采集到的原始数据转 换为显示支持 的格式 4 CAMIF camera 控制器 芯片上的 camera 接口电路 对设备进行控制 接收 sensor 采集的数据交给 CPU 并送入 LCD 进行显示 YUV 和 RGB 一样 是色彩空间中常用的色彩模型之一 两者可以相互转换 YUV 中 得 Y 表示亮度 U 和 V 表示色度 与 RGB 相比 它的优点在于占用更少的空间 YCbCr 则是 在世界数字组织视频标准研制过程中作为 ITU R BT601 建议的一部分 其实是 YUV 经 过缩放和偏移的翻版 其中 Y 与 YUV 中的 Y 含义一致 Cb Cr 同样都指色 彩 只是 在表示方法上不同而已 在 YUV 家族中 YCbCr 是在计算机系统中应用最多的成 员 其 应用领域很广泛 JPEG MPEG 均采用此格式 一般人们所讲的 YUV 大多是指 YCbCr Y CbCr 有许多取样格式 如 4 4 4 4 2 2 4 1 1 和 4 2 0 二 摄像头接口分类二 摄像头接口分类 常见类型有 MIPI DVP 和 usb 接口接口 DVP 总线 PCLK 极限大约在 96M 左右 而且走线长度不能过长 所有 DVP 最大速率最 好控制在 72M 以下 故 PCB layout 会较好画 MIPI 总线速率随便就几百 M 而且是 lvds 接口耦合 走线必须差分等长 并且注意保护 故对 PCB 走线以及阻抗控制要求高一点 一般而言 96M pclk 是 DVP 的极限 曾经在一个 team 做多摄相头的图象采集设备 DVP 总 线连接 几个不懂技术的一直 push 我说是硬件走线干扰啊 拘泥纠缠在什么 I2C 这种低速 控制信号受干扰 还搞了好几天看示波器 被烦的不行 我用一个晚上时间改驱动降低 PC LK 降桢率搞定 1 DVP 是并口 需要 PCLK VSYNC HSYNC D 0 11 可以是 8 10 12bit 数据 看 IS P 或 baseband 是否支持 MIPI 是 LVDS Low Voltage Differential Signaling 低电压差分信号 低压差分串口 只需要要 CLKP N DATAP N 最大支持 4 lane 一般 2 lane 可以搞定 2 MIPI 接口比 DVP 的接口信号线少 由于是低压差分信号 产生的干扰小 抗干扰能力 也强 最重要的是 DVP 接口在信号完整性方面受限制 速率也受限制 500W 还可以勉强用 DVP 800W 及以上都采用 MIPI 接口 注 液晶屏接口类型 Mipi 接口 和 LVDS 接口主要区别 这里是液晶屏接口类型 1 LVDS 接口只用于传输视频数据 MIPI DSI 不仅能够传输视频数据 还能传输控制指令 2 LVDS 接口主要是将 RGB TTL 信号按照 SPWG JEIDA 格式转换成 LVDS 信号进行传输 MIPI DSI 接口则按照特定的握手顺序和指令规则传输屏幕控制所需的视频数据和控制数据 液晶屏有 RGB TTL LVDS MIPI DSI 接口 这些接口区别于信号的类型 种类 也区别 于信号内容 RGB TTL 接口信号类型是 TTL 电平 信号的内容是 RGB666 或者 RGB888 还有行场同步和时 钟 LVDS 接口信号类型是 LVDS 信号 低电压差分对 信号的内容是 RGB 数据还有行场同步 和时钟 MIPI DSI 接口信号类型是 LVDS 信号 信号的内容是视频流数据和控制指令 串口信号串口信号 串行接口 Serial Interface 是指数据一位位地顺序传送 其特点是通信线路简单 只 要一对传输线就可以实现双向通信 并可以利用电话线 从而大大降低了成本 特别适用 于远距离通信 但传送速度较慢 串行接口 一条信息的各位数据被逐位按顺序传送的通讯方式称为串行通讯 串行通讯的 特点是 数据位传送 传按位顺序进行 最少只需一根传输线即可完成 成本低但传送速 度慢 串行通讯的距离可以从几米到几千米 根据信息的传送方向 串行通讯可以进一步 分为单工 半双工和全双工三种 串行通讯的特点是 数据位的传送 按位顺序进行 并口信号 并口信号 并行接口 指采用并行传输方式来传输数据的接口标准 从最简单的一个并行数据寄 存器或专用接口集成电路芯片如 8255 6820 等 一直至较复杂的 SCSI 或 IDE 并行接口 种类有数十种 一个并行接口的接口特性可以从两个方面加以描述 1 以并行方式传输的 数据通道的宽度 也称接口传输的位数 2 用于协调并行数据传输的额外接口控制线或称 交互信号的特性 数据的宽度可以从 1 128 位或者更宽 最常用的是 8 位 可通过接口 一次传送 8 个数据位 在计算机领域最常用的并行接口是通常所说的 LPT 接口 并口就是 8 个车道同一时刻能传送 8 位 一个字节 数据 并不是说并口快 由于 8 位通道之间的互相干扰 串扰 传输时速度就受到了限制 传输容易出错 串口没有互相干扰 差分信号 差分信号 差模信号 双端输入时 两个信号的相位相差 180 度 所谓差分方式传输 就是发送端在两条信号线上传输的幅值是相等的 相位是相反的电信 号 如下图所示 而对于接收端 将会对接收的两条信号做 减法运算 这样就获得了幅值翻倍的信号 其抗干扰原理是 假如两条信号都收到同样的 同向 等幅度 的干扰信号 由于接收 端是怼接收的两条线信号进行减法处理 因此干扰信号会被基本抵消 也就是说 一个差 分放大器的输入有效信号幅度只需要几毫伏 但是它却能够对一个高达几伏特的共模信号 无动于衷 那么怎么样才能保证两条信号线受到的干扰信号尽量是同相 等幅呢 办法之一就是 要将那两根线扭在一起 也就是所谓的 双绞线 因为有一个电磁学定理 可以近似的 认为双绞线收到的干扰信号是同相 等幅度的 所以差分信号在信号传输中用的比较多 也就有原因了 因为抗干扰性强 对于 PCB 工程师来说 最关注的还是如何确保在实际走线中能完全发挥差分走线的这 些优势 也许只要是接触过 Layout 的人都会了解差分走线的一般要求 那就是 等长 等距 等长是为了保证两个差分信号时刻保持相反极性 减少共模分量 等距则主要是 为了保证两者差分阻抗一致 减少反射 尽量靠近原则 有时候也是差分走线的要求之 一 三 三 MIPIMIPI 联盟的联盟的 MIPIMIPI DSIDSI 规范规范 MIPIMIPI 移动行业处理器接口 是 移动行业处理器接口 是 MobileMobile IndustryIndustry ProcessorProcessor InterfaceInterface 的缩写 的缩写 1 名词解释 DCS DisplayCommandSet DCS 是一个标准化的命令集 用于命令模式的显示模组 DSI CSI DisplaySerialInterface CameraSerialInterface DSI 定义了一个位于处理器和显示模组之间的高速串行接口 CSI 定义了一个位于处理器和摄像模组之间的高速串行接口 D PHY 提供 DSI 和 CSI 的物理层定义 2 DSI 分层结构 DSI 分四层 对应 D PHY DSI DCS 规范 分层结构图如下 PHY 定义了传输媒介 输入 输出电路和和时钟和信号机制 Lane Management 层 发送和收集数据流到每条 lane Low Level Protocol 层 定义了如何组帧和解析以及错误检测等 Application 层 描述高层编码和解析数据流 3 Command 和 Video 模式 DSI 兼容的外设支持 Command 或 Video 操作模式 用哪个模式由外设的构架决定 Command 模式是指采用发送命令和数据到具有显示缓存的控制器 主机通过命令间接的 控制外设 Command 模式采用双向接口 Video 模式是指从主机传输到外设采用时实象素流 这种模式只能以高速传输 为减少 复杂性和节约成本 只采用 Video 模式的系统可能只有一个单向数据路径 四 四 D PHYD PHY 介绍介绍 1 D PHY 描述了一同步 高速 低功耗 低代价的 PHY 一个 PHY 配置包括 一个时钟 lane 一个或多个数据 lane 两个 Lane 的 PHY 配置如下图 三个主要的 lane 的类型 单向时钟 Lane 单向数据 Lane 双向数据 Lane D PHYD PHY 的传输模式的传输模式 低功耗 Low Power 信号模式 用于控制 10MHz max 高速 High Speed 信号模式 用于高速数据传输 80Mbps 1Gbps Lane D PHY 低层协议规定最小数据单位是一个字节 发送数据时必须低位在前 高位在后 D PHY 适用于移动应用 DSI 显示串行接口 一个时钟 lane 一个或多个数据 lane CSI 摄像串行接口 2 Lane 模块 PHY 由 D PHY Lane 模块 组成 D PHY 可能包含 低功耗发送器 LP TX 低功耗接收器 LP RX 高速发送器 HS TX 高速接收器 HS RX 低功耗竞争检测器 LP CD 三个主要 lane 类型 单向时钟 Lane Master HS TX LP TX Slave HS RX LP RX 单向数据 Lane Master HS TX LP TX Slave HS RX LP RX 双向数据 Lane Master Slave HS TX LP TX HS RX LP RX LP CD 3 Lane 状态和电压 Lane 状态 LP 00 LP 01 LP 10 LP 11 单端 HS 0 HS 1 差分 Lane 电压 典型 LP 0 1 2V HS 100 300mV 200mV 4 4 操作模式 操作模式 数据数据 LaneLane 的三种操作模式的三种操作模式 Escape mode High Speed Burst mode Control mode 从控制模式的停止状态开始的可能事件有 Escape mode request LP 11 LP 10 LP 00 LP 01 LP 00 High Speed mode request LP 11 LP 01 LP 00 Turnaround request LP 11 LP 10 LP 00 LP 10 LP 00 EscapeEscape modemode 是数据是数据 LaneLane 在在 LPLP 状态下的一种特殊操作状态下的一种特殊操作 在这种模式下 可以进入一些额外的功能 LPDT ULPS Trigger 数据 Lane 进入 Escape mode 模式通过 LP 11 LP 10 LP 00 LP 01 LP 00 一旦进入 Escape mode 模式 发送端必须发送 1 个 8 bit 的命令来响应请求的动作 Escape mode 使用 Spaced One Hot Encoding 超低功耗状态 Ultra Low Power State 这个状态下 lines 处于空状态 LP 00 时钟 Lane 的超低功耗状态 时钟 Lane 通过 LP 11 LP 10 LP 00 进入 ULPS 状态 通过 LP 10 TWAKEUP LP 11 退出这种状态 最小 TWAKEUP 时间为 1ms 高速数据传输 发送高速串行数据的行为称为高速数据传输或触发 burst 全部 Lanes 门同步开始 结束的时间可能不同 时钟应该处于高速模式 各模操作式下的传输过程各模操作式下的传输过程 进入 Escape 模式的过程 LP 11 LP 10 LP 00 LP 01 LP 00 Entry Code L PD 10MHz 退出 Escape 模式的过程 LP 10 LP 11 进入高速模式的过程 LP 11 LP 01 LP 00 SoT 00011101 HSD 80Mbps 1G bps 退出高速模式的过程 EoT LP 11 控制模式 BTA 传输过程 LP 11 LP 10 LP 00 LP 10 LP 00 控制模式 BTA 接收过程 LP 00 LP 10 LP 11 状态转换关系图状态转换关系图 五 五 DSIDSI 介绍介绍 1 DSI 是一种 Lane 可扩展的接口 1 个时钟 Lane 1 4 个数据 Lane DSI 兼容的外设支持 1 个或 2 个基本的操作模式 Command Mode 类似于 MPU 接口 Video Mode 类似于 RGB 接口 必须用高速模式传输数据 支持 3 种格式的数据 传输 Non Burst 同步脉冲模式 Non Burst 同步事件模式 Burst 模式 传输模式 高速信号模式 High Speed signaling mode 低功耗信号模式 Low Power signaling mode 只使用数据 lane 0 时钟是由 D P DN 异或而来 帧类型 短帧 4 bytes 固定 长帧 6 65541 bytes 可变 两个数据 Lane 高速传输示例 2 短帧结构 帧头部 4 个字节 数据标识 DI 1 个字节 帧数据 2 个字节 长度固定为 2 个字节 错误检测 ECC 1 个字节 帧大小 长度固定为 4 个字节 3 长帧结构 帧头部 4 个字节 数据标识 DI 1 个字节 数据计数 2 个字节 数据填充的个数 错误检测 ECC 1 个字节 数据填充 0 65535 字节 长度 WC 字节 帧尾 校验和 2 个字节 帧大小 4 0 65535 2 6 65541 字节 4 帧数据类型 六 六 MIPIMIPI