CMOS图像传感器在智能车路径识别中的应用研究.doc

山东大学威 海 分 校毕 业 设 计（论 文）设计(论文)题目： CMOS图像传感器在智能车路径识别中的应用研究 姓 名 丁振兴 学 号 0312121 院 系 信息工程学院 专 业 自动化 年 级 03 指导教师 毕云峰 2007 年 5 月 24 日山东大学威海分校毕业设计（论文）开题报告论文题目CMOS图像传感器在智能车路径识别中的应用研究 学生姓名： 丁振兴 学号：0312121 专 业： 自动化 指导教师： 毕云峰 2007年 3 月 28日毕 业 论 文 开 题 报 告1、本课题的研究意义在第一届全国大学生智能车大赛中大多数队伍使用了光电对管作为检测黑线的传感器并取得了很好的成绩，但是光电对管也表现出了一些缺点，如对环境光比较敏感，前瞻性不好。采用CMOS图像传感器可以很好的解决上述问题。它的前瞻性是其最突出的特点，使用了图像传感器后大概可以检测车前30cm左右的道路信息比光电对管的7cm有了很大的提高。这将有助于提前对小车的速度、转向角度进行调整，最终提高小车行驶的稳定性和速度。2、本课题的基本内容本课题将主要研究CMOS图像传感器在智能车控制中的应用。这包括CMOS图像传感器的选择，时序驱动电路的制作，图像信号的采集，从采集到的图像中识别出黑线进而判断出路线类型和智能车的运动姿态继而对车的状态进行调整。毕 业 论 文 开 题 报 告3、本课题的重点和难点1) 图像传感器的选择。2) s12单片机与摄像头接口电路设计。3) s12单片机读取视频数据并完成图像的预处理（去噪声）。4) 采集到的图像中识别出黑线进而判断出路线类型和智能车的运动姿态的算法4、论文题纲1) 方案对比，确定方案2) 硬件电路的说明及原理图3) 图像处理的软件流程及算法。4) 论文总结5、进度安排4月1日4月10日：查阅收集资料，确定方案。4月11日4月20日：通过电脑模拟对方案的可行进行研究。4月21日5月10日：着手进行硬件电路的制作调试。5月11日 答辩前： 对硬件、软件进行改进。毕 业 论 文 开 题 报 告6、指导教师意见指导教师： 年 月 日 7、教研室审查意见教研室负责人： 年 月 日 毕业设计（论文）任务书（由指导教师填写）学 生 姓 名学号指导教师设计（论文）题目主要 研究 内容研 究 方 法主要技术指标(或研究目标)主要 参考 文献注：本表由指导教师根据学生的开题报告填写，下发给学生，并定期检查学生进度。毕业设计（论文）成绩评定表（院系用表）院系： 专业： 年级： 姓名学号设计（论文）总成绩：设计（论文）题目指导教师评语评定成绩： 签名： 年 月 日答辩 小 组 评 语答辩成绩： 组长签名： 年 月 日注：设计（论文）总成绩实行五级记分制，即优秀、良好、中等、及格、不及格。目 录摘 要108一、引言12 二、系统总体设计方案12 （一）比赛的题目要求12 （二）智能车总体设计方案12（三）CMOS图像采集方案的选择13 三、摄像头的选择与安装14 （一）摄像头工作原理与选择14 （1）摄像头采样机制14 （2）摄像头相关参数说明15 （3）摄像头的选择15 （二）摄像头的安装15 （1）安装示意图15（2）安装原则16 四、系统硬件设计17 （一）系统结构与功能框图17 （二）模块设计17 1电源管理模块17 2视频信号分离模块18 3AD采样模块19 （1）AD采样电路设计19 （2）AD采样方法20 五、系统软件设计20 （一）黑线的边缘检测算法20 （二）算法软件流程图20 六、问题的总结及研究意义22 （一）设计的结论与总结22 （二）研究意义22 谢 辞23 参考文献24 摘 要本文详细介绍了我们为智能车大赛而准备的路径识别系统方案。该系统以Freescale16 位单片机MC9S12DG128 作为系统控制处理器，采用基于CMOS摄像头的图像采样模块获取赛道图像信息，通过边缘检测方法提取赛道黑线，求出小车与黑线间的位置偏差，进而对小车进行控制。文中将介绍CMOS摄像头工作原理及使用方法，电源管理模块和视频信号分离模块的设计和有关参数，AD采样电路设计和采样方法，以及赛道黑线的边缘检测方法。在文章的最后我们还将介绍我们的研究结果和意义。关 键 词 智能车系统，CMOS摄像头，AD图像采样，黑线提取算法， Freescale16 位单片机ABSTRACTIn this paper we will demonstrate a line identify system scheme prepared for the national intelligent vehicle contest. The system , with the Freescale16-bit single-chip MC9S12DG128 as its control micro processor, use image-sensor module based on CMOS camera to obtain route image information, then abstract the black line on the contest lane by edge-detection method and calculate the position difference between the vehicle and the black line, and then make the vehicle to be controlled.We will also display the work theory the CMOS camera and how to use of it. The design and the parameter of power supply module and video signal separate module, as well as the AD sampling circuit, the edge-detection method of the black line will also be introduced. At last, we will be eager to show the outcome and the meaning of our study. KEY WORDIntelligent Vehicle System, CMOS camera ,AD Image Sampli- ng, edge-detection method, Freescale16-bit Single-chip一、引言在第一届“飞思卡尔”杯全国大学生智能车比赛中，需要制作一个基于MC9S12DG128单片机为核心控制单元并可以自主识别路径的模型赛车进行比赛。赛道是一个白底和黑色中心线道路。整个控制系统中，如何准确识别路径中心线参数（位置，角度，曲率等），并计算出赛车与道路中心线的相对位置与相对角度是整个控制系统中的关键。检测路径参数可以使用多种传感器件，如光电管阵列，CMOS（或CCD）图像传感器，激光传感器等，各种检测方法都有相应的优缺点，其中最常使用的方法为光电管阵列和CMOS（或CCD）图像传感器。如何有效利用单片机内部资源进行路径参数检测是确定检测方案的关键。本文所介绍的就是有关CMOS图像传感器在智能车路径识别中的应用研究。文中，我们将详细、系统地介绍有关CMOS图像传感器的相关参数和性能，软硬件结构的设计与工作原理包括传感器的选取，各模块的工作原理、功能、外围电路设计和软件实现，以及对赛道中心线提取的算法问题。二、智能车整体设计方案清华大学承办的全国智能车大赛是引进韩国汉阳大学智能汽车比赛的各项比赛事宜，我们对智能车的整体设计，也完全按照大赛的要求去完成。（一）比赛的题目要求题目的要求总结如下：1. 主要器件使用组委会提供统一的智能车竞赛车模、单片机HCS12开发板、开发软件CodeWarrior和在线调试工具等；2. 参赛队伍在车模平台基础上，制作一个能够自主识别路线的智能车，在专门设计的跑道上自动识别道路行驶；3. 采取硬件、软件，算法各种优化的方法来实现完成时间上的最少和技术质量的最优；4. 车模改装完毕后，尺寸不能超过：250mm宽和400mm长，高度无限；5. 不得任意改动车模的零部件，但是可以为了车模的正常行驶安装电路、传感器等，允许在底盘上打孔或安装辅助支架等；6. 伺服电机数量不超过3个，传感器数量不超过16个；7. 禁止使用DC-DC升压电路为驱动电机以及舵机提供动力；8. 全部电容容量之和不得超过2000微法；电容最高充电电压不得超过25伏；9. 电路所使用元器件（传感器、各种信号调理芯片、接口芯片、功率器件等）种类与数量都可以自行设计选择，但是不得使用逻辑可编程器件；10. 赛道表面为白色，中心有连续黑线作为引导线，跑道宽度为0.60米，黑线宽25mm，最小曲率半径不小于500mm，可以交叉，交叉角为90，为二维水平平面。（二）智能车总体设计方案本文要研究的是CMOS图像传感器在智能车路径识别中的应用，因此就需要对智能车整体设计方案有一个大致的了解，以方便CMOS图像传感器的使用和设计：根据摄像头方案设计，智能车共包括六大模块：控制处理芯MC9S12DG128，图像采集模块，速度、加速度传感模块，舵机驱动模块，电机驱动模块和辅助调试模块。其中S12 单片机是系统的核心部分。它负责接收赛道图像数据、赛车速度等反馈信息，并对这些信息进行恰当的处理，形成合适的控制量来对舵机与驱动电机进行控制。图像采样模块由S12 的AD 模块，外围芯片（LM1881）和电路，与摄像头组成。其功能是获取前方赛道的图像数据，以供S12 作进一步分析处理。速度传感器模块由附在驱动齿轮上的黑白间隔的彩带和反射型光电传感器组成，考定时检测反射型光电传感器电脉冲脉冲累积数来间接求得赛车的速度值。舵机模块和驱动模块分别用于实现赛车转向和驱动。辅助调试模块主要用于赛车系统的程序烧写，功能调试和测试，赛车状态监控，赛车系统参数和运行策略设置等方面。本赛车系统的结构示意图如图 2.1：MCU (MC9S12DG128) 图像采样模块速度传感模块舵机驱动模块电机驱动模块图2.1辅助调试模块（三）CMOS图像采集方案的选择CMOS图像采样模块就是采用CMOS摄像头对智能车前方路径的图像信息进行采集，并输入S12单片机的AD中进行处理，主要包括：CMOS摄像头、电压管理模块、视频信号分离模块、AD采样模块以及黑线采集算法等。在引言中说过，检测路径参数可以使用多种传感器件，例如光电管阵列，CMOS（或CCD）图像传感器等。因此在路径识别模块方案选择方面，可以有以下的方案进行考虑：方案一：采用光电管阵列。采用光电管阵列有一定的优势，主要是价格便宜、电路简单易行，但是它也具有赛道空间分辨率低，识别道路信息少，观测信息前瞻性差，容易受到环境光线的干扰等难以克服的缺点。方案二：采用CMOS（或CCD）图像传感器。使用CMOS（或CCD）图像传感器可以很好的改善上述问题，尤其是前瞻性比光电管要高出许多，而且理论比较成熟，方便使用，是未来机器人智能控制的一个趋势。在CMOS与CCD的选择中，我们选择的是CMOS图像传感器。CMOS 影像传感器过去有着信噪比小、分辨率低的缺点，一直无法和CCD 技术抗衡。但是,随着CMOS大规模集成电路技术的不断发展,这些缺点已逐渐被克服。而CMOS器件所具有的成本低、功耗低和像素缺陷低等优点也使其非常适合于本系统。三、摄像头的选择与安装（一） 摄像头工作原理和选择摄像头分黑白和彩色两种，为达到寻线目的，只需提取探测画面的灰度信息，而不必提取其色彩信息，所以本设计中采用黑白摄像头。相较使用同等分辨率的彩色摄像头而言，可减少单片机采样摄像头输出视频信号的负担。往下就讲述黑白摄像头采集图像信息的机制、视频信号的相关参数和我们选择摄像头时所作的考虑。（1）摄像头采样机制摄像头主要由镜头，图像传感芯片和外围电路构成。图像传感芯片又是其最重要的部分，摄像头的指标（如黑白或彩色，分辨率）就取决于图像传感芯片的指标；该芯片要配以合适的外围电路才能工作，将它们制作在一块电路板上，称为“单板”。若给单板配上镜头、外壳、引线和接头，这就构成了通常所见的摄像头。摄像头通常引出三个端子，一个为电源端，一个为地端，另一个就为视频信号端（有的摄像头多出一个端子，那是音频信号端）。电源接多大要视具体的单板而定，目前而言，一般有两种规格，6-9V，或9-12V。视频信号的电压一般位于0.5V-2V 之间。摄像头的主要工作原理是：按一定的分辨率，以隔行扫描的方式采样图像上的点，当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度成一一对应关系的电压值，然后将此电压值通过视频信号端输出。具体而言（参见图31），摄像头连续地扫描图像上的一行，就输出一段连续的电压视频信号，该电压信号的高低起伏正反映了该行图像的灰度变化情况。当扫描完一行，视频信号端就输出一低于最低视频信号电压的电平（如0.3V），并保持一段时间。这样相当于，紧接着每行图像对应的电压信号之后会有一个电压“凹槽”，此“凹槽”叫做行同步脉冲，它是扫描换行的标志。然后，跳过一行后（因为摄像头是隔行扫描的方式），开始扫描新的一行，如此下去，直到扫描完该场的视频信号，接着就会出现一段场消隐区。此区中有若干个复合消隐脉冲（简称消隐脉冲），在这些消隐脉冲中，有个脉冲，它远宽于（即持续时间长于）其他的消隐脉冲，该消隐脉冲又称为场同步脉冲，它是扫描换场的标志。场同步脉冲标志着新的一场的到来，不过，场消隐区恰好跨在上一场的结尾部分和下一场的开始部分，得等场消隐区过去，下一场的视频信号才真正到来。摄像头每秒扫描25 幅图像，每幅又分奇、偶两场，先奇场后偶场，故每秒扫描50 场图像。奇场时只扫描图像中的奇数行，偶场时则只扫描偶数行。 图3.1 摄像头视频信号（2）摄像头相关参数说明摄像头产品说明上通常会给出有效像素和分辨率，分辨率即为每场信号中真正为视频信号的行的数目。但产品说明上通常不会具体介绍视频信号行的持续时间、它们在每场信号中的位置、行消隐脉冲的持续时间等参数，而这些参数又关系到图像采样的有效实现。因此需要实际测量一下这些参数。（3） 摄像头选择一般而言，摄像头分辨率越高，单行视频信号持续的时间也越短，在AD转换时间不变的情况下，AD 对单行视频信号所能采样的点数也越少。通常，摄像头横向（行方向）的像素数远多于AD 对单行视频信号采样的点数。真正决定赛车图像采样模块实际横向分辨能力的不是摄像头横向的像素数，而是AD 采样单行视频信号的点数。例如，AD 对单行视频信号能采样10个点，尽管摄像头横向的像素数可达几百，但Freescale16 位单片机通过AD 只能采样到这几百个像素中的10 个，这意味于图像采样系统在横向上只有10 个像素的分辨能力。综上所述，摄像头的分辨率越高，尽管可提高纵向分辨能力，却会减少Freescale16 位单片机AD 采样单行信号的点数，削弱了横向分辨能力。另一方面，现在市场上的摄像头通常都在300 线的分辨率以上，由此推得单行视频信号的持续时间约为20ms/300=66us 左右，AD 采样单行视频信号的点数约为 66/7+1=10 个（不超频情况下）。也就是，摄像头传感系统在纵向上最多可达300 像素的分辨能力，这对我们的智能车定位系统是绰绰有余，可在横向上最多也只能有10 像素的分辨能力，这对我们的智能车定位系统来说是不够的。所以，在选择摄像头时，我们应当尽量选择分辨率低的摄像头，这样做会降低纵向分辨能力，却可以提高横向分辨能力。（二）摄像头安装（1）安装示意图摄像头安装方式如图3.2所示。图3.22.10 摄像头安装示意图（2）安装原则摄像头的安装位置得选取合适。安装得低了，会视域不够广阔，影响寻线的有效范围；安装得高了，指引线在图像坐标上会变得过窄而无法被检测到，而且赛车系统会因重心抬高而稳定性变差。安装位置合适的一个标准就是：在此位置的拍摄范围大小能满足控制的需要。控制的策略简单，则所需的拍摄范围就可较小；反之策略复杂，需获得的赛道信息较多，则拍摄范围应大一些。以我们的赛车系统为例。我们的控制策略涉及到赛车将入弯时能区分将入S 弯还是普通的单向弯。如图3.3所示（摘自韩国比赛用赛道），对于S弯和单向弯，两者前半部分均为一段相同的30 度的弧（Arc），只不过，单向弯的后半部分仍沿原方向偏转，而S 弯则沿相反方向偏转。为区别S 弯和单向弯，拍摄范围至少要能包含Arc，因此拍摄范围的前后距离至少为50cm，左右距离至少为2 X 13.4cm（因为弯有可能向左，也有可能向右）=26.8cm。我们选用的CMOS 摄像头，按前文“安装示意图”一节中的安装参数安装，拍摄范围即可满足我们的要求。图3.3 S弯-单向弯四、系统硬件设计（一）系统结构与功能框图CMOS摄像头视频信号分离模 块单片机A D模 块电源管理模块（二）模块设计1电源管理模块由于CMOS摄像头需要9V电源供电，而比赛用电池为7.2V，这就需要我们通过升压电路获得CMOS所需的工作电压。我们在这里选用的是使用MC34063构成DC-DC升压电路(如图示)。 图3.4 DC-DC升压电路图中部分计算参数为：R=180 Ohm R1=1k R2=6.2k (9V)2视频信号分离模块CMOS输出为PAL标准视频信号，PAL信号中除了包含图像信号之外，还包括了行同步信号、行消隐信号、场同步信号、场消隐信号等。要能有效地采样摄像头视频信号，首先要处理好的技术问题就是能提取出摄像头信号中的行同步脉冲，消隐脉冲和场同步脉冲。在这里，可以选用LM1881视频同步信号分离芯片进行处理，它可从摄像头信号中提取信号的时序信息，如行同步脉冲，场同步脉冲，奇、偶场信息等，并将它们转换成数字式电平直接输给单片机的I/O 口作控制信号之用。LM1881 的连线图如图3.5所示：图3.5 LM1881 信号连接原理图其中引脚2 为视频信号输入端，摄像头信号即由此输入LM1881。引脚1 为行同步信号输出端，它输出的信号波形只是输入的摄像头信号在黑屏电位之下的波形的简单复制。引脚3 为场同步信号输出端，当摄像头信号的场同步脉冲到来时，该端将变为低电平，一般维持230us，然后重新变回高电平（如图3.6中的c）。引脚7 为奇-偶场同步信号输出端，当摄像头信号处于奇场时，该端为高电平，当处于偶场时，为低电平。奇-偶场的交替处与场同步信号的下降沿同步，也就是和场同步脉冲后的上升沿同步（如图3.6中的d）。事实上，我们不仅可以用场同步信号作为换场的标志，也可以用奇-偶场间的交替作为换场的标志。图3.6 LM1881 信号时序图3 AD采样模块（1）AD采样电路设计摄像头视频信号端接LM1881 的视频信号输入端，同时也接入S12 的一个AD 转换器口（例如AD0）。LM1881 的行同步信号输出端与场同步信号输出端分别接入S12 的ECT端口，作为S12 的AD模块的控制信号，控制AD采样的开始与结束。 图3.7 摄像头采样电路示意图（2）AD采样模块的采样方法接好摄像头采样电路，就可以开始采样。采样思路是：当场同步信号到来时，表明新的一场信号的到来。这时开启数据计数器，对该场中的行同步脉冲进行计数。当行脉冲累计达到一定的数（例如150）时，对视频信号进行采样。因为摄像头是采用隔行扫描的方式，奇场时只扫描画面的奇数线，偶场时只扫描画面的偶数线。由于所采用摄像头在纵向上有380像素的分辨能力，对于本智能车定位系统设计所需要有的图像传感精度来说远远够用。经过信号比对，我们认为在摄像头所采集的一场图像信息中，中间数十行的信号质量最好，因此采取只采集图像中中间部分行信号的方式，这样既可以减轻单片机的负担，也可以减少程序运行时间，提高效率。图3.8 赛道图样图3.9 行信号的AD采样结果（中间凹陷部分为黑线）由图3.9可知，在一行信号中，电压最低的部分为行同步信号，紧接着的是行消隐信号，随后才是视频信号。当摄像头拍摄光源照射下的白色背景时，输出的视频信号电压要高于扫描到黑色赛道信号电压。这样就可以在单片机中设计程序，对黑线进行采集。经过AD采样后的数值直接存入数据寄存器中，以便进一步处理。（3）图像数据存储我们将每场视频采样的图像数据存储到一个二维数组中。总共要采样多少行视频信号，就设置此二维数组为多少行。所设置列数等于S12 对单行视频能采样的点数。对于需采样的某行视频信号，将该行中采样到的像素值依次从左至右（列值递增）存于二维数组相应的某行中。五、系统软件设计（一）黑线的边缘检测算法前面提到了摄像头图像信息的特点，接下来将结合比赛赛道的图像特点来提出相应的黑线提取算法边沿检测算法。由于比赛赛道是在白色底板上铺设黑色引导线，因此干扰比较小，黑线提取较为容易。很自然的就想到了图像处理算法中较为简单的边界提取算法。由于黑色赛道和白色底板之间的色差较大，直接反映在图像数据中就是大于一个黑白色阀值。通过实验可以基本上确定该阀值的大小，根据现场光线的变化影响会有略微的变化。可以通过判断相邻数据点的差是否大于该阀值，作为边沿提取算法的依据和主要参数。该算法的主要过程为：1从最左端的第一个有效数据点开始依次向右进行阀值判断：由于实际中黑白赛道边沿可能会有模糊偏差，导致阀值并不是简单的介于相邻的两个点之间，很可能要相隔两个点（参考图3.10）。2第line 点为原点，判断和line3 点的差是否大于阀值，如果是则将line3 记为i，从i 开始判断在接下来的从i+3到该行最末一个点之间的差值是否大于阀值，如果大于则将line+i/2+2 的坐标赋值给黑线中心位置（参考图2.8）。图3.10 单行黑线提取算法利用该算法所得到的黑线提取效果不仅可靠，而且实时性好；在失去黑线目标以后能够记住是从左侧或者右侧超出视野，从而控制舵机转向让赛车回到正常赛道。（二）算法软件流程图开 始行同步脉冲是否满足？场同步信号是否到达？开始AD采样，并将结果存入寄存器进行黑线提取图3.