视觉检测系统报告

精品文档 1欢迎下载 2011 年 春 季学期研究生课程考核 阅读报告 研究报告 考 核 科 目 视 觉 测 量 系 统 学 所 在 院 系 电 气 工 程 及 自 动 化 学 院 学 生 所 在 学 科 仪 器 科 学 与 技 术 学 生 姓 名 学 号 1 0 S 0 0 1 学 生 类 别 工 学 硕 士 考 核 结 果 阅 卷 人 精品文档 2欢迎下载 视觉测量系统课程报告 第一部分 视觉测量系统发展现状综述 机器视觉自起步发展到现在 已有 15 年的发展历史 应该说机器视觉作为一种应用系 统 其功能特点是随着工业自动化的发展而逐渐完善和发展的 目前全球整个视觉市场总量大概在 60 70 亿美元 是按照每年 8 8 的增长速度增长 的 而在中国 这个数字目前看来似乎有些庞大 但是随着加工制造业的发展 中国对于 机器视觉的需求将承上升趋势 一 机器视觉的定义及特点一 机器视觉的定义及特点 简言之 机器视觉就是用机器代替人眼来做测量和判断 机器视觉系统是指通过机器 视觉产品 即图像摄取装置 分 CMOS 和 CCD 两种 将被摄取目标转换成图像信号 传送给 专用的图像处理系统 根据像素分布和亮度 颜色等信息 转变成数字化信号 图像系统 对这些信号进行各种运算来抽取目标的特征 进而根据判别的结果来控制现场的设备动作 机器视觉系统的特点是提高生产的柔性和自动化程度 在一些不适合于人工作业的危 险工作环境或人工视觉难以满足要求的场合 常用机器视觉来替代人工视觉 同时在大批 量工业生产过程中 用人工视觉检查产品质量效率低且精度不高 用机器视觉检测方法可 以大大提高生产效率和生产的自动化程度 而且机器视觉易于实现信息集成 是实现计算 机集成制造的基础技术 正是由于机器视觉系统可以快速获取大量信息 而且易于自动处理 也易于同设计信 息以及加工控制信息集成 因此 在现代自动化生产过程中 人们将机器视觉系统广泛地 用于工况监视 成品检验和质量控制等领域 在中国 这种应用也在逐渐被认知 且带来 最直接的反应就是国内对于机器视觉的需求将越来越多 二 机器视觉在国内外的应用现状二 机器视觉在国内外的应用现状 在国外 机器视觉的应用普及主要体现在半导体及电子行业 其中大概 40 50 都集 中在半导体行业 具体如 PCB 印刷电路 各类生产印刷电路板组装技术 设备 单 双面 多层线路板 覆铜板及所需的材料及辅料 辅助设施以及耗材 油墨 药水药剂 配件 电子封装技术与设备 丝网印刷设备及丝网周边材料等 SMT 表面贴装 SMT 工艺与设备 焊接设备 测试仪器 返修设备及各种辅助工具及配件 SMT 材料 贴片剂 胶粘剂 焊 剂 焊料及防氧化油 焊膏 清洗剂等 再流焊机 波峰焊机及自动化生产线设备 电子 生产加工设备 电子元件制造设备 半导体及集成电路制造设备 元器件成型设备 电子 工模具 机器视觉系统还在质量检测的各个方面已经得到了广泛的应用 并且其产品在应 用中占据着举足轻重的地位 除此之外 机器视觉还用于其他各个领域 而在中国 以上行业本身就属于新兴的领域 再加之机器视觉产品技术的普及不够 导致以上各行业的应用几乎空白 即便是有 也只是低端方面的应用 目前在我国随着配 套基础建设的完善 技术 资金的积累 各行各业对采用图像和机器视觉技术的工业自动 化 智能化需求开始广泛出现 国内有关大专院校 研究所和企业近两年在图像和机器视 觉技术领域进行了积极思索和大胆的尝试 逐步开始了工业现场的应用 其主要应用于制 精品文档 3欢迎下载 药 印刷 矿泉水瓶盖检测等领域 这些应用大多集中在如药品检测分装 印刷色彩检测 等 真正高端的应用还很少 因此 以上相关行业的应用空间还比较大 当然 其他领域 如指纹检测等等领域也有着很好的发展空间 三 中国机器视觉未来发展趋势三 中国机器视觉未来发展趋势 在机器视觉赖以普及发展的诸多因素中 有技术层面的 也有商业层面的 但制造业 的需求是决定性的 制造业的发展 带来了对机器视觉需求的提升 也决定了机器视觉将 由过去单纯的采集 分析 传递数据 判断动作 逐渐朝着开放性的方向发展 这一趋势 也预示着机器视觉将与自动化更进一步的融合 需求决定产品 只有满足需求的产品才有生存的空间 这是不变的规律 机器视觉也 是如此 未来 中国机器视觉发展主要表现为以下一些特性 1 1 随着产业化的发展对机器视觉的需求将呈上升趋势 随着产业化的发展对机器视觉的需求将呈上升趋势 机器视觉发展空间较大的部分在半导体和电子行业 而据我国相关数据显示 全球集 成电路产业复苏迹象明显 与此同时 全球经济衰退使我国集成电路产业获取了市场优势 成本优势 人才回流等优势 国家加大对集成电路产业这一战略领域的规划力度 信息化 带动工业化 走 新兴工业化道路 为集成电路产业带来了巨大的发展机遇 特别是高端 产品和创新产品市场空间巨大 设计环节 国家战略领域 3C 应用领域 传统产业类应用 领域成为集成电路产业未来几年的重点投资领域 此外 中国已成为全球集成电路的一个重要需求市场 据相关数据显示 2002 年我国 集成电路市场需求规模为 1135 5 亿元人民币 占世界市场规模的 9 76 2002 年中国集成 电路市场总销量为 283 2 亿块 总销售额为 1135 5 亿元 同比增长 26 2 中国已成为近 年来世界半导体投资的热点 在全国许多地区 特别是长江三角洲地区 都有新的 IC 制造 线和封装测试线投资兴建 IC 设计公司的数量每年成倍增长 在产业政策的引导下 上海 北京 天津和深圳等地出现投资 IC 的好势头 天津 Motorola 投资 15 亿美元 月投 2 5 万 片的 8 英寸芯片生产线和上海中芯国际投资 14 亿美元 月投 8 英寸芯片硅片 4 2 万片的项 目已经投入运行 另外 中国半导体行业协会最新调研数据表明 2000 年 6 月到 2002 年 8 月两年间 中国 IC 产业的投资总额约 300 亿元 相当于过去 40 年的投资总和 全国 IC 设计单位数量两年之间翻两番 已激增到 389 家 收入过亿元的达 7 8 家 专业测试公司 已有 10 家左右 我国的 IC 测试业初具雏形 就以上数据显示 中国的半导体和电子市场已初具规模 而如此强大的半导体产业将 需要高质量的技术做后盾 同时他对于产品的高质量 高集成度的要求将越来越高 恰巧 机器视觉将能帮助他们解决以上的问题 因此该行业将是机器视觉最好的用武之地 同时 对于机器视觉的需求将蒸蒸日上 2 2 统一开放的标准是机器视觉发展的原动力 统一开放的标准是机器视觉发展的原动力 目前国内有近数家机器视觉产品厂商 与国外机器视觉产品相比 国内产品最大的差 距并不单纯是在技术上 而且还包括品牌和知识产权上 另一现状是目前国内的机器视觉 产品主要以代理国外品牌为主 以此来逐渐朝着自主研发产品的路线靠近 起步较晚 未 来 机器视觉产品的好坏不能够通过单一因素来衡量 应该逐渐按照国际化的统一标准判 定 随着中国自动化的逐渐开放 将带领与其相关的产品技术也逐渐开放 因此 依靠封 闭的技术难以促进整个行业的发展 只有形成统一而开放的标准才能让更多的厂商在相同 精品文档 4欢迎下载 的平台上开发产品 这也是促进中国机器视觉朝国际化水平发展的原动力 3 3 基于嵌入式的产品将取代板卡式产品 基于嵌入式的产品将取代板卡式产品 从产品本身看 机器视觉会越来越趋于依靠 PC 技术 并且与数据采集等其他控制和测 量的集成会更紧密 且基于嵌入式的产品将逐渐取代板卡式产品 这是一个不断增长的趋 势 主要原因是随着计算机技术和微电子技术的迅速发展 嵌入式系统应用领域越来越广 泛 尤其是其具备低功耗技术的特点得到人们的重视 另外 嵌入式操作系统绝大部分是 以 C 语言为基础的 因此使用 C 高级语言进行嵌入式系统开发是一项带有基础性的工作 使用高级语言的优点是可以提高工作效率 缩短开发周期 更主要的是开发出的产品可靠 性高 可维护性好 便于不断完善和升级换代等 因此 嵌入式产品将会取代板卡式产品 4 4 标准化 一体化解决方案也将是机器视觉的必经之路 标准化 一体化解决方案也将是机器视觉的必经之路 另外 由于机器视觉是自动化的一部分 没有自动化就不会有机器视觉 机器视觉软 硬件产品正逐渐成为协作生产制造过程中不同阶段的核心系统 无论是用户还是硬件供应 商都将机器视觉产品作为生产线上信息收集的工具 这就要求机器视觉产品大量采用 标 准化技术 直观的说就是要随着自动化的开放而逐渐开放 可以根据用户的需求进行二次 开发 当今 自动化企业正在倡导软硬一体化解决方案 机器视觉的厂商在未来 5 6 年内 也应该不单纯是只提供产品的供应商 而是逐渐向一体化解决方案的系统集成商迈进 在未来的几年内 随着中国加工制造业的发展 对于机器视觉的需求也逐渐增多 随 着机器视觉产品的增多 技术的提高 国内机器视觉的应用状况将由初期的低端转向高端 由于机器视觉的介入 自动化将朝着更智能 更快速的方向发展 另外 由于用户的需求 是多样化的 且要求程度也不相同 那么 个性化方案和服务在竞争中将日益重要 即用 特殊定制的产品来代替标准化的产品也是机器视觉未来发展的一个取向 机器视觉的应用也将进一步促进自动化技术向智能化发展 第二部分 图像传感器 相机 及其产品的发展现状综述 目前主流的影像传感器 图像传感器 主要有 CCD 和 CMOS 两种 是数码相 机 数码摄像头等产品的核心部件 CCD 是电荷藕合器件图像传感器的简称 CMOS 是互补性氧化金属半导体的简称 它们都采用高感光度的半导体材料制成 能把光线转变成电荷 然后转为信号 两者的生产工艺和所使用的设备和计算 机芯片差不多 所以目前很多主流 CMOS CCD 的厂商同时也是芯片制造商 随着近几年半导体制造工艺的成熟 CCD CMOS 产品成本逐渐降低 主要体 现在制造工艺上从 5 2 微米逐步向 45nm 演进 使得单位面积的 CCD CMOS 能够 承载更多的像素单位 目前市场上 800 万像素的数码相机已经很常见 在成本 上跟电脑内存差不多 容量 18 个月翻一番 价格却在持续下降 最近几年数码影像产品的价格已经跌倒普通消费者能够接受的水平 向一 般家庭普及 传统相机由于技术的局限 已经无法取得突破性的进步 在成本 和性能都被采用影像传感器的新兴影像设备所取代 目前传统影像设备已经逐 渐从市场上消失 仅在高端市场上坚守最后一块阵地 目前影像传感技术已经普及到国民经济的各个部门 比如医疗影像 军事 侦查 卫星拍摄 气象预报 安防产业 光学检测 工业自动化控制 指纹检 精品文档 5欢迎下载 查等 和现代电子计算机技术 软件技术 光学技术的有机结合将促进影像传 感器的进一步普及 更多的新应用将呈现在人们的眼前 CMOSCMOS 技术发展迅速技术发展迅速 有可能成为未来主流有可能成为未来主流 当前 CCD 在成像质量上优于 CMOS 所以在数码相机 医疗影像 卫星拍摄 等对分辨率要求较高的领域 CCD 是主流 而另一方面由于 CMOS 采用标准的半导 体生产工艺 生产成本低 耗电少 普遍用在手机和电脑摄像头 由于技术差 异 CCD 较多得用于静态影像 如拍照 CMOS 则擅长于动态影像 如视频监控 另外 CMOS 还可以把一些周边电路集成到芯片中 在便携式设备中大量使用 对比两种技术的未来发展趋势 笔者认为未来 CMOS 将是主流 我们可以从 以下几个方面来进行思考 一 CMOS 影像传感器技术演进速度远远快于 CCD 技术 CCD 技术的像素从 5 2 微米演进至 1 7 微米耗时 12 年之久 而 CMOS 技术完成这一变化则只用了 3 年时间 二 从市场的扩张速度来看 CMOS 也高于 CCD 2006 年预计图像传感器市 场交货总额为 7 12 亿美元 总体市场份额中 CCD 出货量从 40 减少到 30 左右 三 CMOS 已经在成像的通透性 对实物的色彩还原能力等方面迎头赶上 总体性能的超越似乎只是时间问题 四 目前 CMOS 已经主导手机拍照市场 CCD 在过去三十年已经是成熟的技 术 由于其技术的独特性 改进困难 在成本上已经很难与 CMOS 竞争 由于其 必须采用高于 10 伏的电压 功率较高 很难集成到一些便捷式产品中 五 CCD 技术主要掌握在日本人的手中 阻碍了技术的传播 而几乎一般 的半导体制造商都可以制造 CMOS 所以成本下降很快 也有利于技术进步 因此 CMOS 取代 CCD 是市场的发展趋势 06 年的时候 美光影像集团新市 场开发总监 Paul Gallagher 更是断言 CMOS 技术将最终取代 CCD 技术 在未 来 4 5 年内 CCD 市场将不断下滑 预计在 10 年后 CCD 市场份额将仅剩 10 左 右 全球市场竞争格局和近几年发展趋势全球市场竞争格局和近几年发展趋势 目前 CCD 市场的主要厂商为索尼 夏普 松下等日本厂商 后来进入图像 传感器领域的厂商基本上都采用 CMOS 技术 因为它采用标准的半导体工艺 技 术门槛相对校低 并且技术进步快 被大多数公司看好 索尼牢牢占据着 CCD 第一大供应商的位置 跟 CCD 浓重的日本色彩不同 CMOS 厂商则散布于美欧日等发达国家 以 2007 年为例 CMOS 供应商按产值的排名如下 美国 OmniVision 美国美光半 导体 欧洲意法半导体 日本东芝 日本索尼 根据表二所示 去年 OmniVision 以 7 25 亿美元的销售收入跃居第一位 增长了 34 美光 意法半 导体 东芝均出现了不同程度的下滑 索尼在积极补课 CMOS 索尼的熊本新厂 于 07 年开始完工并量产 把索尼拉进了 CMOS 前五 2006 年 9 月日本的调查公司 TechnoSystemResearch 统计指出 2005 年 CMOS 传感器的全球市场规模达 4 亿 3440 万个 为 2004 年的 2 2 倍 金额则为 13 亿 2300 万美元 约 1480 亿日圆 为 2004 年的 1 7 倍 其市场规模在数 量上已超越 CCD 根据市场调研公司 In Stat 07 年提供的数据 虽然数码相机 精品文档 6欢迎下载 增长强劲 但手机仍是图像传感器的主要市场 占总出货量的 75 以上 据市 场调研公司 IC Insights 数据 2006 年可拍照手机的出货量将从 2005 年的 3 65 亿部增长到 4 75 亿部 而且可拍照手机在总体手机市场中所占的比例也 在不断上升 据 IC Insights 的报告 2006 年可拍照手机占总体手机出货量的 比例将达 54 左右 而 2005 年是 45 自 2002 至 2007 年全球图像传感器市场大约以 35 的速度在发展 主要得 益于拍照手机的全面普及 还有数码相机需求的飙涨 于是乎 在这种形势下 各大厂商纷纷增加产量 而 2007 年却迎来了市场的寒冬 2007 年 CCD 和 CMOS 图像传感器合并销售下降 7 主要由于上半年摄像手机库存清理 市场需 求增长放缓 以及工业和办公设备应用中的销售疲软 比如制造系统中图像机 器 复印机和扫描仪等 CMOS 销售下滑 12 CCD 增长为零 ICInsights 公司今年四月份发布的分析报告指出 2008 年图像传感器市场 将出现反弹 预计 2008 年图像传感器市场规模将达 76 亿美元 比 2007 年增长 10 ICInsights 分析员 RobLineback 表示 预计 2008 年 CMOS 图像传感器销 售将上升 19 达到 44 亿美元 同时 预计 2008 年 CCD 市场下降 1 为 32 亿 美元 不过该报告在撰写的时候可能没考虑到下半年欧美会出现严重金融危机 全球需求萎缩的情况 实际情况要等明年的分析报告 根据信产部提供的数据 今年整体手机销量严重下滑 多家国产手机厂商生存艰难 国外品牌也被迫降 价 深圳山寨机库存严重 一系列消息 都让人对今年的 CMOS 市场感到担忧 国内现状与思考国内现状与思考 中国在图像传感器领域目前还处于起步阶段 仍有很长的路要走 由于图 像传感器属于半导体产业的一部分 因此 影像传感器的发展取决于国内芯片 制造技术的进步 目前具有台湾背景的中芯国际 和舰科技 台积电等厂商在 大陆的芯片厂已经颇具规模 欧美的因特尔 意法半导体也相继在中国大连和 深圳设厂 根据最新的消息今明两年台湾有可能开放 12 英寸晶圆及 0 13 微米 制程甚至 90 纳米制程技术到大陆投资 势必会进一步促进中国芯片产业的发展 在技术选择方面 无疑 CMOS 必选的方向 CCD 技术一直掌握日本人手中 欧美发达国家厂商多年来都无法在该领域分一杯羹 我们应该吸取教训 选对 方向 2007 年 IBM 向中芯国际授权 45 纳米大批量 CMOS 技术 2008 年 10 月中 芯国际宣布成功开发 0 11 微米 CMOS 图像传感器工艺技术 在此工艺下生产的 器件 其分辨率 暗光噪声和相对照度都将得到增强 无疑 中国本土厂商进 军影像传感器产业的号角已经吹响 第三部分 摄像机模型的 Matlab 实现 在机器视觉中 刚体变换经常用于计算一个经过旋转和平移后的新坐标 比较常用的旋转矩阵的表示形式有欧拉角表示法和四元素表示法 一 欧拉角表示法 用旋转矩阵表示刚体的旋转变换简化了许多运算 但它需要 个元素来完 全描述这种旋转变换 被称为欧拉角的三个角度能很好描述刚体的旋转变换 相应的 Matlab 程序如下 精品文档 7欢迎下载 x 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 y 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3 z 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 定义任意 16 个点坐标 p x y z wx pi 6 wy pi 6 wz pi 6 分别设定偏转 俯仰 侧倾角度值 r11 cos wz cos wy r12 cos wz sin wy sin wx sin wz r13 cos wz sin wy cos wx sin wz sin wx r21 sin wz cos wy r22 sin wz sin wy sin wx cos wz cos wx r23 sin wz sin wy cos wx cos wz sin wx r31 sin wy r32 cos wy sin wx r33 cos wy cos wx R r11 r12 r13 r21 r22 r23 r31 r32 r33 求解欧拉角表示法的旋转矩阵 t 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 设定平移量 pz R p t xz pz 1 pz 4 pz 7 pz 10 pz 13 pz 16 pz 19 pz 22 pz 25 pz 28 pz 31 pz 34 pz 37 pz 40 pz 43 pz 46 yz pz 2 pz 5 pz 8 pz 11 pz 14 pz 17 pz 20 pz 23 pz 26 pz 29 pz 32 pz 35 pz 38 pz 41 pz 44 pz 47 zz pz 3 pz 6 pz 9 pz 12 pz 15 pz 18 pz 21 pz 24 pz 27 pz 30 pz 33 pz 36 pz 39 pz 42 pz 45 pz 48 经坐标变换后的坐标 figure subplot 1 2 1 grid stem3 x y z axis 1 4 1 4 1 4 subplot 1 2 2 grid stem3 xz yz zz axis 1 4 1 4 1 4 首先定义 16 个点的三维坐标 分别为 001 102 203 301 012 113 211 312 023 121 222 323 031 132 233 333 而后设定偏转 俯仰 侧倾角度值 本程序将三个角度值都设为 30 度 平移量设为 0 程序仿真后的图形如下 1 0 1 2 3 4 1 0 1 2 3 4 1 0 5 0 0 5 1 1 5 2 2 5 3 3 5 4 1 0 1 2 3 4 1 0 1 2 3 4 1 0 5 0 0 5 1 1 5 2 2 5 3 3 5 4 精品文档 8欢迎下载 左侧图为原坐标 右侧图为经变换后的坐标 得出变换后的 16 个点坐标分别为 0 1250 0 6495 0 7500 1 0000 1 7321 1 0000 1 8750 2 8146 1 2500 2 3750 1 9486 0 7500 0 0335 2 1740 1 9330 0 8415 3 2566 2 1830 1 3415 2 3905 0 1830 2 2465 3 4731 0 4330 0 1920 3 6986 3 1160 0 3080 2 8325 1 1160 1 1830 3 9151 1 3360 2 0580 4 9976 1 6160 0 7255 3 2745 2 0490 0 1495 4 3571 2 2990 1 0245 5 4396 2 5490 1 5245 4 5736 0 5490 二 四元素表示法 四元素是一个四元矢量 可用来描述坐标旋转 实践证明 对于旋转与定 位求解问题 用四元素法可以很好的数值解 由以上 16 个点的前后变换坐标 可得出四元素法的变换矩阵 程序如下 t1 t 1 t 4 t 7 t 2 t 5 t 8 t 3 t 6 t 9 p1 p 1 p 4 p 7 p 2 p 5 p 8 p 3 p 6 p 9 pz1 pz 1 pz 4 pz 7 pz 2 pz 5 pz 8 pz 3 pz 6 pz 9 Rq pz1 t1 pinv p1 求逆矩阵 加入噪声干扰变换后的坐标 pz1 pz2 pz1 1 pz1 2 pz1 3 pz1 4 pz1 5 pz1 6 pz1 7 pz1 8 pz1 9 pz3 pz2 rand 1 9 pz4 pz3 1 pz3 4 pz3 7 pz3 2 pz3 5 pz3 8 pz3 3 pz3 6 pz3 9 Rq1 pz4 t1 pinv p1 欧拉角法的变换矩阵为 0 75000 28350 1250 0 43300 87500 6495 0 50000 43300 7500 四元素法求得的变换矩阵同样为 0 75000 28350 1250 0 43300 87500 6495 0 50000 43300 7500 对空间坐标加入 rand 产生的随机噪声后 将程序运行 3 次 求得的变换矩 阵分别为 精品文档 9欢迎下载 0 51790 29831 0751 0 76310 43860 8807 0 42240 46271 3568 0 98860 54150 5697 0 49440 97361 2650 0 80780 80331 5419 0 66300 27890 9712 0 58950 64571 1747 0 59150 83910 9526 由数据可分析出 噪声误差对变换矩阵的影响还是很大的 因此在用变换 坐标求相应的变换矩阵时 应尽量提高测量精度 减少误差带来的影响 三 摄像机线性模型 摄像机通过成像透镜将三维场景投影到摄像机二维像平面上 这个投影可 用成像变换描述 即摄像机成像模型 摄像机模型可将空间点的世界坐标变换 为图像坐标及像素坐标 线性模型程序如下 U 1316 V 1035 dX 0 0000068 dY 0 0000068 u0 U 2 v0 V 2 设定像素 UV 像素尺寸 dXdY 及 u0v0 给出空间点的世界坐标 Xw 5 Yw 5 Zw 5 给出外部参数 wx 0 wy 0 wz 0 分别设定偏转 俯仰 侧倾角度值 r11 cos wz cos wy r12 cos wz sin wy sin wx sin wz r13 cos wz sin wy cos wx sin wz sin wx r21 sin wz cos wy r22 sin wz sin wy sin wx cos wz cos wx r23 sin wz sin wy cos wx cos wz sin wx r31 sin wy r32 cos wy sin wx r33 cos wy cos wx R r11 r12 r13 r21 r22 r23 r31 r32 r33 t 0 0 0 M2 R t 0 0 0 1 求摄像机坐标系下的齐次坐标 camora xyz M2 Xw Yw Zw 1 设定焦距 求图像坐标 f 0 012 P f 0 0 0 0 f 0 0 0 0 1 0 image xyz P camora xyz 求空间点的图像坐标 X image xyz 1 image xyz 3 Y image xyz 2 image xyz 3 设定内参 求像素坐标 M1 1 dX 0 u0 0 1 dY v0 0 0 1 pixel xyz M1 X Y 1 u pixel xyz 1 v pixel xyz 2 给出空间点世界坐标 设定外部参数 欧拉角表示法三角均为 0 度 位移 为 0 便可求得点的图像坐标及像素坐标 给定 9 个点的空间世界坐标分别为 1 2 3 2 2 3 1 3 3 1 2 4 5 5 5 0 5 0 6 0 7 30 31 32 0 0 40 100 120 130 运行程序后 得相应的图像坐标分别为 精品文档 10欢迎下载 0 0040 0 0080 0 0080 0 0080 0 0024 0 0072 0 0030 0 0060 0 0120 0 0120 0 0086 0 0103 0 0113 0 0116 0 0 0 0092 0 0111 像素坐标分别为 1246 2 1694 0 1834 5 1694 0 350 0588 541 3235 1099 2 364 8529 1106 7 2282 2 1918 5 2030 1 2312 4 2227 1 658 517 5 2015 5 2146 5 四 摄像机非线性模型 实际上 由于实际的镜头并不是理想的透视成像 而是带有不同程度的畸 变 加入畸变参数的模型即为非线性模型 程序如下 U 1316 V 1035 dX 0 0000068 dY 0 0000068 u0 U 2 v0 V 2 设定像素 UV 像素尺寸 dXdY 及 u0v0 给出空间点的世界坐标 Xw 5 Yw 5 Zw 5 给出外部参数 wx 0 wy 0 wz 0 分别设定偏转 俯仰 侧倾角度值 r11 cos wz cos wy r12 cos wz sin wy sin wx sin wz r13 cos wz sin wy cos wx sin wz sin wx r21 sin wz cos wy r22 sin wz sin wy sin wx cos wz cos wx r23 sin wz sin wy cos wx cos wz sin wx r31 sin wy r32 cos wy sin wx r33 cos wy cos wx R r11 r12 r13 r21 r22 r23 r31 r32 r33 t 0 0 0 M2 R t 0 0 0 1 求摄像机坐标系下的齐次坐标 camora xyz M2 Xw Yw Zw 1 设定焦距 求图像坐标 f 0 012 P f 0 0 0 0 f 0 0 0 0 1 0 image xyz P camora xyz 求空间点的图像坐标 fale X image xyz 1 image xyz 3 fale Y image xyz 2 image xyz 3 加入非线性畸变影响 k1 0 001 r2 fale X 2 fale Y 2 derta x fale X k1 r2 derta y fale Y k1 r2 X fale X derta x Y fale Y derta y 设定内参 求像素坐标 M1 1 dX 0 u0 0 1 dY v0 0 0 1 pixel xyz M1 X Y 1 u pixel xyz 1 v pixel xyz 2 设畸变系数 k 0 001 上述 9 个点的图像坐标分别为 精品文档 11欢迎下载 0 0040 0 0080 0 0080 0 0080 0 0024 0 0072 0 0030 0 0060 0 0120 0 0120 0 0086 0 0103 0 0113 0 0116 0 0 0 0092 0 0111 像素坐标分别为 1246 2 1694 0 1834 5 1694 0 350 0588 541 3235 1099 2 364 8529 1106 7 2282 2 1918 5 2030 1 2312 4 2227 1 658 517 5 2015 5 2146 5 由数据可得 当畸变系数较小时 对坐标几乎没有影响 但畸变系数较大 或图像处于透镜边缘时 对坐标还是有影响的 第四部分 单目运动系统光点排序问题 一 问题描述 基于立体靶标单目运动系统中 靶标上有 LED 光点 11 个 沿光轴方向呈 高低分布 其中 6 个低点 5 个高点 且垂直投影到像面为一条直线 从左至 右 6 个低点的编号分别为 1 2 3 9 10 11 5 个高点为 4 5 6 7 8 要现实的功能是 正常情况下 11 个光点均可见 快速搜索光 点并排序 非正常情况下 即一个或多个光点被暂时遮挡 快速搜索光点并排 序 二 光点搜索及排序依据的基本原理 系统基于滤光摄像机完成 因此摄入的图像背景为黑色 只光点可见 解 决方案中光点搜索采用灰度值方式 即以像素为单位进行搜索 背景灰度值为 0 当搜索到不为 0 的像素时 则认为找到了某个光点 而后再做进一步处理 排序基于像素坐标值 找到光点后 以其像素坐标值的大小来排列光点 如规定像素坐标系从左向右水平方向为 X 轴正方向 从下向上垂直方向为 Y 轴 正方向 则 11 个点中 X 轴坐标最小的为 1 号点 最大的为 11 号点 此 种情况仅为初始位置时及刚体旋转角在 180 度以内时 以上为光点无遮挡时 当光点遮挡时 11 个点不完整 排序不能靠坐标值 本解决方案采用直线与距离双定位法来完成排序 空间两个点可确定一条直线 设第三个空间点同样在这条直线上 已知空 间两个点的坐标及第三个点分别到两个点的距离 运用空间解析几何的知识 便可求得第三个点的坐标 三 具体排序过程 由于本问题基于快速摄像系统来完成 相邻两帧图像的光点运动不会太快 下一帧的目标可在前一帧目标的周围进行搜索 不必全局搜索 1 初始状态的光点搜索及排序 精品文档 12欢迎下载 初始状态时 光点不动 排列为一直线 对光点采用全局搜索 即以像素 为单位 从像素坐标系的原点开始 沿 X 轴正方向搜索 当搜索完一行后 将 Y 轴坐标值加 1 再进行行搜索 直到将整个像平面搜索完毕 搜索过程中 灰度值不为 0 的区域有 11 个 将区域中亮度最大的像素点坐 标标定为光点的坐标 存储坐标值为 X Y 11 个坐标值全都搜索存储后 按 X 轴坐标的大小排序 从左至右依次为 1 至 11 号点 初始状态时还需要将各点间的相互距离数值存储 目的是在光点被遮挡后 用来估计被遮挡点的大概坐标位置 进而采用局部搜索的方法 当光点重新出 现时 可快速定位排序 11 个光点之间的距离互不相同 将相邻两点间距离及 相隔 个点的两点间距离计算存储 即如 四个点 将 间距 间距 间距及 间距 间距存储 如 11 个点 共存储 19 个间距数值 2 正常无遮挡情况下的光点搜索及排序 当刚体运动后 高速摄像系统拍摄每秒 100 帧左右的图像 由于拍摄速度 很高 相对的光点运动位移很小 因此搜索光点时不用全局搜索 仅在前一帧 光点周围搜索即可 具体方法是以前一帧光点为圆心 向四周搜索 此时设定 一个边界域值 例如可设域值为 10 个像素 域值根据实际运动速度及拍摄速度 调整 搜索范围在圆心以外上 下 左 右 10 个像素的矩形区域内 无遮挡 时下一帧光点必在这一区域内 搜索到新的光点后同样以灰度值最高的为新的 光点坐标 存储坐标值 新光点与原光点的序号相同 不存在重新排序问题 3 非正常有遮挡情况下的光点搜索及排序 当刚体处于非正常情况下 即有部分光点被遮挡后 需要特殊的处理 上 面提到的无遮挡时在原光点周围搜索新光点 当在规定的区域内搜索达到最大 域值 仍搜索不到新光点时 则认为光点被遮挡 此时停止对本序号光点的搜 索 坐标值存储为 0 表明此点暂时丢失 11 个光点区域搜索完成后 可得到 被遮挡光点的序号 例如 号光点区域没有搜索到灰度值 判断 号光点被遮挡 其它光点有灰度值 判断末被遮挡 此时进行运算 处理时应参考末被遮挡的光点数值参数 被遮挡光点的参数要剔除掉 在当前帧判断光点被遮挡后 下一帧末被遮挡的光点仍然按照局部搜索的 方法定位 被遮挡点由于在当前帧无真实坐标值 因此要用其它点的坐标值来 估计被遮挡点的坐标值 而后在估计的位置进行搜索 判断光点是否重新出现 例如上述 号光点被遮挡 首先通过 号光点坐标求出各 光点所在的直线方程 而后通过 间距及 间距 计算出 号光点的估计坐标值 以估计坐标值为圆心 向周围进行搜索 同理应 用 点坐标值及 点坐标估计值来估计 号光点的坐标值 以估 计坐标值搜索后 如达到最大搜索域值仍末发现光点 则认为光点继续被遮挡 精品文档 13欢迎下载 在下一帧以同样方法估计坐标值再进行搜索 如以估计坐标值搜索到灰度值变 化 则认为光点重新出现 此时将搜索到的精确坐标值存储 此点的参数重新 可用 四 总结 本方案通过全局搜索与局部搜索相结合的方法 依据高速摄影系统各帧差 异较小的特点 仅在初始位置时采用全局搜索 当确定参考点后采用局部搜索 方法进行光点搜索定位排序 且当光点被遮挡时 运用直线及距离法估计坐标 值 仍可在局部较小区域内搜索光点 直到被遮挡光点重新出现 此方法可较 好的提高搜索参考点的速度 且在初始位置光点排序后 根据光点序号进行局 部搜索 无遮挡及有遮挡情况下 均不必再进行排序运算 节省时间及运算资 源 第五部分 高速运动视觉捕捉系统演示实验 一 实验系统介绍及组成 本实验装备采用瑞典 Qualisys 公司的一套视觉捕捉设备 本设备由四个高 速相机 型坐标架 型坐标架 电脑及相应软件组成 其中高速相机参数 为 400 万像素 180 帧 s 如果降像素应用 速度可以达到 10000 帧 s L 型 坐标架上有四个高反光点 用于整个系统的世界坐标系建立 T 型坐标架有两 个高反光点 用于系统外部参数及姿态的校准优化 二 世界坐标系的建立及参数校准 1 世界坐标系建立 首先将四个高速相机安放在以实验平台为中心的四个方位上 连接好电缆 及电脑 将应用软件打开 此时 在电脑屏幕上会分别显示四个画面 即四个 相机所拍摄到的视场 将 L 型坐标架水平放于实验平台上 四个相机可在不同 的角度对坐标架进行拍摄 拍摄的速度是可调节的 软件会根据拍摄到的四个 画面中的光点位置自动确定整个系统的坐标系 后续实验都以这个坐标系