化疗药物配置机器人的机械臂视觉系统研究---可复制黏贴 优秀毕业论文.pdf

硕士学位论文硕士学位论文 化疗药物配置机器人的机械臂视觉系统研究 reseach on visual system for the arm of power pharmacy robot 张静 哈尔滨工业大学 2012年7月 国内图书分类号 tp242 2 学校代码 10213 国际图书分类号 621 865 8 密级 公开 工学硕士学位论文 化疗药物配置机器人的机械臂视觉系统研究 硕 士 研 究 生 张静 导师 黄博 教授 申请学位 工学硕士 学 科 专 业 机械电子工程 所在单位 船舶与海洋工程学院 答辩日期 2012年7月 授予学位单位 哈尔滨工业大学 classified index tp242 2 u d c 621 865 8 dissertation for the master degree in engineering reseach on visual system for the arm of power pharmacy robot candidate zhang jing supervisor prof huang bo academic degree applied for master of engineering speciality mechatronics engineering affiliation school of naval architecture date of defense july 2012 university harbin institute of technology 哈尔滨工业大学工学硕士学位论文 i 摘摘 要要 静脉药物治疗是目前临床上常用的治疗手段 静脉药物的配置对配置环境 与护士劳动强度都提出了较高的要求 目前以pivas 静脉药物配置中心 为最 佳解决方案 提高了静脉药物配置质量 但护士劳动强度及身体防护仍存在很 大问题 如用于癌症患者的化疗药物对操作人员伤害较大 同时 化疗药物的 配置精度对治疗效果影响很大 为提升化疗药物的配置质量 并保护医护人员 身体 我们提出化疗药物配置机器人的研究 机器人以机械臂为中心 根据配 药需求自动完成各种化疗药物的精确配置 因化疗药物的品种及配药流程多 药物选择安全性要求高 配药精度需高于95 机械臂的视觉系统十分关键 尤其是配药模块的高精度定位是视觉模块的核心功能 对于配药机器人的精度 及安全性具有决定意义 本文首先分析化疗药物配置机器人的配药流程 完成对视觉系统主要元器 件的选型 并在此基础上提出建立基于单目视觉的等距离伪双目图像采集方 式 通过研究该种方式下图像坐标与空间坐标的内在关系 建立一种基于简化 模型的目标特征位姿转换算法 达到规避复杂的空间矩阵换算 提高定位精度 的效果 此外 在等距离伪双目图像采集模式下 采用基于主动视觉的相机标 定方法 确定相机的外参数 然后阐述了算法实现过程的图像处理关键技术 上位软件对接收到的图像 进行预处理 比较灰度直方图均衡和灰度直方图拉伸两种不同方式下的灰度变 换效果 确定灰度直方图拉伸模式下的灰度变换处理方法 在此基础上 完成 基于阈值化方法的灰度图像分割和基于最小二乘法的直线轮廓拟合 得到目标 特征点在图像中的位置信息 为提升算法的实时性 缩短响应时间 论文在图 像中进行了感兴趣区域预处理 并在图像搜索过程中融入指针法 论文还搭建了化疗药物配置机器人配药实验平台 采用c 语言对point grey flea2相机编程 实现了注射器针头的自动识别定位 成功引导staubli tx40机械臂完成整个配药实验 程序耗时200ms以内 定位误差在以目标点为 中心0 2mm圆周以内 算法的速度和精度特性得到很好地验证 关键词关键词 机器人 化疗药物配置 伪双目 视觉系统 哈尔滨工业大学工学硕士学位论文 ii abstract intravenous drug therapy is now commonly used in clinical treatment the environment configuration and the nursing labor intensity for intravenous drug configuration are highly required pivas intravenous drug distribution center is presently the best solution to improve the quality of the intravenous drug configuration but there still exist some significant problems in the nurse labor intensity and body protection such as greater injury for operator when configuring chemotherapy drugs for cancer patients meanwhile the accuracy of chemotherapy drugs configuration has a great influence on treatment in order to enhance the quality of the chemotherapy drugs configuration and to protect health care workers we propose the chemotherapy drugs configuration robot robot manipulator is done automatically according to the dispensing needs of the precise configuration of the various chemotherapy drugs because of the variety of chemotherapy drugs and dispensing process the high security requirements for the choice of drugs and the dispensing accuracy higher than 95 the visual system of the robot arm is crucial especially in high precision positioning of the dispensing module which shows the decisive significance for the robot s accuracy and safety the paper first analyzes the dispensing process of the chemotherapy drugs configuration robot completes the selection of the main components of the visual system and on this basis proposes an equidistant pseudo binocular image acquisition method based on the monocular vision system establishes a target feature position and orientation conversion algorithm by researching the inherent relationship between image coordinates and space coordinates to avoid the complex spatial matrix conversion and to improve the positioning accuracy in addition the external parameters of the camera are determined according to the active vision based camera calibration method in the equidistant pseudo binocular image acquisition mode then introduces the key technologies in the image processing algorithm host computer software preprocesses the received image determines the gray scale transformation approach in gray histogram stretching mode according to the gray scale transformation effect of the gray histogram equalization and gray scale histogram stretch on this basis completes grayscale image segmentation based on the threshold method and the fits straight line contour based on the least squares method to acquire the location information of the target feature point in the image in order to enhance the real time of the algorithm and shorten the response time 哈尔滨工业大学工学硕士学位论文 iii the paper preprocesses to get region of interest in the image and integrates the pointer method in the image searching process the paper also sets up the dispensing experimental platform of chemotherapy drugs configuration robot and uses c language programming on the point grey flea2 camera to achieve the automatic identification of the syringe needle positioning and successfully guide the staubli tx40 robot arm finishing the dispensing experiments the program runs less than 200ms and the positioning error is in the circle with 0 2mm diameter which all these verify the speed and precision characteristics of the algorithm keywords robot chemotherapy drugs configuration pseudo binocular vision system 哈尔滨工业大学工学硕士学位论文 iv 目 录 摘 要 i abstract ii 第1章 绪论 1 1 1 课题背景与研究意义 1 1 2 配药机器人研究现状 2 1 2 1 intellifill配药机器人 2 1 2 2 riva配药机器人 3 1 2 3 cytocare化疗药物配置机器人 3 1 3 机器人视觉 4 1 4 主要研究内容 5 第2章 视觉系统选型及定位算法研究 6 2 1 引言 6 2 1 1 配药场景描述 6 2 1 2 视觉系统方案研究 7 2 1 3 视觉系统的搭建 9 2 2 等距离伪双目视觉定位算法 13 2 2 1 立体视觉原理 13 2 2 2 等距离伪双目视觉图像采集 13 2 2 3 基于简化模型的位姿转换算法 15 2 2 4 图像搜索方法 17 2 3 视觉系统标定 18 2 3 1 相机参数标定 18 2 3 2 相机坐标系标定 20 2 4 本章小结 21 第3章 图像处理及特征识别算法研究 22 3 1 引言 22 3 2 图像预处理 22 3 2 1 基于感兴趣区域的图像传输 22 3 2 2 图像灰度变换 23 3 3 图像分割 26 3 4 特征识别 28 哈尔滨工业大学工学硕士学位论文 v 3 4 1 基于最小二乘法的轮廓线性拟合 28 3 4 2 轮廓边界检测 29 3 5 本章小结 31 第4章 配药实验研究 32 4 1 引言 32 4 2 实验平台 32 4 2 1 实验系统的组成 32 4 2 2 实验场景规划 33 4 3 硬件控制系统 34 4 3 1 硬件接口设计 34 4 4 软件系统 35 4 4 1 软件开发设计思想及原则 35 4 4 2 软件结构 36 4 4 3 软件效率优化 37 4 5 视觉系统标定实验 37 4 5 1 基于图像坐标系的相机参数标定 37 4 5 2 理论针尖点在图像坐标系及相机坐标系中的坐标计算 38 4 6 化疗药物配置机器人配药实验 39 4 6 1 注射器针头位置和姿态计算 39 4 6 2 机器人运动学正解计算目标点位姿 40 4 6 3 机械臂运动方程的求解 41 4 6 4 实验结果与分析 42 4 7 本章小结 43 结 论 44 参考文献 45 攻读学位期间发表的学术论文 48 哈尔滨工业大学硕士学位论文原创性声明 49 致 谢 50 哈尔滨工业大学工学硕士学位论文 1 第1章 绪论 1 1 课题背景与研究意义 液体治疗是目前临床上常用的治疗手段之一 国内医院输液的比例一般在 80 左右 而其中90 的液体需要加入其它药物 常规的护士手工配药方式已经 渐渐被静脉药物配置中心pivas pharmacy intravenous admixture service 所取代 1 静脉药物配置中心pivas的建立节省了资源 减少了药品细菌污染 在一定程 度上减轻一线护士的负担 提高了护理工作的效率 也提高了医院周转率 2 3 但是就目前状况来看 在配置化疗药物时 一方面pivas作业无法避免化疗 用细胞毒药物对操作人员一定程度的致癌 致畸伤害 4 另一方面因化疗药物治 疗过程中对肿瘤细胞和人体免疫细胞进行无差别攻击 为找到疗效与毒性的最佳 临界点 除了正确合理的处方外还需要配置过程精确控制病人给药剂量 但 pivas配药精度受人工配药操作精度限制而无法保证 为此 提出设计化疗药物配置机器人代替配药人员完成配药工作 针对配药 机器人用户的调查需求指出 1 医院输液作业环节繁琐 参与医护人员流动性强 采用化疗药物配置机 器人作业希望能够提供更安全有保证的配药过程 5 2 配药品种繁多 流程各异 作为一个通用的配药平台 要求化疗药物配 置机器人对配药环境的适应性强 3 化疗药物配置机器人药物抽取和分配精度能够满足系统要求 实现疗效 与毒性的最佳折中 因此 化疗药物配置机器人系统 6 要求能够保证配药的安全性 降低配药人 员的劳动强度 提高配药效率的同时 还需要适应药物种类的多样性及配药的精 确性 化疗药物配置机器人控制的核心技术之一在于机械臂运动相对于其它各配合 模块的精确定位 使用配药机器人进行配药分配作业任务时 以注射器作为操控 对象 不能视为质点 形状又不规则 且每次装夹后位置 姿态都会发生一定的 变化 配药过程又要求配药瓶轴线与注射器针头平行 这些是与其它机器人控制 所不同的 具有一定的特殊性 为实现这一功能 提出建立基于视觉伺服的机械 臂运动控制 利用视觉传感器对机器人操控对象进行视觉定位 获取操控对象的 位置 姿态 并引导机械臂运动 采用视觉伺服来指导机械臂运动 具有如下意 义 1 适应注射器针头在生产 包装 运输过程产生的变形以及装夹过程产 哈尔滨工业大学工学硕士学位论文 2 生的装配误差等位置变化 指导机械臂的运动 保证配药瓶轴线与注射器针尖轴 线平行 2 对不同型号尺寸的配药瓶和注射器 建立尺寸参数库 在抽液完成 前 提供配药瓶的倾斜角度 尽可能减少抽液过程药品在配药瓶中的残留量 3 远距离控制化疗药物的自动配药过程 并监控机器的运行状态 工艺流 程 总之 化疗药物配置机器人机械臂视觉伺服运动控制不仅能够准确识别配药 过程针头位置 姿态 保证配药机器人的操作精度 而且运动过程没有死点 能 够全面的监控整个配药流程和机器状态 是实现配药机器人动作的关键组成部 分 1 2 配药机器人研究现状 目前世界上已有的化疗药物配置机器人有美国的intellifill 加拿大的riva和 意大利的cytocare 下面分别介绍这三款机器人性能 1 2 1 intellifill配药机器人 intellifill 如图1 1中图a 所示 是世界上最早掌握实现小体积静脉药物准备 和安全分配技术的静脉药物配置机器人 为后续其它产品的开发提供了良好的借 鉴平台 intellifill运用在无菌环境 能够提供安全 准确 有效的服务 a intellifill配药机器人整体结构 b intellifill分配模块 图1 1 intellifill配药机器人 intellifill配药主要特点有以下几个方面 1 增强药物用量的控制 对于儿科 癌症患者以及要求较为苛刻的配药方 案都能准确的控制药物用量 2 药物分配模块设计成圆盘式 如图1 1中图b 所示 用于装最终配制药 物的注射器均匀分布在分配模块各个孔位 通过转动圆盘至相应注射工位 完成 分配任务 3 机械臂将配药瓶移至承载药瓶的固定模块 依赖该模块与注射器分配模 哈尔滨工业大学工学硕士学位论文 3 块的配合实现注入 抽吸 动作 如此一来 两模块的配合精度完全由机械精度 保证 与机械臂操作无关 为保证各模块配合顺利进行 机械结构设计繁琐 控 制复杂且对机械结构精度要求较高 4 intellifill仅能实现特定规格的玻璃药瓶药物的配置 且输出单一 只能 是以注射器存储最终药物 1 2 2 riva配药机器人 riva robotic iv automation 是由intelligent hospital systems开发的 用于医 院自动 准确配药的医疗装备 如图1 2中图a 所示 可配制普通静脉药物和化疗 药物 提供对配药过程的审查跟踪 a riva配药机器人整体结构 b riva配药机器人分配模块 图1 2 riva配药机器人 riva的主要特点有 1 由六自由度机械臂完成对注射器 配药瓶等的转移操作 空间小 操作 灵活 2 机械臂将配药瓶移至承载模块完成注入 抽吸 动作 如图1 2中图b 所示 操作精度由机械精度保证 与机械臂操作无关 3 配药精度审核 使用前后分别称量药瓶重量 注射器重量 对药品转移 量进行核实 4 配药安全性审核 机械臂和夹持器在转移物品的过程中会测量注射器等 的直径 以确保机械手爪抓取物品正确 5 riva机械臂安装注射器至指定位置后有一个校准过程 用来保证注射 器针尖与配药瓶在每次接触的时候在同一个方向 1 2 3 cytocare化疗药物配置机器人 1 cytocare 7 12 是意大利health robotics生产的一款面向化疗药物的机器人 配药平台 如图1 3中图a 所示 cytocare对每次配药过程进行双重检测 消除与 药物转移和未知的剂量误差相关的配药风险 来保证剂量精度在95 以上 哈尔滨工业大学工学硕士学位论文 4 a cytocare整体结构 b cytocare药物分配 图1 3 cytocare化疗药物配置机器人 cytocare的主要特点有 2 本体设计可以避免针体注射和重复性压力破坏对危险药物的暴露 为医 护人员提供安全的工作环境 3 由六自由度机械臂完成对注射器 配药瓶等的转移操作 空间小 操作 灵活 4 取消配药瓶固定模块 直接由机械臂夹持配药瓶完成注入 抽吸 动 作 如图1 3中图b 所示 降低了模块的冗余性 节约了配药时间 利用固定在机械臂末端的摄像头对注射器针尖进行定位 引导夹持配药瓶的 机械臂运动 来保证操作配合精度 1 3 机器人视觉 随着机器人技术的日渐成熟 工业领域对机器人灵活性和自主性要求的提高 要求其对了解自身环境 促进了机器人在视觉 接近觉 触觉和力觉方面的发展 13 视觉因其信息量大 实时性好以及能够提高系统柔性成为机器人最重要的感 知能力 机器人视觉可以通过视觉传感器获取环境的二维图像 并通过视觉处理器进 行分析和解释 进而转换为符号 让机器人能够辨识物体 并确定其位置 14 17 机器人视觉系统硬件主要包括照明 相机 镜头 图像采集卡以及视觉处理器五 个部分 照明直接影响输入信息的质量 是影响视觉系统输入的关键因素 18 照明系 统中 根据照射方法的不同 较为常用的是前向照明和背向照明 其中 相机和 光源在目标物体同一侧的是前向照明 目标物体在光源和相机中间的是背向照 明 从原理上看 相机是一个光电转换装置 其核心是光电转换器件 典型的光 电转换器件为ccd charge coupled device cmos complementary metal 哈尔滨工业大学工学硕士学位论文 5 oxide semiconductor 以及真空摄像管等 19 机器视觉系统中 镜头相当于是人类的眼睛 作用是将光学图像聚焦在相机 图像传感器的光敏芯片靶面上 视觉系统处理的所有图像信息均通过镜头得到 其质量直接影响视觉系统的整体性能 因此 合理选择镜头 设计成像光路是视 觉系统的关键技术之一 图像采集卡主要功能是提供与pc的高速接口 同时实时采集相机的输出视频 数据 图像采集卡包括视频输入模块 ad转换模块 时序及采集控制模块 图 像处理模块 总线接口及输出模块 图像采集卡的工作原理为 将视频信号滤波 后得到连续的模拟信号 再间隔采样得到离散信号 最后转换为数字信号 机器视觉系统处理技术主要分为三类 改善图像质量 提取图像特征以及存 储图像信息 机器视觉系统处理技术中包含多种图像处理方法 其中较为常用的 有平滑去噪 压缩编码 边缘检测 膨胀与腐蚀以及图像分割等 20 总之 机器视觉是一个光 机 电 计算机高度综合的系统 多个环节互相 影响互相关联 单个环节完美不一定能做到整体性能的满意 如何能够在多个环 节中找到平衡点是视觉系统硬件选择上的难点 1 4 主要研究内容 本文利用安装在工业机械臂末端关节上的相机 采用 一目两位 的方式 建立单目立体视觉系统 同时 根据目前主流的视觉伺服方法 结合配药机器人 机器本身特点 完成视觉伺服下的机械臂引导 主要研究内容如下 1 根据当前典型视觉系统的组成架构 目前已有的硬件条件和用户操作 要求 选择合适的光源 相机 镜头 图像采集卡以及视觉处理软件 2 参考国内外关于配药机器人相关资料 根据整个配药机器人系统要 求 搭建合理的单目视觉定位子系统 分析图像信息中所包含目标特征点的空间 信息 完成对目标特征的精确定位 3 根据已设计的单目视觉系统体系 设计合理的视觉系统标定模型 完 成相机的标定 4 搭建化疗药物配置机器人实验平台 进行相关软件设计与开发 实现 对注射器的准确辨识与精确定位 通过大量实验 进行误差测试 对整个视觉定 位系统精度进行评估 哈尔滨工业大学工学硕士学位论文 6 第2章 视觉系统选型及定位算法研究 2 1 引言 针对当前典型的单目视觉系统定位算法依赖图像空间矩阵转换实现 存在计 算过程繁琐且相机标定方法复杂的不足 本章提出搭建面向化疗药物配置机器人 狭小空间环境和实时响应的视觉系统 确定文中注射器针头的位置和姿态 通过研究化疗药物配置机器人的一个完整的配药流程 分析配药特点 建立 一种等距离伪双目视觉系统图像采集方式 在此基础上 围绕史陶比尔工业机械 臂tx40 选择合理的视觉系统组件 搭建基于位置的单目手眼视觉系统 图像信 息处理过程中 寻找图像坐标与空间坐标转换关系 建立基于简化模型的位姿转 换算法 并采用基于定制回溯边界条件的方法完成图像搜索 实现对注射器针头 的定位 2 1 1 配药场景描述 化疗药物配置机器人以实现自动化的化疗药物配置过程 提高配药效率 保 证配药的安全 可靠为宗旨 创建了多模块统一调度 协调配合的通讯机制 实 现了以机械臂操作为中心的并行配药体系 系统主要包含载药 扫描 称重 分 配 机械臂 摇匀以及垃圾处理等七个功能模块 如图2 1所示 当前治疗癌症的化疗药物主要可以分为液体 液体和液体 粉末两种配置过 程 其中液体 粉末配置过程较为复杂 本文就以配置典型的液体 粉状药物为 例 介绍围绕化疗药物配置机器人机械臂操作设计的配药流程 其具体步骤如 下 1 配药辅助操作人员将所需物品摆放至载药模块 2 操控机械臂从载药模块取出注射器 将其转移到分配模块抽吸位置 针 头位置朝下 操控机械臂从载药模块取出安瓿瓶 将其转移到放置安瓿瓶的剂量 站 在此期间 完成相应的扫描确认和称重环节 3 操控机械臂将稀释剂药袋移至注射器针头下方且袋口朝上 袋口的轴线 方向与针头的轴线方向保持一致 然后稀释剂药袋沿轴线方向向上移动 在穿过 药袋冒之后 分配模块驱动器上升将活塞渐渐抽出注射器内部 使注射器能恰好 抽入所需量的稀释剂 最后将药袋送回载药模块原处 4 取出安瓿瓶 开启铝箔瓶盖 5 操控夹取安瓿瓶的机械臂至注射器针头下方且瓶口朝上 瓶口的轴线方 向与针头的轴线方向保持一致 然后安瓿瓶沿轴线方向向上移动 在穿过药瓶冒 哈尔滨工业大学工学硕士学位论文 7 a 载药模块 b 扫描模块 c 分配模块 d 机械臂 e 称重模块 f 摇匀模块 g 垃圾处理 图2 1 配药机器人主要模块 之后 分配模块驱动器降落将活塞压入注射器内部 注入所需量的稀释剂 6 操控机械臂将药瓶移至摇匀模块完成摇匀 7 将分配模块翻转 取出摇匀后的安瓿瓶至注射器针头上方且瓶口朝下 安瓿瓶瓶口轴线方向与针头轴线方向保持一致 然后安瓿瓶沿轴线方向向下移 动 在穿过安瓿瓶冒之后 分配模块驱动器降落将活塞抽出注射器内部 抽吸安 瓿瓶中摇匀的药物至注射器 8 若当前药物需要静脉注射 需再将注射器中的药物注入葡萄糖溶液或是 生理盐水药物袋中 至此 整个配药过程完成 9 将用过的注射器置于垃圾模块中扔掉 根据上述对配药流程的剖析 可以发现 化疗药物配置机器人配药动作围绕 机械臂的运动展开 同时 化疗药物配置机器人的需求分析和初期设计报告指 出 六自由度机械臂在一个四周封闭的狭小空间内活动 完成各种夹取 转移 旋转动作 且与其它模块配合密切 对配合提出了较高的要求 2 1 2 视觉系统方案研究 由上述配药过程可以看出 一方面对机械臂和其它模块的配合提出了较高的 要求 另一方面 配药过程中机械臂所夹持的安瓿瓶亦或是药袋完成分配作业时 位置需能保证瓶口 袋口 与针尖在轴向上一致 这就对模块的配合精度提出了 更高的要求 为此 提出为机械臂搭建视觉系统完成对目标注射器的精确定位 哈尔滨工业大学工学硕士学位论文 8 以保证机械臂模块与分配模块之间的配合精度 根据不同的观察角度 视觉伺服 21 23 主要有以下三种分类方法 按照机器人的空间位置或图像特征可以将视觉伺服分为基于图像的视觉伺服 和基于位置的视觉伺服 基于图像的视觉伺服对标定误差和空间模型误差不敏 感 而基于位置的视觉伺服控制将视觉处理过程与机械手的控制分开 可以直观 的在直角坐标空间定义目标的运动 针对当前化疗药物配置机器人系统需要相机 建立图像与目标物体的映射 根据图像信号提取注射器空间位姿信息 进而根据 空间信息指导机械臂运动 选择基于位置的视觉伺服 从相机放置的位置来看 视觉系统分为手眼系统和固定摄像机系统 顾名思 义 固定摄像机系统中相机位置固定 能同时观察到目标和机器人末端 得到大 的工作空间环境 但无法得到精确信息 因位置固定 使用固定摄像机系统时 机械臂运动过程可能造成目标图像的遮挡 手眼系统可以得到小的工作空间环境 以及目标的精确位置 实现精确控制 但是需要进行机器人空间运动学位置变 换 对误差比较敏感 针对本文视觉系统 鉴于其工作空间小 无需关注整个配 药机器人系统动态 又希望得到目标物体精确位置 故而选择手眼系统 从相机数量看 视觉系统分为单目视觉系统 双目视觉系统和多目视觉系 统 鉴于一次只能得到一个方向的信息特征 单目视觉系统不能直接得到空间三 维信息 双目视觉可以得到目标特征的空间三维信息 多用于对机器人操控对象 的定位 多目视觉系统因能从多个角度观察到目标的多个部分 因而可以获得更 丰富的信息 本文化疗药物配置机器人视觉系统需要得到目标特征的空间信息 理论上应该选择双目视觉系统 但考虑机器人由单一机械臂操控 若要建立基于 双目视觉的手眼系统 两相机间距太小 定位精度不高且产生的图像畸变太大 因此 本文考虑选择单目视觉双图像定位方式实现定位 结合机械臂夹持器控制 器和分配模块 将ccd相机固定于机械臂第六关节末端控制器上 因此搭建单目 视觉系统如图2 2所示 因此 综合上述因素 本文拟搭建基于位置的单目手眼视觉伺服系统 根据 基于位置的单目手眼视觉伺服系统要求 设计视觉系统相机沿与机械手爪位置轴 线垂直的方向 置于机械臂第六关节上方 相机模块中通过数据传输线与图像采 集卡相连 工控机中图像接收卡按帧接收数据 以输入接口实现数据传输 通过 工控机中视觉处理软件处理获得的药品数据和图像来生成对控制单元所需的命 令 具体接口简图如图2 3所示 哈尔滨工业大学工学硕士学位论文 9 摄像头 机械臂 注射器 安瓿瓶 夹持器 针头 活塞 驱动模块 图2 2 单目视觉系统示意图 注射器 安瓿瓶 夹持器 交互模块 处理模块 图像采集卡 控制器 医院电脑 系统 相机 工控机 显示器 图2 3 视觉系统架构 2 1 3 视觉系统的搭建 2 1 3 1 照明系统选择 机器视觉照明系统最常用的照明方式有前向照明和背向照明两种 如图2 4所 示 前向照明光源置于物体前面 主要用于照射物体的表面缺陷以及细节特征 而背向照明光源置于物体后面 能突显不透明物体的轮廓 主要用于精密测量系 统中 因此 本文设计使用背光照明系统 照明系统光源可选lcd面光源 ccfl 线光源和led点光源三种 其中 led点光源亮度在80 2 cd m左右 均匀度不好 功耗大成本低 主要 用于小尺寸照明 ccfl线光源亮度在100 2 cd m以上 均匀度好 功耗较大成本 哈尔滨工业大学工学硕士学位论文 10 前向照明背向照明 图2 4 前向照明和背向照明 很高 主要用于大尺寸照明 lcd面光源亮度在50 2 cd m左右 均匀度极好 功 耗小成本一般 主要用于中小尺寸照明 综合考虑 本文视觉系统光源尺寸需 50mm 90mm 尺寸较小 目标特征轮廓识别要求光源越均匀越好 采用el发光 片这种面光源作为背景光源 el发光片平整且超薄 0 12 0 4mm 可制成任意 形状 光线均匀 功耗低寿命长 符合本文视觉照明光源要求 为此 选择a5大 小的粉底白光的el发光片 得到同一位置下无光源照射下的图片和有背光源照射 下的图片对比如图2 5所示 a 无光源时的图片 b 背光源照射下的图片 图2 5 有无背光源照射条件下的图片对比 2 1 3 2 相机的选择 本文视觉系统要求注射器针头定位精度在0 5mm以内 同时 根据测量 针 头 长 度 为 30mm 那 么 相 机 的 最 低 分 辨 率 应 该 选 择 在 30 0 1 30 0 1 300 300 约为9万像素 也就是说一个像素对应一个检测点的 话 最低分辨率不得少于9万像素 但实际问题是 如果一个像素对应一个检测 点的话系统会不稳定 因为随便一个干扰像素点都可能被误认为是检测点 所以 为了提高系统的准确性 检测点的面积最好在3 3个像素以上 这样选择的相机 像素也就在9万乘3以上 即不低于27万像素 因此选用30万像素的相机 在视觉系统图像传感器方面 ccd charge coupled device 是电荷耦合元 哈尔滨工业大学工学硕士学位论文 11 件 集 成 在 半 导 体 单 晶 材 料 上 cmos complementary metal oxide semiconductor 是金属氧化物半导体元件 集成在金属氧化物半导体材料 上 ccd像元将光转换为电荷 用电荷耦合方法 将电荷逐点逐行地用电荷移 位寄存器移出至电荷 电压转换器 图像信息以电荷形式在芯片内移动输出 如图 2 6 a 所示 故而具有较好的图像质量 但制造工艺复杂 cmos每一个像元 都有一个电荷 电压转换单元 所以像元电荷马上转换成为电压 再通过与之对应 的矩阵开关 将电压送出阵列 图像信息是以电压的形式传送输出的 如图2 6 b 所示 故而制造成本和功耗低 但噪声高 灵敏度低 目前 总体来说 图像传感器市场上ccd芯片技术比较成熟且成像质量有保证 因此 本文视觉系 统选用ccd传感器芯片 图2 6 图像传感器工作原理 此外 视觉系统对定位响应速度要求较高 考虑从目前市面上相机中选择一 款有一定处理能力的相机 有选择性地进行图像采集与传输 以提高图像传输效 率 综上 可以总结得出本文视觉系统相机主要用于获取注射器针尖的位姿 功 能单一 精度要求高且响应要求快 可以选择单色640 480 ccd相机 根据上 述条件 最终选择加拿大point grey公司相机 型号为fl2 03s2m 2 1 3 3 镜头的选择 ccd相机镜头为螺纹接口 有c安装座和cs安装座两种工业标准 根据相机 的安装座接口标准 选择对应的镜头接口 查fl2 03s2m相机资料可知 该相机 安装座为c接口 因此 选择c接口镜头最佳 相机镜头尺寸规格应视相机的ccd尺寸而定 如果镜头尺寸比相机ccd靶面 尺寸小 会发生 隧道效应 如果镜头尺寸比相机ccd靶面尺寸大 会使图像 哈尔滨工业大学工学硕士学位论文 12 视野比镜头视野小 不能较好地利用镜头的视野 因此 镜头规格选择应结合实 际使用情况 参考相机的ccd靶面大小 尺寸至少不能小于相机ccd尺寸 至于焦距 查fl2 03s2m相机资料可知 该相机ccd尺寸靶面为1 3英寸 成 像元件尺寸宽度为4 8mm 高度为3 6mm 根据图2 7计算镜头的焦距f为 3 6 4024 60 vmm fdcmmm vmm 2 1 目标高度v 拍摄距离d ccd高度v 图2 7 相机成像示意图 综上所述 依照所选相机型号point grey fl2 03s2m 选择c安装座 镜 头2 3英寸 手动光圈定焦距25mm的镜头 型号为m2514 mp 2 1 3 4 图像采集卡的选择 配药机器人所使用的工控机cpu为e5300 主频2 6ghz 根据计算机组成原 理 设机器周期由12个时钟周期组成 而平均三个机器周期完成一条指令 那么 平均指令执行速度为 1 73 1mips 1 3 12 v f 百万条指令每秒 2 2 对于640 480 单色图片 有效区域约为100 100 在图像搜索算法循环中 若假设循环中有20条指令 则指令有 5 100 100 202 10 条 两幅图片就是 5 4 10 条 加上其余计算及相关指令 以100万计算的话 运行时间约13 7ms 因 此 可以肯定 图像算法在处理过程中占用时间比例很小 提高视觉定位响应速 率的关键在于图像采集和传输 图像采集和传输方面 对于640 480 灰度图片 因图像上每个像素由一个字 节数值表示 即每个像素由8位0 1构成 那么每张图片大小为300k 为此 数据传输的话选用不同的方式需要时间如下 1 用 usb2 0 接 口 全 速 12 12mbpsmb s1 5ms s 8 则 传 输 一 张 640 480 照片理论时间 300k 0 2s 1 5mb s t 2 用1394接口 有100mbps 200mbps 400mbps 800mbps 以 哈尔滨工业大学工学硕士学位论文 13 800mbps来计算的话 800 800mbpsmb s100mb s 8 则传输一张640480 照 片理论时间 300k 0 003s 100mb s t 3 用千兆以太网 速度达千兆 1000 1000mbpsmb s125mb s 8 则传输 一张640 480 照片理论时间 300k 2 4ms 125mb s t 综合考虑 usb接口传输速度太慢 而千兆以太网价格太贵且传输所用的光 纤易断 因此 接口选用1394接口配合1394图像采集卡 pci插槽 2 2 等距离伪双目视觉定位算法 2 2 1 立体视觉原理 基于手眼系统的单目视觉若要得到目标特征的精确定位 就需要目标特征的 两张照片 形成伪双目视觉 为此需从两个独立的观察点分别获得两幅图像 据 此解算目标特征的空间位置 进而辅助驱动机器人的机械臂完成运动过程 显然 对两张图像处理的关键在于对目标特征点做出决策 即对于每一幅图 片 基于光学三角法原理 如图2 8所示 算出所需的目标特征坐标信息 光学三 角法视觉原理 设p是三维空间中任意一点 当相机的光心在 1 o点时 p点投影 在相机上的像点位置为ot 当相机的光心在 2 o时 点p投影在相机上的像点位 置为os ot和os为一对对应点 空间点p位于空间 1 o与ot所确定的直线和 2 o与os所确定的直线的交点处 因此 p点的三维坐标被唯一确定 1 o2 o ot os p 图2 8 立体视觉原理 2 2 2 等距离伪双目视觉图像采集 为了从机器人视觉中获得所需的目标注射器的位姿信息 需要研究该类视觉 系统观察目标物体的特点 然后采取一定的图像数据处理方法进行识别计算 具 体如下文所述 其讨论内容是针对机械臂对某一特定目标进行的一次操作展开 的 哈尔滨工业大学工学硕士学位论文 14 双目视觉中两相机位置参数确定 且与目标特征距离一定 目标特征信息可 以根据两相机的图像信息表达 本文欲依赖单目视觉系统实现双目视觉系统的效 果 需要依赖单个相机拍摄两张照片实现伪双目视觉 同时 又需要保证两张照 片拍摄的距离距目标特征距离相同 因此 建立基于位置的等距离伪双目定位视 觉系统实现对目标物体的定位 为此 设计图像获取方式如下所述 建立空间笛卡尔坐标系 x y z坐标 轴 其中注射器的理论轴线方向与z轴平行 指定p点为笛卡尔坐标系中针尖的 一个截面投影点 ft和fs是与z轴正交的两个不同的方向 相应的 在这两个 方向上定义两个不同的观察点 使得这两个观察点距离与p点距离相同 如图2 9 所示 为了在每个观察点获得一幅图像 机器人机械臂转移位置沿z轴旋转 以 至于相机能够首先在观察点ot在轴线与ft方向平行的位置停留拍照 然后在观 察点os轴线与fs平行的位置停留拍照 x y z ft fs ot os s t o o p q x y t s p os fs ot ft z p t p x p y p s t s 图2 9 图像坐标系与空间坐标系解析 ft和fs与y轴夹角 和 是与两个相关平面是正交的 每一个平面都是根 据z轴和与z轴正交的轴t s定义的 点p相对于坐标轴x和y的坐标由 p x和 p y 指定 点p相对于轴t和s的坐标由 p t和 s t指定 如此一来 从观察点ot获得的坐标点p是在坐标轴t和z中表达的 从观察 点os获得的坐标点p是在坐标轴s和z中表达的 作为一个整体 可以获得p点 坐标 t s z 实际上 本文最终期望能够从图像信息中获得针尖上点在空间笛卡尔坐标系 下的坐标 x y z 那么 本文视觉定位算法功能目前为止所需要的就是找到合理 的算法实现由图像空间信息向笛卡尔空间转换 哈尔滨工业大学工学硕士学位论文 15 2 2 3 基于简化模型的位姿转换算法 化疗药物配置机器人视觉系统的核心功能是高效 高精度 高安全性地实现 药物配置 所以 视觉系统需快速准确地将 机械臂末端夹持的药瓶 定位至 分配模块装载的注射器针尖部位 国际领先的cytocare等配药机器人都将 此列为关键技术 并明确指出 将小口径低精度的药瓶开口与注射器针尖快速对 准存在相当的困难 尤其是注射器的针尖部位还经常偏移或弯曲 弯曲的原因有 制造误差 储 运过程中的保护不周等 这进一步导致二者的对准和插入困难 24 为此 本文的视觉定位算法核心目标是快速获取注射器针头的位姿 保证各 种小口径的药瓶中心可快速定位至注射器针尖部位 从而保证高效高精的配药功 能 本文定位算法的最终目标是获得注射器针头的位置和姿态 若把注射器针头 整体进行简化 抽象成一条直线 那么根据数学公理两点确定一条直线可知 所 谓针头的位置就可以转换为获取该条直线上两点坐标 所谓姿态就可以转换为该 条直线相对于笛卡尔坐标系中坐标轴的倾斜角度 为此 指定针头上的两个点p1和p2 其中 p1点为针尖点 p2为距离针尖p1 点固定像素距离的针头轮廓中点 一旦p1点在笛卡尔坐标系下的坐标x1 y1 z1和p2点在笛卡尔坐标系下的坐标x2 y2 z2确定 根据图2 10 设rx和ry是 针头与x轴 y轴的夹角 可通过针头在p1点和p2点之间在x z平面和y z平面上 的投影换算 倾斜角度的计算公式为 12 arctan 12 yy rx zz 2 3 12 arctan 12 xx ry zz 2 4 至于确定p1和p2点在笛卡尔坐标系下的坐标 以点p1为例 如图2 11所示 通过寻找p1点在xoy面内的投影特点 可以发现 1 tantantantantantan abbcabacac y 2 5 11 tanxyoa 2 6 其中 根据p1点在sot坐标系下的坐标 t1 s1 以及两观测面与y轴夹角 和 可知 1 cos t oc 1 cos s oa 故而有 11 coscos ts acocoa 2 7 哈尔滨工业大学工学硕士学位论文 16 p1 p2 x z o x1 x2 z2 z1 ry ry 理论位置 实际位置 p1 p2 y z o y2y1 z2 z1 rx rx 理论位置 实际位置 xoz面 yoz面 图2 10 注射器不同坐标面投影 x y t s p1 os fs ot ft z p t p x p y p s o abc 图2 11 坐标转换 代入上式 可知相对于p1点在t和s的坐标 在任何情况下 都与笛卡尔坐 标系下的坐标存在如下关系 111 1 coscostantan ts y 2 8 1 11 tan cos s xy 2 9 需要指明的是正交方向ft和fs上