（机械电子工程专业论文）数字化细胞微注射机器人的图像采集与处理研究.pdf

南京理t大学硕士学位论文数宇化细胞微注射机器人的图像采集与处理研究 b b i以 犯 1 。 拙托 洲 幼 式 h 匆 记 以 卿俪即 低触” 五 。 阅 怀 ” 如 n 拍 be t m 目 沈 触功 汕 加伴 颇叨 幼 1 冲 】1 尔。 曲 刃 诚叽训， 心 代p l侧ucti0 ll e 巧 c i啾y 田 飞 1 ， 1以 冷 岛 m 谊 c . in this p ap 俄a di gi 回cell 而。 幼 句 忱 d 叨币 比 t b as 目on此低 石 c id-fi 山 di c di gi 目t ec i加10 留， was 施 西 ed . 叨 ” s ys t o 1 1 沉h it 以 血 此斑 幻 theb as ic 血 飞 tion ofdi 百 tal cell l面 诩问 以 石 田川 比 t was ar 因 卿 城阮五 叱石 姐目 加 址 m l 母 喊 曰 n l翻 刃 川 e 曰 目 红 即如 朋1 颐闭、 由自 犯 己 on创s b 班 此 ， 此助越 笋 鲜画 幼 石 即泣 司 声 沉 已 治 川 g was 劝 曲 吐户 耽 心 。 n 1p 匆 刀 l g di 任 改 a lt ” 拍 罗益朔娜 s iti 叻p 旧 9 次 孔 ” 川 罗明吵而 期 功 团山 c was d ev e 吮曰切 记 衡甩 沼助w 丘 斑 1 1 ewo lk in v c 十 币 .0 切 v in 川 m 。 止 ，功 m l 越 笋 林啤拓 叻 m ed 日 e can thev 记 印劝 唱 川 山 9 肋1l l li r 口 g e 咧1血 it io n 闪 u ip m 即 仁 代 习 七 m e p 代 叨 。 拭 以 川 聊. 粥 峨 如比 in thel l 叭l di s k f ro m此即 目 e of v i反 . 1 。 雀 king 劝 e m 司 沁 dsof魄肠 l g was 曰 创 押 滋刀 姆 由 蛋 欲 加m 团 lo dsforid 即 ti 五 c a 6 o n 曰 l d 魄ki n g 份 u 峨 月 阮正 日 台 . it 喇代 . ， 田 司 触 m d 恤 月 叮皿不 改 m g 翩 朗 1石 的匆 粉j 翻 记 翻川 犯 y 娜d isc 世 咎 分 . e 留 h 丘 川 l e 翔 泣 唱 e 咄 翻以 川 血9 扣 涌田 妇 比 石 叽n 姆 loc 翻 o n ofl l 妇 盼 n 划 五 详 1】西 的1加坛 田 已 优 u was c 目 c 川 田 曰 l in 化 ai -ti m e for触 d 佣 日 的p 以 川 加i f in al ly，til e 丘 毗d o n ofli l l a 罗p lt 犯 e 弥 】ngwas m 1 p 】 宜ed妞 以 】。 ， q 冲 ic v k 即 轴川 : c 七 11 而盼咧 喇。 n 州 比 仁m盼 面 1山 c 姻园奴1伽1 。 既 h 拍 罗盆 q 师 幼 如 氏 明s i j i 加 犯 k 南京理工火学硕士学位论文数字化细胞徽注射机器人的图 像采集与 处理研究 声明 本学位论文是我在导 师的 指导 下 取得的 研究成果， 尽我 卿 于 知， 在本 学位论 文中， 除了 加以 标 注 和致谢 的 部分 外， 不包 含 其 他 人己 经发 表 或公 布 过的 研究 成果， 也 不包 含我为 获平 导 任何 教 育机 构 的 学位 或学 历 而使 用过的 材料。 与 我一 同 工作 的同 事对 本 学位 :论 文做出 的 贡 献 均己 在论 文中 作了 明 确的 说明。 研 究 ” “ : 皿辱 问年 沪 拍 学位论文使用授权声明 南 京理 工大学 有 权保存 本学 位论 文的电 子 和 纸 质文 档， 可以 借阅 或上网 公 布本 学 位论 文的 全部 或部分内 容， 可以 向有 关部 门 或机 构 送交; 搬 权其 保存、 借阅 或上网 公布本学 位论文的 全部或部分内 容。 规定和程序处理。 按保密的有关 研究生签名: 问 命“ 无 南京理工大学硕士学位论文数字化细胞微注射机器人的图像采集与处理研究 1绪论 ， .1当 撇膨操作 机器 人的 意义 1 9 5 3 年 j 田 ” es d 卜 w 汕 欢 1 与e 油 雨 s rcc 肠 c k 在伽池 皿 上发 表了幻 ” 。 lec u 恤， n r 加 拍 。 f 爪 id c ac id : a 劝 i jc 如 助d eo x 如 吮 留 佃 c l c ac 记 ， 确 定d n a 构 造 为 双 螺 旋 体 ， 由 此 生 命 利 学 研 岁 逝入 分 子 生 物 时 代 。 二 十 想己 入 七 十 年 代 兴 起 的 以 基 因 印 n 勺 重 组 为 核 心 的 侧弋 生 物 技 术 发 展 开 始 突 飞 猛 进。 1 蛇 年， 我国 童 弟 周 教 授 利 用自 制的 显 觑绷寸 针)却力 地在 金 鱼 和 膀 阪 鱼 进行了 细 胞 核 移 植 ， 在国 际 上 首 仓 姗究 移 核 鱼 和 培 育 鱼类 新 品 种的 新 方 法二 1 981 年， 美 国 的 拓 c l班 d np 曲 汕比 及网的l b 面 以 er 等 人 ， 应 用 显 挪主 时 技 术 ， 将 一 段 病 毒 酵 素 打 入 老鼠 的 受 精卵 中 ， 使 雌鼠 生 出 的 小鼠 体 内 细 胞 有 ，制造 病 毒 酵 素 的 能 力 ， 由力 的 研 沛 1 出 转 基 因 鼠 : 1 卯 7 年， 英国 爱 丁 堡 罗 斯 林 研 究 所 威尔 莫 特 等人 ， 从 羊 的 卵 细 胞中 取出 核， 换入 乳 腺细 胞 的 核， 这 个“ 组 装” 细 胞在 气 那 奢 里 分 裂、 发 育 形 成胚 胎， 再 将 胭台 植 入 另 一 只母 羊 的 子 宫 里 ， 最 终 产下 了 震 惊世 界 的 小 绵羊“ 多 利，o生 4 址 伎 术 成为 当 今 世界自 然 科 学 中 最 为 活 跃 的 领 域 。 在生 物 科 学 研 究 和实 验中 ， 包 含 一 系 列 的 基 因 导 入 和 细 胞 操作， 主 要以 显 微 操 作 为 主 要 实 验手 段。 转基 因 的主 要 方法 有显 微 注 射 法、 胭 始干细 胭去 、 逆转 录病 毒感 染 法和 精子 载澎去 ， 其中 显微 注射 法是目 前 使用 最为 广泛、 有效 的 方 法。 实 验 操作 人员 在显 微镜下， 用显微 操作 装 置 刘 当 日 月 铆 进 行 抬 取 、 保 持 、 切 割 、 吸 取 、 注 射 ， 细 胞 内 器 旬核 、 染 色 体 、 基 因 ) 的 转 移 、 重 组 、 州申 、 固 定， 细胞 壁扩 日 l ， 其操作 尺 度 在微 米 或亚 微米 级。 以 小 鼠 受 精 卵 导 入 外 源 基 因 为 例 ， 显 微 注 身 拍 勺 操 作 过 程 简 述 如 钊 t气 (l )调 节 显 微镜 工 作台 ， 把受 精 卵 调 到 显 微 镜 视 野 内 : (z) 移 动 吸 持 针， 对 准 受 精 卵 ， 加 负 压 吸 附 受 精 卵 ; (3) 移 溯兹寸 针， 刺入 受 精 歹 目 ; (4) 加d 五注 射， 使 微量 夕 瞬 d n a 液 滴 通 过 注 射 毛 什 上 入 核 内 : (5 )移动 注射针 ， 离刀 受精 卵 ; 何 移 动 吸 持 针 将已 注 刻 的 受 精 卵 移 动 到 其 他 区 域 ; 这 些手 工 操作 强烈 依赖到桑 作 人 员自 身 各种 因 素， 如 情绪、 疲劳 和 周围 的 环境影响 。 目 前， 能 够 从 事 这 种高 精 度 操 作的 实 验 操 作人 员 ， 至 少 要 经 过 两 三 年的 严 格 培 铆 吐 ， 成本 很 高 ， 而 成 功 率只 有百 分 之 十。 这就 决定了 这 项 技术 只 能有 少数 人 可以 掌握， 在一 定 程度上 铭 哟了 生物 工 程 的 科 研 发 展 。 生 物 领 域 中 从 事 细胞 操作 的 科 研 人员 和 实 验 操作 人 员 都希 望 有 魂提高 微 注身 操作 的自 动 化 和 智 能 化 程 度， 使 操 作 简单 化 、自 动 化， 进 而 实 现 普及 化 卿 。 目 肩 肺场 上 的 细 胞 微 操 作 系 统 生 产 商 有日 本n ik on 、 。 】扣 甲 璐 、 n 七 阂 ilge， 德 国 e 即 翻 山 玫沁 a ， 美国州 。 1 ， 国 内 有徐 州 瑞 祺、 华 中 科 大 仪 博 生 命 科学 仪 器 有 限 公 司 等习 。 受 布 蛤和 系 统 南京 理工大学硕士学位论文数字化细胞徽注射机器人的图像采集与处理研究 蜘裁支 术 所 限 ， 国 内 产品 与 国 外有 相 当 大的 澎巨 。 日 本n 俪 如 罗的 显 微 操 作系 统m300可 以 通 过计 算 机 鼠 标 控 制电 动 操 作 器 来 移 动 被 钡 吻， 可以 记忆 、 恢复20个位 置。 德国e p l兑 压 如 rf 的 贴 壁 细 胞 显 微 操 作 系 统可 以 预 先设 定 注 射平 面、 注射时间 和压 力， 进行 半自 动显微注射。 国 外微 操作系 统除了 价格昂 贵外， 还存 在以 下问 题: (l )自 动 喀 拐 量 变 低 。 操 作 模 式以 手 动 调 节 和 遥 控 式 为 主 ， 无 法自 动 熟戈 复 杂 的 微 操 作 ， 操 作的 效 率和 精 度 受人为 因 素的 影响。 没 有 对 微 注 射量 进行 精 确 测 量 和 控制 的 手 段 。 (3) 由 于 采 用 液 压 或 今 拗驱 动 定 位 和 控 制 ， 注 射介 质 可 压 缩 性 和 温 度变 化 等 因 素 又 弱 澡 作 精 度有 影响。 细 胞 微 操 作 系 统中 存在 的 问 题 和 缺 点 ， 影 响 了 微澡 作 的 效 率 和 成叻 率 。 生 物 技术 必 须 实 现 产 业 化 、 规模 化， 才能 真 正发 挥 它的 潜 力. 规摸 化 便 对 生 产效 率 、 成 功率 提出 了 要 求， 这是 现 有微 操作系 统无 法胜任 的， 所以 需 要沂 韦 惧有高自 动 化高 精 ， 2生 马 绷 放 澡 作 机器 人的国 内 夕 林 开 究 状况 加 拿大m 成 油大 学 、 德国k 田 刀 is be大 学 、 瑞士 联弃 姗究 所 等 均 研 制出 用 于 细 胞 操作 的 遥 控式微操作机器人 系 统。 日 本 通 产 省 机 械 技 术 研 匆沂 已 那 陆 咄用 于 细 胞 操 椒细 胞 切 割 、 细 胞 转 移、 基 因 注 身 1邻 的 双 指 微 操 作机 器 人 样 冽月 。 它 通 过 控 制 微 推 进 器 把 直 径为l p m生 理 微 电 极 送 入 神 经 组 织 内 来 治 疗帕 金森病、 癫痛和精神分 裂症等。 日 本恤 卿，大 学 的r 叻 山 如刁勺 等 探 讨 了 液 体 环 境 中 擞妇注物阴桑 作 技 术 ， 提出 彩召 生 你d 齐 器(b 1小 曲 即 眨 ) 固 定 细 胞 ， 以 实 现 自 动 细 胞 操 f 协 习 。 日 本0 剑 巨大 学的a 拓 肠 m s 呱面 ， 肠 ts 的a 面等 建 立 了 用 于 微 装 配、 细 胞 操作 和 显 微 外 季 阵术 的 两 指 微 操 作 机 器 人系 统 。 该 微 操 作 系 统对 三 维 空 间 中 的 双 指 操 作 手的 位置 进 行自 动 校 准， 可以自 动识 别 、 拾 取微 小 物 落 剩 习 。 美 国m in nc sc 白大 学的b j 几 卜 贻 玫 用 ， s ui l yu 研 究 了自 动 和 半自 动 细 胭主 到 操作 ， 基 于n 田 侧 5 技术 的 细 胞固 定 器 用 于 辅 蹦主 身 j ， 注 射 后 的 胭 泪 御 油 胞被 培育 成 转 基 因鼠 卿 . 韩 国p o 1 尹 民 俪c 大 学 的s y 日 幻 ， j 托5 恤 ” 开 发 了 测 量 细 胞 注 射 作 用 力 的 微 型 彩炭 操 纵 装 置 ， 和 班 娜嘟胞 注 射 力 的 触 觉 设备 ， 避免了 注躬 针 淞湍 与 细 胞 擞虫 时 对 细 胞的 破 圳幻 。 芬兰 1 、 11 详 沈大 学 的p 幽e 泊 场 。 ，飞 u 欧 助r 汕 h 在 微 操 作 系 统 中 加 入 阴 性测 量 系 统 ， 在 细 胞 注 射 时， 可以 检 测细 胞 和毛 细 管 是 否 接 触， 毛 细管 是 否 破 损 、 堵塞 阅 。 法国c d 已 舰 大 学的m e 叼 1 产 习 1 闷， 为 如 访 e f 翩 面 1习 开 发 出 一 种 人 机 交 互 环 境， 可以 向 操 作 人 员 提 供 实 时3d视 觉 信 息 ， 荆几 上 力 反 馈 、 触 觉 支 持 ， 来 进 行 微 操 f 妇 1叱 2 南京 理工大学硕士学位论文数字化细胞微注射机器人的图像采集与处理 研究 相 对 国 外， 国 内 研 究 起 步 较 晚。 1 卯 7 年1 月， “ 863 ” 计 划智 能 机 器 人 专 家 组 在 厦 门 召 开 了 专 题研 讨 会， 讨 论了 我国 今 后 几 年 微 操作 机器 人 领 域 研 究 的 发 展 方 .向 及具 体 剿昔 。 研究 重点 开 始由 各单 元技 术 转向 系 统 组 成， 并 把 面向 生 物 医 疗工 程的 微 操 作 机 器 人 系 统 作 为 研 究 突 破 口。 南 开 大 学 研 喘 d 的“ 面向 生 物 医 学 工 程 的 微 操作 机 器 人 系 统” ， 以 一 台 倒 置 显 微 镜 为 主 体， 配置 了 左右 两 个 可 握 持 工 具 进行 空 间 三自 由 度 运 动 的 机 械 臂、 平面 两自 由 度可 控 平台 以 及自 动 调焦 系 统。 系统 可在 显微视 觉弓 1导 下， 由 计 算机 控制， 双臂 协调 地扫 磁自 动 或半自 动的 操 作， 操 作 精 度 为 微 米 级 ” 、x ，。 。 中 国 不 银大 学 开 发 出“ 全光 学生 物 微 操 作 系 统，o激光 光 摄 在 三 维空 间 拖 动微 粒 ， 使 之 在 空 间 上 准 确 定 位 ， 因 此 可 用 来 完 成分 选 粒 子憾溯 妇 胞) ， 使 两 个 或 多 僻好相 互 密 接 ， 从 而 观 察 其 相 互 作 用 等。 激光 光 刀 对被 光 镊 夹 持的“ 工 件” 进 行 穿 孔、 基因 转 导、 细 胞 器 切 割、 焊 接 黝口 ，习 。 由 北 京 航 空 航 天 大 学 研 制的 具 有 视 觉 反 馈 的 微 操 作 系 统 ， 能 在 摄像 头 下 完 成全 局 视 觉闭 环 反 馈 ， u 畏 用 压电 陶瓷 驱 动和 较新 颖 的 柔 性 握 刘 涟 机 构 ， 对 活 体 细 胞和 基 因 进行自 动或 半自 动 显 微 操子 协 气 长 春光 机 所和大 连理 工大学的“ n 王 m s微 操作 系 统气实 现了 显微立 体 成像 下的 细 胞 转基 因 操 纵 ， 提 高 了 操 作 效 率 与 万 如 力 到怪气 哈 尔 滨 工 业 大 学 的“ 微 米 纳 米 级 位 移 驱 动 器 ” 达 到2 卜 份 s nm 的 线 位 移 分 辨 率 。 “ 微 操 作 机 器 人系 统 ” 粗 动 运动 行 程25 mm ， 运动 分 辨 率l p m ， ; 旋 转驱 动 运动 行 程】 50 。 ， 运 动分 辨 率叨1 . ， 微 操 作 手x 曰 y 向 标程 3 s p m ， 2 向 行 程9 ，5 卜 m ， x -y 况向 分 辨 率 为1 伪 叨 【1卿 习 。 表l l 和 表1 2 给出 了 近年 来 当 前国 内 外 微 操 f 乍 方 面 有 代 表 性的 专 吮利 。 比 如 专 利 名 “ m 沁 田 知 1 如 山 石 臼 1 邓 匕 in ” 是日 本0 1扣 甲 us公 司 的 专 利 ， 其 内 容 为 : 微 操 作 系 统 是 在 显 微 镜 下 ， 通 过探 钊 对物体 进行 微 操作 ， 微驱 动器 使 探 针 在显 微 镜光 轴方向 运动， 目 标传 送控制 器 控韦 吻 体的 运 动 ， 川 乡 卜 可以 检 测 微 操 作初 始 位 置 ， 将镜 头自 动 对 焦 到 物 体 。 专 利 号“ d ez 印 2 2 02 1 67 7u” 是 德 国 l ca公 司 的 专 利 ， 其 面 向 引勿 的 微 操 作 系 统 包 含 一 个显 微 镜， 并 至 少有 一个电 气 化 功能单 元、 一 个微操 作 手、 一 个 注射 器， 通1 妇空 制面 板可以 设 置显微镜和微操作参数。 表u 国 夕 除 独 装 作 相 关 专 可 叼 切 zm沁 切 1 切血 儿 1幽阶匀 引 咖2 加501 74朋5 、 、 云 ，临 丫 d 五 :2 (x 万 日 本 南京理工大学硕士学位论文数字化细胞微注射机器人的图像采集与处理研究 绷娜 m 玩那林月 不 曰 曲 . ， 助加n 俪 分单画田of d 巴 印 刀 位1 6 ” u l 日 c a 比叼司 喇叻 ，阮 目1 如 1 户 留 isto碱触、 。 c r o s 丫 田 王 m w 伪 幻 .堪of血 n 岌 双 洲 期 pe丘 . 洲田n 们 幻 招田 目此德 国 创 石 “ 书 。 f 世 岭 丽 心 ” 刃 团够曲邸 d 曰 傲 笼 肠q 顶 咖y 绷劝 旧 目 记” 血 和 印 韧 1 咖画印成2 阅 创 27 44 肠入 恤 娜; 人 反 阮 留 名 b 沁 瑰浏 即 伐 翻 1 ， 德 国 m d 坛 刃. 目次 帕 沈肠 . 以 洲 目n 诩单画田 成 场 勺 2 以 万 b 峨 刀 3 5 5 1 力 1 1 笼 凡 如 歌 钾悦 】。 ， 沈 也 耐 呜德 国 2 以巧 表1 2国 内 袄 操作 相 关 ;蚜少 1叮 专 利号 隅撇娜绷撇 微器 件自 动精密定位视觉伺服装置 卯 1 2 1 7 股 0 1 1 3 3 反 鸽 02 1 5 5 3 36 2 (x 又1 以 巧印1 6 2 田 5 加 1 3 扣为 单 位 南开大学 华中 柑 支 大学 j 晾航空 航天 大学 南京理工大学 北京卫1肚 大学 1，石电jj叼心曰 i j数字 化细胞微注射机器入系 统 南 京 理 工 大 学 微系 统 研 究 室自2 0( 幻 年以 来， 在国 家“ 8 6 3 ” 计 划、 国 家自 然 科 学 基 金、 江 苏 省 高 技 术 研 究 计 划、 教育 部 博士 学 科点 专 项 利 研基 金 等 项目 的 资 助 下， 从 细 胞 微 注 射 的 微澎办 侍 性入 手， 对隐藏 于所述微特性背后的微系统 概念、 微流体力学理沦 、 微流体 驱 习 卜 控布 归 支 术、 微流体 数字 化 驱 动- 控制实 验 装置 、 以 及微 流体 基 础实 验和 细 胞注射 的 初步 应 用实 验等多 方 面进 行了 深入 研究， 发明了 具有自 主知 衫 匀 亡 二 权的 影响 流体 流 动的 方 法 和装 置( 已 授 权 发 明 专 利 ) 11 刃 、 细 胞 显 微 注 射 仪( 己 公 开 并 实 质 审 查 发 明 专 利) 侧、 提 出 和 建 立 了 原 始 创 新的 微 流体 数字 化技裂z j 润。 对于章 维 六 侯 丽 雅 发 明 的“ 微流 体 数 字 化 技术 ” 原 创 性 和 先 进 性， 在 江苏 省 禾 眼万于 2 伙 润年3 月邓日 主 持 的“ 微 流体 系 统 数 字 化 技 术” 鉴 定会 上 作 了 肯 定 ( 苏 科鉴 字 2 以 h 第 1 45号) 。 鉴 定 意 见 认为 : “ 微流体 系 统 数 字 不 磁 术， 的 研究 在 基 本 概 念 和 理 论 上 有 原 仓 胜， 为 建立 与 信 息 数 割七 、 能 量 子 掣 渝 及 固 体 运 动 数 字 化 有等 同 意 义 的 物 质 传 输 数 字 化 开 辟了 道 路， 对 微 流 体 系 统 的 研 究 和 技 术 进步 有 重 要 意 义; 该 项 研 究 总 体 达 j 国 际 先 进 水平 。 ” “ 微 流 体 数 字 化 技术 ， 被炸滋导 报 ( 中 国 科 学 技 术协 会 会刊 ) 遴 选 为，2 ( 幻 4 年 中 国 科 学 、 技 术 与 工 程 重 大 进 展 ” 叭 国 家 科 学 技术 部 基础 研 究司 利 技部高 技术 研究发 展 中 心2 (x h年4 月2 5 科 学 研究 柑及 第4 期 ( 总 第1 印期) 上 的国 内 研究栏目 中以 滴 量分 辨 率 谜 j d 飞 升 级” 为 题 报 道了 这 一 研 究 成果 。 h年4 月2 5 日 编辑的 基础 “ 新 微 流 体 数 字 化 技 术 可 使 液 统 研 究 室 u 珠 咖数 竺荆 脚!胞 微 注 射 系 统 有 4 个 主 要 特 点 1刀 津 网: 南京理工大学硕士 学位论文 数字化细胞微注射机器人的图 像采集与处理研究 (1 )注 射 液 数钊扫 咏 冲 流动 ， 注 液 工 序 可 实 现自 动 化且 注射 量分 辨 率 达飞 升 级; (2 )注 射 针 在刺 入 工 序中 数 字 不 匕 泳 冲 地 移 动， 以 较 高 的 瞬时 速 度 减刁 嘲胞 变 形 ; (3 )细 胞由 数 割七 输 送 暑 糙至 显 微 镜 视 野， 免 去 在 培 养皿 中 搜 索 细 胞的 工 夫 ; (4 )细 胞 在 吸 持 器 上 可自 动 调 整 姿 态， 使 细 胞 核 位 置 对 准 钊 尖。 ， 4论文背景 和主要工作 本论文 在下 列科 研项目 资 助下 完 成: 国 家自 然 科 学 基金 项目“ 微 流体 系 统的 数 钊七 驱 乏 办 控 制 一 体 化 基 石 邮珑佣 “ ( 编号 : 5 m7 5 0 7 9 ) ; 教育 部博士学 科点专项禾 阿基金 项目“ 物质数字化中 微特性系统及合理流 动形态的 理 论基础”( 编号: 2 (x 冶 眨88(x)5 ) 论文主要工作: 数字化细 胞微 注射机器人系 统控制系 统急 街勾 成、 细 胞微注 射主 要 工 序中 涉及的图 像检 测、 具体内 容如下: 处理等共性问 题的 研究， 为数钊七 细 胭 人系统的商品化打下 基础。 成、基本 功能分析。 人控制 系统的 功能模 块定义。 人的视郧民 踪研究， 并 编写软件实现其功能 比 较相关 算 法， 编写软件 实 现 其 功能。 (l)(2)(3)(4) 南京理工大学硕士学位论文 数字化细胞微注射机器人的图像采集与处理研究 2数 字化 细胞微 注 射 机器人 系 2，教字化细煦微浮射翻器人兑休全 数 字 化 细胞 微 注射 机 器 人 的 功能 为: 在 视 觉 系 统 引 导 下， 把 操 作又 卖 象 移 动 到 视 野中 心， 对 其 进行 微 注 射 司比 外 还需 要 人 机 接口 ， 以 便工 作 人 员 对 微 注 射 机 器人 进 有 到 没 置、 人 工千 预 等 。 这 样数 割长 细 胞 微 注 射机 器 人 分 成四 个 部分 : 定 位系 统、 视 觉系 统 、 微 操作 工 具、 人 机 接口 网 : ( 1 )定 位 系 统 在 工作 空 间 范围 内 ， 定 位系 统以 较 高 的 速 度对 微 操作 工 具 进 布 予 勿 步 定 位 ， 有 利 于 提高 系 统 的效率。 定 位系 统 采 用两 个1 维彭影 运 动 平 台 组 成x y 工 作平 台 ， 使 用 步 进电 机 驱 动， 精 密 滚 珠 丝 杠 传 动， 导轨 为 直 线 导 轨。 定 位 精 度 可 达l p m ， 工 作空 间 为8 肠 1 1 il l x 8 肠 知 叮 ， 最 大 速 度 为 6 伪 l m此。 (2) 视觉 系 统 视 觉系 统为 细胞 撇主 射 提供 非 接 触 式 闭 环 控 制， 可以 有效 辛 瞻机 器人 及 操 作 环 境的 标定 误 差， 减少对系统标定精度的依赖. 视觉系统将工作空间放大， 获取并处理图 像信息， 对微操作 工 具 、 细胞 进 行 定 位， 实 现 又 拍 习 胞微 注 射 过 程 的 动 态 监 控， 同 时与自 动 调 焦 系 统 结合 ， 确 定 微 操 作 工 具 的3 维空 间 位 置 。 细 肪 拜 口 微 操 作 工 具 位 置 是 控 制系 统 所 需 要的 最 基 本 参 数。 视 觉 系统 由 光学 显 微 镜 、 c c d 摄 像头 、 图 像 采集 卡 组 成 ， 光学 显 微 镜 选 用n 加 龙公 司 倒 置 显微 镜rli 卿tsl oo， 其 放大 倍 数 高 达800 倍。 图 像 采 集 部分 选 用n 山 呱公 司 的d s- s m -u1 显微图像采集系 统。 (3 )微 操 作工 具 细胞 注射 过 程由 微操 作 工 具 来 完 成， 所以 它 是 整 个 微 注 射系 统 的 核 j 合 。 针对 不 同 的 任 务 ， 需 要 设 计 不同 的 微 操作 工 具 。 恻桑 作 工 具 主 要 有 细 胞 输 送 管、 细 胞吸 持 针、 细 胞 注 射 针. 在 细 胞 注 射时 利 用 细 愈俞 送管 ， 采 用 微 流 俐俞 送方 法 ， 以自 动 送 料的 形式 将 细 胞 输 送至 蜘胞 输 送 管、 细胞吸持针、 细胞注射针出口的 汇聚区域。 细胞吸寺 十 用于调整细胞的姿位， 固定细胞， 避免 注 射时 细 胞 游 动。 细 胞 注射 针 对 细胞 膜 进 行穿 刺 ， 再 把物 质 注 入 细 胞1期 。 细 胞 输送 管 、 细 胞 吸持 针 、 细胞 注 射 针 的 韦 啡都是 通 过南 京 理 工 大学 微 系 统 研 究 室自 己 研 制的 可改 变 加 工 参 数的 微拉 针 仪 拉 制， 再 通过 日 本n 晚 如罗公 司 生产 的n ， 久 刃 锻 针 仪 进有 到 毅 烧， 最 后 通 过自 制 的 磨 针仪 修整 尖 端。 驱 动 器 主要 采 用德 国pl公 司 生 产 的 压电 陶 瓷 驱 动器 进 行 数 字 化驱 动 控 制， 型号 是 开 环 的 具 有 弹 簧预 载 的p 冬 抖 . 1 0( 低 压i oo v ) 。 为 使压 电 驱 动 器 产 生 加 速 度绝 对 值 变 化 的 运 动， 需 要 特 殊波 形 的 驱 动申 压。 为 此 研 瑞 ! 了 油 南京理工大学硕士学位论文 数字化细胞微注射机器人的图像采集与处理研究 2 2 . 1运动控希 喉 块 运 动 控 市 雌块 对x y 工 作 平台 进厅运 动 控 制 。 工 作 平台 的 控制 核 j 白 为8 051 单 片 机， 封 装 在 控布 峭内 。 工 作 平台 经 串口 线与 计 算 机 相 连， 以 下 为 部分 串 口 通讯 协 议: . 1 92 印波 特率 ， 8 位数 据， 奇 校 验， 1 位 停 止 位; . 无参数命令格式:目 士陌刀 d 二 . 司d 户 卉毛， 表示 1 3 轴; 。 c 幻 侧 卜 1 礴， 分 别 表示 左 进、 右进 、 停 止 、 清零 ; . 带参数命 令格式:目 比 出 m 记 构司 行徨 设 置印 1 萨l ， v al: 飞 状 联 欲 (7位正 整 数， 不足 前 面 填0) 运 动 控击 喂块 通 过串 口 向 控 希 ( 箱发 送字 符 命 令 ，由 控 布 1 箱 解释 执 行。 具 体 步 骤如 下: (l )设 置 参 数: 包括 : 端口 选 择c q m i 或c o n 口 、 波 特率 、 速 度; (2) 连 接 串口 : 用 文件 方 式 连 接串口 ， 包 括 : 用c 比 的 于 i le 打 开 串口 ， 串 口 初始 化， 用 r 汾 那 1 1 司和认 喻即 u 司 对串口 进 行读 写 操 作 : (3 )结 束 时 关 闭串 口 。 2 二2图 像采集与处理模块 图 像采 集 与处 理 模 块 包 括图 像 的 采 集与 显示 、 图 像 预 处 理、 目 栩期目 与定 位 ， 是 论 文 的 主 要内 容， 将 在 第3 章 和 第4 章详 细 讨 论， 这里 简 单 介 绍 一 下图 像 处 理时 要 使 用 的 软 件。 在进行图 像处理时， 利用一些见 有的图 像处理工具包可以 缩短程序的开发 周期， 从而有更 多 的 时 间 和 精 力 去 解 决 关 键 问 题 。 本 系 统 选 用加 e l 公 司 开 发 的 开 源 函 数 库 饰献州阉 : q ， ，是 “ q ， i so u 民 冶 。 油 p 口 “ 巧 s i anl 访 1娜 ” 的 简 写 ， 它由 一 系 列c 函 数 和 少 量的 c 杆类 构 成， 实 现了 图 像处 理 和 计算 机 视 觉 方 面的 很多 通用 算法 。 q ， v 可以 直 接 应用 于 很 多 领 域 ， 可 作 为 二次 开 发 的 理想 工 具 。 q 阵 11 cv 具有 以 下 一 些 特 点 : . 开放c源码; . 基 于加 d 处 理 器指 令 集开 发 的 优 化 代 码，有效 的 利 用了m 浏 叹技术 ; . 统一的结构和功能定义; . 强大的图 像和矩阵运算能力; 。 方 便 灵 活的 用 户接口 ; . 同时支持m s-w 孙 几叼 ws ， l 序 几 吠平台。 q ” 汇 ， 实 现 了 图 像 处 理 的 多 种 功 能 操 作 ， 与 加 d 的 图 像 处 理 库 四 卜 加 缪乃 劝 比 留 血 唱 l i加 咖兼 容 ， 实 现 了 对 数 字 图 像 的 许 多 底 层 操 作 ， 包 括 最 基 本 的 边 缘 检 测 、 滤 波 、 形 态 学 操 南京理工大学硕士学位论文 数字化细胞微注射机器人的图像采集 与 处理研究 作、 特殊 图 像 变 换 、 直 方 图、 图 像统 计 分 析 等 。 同 时， q ” 汇 ，还能 实 现中 高 层 次的 算 法 ， 包 含结 构 分 析 、 运 动分 析 和 又 杉 彭畴 、 模 式 识 别、 照 相 书 嘛定 和三 维 重 建。 q ” 汇 ，中 使 用的 图 像处 理的算法都剥丙 成本，高性能的. 2 2 )细 胞微注射控希 喂 块 细 胞微 注 射 控 制 模 块对 细 胞 注 射 的 五个 动作 : 输 送、 姿 位调 整、 刺 膜、 微 注 射、 转 移 进行 控 制， 如 图m 所 示， 其 难 点是 对pl压 电 驰 动 器 施 力 瞬 定 参 数 的电 压 、 频 率 、 波 形。 为 此 酬 制 了 波 形 和 参数 可 彭卸 编 程 的 任意 波 形 功 率电 潦均 ， 由 基于此 机e a 总 线的 在 线 可 编 程数 字 合 成 信 号 源和 夕 嘟的 功 率 放 大 器组 成 。 信 号 源具 有 三 路 输出 ， 既 可 输出 连 续的 周 期波 形 ， 又 可 输 出 单 次的 周 期 波形 . 通 过 细 胞微 注 射 控 制 模 块 将波 形的1 。 】 ) 个 数 据 写入 信号 源 电 路 的 e z 限q m ， 由e z 班 阳 咐配 合 其 它电 路 产生 数 钊言 号， 然 后 通 过创a 转 换 器 输出 模 拟波 形 信号 . 外部的功率放大器将信号源输出的模拟波形信号放大10倍， 通过b n c口输出给pl公司的压 电 陶瓷， 作为 压电驱动器的驱动信号，使压电陶瓷 产生微量 的位移。 图 2 .4细胞荡绷寸 控市 喉块 微系 统 研 究 室 开 发了 任意 波 形 驱 动 软件 对驱 动 电 源 进行 控制 ， 该 软 件 主 要 具 有以 下 功育 罐 块: ( 1 )波 形 数 据 生 成 模块 利 用 函 数 表 达 式 法 、 加 速 度 曲 线 法 及 直 接 输 入 数 据 三 种 可 选 方 法 生 成 波 形 数 据 。 波 形 数 据 由 驰 司 破形 中 的1 仪 x) 个采 样 码 组 成， 由 于 波 形数 据存 储 单 元 为1 2 b its ， 因 此波 峰 处 的 值 总 被 映 射成粼 刃 5 ， 其他值依此映射为仆 却 脚 5 间的值。 (2) 波形数据写入 模块 南京理工大学硕士学位论文数字化细胞撇注射机器人的图像采集与处理研究 波 形 数 据 在 线写 入 是 本电 源的 特色 所在 ， 采 用e 乍 ro m取 代常 规 使 用 的e p r o 1 作 为 波 形 存 储 元 件 ， 并 设 计了 在线 写 入申 路实 现了 输出 波 形 的 在 线 编 程。 写 入 的 波 形数 据 可以 从 文 本 文 件里 读取 ， 波形 数 据是 由 波 形 数 据 生 成模 块 生 成 的。 (3) 参数 设 置 和 发 送 模 块 参数设 置 和 发 送 模块 的 界面 如 图乃 所 示 . 发 送 参 数主 要 包 括 波形 输 出的 频 率 和电 压 。 由 于 每 发 送 一 次 波 形完 成 一 个 周 期的 驱 动， 因 此发 送 频 率 决定 了 驱 动 的 快 慢。 而 电 压 实 际 上 是 输 出 波形 的 幅 度值 ， 电 压 值 越大 ， 压电 驱 动 器 形 成的 力 琏度绝 对 值 越大 。由 于p 象 “ ，1 0 的 极 限电 压为1 田v ，故电压设置的最大值为1 佣v 。 发送参数还包 括相位和步行方式。 相位主要用 于多 路发送时，决定各路间的 相位差 。 步行 方 式可 分为 澎卖 发 送 和单 步 发 送两 种 。 采用 单 步 发 送 方 式时 应 输 入 发 送的 次 数 ， 在 发 送 完 指 定 的次数后会自 动停止。 编 码 驱 动 是 根 据设 计 的 驱 动 码发 送 波形 。 驱 动 码由，1” 和，t0” 表 示， ，l” 表 示发 送， ，t0” 表 示 不 发 送 。 例 如 “ u 1 0loo” 意 味 着彭卖 澎艺 三 个 周期 的 波形 后， 停 发一 个周 期， 再发 送一 个周期，再停发两个周期，如此循环。 ， 叩 叩电 压相 位 阳 ， 步 。 式 内. . .一 一 -一幽 州 一， 一 一， ， 叭叫 - 响 一扁 一砰 平 一，习 一呵一 卑 茸 竺 习 一 贬 万 到 垂 至 卫 一 一 咬 二到 j 呼 哪 _一 此 处 愉 入 . 码 值厂-一.r编 码 契 动 ， ，. 一 彼形图 浏览- 一 黑- 一 广 ” 二 衅产 一 ， 岁 释 丝 一 . 呷 产 呷 二 。 件 甲 ， . - - 一 “ 一 1- 一 - - 一 丫朴 - - - - - 一 - - 一 - - 一 一 、 一 - - - - - 一一一 - - - 一 ， 轴选脚 - 一 厂 啪 1- 、 铂 : 厂 之油 广 考 既1.了 ;一二 ! :5 尽 刃 一 ” ! 3 网 ! “ 胭 弋 ) 1 回么 目3 山 j 月 因5 囚日 蓝 1 7 叩日 刀1 口 jl 琪幻 图 2 5 2 之 刁人 刀 l 接口 沐 机接 口 完成 图 像 采 集与 处 理 模 块 、 运 蒯空 韦 归 莫 块 、 细 胞 微 注射吻偏 续 模 块的 初始 化 、 参 数 南京理工大学硕士学位论文数字 化细胞微注射机器人的图像采集与处理研究 设 置 及线 程 控制. 通 过窗口 直 接 将 操作 区 域的 信 息 提供 给 操作 人员， 通 过菜单 和 工具 栏 按钮 对 图 像分 辨尊 拜 口 显示比 例 进行 修改， 在不同 的c c d间 快 速切 换， 显示 视 觉系 统的 当肩 渊疮， 包 括: 帧 速、 模板 定 位 结 果 、 模 板的 信 息 及 模 板 显 示 窗口 。 通 过图 像 用 户 界 面 ， 操 作 人 员 可以 很 方 便 获 得当 前 的 视 觉 系 统 状态， 方 便 操 作 人 员 的 操 作 与 干 预. 2. 3本 章小结 (l )数字 化细 胞 恻主 射 机 器 人系 统由 定 位 系 统 、 视 觉系 统、 微 操作 工 具 、 人 机 接口 四 个 部 分构成，分析各部分基本 功能和所需 设备。 (2) 数 字 化细 胞 微 注 射 机 器 人 控 布 啄统由 : 运 动 控 带 0 模 块 、 图 像 采 集 与 处 理 模 块 、 细 胞 微 注射 控制模 块、 人 机 接口 四 个功 能模 块 组 成， 分 析其 功育 卸实现 方法。 南京理工大学硕 士 学位论文 数字化细胞微注射机器人的图像采集与处理研究 3 数字 化 细胞微 注 射机器 人的图 像 采集 对 细 胞微 注 射进行 控 制， 首 先 要 从图 像 采 集 设备 得 到 视 频 序列， 实时 抽 取 所 需的 别贞 图 像， 在 得 到 显 微 镜 视 场下 的图 像 信息 后 才 有 进行目 初 积别 孙影 综 等 其 他 处 理。 3. ，图 像 采 集模 块的 硬件 构 成 图 像 采 集 模 块 采 用日 本n 翻 阅公 司 生 产 的d s 夕 功 摄像 头 ， 相 匹 配的ds一1 控 韦 器 与绷亩 连 接 ， 构 成d s 一 匀 功 刀1 显 微图 像采 集 系 统 ， 如 图3. 1 所 示 。 d s- s m摄像 头 是 高 分 辨率 彩 色c ( 刃， 将 显 微 镜 侧易 内 容转 换 为2 维时 变 视 频 信 号， 通 过usb 2. 0 接口 传 送 到d s- u i 控布 喘， d s- u i 控 制 器 经 过u 喀 b z .0 接口 把数 据f 掣 渝 给蜘亩 。 采 集系 统各 部 分 通 过u s b z .0 接口 相 连， 不采 用 单 独 的p c i 卡 ， 这 是 因 为u s b z .0的 数 据 子 魏褪渡高 达4 8 0 n 山 1 比 ， 而 且 接 插 使用 方 便 、 兼 容 性 强。操作人员 在电脑上通过相关软件控布 幅像头， 设置参数，轻松捕获视频图像，进行分 析。 d s- sl 随摄像头的主要技术参数如表1 1 所示， d s- ui 控韦 蟋的主要技术参筹 续 日 表拟 所示。 在 图 像 采 集 中 最 关合 的 是采 集的 帧率 和 分 留 辛 率， 图 像 采 集 模 块 选择c 。 滋 er 留引 司刀1 0 以丈 刃秒 表32 d s- l j i 主 要技 术 参 数 甲 连续自 动拍摄时旬5 秒 1 2 小时 曝泪蛛叮 程 序a e 、 快 门 递夏 优先 ae 、 焦点 a e 、 手 袱允 焦 功 能 换 ( 光方式 平均为 恍、中央重点测光 测光区域3 阶段尺寸切换 电子变焦5 公 盯势 乞 1 己灵 图像料各 式b n田、tif f、尸e g、尸e g z (x 刀、乃 画像调整亮度变换、对t 踱 变换、丫 修正、色秽包 和度调整、色调调整 白平衡 撇 方式、色平衡调刻七 南京理工大学硕士学位论文数字化细胞微注射机器人的图像采集与处理研究 3 2图像采集方 祛研究 图像采刻 莫 块需要实现以 下4 个功能: ( 1) 获得 图 像采 集 设备 采 集 到 的 视 频 流; (2) 实时 预 览 采 集的 毛 贴西 充 ; (3 )实时 提取 视 频 流 里的 图 像， 以 佣黔衅 澎 综 、 分 析 ; (4) 自 淤 在 采集 的同 时 ， 对平 聆 须 流 进行 汪 乡 窗 ， 保 存在 硬 盘 上 。 从 技 术 角 度 来说 ， 要 实 现图 像 采 集 模 块的 功能 ， 就目 前 所 知 ， 有 三 种可 选方 案 1阔 : 0 )利 用图 像采 集 设 备附 带 的 开 发 工 具 包s d k ) ; n 加 光公司 为 图 像 采 集设 备d s- s m ， u i 提供 了 相 应的 开 发 工 具 包: u i so仕 w 口 吧 1 ) ， le l 叩 材 5 众 ( 以 下 简 称5 创 叼。 通 过s d k开 发 出 软 件以 控 制d s 5 m ， u i o s d k 基 于 微 软 公 司的伪n 切1 ” 吐 啊以m 以 七 1 仪 01 田 技术 ， 通 过c o m又 水 象 的 接口 ， 获 得d s ， s m -u1 的 各 个 功能 参 数 。 采用s d k 方 法 进行 开 发时 ， 需 要一 定 时 间 熟 悉s d k ， 了 解 采 集 卡的 性能 ， 开 发 的 程 序 与 底 层石 卵 阵 相 关 性 大， 而且 涉及 到 相当 多 的c o m技 术 知 识 . 考虑 到 图 像 采 集 模 块 将来 要 进 行 功 育 犷 展时， 会使用其他公司的摄像 头和采集卡， 而各种图 像采集设备所附带的s d k不尽相同， 开 发 的 程 序 又 和 硬 件 相关 ， 这 样当 替 换 硬 件 时， 要 学习 新的s d k ， 改 动 相 应的 程 序 ， 局限 性 很 大 。 s d k 这 种 方法 不 仅 开发 工 作 量 大， 而且 在 通用 性、 扩展 性 、 灵 活 性 上无 法 满 足 更高 的 要求。 (2) 使 用