基于眼动关键技术研究与设备研发可行性研究报告

- 1 - 一、项目摘要 （ 1）总体目标 探索自然和谐的人机关系已成为计算机研究的一个重要领域， 自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。视线应用于人机交互具有直接性、自然性和双向性特点 ， 这也是 眼动技术 应用于 人机交互 特有优势 。 通过本项目的实施，应用、完善眼球识别及高速眼动跟踪核心关键技术，实现视觉指示模块化、微型化，研发出一系列具有自主知识产权的智能化人机交互系统设备，探索下一代电脑多通道人机交互系统应用模式。 具体目标为： 开发 视 线跟踪 （ 又称眼睛瞄准系统或视觉跟踪 ） 应用 系统 。 研发 眼控笔记本产品原 型 （ 2） 研究 内容 提出 微型视线跟踪器 系统架构； 攻克一系列 系统集成技术，包括视线跟踪模块、输出显示模块、后台信息服务相关设备； 研发出服务平台系统和视觉交互信息终端。 视觉定标模式及眼动模式识别与交互功能定义； （ 3）关键技术 基于视频分析的 高速 眼动跟踪技术； 眼部特征 快速 分析的视线指示技术； 交互 功能 模块微型化技术。 （ 4）技术创新 - 2 - 提出 下一代电脑多通道人机交互系统 架构 ，实现 系统架构 创新 ； 制定多通道人机交互系统的数据传输协议和接口标准 ，实现标准创新 ； 攻克视线跟踪模块、输出显示模块和信息服务相关 设备集成技术，实现系统集成创新 。 （ 5）基础条件 本项目依托单位 重庆市科学技术研究院 是重庆市政府批准成立的正厅级事业单位 ， 是集研究开发、技术转移、成果转化、人才培训和国际交流为一体的工业技术的综合研究机构，是重庆市组建的最大的科学研究和科技创新服务机构 。 为项目的顺利实施提供充足基础条件。同时， 目前 ,我们的核心技术 形成了系列化的原型应用， 从 2007 年开始应用在临床医学眼球震颤检查 ， 2008 年应用到临床医学色素变性病人瞳孔光反射检查 。在技术上准备充分，为项目的顺利实施提供保证。 （ 6）经费预算 项目 预算资金 95 万元 。 其中 试制 设备 15万元， 材料费 15万元，测试化验加工费 8万元， 燃料动力费 2万元，差旅费 6万元，会议费 6万元，国际合作与交流费 3万元，出版 /文献 /信息 传播 /知识产权事务费 5万元，劳务费 10 万元，专家咨询费 3 万元， 管理 费 7 万元 。 计划申请市科委 资助 60万元。 项目 经费科目 及预算细则参见项目预算书。 （ 8） 市场前景 我国笔记本 产品市场需求巨大 、稳定，拥有千亿级市场规模； 视觉跟踪系统 ，可以 广泛应用于军事领域的预警、火控、制导 ，特种行业的目标指认（指示）及远程行动指挥交互，拥有 千亿级市场规模 ， 产业前景可观。 - 3 - （ 9） 项目成果 项目可获得国家专利至少 3 项，软件著作权至少 2 项； 发表学术论文至少 2篇； 建立 实验验证 系统 2个 。 （ 10） 项目 效益 项目研究可获得 眼动技术 在 笔记本人机交互及视线指示行业应用 若干关键共性技术突破 ；项目研究将促进 人机交互 领域的技术进步和多学科技术交叉形成；项目研究可获得自主知识产权 ， 推动新型人机交互设备商品化 ，对促进重庆 造中心的战略性产业发展具有重要意义。 （ 11）风险分析 该项目核心 技术为公司专业自有知识产权技术，专业性强 ， 可模仿性较差 ，可形成 一定技术壁垒 ，保障长期的收益， 核心技术相对成熟 ， 硬件模 块化加工 门槛不高 。 因此，抗风险能力较强。 （ 12）结论与建议 项目研究 立题新颖， 内容明确，重点突出， 技术可行，预期成果显著，产业前景可观，建议立项支持。 二、项目的意义和必要性 必要性 1. 项目研究符合国家和重庆市中长期科学技术发展规划，符合“ 重庆打造西部 造业高地 ”兴新战略性产业发展计划 本项目以“ 基于眼动关键技术研究与设备研发 ”为题， 具体涉及视线跟踪（又称眼睛瞄准系统或视觉跟踪）应用系统设计开发和 眼控笔记本产品原型研发。 针对特种行业人机交互应用及通用民用级眼控笔记本产品， 通过 若干 - 4 - 关键技术攻关，一系列 应用 样机与软件系统，建立示范工程，并推进产业化发展。 本项目研究符合国家中长期科学和技术发展规划纲要（ 2006的重点领域及其优 先主题中“传感器网络及智能信息处理” 之国家重点鼓励的产业发展政策；本项目研究也符合重庆市中长期科学和技术发展规划纲要（ 2006的重点领域及其优先主题中“ 下一代网络与通信技术 ” 之重点鼓励的产业发展政策。 综上所述，本项目研究符合国家和重庆市的中长期科学技术发展规划，符合“国家 新兴战略性产业发展规划，符合重庆市西部制作高地的 战略性产 业发展规划。 2. 项目研究可获得 眼动技术 在 眼控笔记本和多个专业 领域的商用化关键共性技术突破 本项目旨在通过深入研究 眼动技术与人机交互 技术现状、发展趋势、面临的问题和关键技术，利用 产业政策优势和技术上国际同发优势，结合项目研究团队较好的前期研 究基础，实现 眼动技术 在视觉指示 应用领域的商用化 的 关键技术突破。 技术的突破 体现在： （ 1） 提出微型视线跟踪系统架构 ：本项目将构建一 种微型的、 能 快速商品化 应用视线跟踪体系架构 ，建立开放性的应用协议和标准接口。 （ 2） 攻克一系列系统集成技术，包括视线跟踪模块、输出显示模块、后 台信息服务相关设备。 本项目将深入研究 多种人机交互的 应用需求，结合相 关 领域内的技术标准，研究一种低成本、高可靠、 高精度 的 眼动跟踪模块 ，满足商用化 视觉指示系统和眼控笔记本 的实用性 。 综上所述，本项目研究将获得 眼动技术人机交互 应用的关键共性技术的突破，使 视觉指示系统和眼控笔记本 系统达到实际商用化水平。 - 5 - 视觉跟踪的研究和应用在国内发展比较缓慢，国外研究与报道相对较多 。 人眼视线方向的估计方法分为两种主要研究方向。一是基于神经网络；二是眼部特征分析。一般情况下基于神经网络来估计视线方向 具有较高的精度和实时性，但是 通用 性较差，因为当环境改变时需要重新建立网络模型。基于眼部特征分析的方法，利用立体视觉的原理，可以比较精确地获取眼睛部位的三维信息，从而得到眼球的偏转角度和视线方向。目前，主要检测方法及其特点比较结果如表 些方法都需要借助图像处理这个工具来完成视线输入方向的识别 。 目前 掌握 眼动跟踪核心技术 并能达到产品化应用要求的 在国际上有几个重要的对手 :拿大 ),国 ),国 )典 )。 其中 , 主要定位于基础研究领域， 高速处理 方面相对领先 ,可以达到每秒 1000 次跟踪处理 ,但其缺陷在于高昂的价格和较低的图像分辨率 ; 经具备较成熟的追踪系统，主要应用于心理学研究和用户视觉行为分析， 稳定性方面 表现 不很优秀 ；德国 该公司的产品 主要 应用于教育科研、体育科研和医疗诊断领域 ；以色列也有该技术，主要应用于战斗机瞄准指示设备 。 - 6 - 业界动态与应用 苹果 2008年 收购了 司 ,交易价格 2150万美元 。 要拥有一个眼球跟踪器的技术 ,可以嵌入设备中观察用户在应用程序和网站上的视觉焦点 ,苹果可能会将这 一技术加入其消费电子产品中 ,帮助用户用更简单的方式来读取屏幕上的信息 ,包括台式机 ,笔记本甚至是 英国飞行国际网站 2008年 8月 27日报道 埃尔比特系统公司正在开发眼球跟踪技术，以参加增强 战斗机飞行员头盔显示系统项目的竞标。埃尔比特公司称，目前典型的头盔视场是 20 40，如果敌军的飞机在此范围之外，则限制了头盔瞄准武器的能力，尽管飞行员能够看到它们。埃尔比特公司的解决方案是：在其未来头盔系统内综合一个跟踪设备，通过飞行员眼睛控制的红外光线跟踪产品 方原型 处理速度 (次 /秒 ) 5000000效图像分辨率 400x 300 60000024干扰性 优 良 优 优 - 7 - 敌机。该系统随后再通过处理其反射光线，探测眼睛所看到的地区，这样使瞄准视场拓宽至少 15%。在某些情况下，如目标或平台处于高加速度或高角速率的情况下，在用武器截获的目标附近，显示器的十字瞄准线不可能稳定太长时间。因此，埃尔比特公司正在与以色列理工大学联合 开发该眼球跟踪技术 . 8 - 到了价值 1500 万美元的订单，进行 联合头盔指示系统（ 的初始生产。 联合头盔指示系统 将磁航向跟踪器与投射到飞行员面盔上的显示器相连，从而使飞行员拥有了目标跟踪设备。无论飞行员看向何处，都可以利用它来瞄准传感器和武器。因此，拥有了 联合头盔指示系统 ，飞行员可以瞄准雷达、空对空导弹、红外传感器和空对地武器，而不需要将头对准目标，也不需要按动飞行控制按钮。另外，在空战期间，飞行员可以在 平视 时 浏览任何想看到的数据（飞行速度、高度、目标距离等），而不需要去看座舱。 （ 1） 我国的笔记本电脑用户需求量大，有成熟的市场需求 和产业基础 。 2008 年 10 月 9 日惠普和重庆举行项目签约仪式，签下 400 万台笔记本电脑基地项目； 2009 年 8 月 4 日，惠普将重庆生产基地的定单从内销 400 万台扩大外销 4000 万台； 2009 年，富士康也落户重庆，随后英业达、广达、宏 碁 也接踵而至； 120 多家零部件生产企业也到重庆建厂。这让重庆笔记本电脑的本地配套率在 2010 年年底达到30%40%。短短两年时间，一个聚集 数百企业、到 2015 年将形成 1亿台产能、 7000 亿元产值、 1000 亿美元进出口的笔记本电脑产业基地，行业发展前景十分看好，经济投入规模巨大。 （ 2） 视 觉跟踪应用系统在 我国 特种行业的视 市场需求巨大，可形成千亿级市场规模 视觉跟踪应用系统 主要应用与特种行业， - 9 - 三、项目的基础条件 ：与项目相关的前期工作情况，现有技术基础和工作基础，包括前期所取得的成果或技术（工艺）情况，国内外在该技术领域的专利情况，相关领域的试验及示范基地建设情况，研究开发队伍和产学研结合等情况 作单位及合作模式 （ 1）项目 承担单位概况 项目承担单位： 重庆市科学技术研究院 重庆市科学技术研究院（简称重科院或市科研院）是整合原属中央和地方的 10 个研究院所于 2008 年重组而建，原名为重庆市应用技术研究院，是重庆市政府批准成立的正厅级事业单位。 重科院 是集研究开发、技术转移、成果转化、人才培训和国际交流为一体的工业技术的综合研究机构，是重庆市组建的最大的科学研究和科技创新服务机构 。 重庆信息与自动化技术研究中心 是重庆市科学技术研究院下属的研究中心，成立于 2009 年。该研究中心以信息与自动化技术为研究核心，围绕科技成果二次开发和产业化开 展研究与推广工作，经过一年的建设，已经初具规模，具备了开展相关领域技术研发、科技成果二次开发与产业化的能力。中心在自动化技术研究领域和院属研究所重庆工业自动化仪表研究所建立了紧密的合作关系，该所为重庆市高新技术企业，主要从事自动化仪表、自动化工程设计、开发、制造、检测及技术咨询、技术转让和中试生产等，拥有一个研发中心、二个生产事业部、三个工程事业部、一个检测中心、一个行业工作部和六个职能管理及服务部门，建所以来完成科研课题 1600 余项，制订国家、行业标准 100 余项，完成国家重点科技 - 10 - 攻关项目 90 余项。获国家、 部科技进步奖 30 余项，部（省）级奖励 200余项，专利近 100 项。 （ 2）项目合作单位 概况 项目合作单位： 重庆 飓鹰科技 有限公司 前 身 是 成立于 2004 年的重庆 眼动科技实验室， 经多年 技术发展 ， 产品和应用逐渐成熟，其中眼震分析仪在国内多所医院进行了临床实验。公司 致力于眼动技术 研发、生产、销售、服务 ， 以科技创新路线为战略， 秉承 专业化、规范化、科学化、客户观、价值观的经营理念；以管理创新、竞争取胜、整合资源、合作发展的指导思想来发展壮大公司 ，服务社会。 （ 5）项目合作模式：产学研联合研究与产业化应用推广 项目承担单位拥 有 科研人才、 科研设备、 理论研究、 科研场所、科研设备、科研政策等优势资源；项目合作单位拥有 市场 资源和前期研究成果基础、工艺技术基础、生产制造能力、市场推广能力等优势资源。 双 方充分利用产、学、研 各自资源优势合作研究，实现研究成果、经济效益、社会效益的共享，并共建 智能公交系统 技术领域的长期科研平台，推进持续研究，促进产业化发展。 技术基础 及工作情况 目前 ,我们的核心技术可以高速识别追踪瞳孔 ,并从 2007 年开始应用在临床医学眼球震颤检查 ； 2008年开始应用到临床医学色素变性病 - 11 - 人瞳孔光反射检 查。 我们的核心技术在医疗科研领域经过 4 年的临床使用，其核心技术应用比较成熟：应用于医学眼球运动分析已检测病人 300 多例，正常人 50 多例，发表医学应用文章两篇。 A 2010 , 动仪与眼电图检查正常人扫视运动的比较研究 2009 年 15 期 , 第三军医大学学报 1000009) 自 2004 年，初步形成眼动系列应用系列，完成的原型应用有： a) 医学高速眼震记录仪。 b) 医学瞳孔对光反射记录仪。 c) 穿戴式眼动仪 d) 穿戴式视觉指示、交互系统 - 12 - 医学高速眼震记录仪 穿戴式眼动仪原型 在瞳孔定位技术方面，形成了自身的技术特点，高效、高精度： 亚像素级高精度瞳孔定位样片 500 次 /秒高速双目瞳孔定位与跟踪 - 13 - 瞳孔跟踪技术数据样本 1 1 2 . 5 113 1 1 3 . 5 114 1 1 4 . 5 115眼球运动异常的眼位跟踪（ 500次 /秒） 分辨率测试数据 样本来源 ：分别采用健康矫正正常视力的成人组进行测试。 视标指示 ：采用 布： 间间隔为5度。 测试步骤和方法： 在水平方向方向上视标指示顺序按 - 14 - （ 0度、左 5度、右 5度、 0 度、左 10 度、右 10 度、 0 度、左 15 度、右 15 度、 0 度、左 20 度、右 20 度、 0 度、左 25 度、右 25 度 注视方位） 进行测试。测试中每个方位指示灯亮的时间控制在 2500 毫秒，全程记录瞳孔中心震动波形和数据。 实际测试波形如下： - 2 5 0- 2 0 0- 1 5 0- 1 0 0- 5 0050100150200 6 8 72 1115 1517 1744 4628 275 人成人组测试数据 5度视标间隔 均值分析 （下表） 倾角 眼别 编号 不同 20 10 5 10 15 20 25 间隔 - 15 - 均值 0 左 1 82 A 25 48 70 90 110 22 5 2 77 39 19 40 60 82 98 87 45 27 48 71 93 113 23 2 4 87 45 35 40 67 85 106 69 34 17 34 52 70 84 均值 度 5度（即弧度 300分 ）视标间隔 均值为 转 化为 弧度 像素 。 注释： 是变化量，注视点 5度间隔时瞳孔中心移动的像素数量。 该位置的数据无效，如因为眨眼或照明不稳定引起的瞳孔中心位置无法确定。 线性度测试分析 成人组测试数据 5度视标间隔 均值分析 （下图） 。 对应上表中 据图中在横向 3， 4位置有三个数据用 0表达。 - 16 - 3 4 5 6 7 8 9系列1系列2系列3系列4系列55人组眼动测试 线性度，在 30 度内，线性度良好 目前 公司主创人员 申请 的 相关专利有 : 200610167522 一种基于视频图像处理的快速瞳 孔中心定位的方法 200710092629 眼动测试分析仪 200720125077 眼球刺激装置 200720125076 眼球震颤测试仪 200710092631 斜视测试仪 200710092630 眼动测试分析方法 其中 ,200610167522 号发明专利申请目前处于实质性审查阶段 ; 200720125077 号实用新型专利 和 200720125076 号实用新型专利已取得专利证书 。 国内相关的专利有： - 17 - 数字视频眼动分析仪 眼睛操纵 的控制器 眼动感知方法和系统 一种眼动检测方法及其装置 用于利用人眼进行设备控制的装置 一种眼动检测装置 眼动传感器 一种用于穿戴式计算机的人机交互头盔 基于眼动和头动检测的新型人机交互装置 基于虚拟现实的驾驶员注视物体识别系统 一种利用视觉进行非接触式人机交互的系统 基于眼电信号的人机交互系统 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组 究开发队伍 本项目为重大攻关科研课题，主要研究目标、研究内容和关键技术涉及传感技术、 图像处理 、人工智能、模式识别、微功耗与可靠性等高新技术，以及产品工艺技术。为保证项 目研究获得关键技术突破，形成自主知 - 18 - 识产权，研制出正式产品，推进产业化应用，充分发挥良好的经济与社会效益，本项目研究拟采取产、学、研相结合的模式开展攻关研究。 具体合作研究分工如下： （ 1）项目承担单位 主要负责主持、管理、策划和实施项目的研究工作；主要负责 多通道人机交互系统架构 关键共性技术的理论、技术与算法的研究工作； 制定多通道人机交互系统的数据传输协议和接口标准； 负责学术成果、知识产权的编写、申报等工作；负责向合作单位三提供产品化关键技术支撑和试验数据支撑等工作。 （ 2）项目合作单位 主要负责产品方案设计 、产品线规划、产品样机研制、产品工艺技术设计、产品试验系统搭建、产品示范工程建设、成果转化与产业化发展等工作。 根据上述产学研合作研究原则，经合作单位双方负责人之间的 酝酿 和反复探讨，结合双方长期产学研发展的共同需要，共同组建了一个学科、职称、年龄结构合理的项目研究小组。项目研究小组的负责人及成员的具体工作分工如下表 1 所示： 表 1 人员分工表 序号 姓名 年龄 职 称 职 务 专业方向 所在单位 联系电话 项目中分工 1 台正 38 高工 控制理论与控制工程 重庆飓鹰科技有限公司 86336266 总负责 总策划 2 程克非 35 副教 授 控制理论与控制工程 重庆飓鹰科技有限公司 技术路线 总策划 3 姚军平 40 教授 医学工程 重庆飓鹰科技有限 67300580 人机交互 总策划 - 19 - 公司 7 王崇明 37 学士 总经理 计算机专业 重庆飓鹰科技有限公司项目管理 5 何耀敏 30 硕士 计算机工程 重庆邮电大学 89137709 系统设计与研发 6 胡晓力 硕士 重庆市科学技术研究院 89137709 系统设计 与研发 四、项目攻关总体目标，实施年限，具体的考核指标 （含主要技术经济 指标）及年度计划安排 目攻关总体目标 实现多通道、多媒体的自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。随着模式识别、自然语言理解和新的传感技术的发展，人机界面技术将进一步朝着计算机主动感受、理解人的意图方向发展 ， 新的多通道、多媒体的人机界面将是发展的主流 。 视线应用于人机交互具有直接性、自然性和双向性特点 。 通过本项目的实施， 应用、完善 眼动跟踪 核心关键技术， 实现视觉 指示模块化、微型化， 研发出一系列具有自主知识产权的智能化 人机交互 系统设备， - 20 - 探索下一代电脑多通道人机交互系统应用模式。 具体目标为： 开发 视 线跟踪 （ 又称眼睛瞄准系统或视觉跟踪 ） 应用系统 。 研发 眼控笔记本产品原型 目实施年限及年度计划安排 根据本项目主要研究内容和关键技术研究的可行性分析，本项目实施的年限为 2 年半，即从 2011 年 7 月 12 月，年度计划安排如下： （ 1）第一阶段 2011 年 7 月 2011 年 12 月 ：总体 设计与任务 分解 项目总体方案设计、需求分析及规划 ， 研究目标的分解、确定各项研究任务 ，分配到各研究人员 ，同时开展部分核心关键技术试验研究 。通过这个阶段 的核心关键技术试验 确定研究方案，将研究内容划分成多个模块 ， 确定各模块任务 ， 分析模块间关系并确定各模块技术指标 ，确定各研究模块的技术接口。 实现目标分解，以便 于 项目组能更好地、协调地开展研究工作。 本阶段成立 三 个研究小组： 系统架构与接口标准组 系统架构与接口标准组主要负责研究基于 多通道人机交互系统架构 ，制定系统数据传输协议及数据接口标准。 视线跟踪 关键技术研究小组 视线跟踪关键技术研究小组 主要负责 视线跟踪关键技术研究小组 关键 技术研究与设 备研发。 人机交互模式研究小组 人机交互模式研究 小组主要负责 基于 高效、稳定用户交互模式 关键 - 21 - 技术研究 及关 键技术研究与设备研制。 （ 2）第二阶段 2012 年 1 月 2012 年 6 月 ：理论与方法研究 系统架构与接口标准组 系统架构与接口标准组主要负责研究基于多通道人机交互系统架构，制定系统数据传输协议及数据接口标准。 视线跟踪关键技术研究小组 视线跟踪关键技术研究小组 探讨、筛选 视线跟踪关键技术与设备 方案 。 人机交互模式研究小组 人机交互模式研究 小组探讨、筛选 高效、稳定用户交互模式关键技术 方法 。 （ 3）第 三阶段 2011 年 7 月 2012 年 4 月 ：样机研制 三个研究小组共同 投入： 视线跟踪应用系统 样机研制 。 眼控笔记本产品原型 研制。 （ 4）第四阶段 2012 年 5 月 2013 年 9 月 ：系统测试 三 个 研究小组 共同协同开展系统可靠性测试与评估。 （ 5）第四阶段 2012 年 10 月 2013 年 12 月 ：总结提高 总结提高：研究总结、验收结题、后继研究、产业推广。 项目总体进度安排如 下 表 ： 项目研究工作进度计划表 阶段 工作计划 2011年 2012年 2013 年 一 总体设计与任务分解 二 理论与方法研究 - 22 - 三 样机研制 四 系统测试 五 总结提高 目考核指标 （ 1）研制 视线跟踪（又称眼睛瞄准系统或视觉跟踪）应用系统 1套 （ 2） 研发眼控笔记本产品原型 1台； （ 3） 申报专利 3项，申报软件著作权 2项， 发表学术论文至少 2篇； 重庆市政府致力于打造中国内陆最大的笔记本电脑基地，预计今后几年，整个世界市场笔记本电脑的销售量会达到每年 3 亿台左右。重庆能够实现每年生产销售 1 亿台电脑，占全球的 1/3。 项目实施推广后， 对 形成重庆计算机高端制造产业具有现实意 义 ， 充分发挥重庆的制造业自身优势 ， 推动上下游厂商配套 ， 预计 使得 笔记本价值 提高 7%，按笔记本的基本产能分析，每年可新增利润 200 亿 。 五、项目的主要研究内容，课题设置方案及承担单位选择方式 目 的主要研究内容 依据本项目的总体研究目标，确定如下的主要研究内容： （ 1） 微型视线跟踪器系统架构 研究 微型视线跟踪器系统 架构包括 视场空间标定、 眼球图像采集 、 图像 - 23 - 分析 处理 和 数据传输几 个 单元 。 （ 2） 攻克一系列系统集成技术，包括视线跟踪模块、输出显示模块、后台信息服务相关设备 （ 3） 研发出服务平台系统 和视觉交互信息终端。 （ 4） 视觉定标模式及眼动模式识别与交互功能定义。 题设置方案及承担单位选择方式 根据本项目研究总体目标、主要研究内容和产学研优势互补结合方式，课题研究设置方案如下： （ 1）本项目由重庆 科学技术研究院信息与 自动化研究 中心 承担 并担任项目负责人 ，总体负责本项目研究与管理工作 ,具体承担系统体系架构研究、 核心技术攻关、 产品初样机 设备 试制 与 系统开发 ； （ 2）本项目由重庆 飓鹰 科技 有限公司 参与合作研究。 重庆 飓鹰 科技有限公司 负责 本项目相关标准制定、工程集成技术规范设计、 产品 正 样机研制、实验验证 系统搭建、产品样机测试、产品制造与市场推广。 （ 3）本项目设立 三 个研究小组，具体分工为： 系统架构与接口标准组：负责系统架构与接口标准组主要负责研究基于多通道人机交互系统架构，制定系统数据传输协议及数据接口标准；视线跟踪关键技术研究小组：视线跟踪关键技术研究小组，主要负责视线跟踪关键技术研究小组关键技术研究与设备研发；人机交互模式研究小组，负责人机交互模式研究小组主要负责基于高效、稳定用户交互模式关键技术研究及关键技术研究与设备研制。 （ 4）本项目合作双方共同开展定期技术交流、现场试验和国际学术 - 24 - 交流，共同总 结科研成果、发表学术论文、申请技术专利、共享知识产权。 六、项目的主要技术特点和创新点，关键技术内容，项目实施的技术、工艺路线，可能取得的专利（尤其是发明专利和取得国外专利）及知识产权分析 探索自然和谐的人机关系已成为计算机研究的一个重要领域，自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。视线应用于人机交互具有直接性、自然性和双向性特点，这也是眼动技术应用于人机交互特有优势。 本项目其主要研究内容和关键技术涉及 心理学、认知科学、软件工程、图形学 、人工智能、模式识别、可靠性 等技 术 。 项目研究 具有多学科与技术交叉、学术前沿、工程实践性强的突出特点 ； 具有行业性强的显著特点 ；项目研究成果的推广应用，属于国家新兴战略性产业，具有良好的新兴战略性产业发展的政策扶持力度。 新点 通过本项目关键技术的研究，可获得以下 几 方面的技术创新： （ 1） 提出下一代电脑多通道人机交互系统架构，实现系统架构创新； （ 2）制定多通道人机交互系统的数据传输协议和接口标准，实现标准创新； （ 3）攻克视线跟踪模块、输出显示模块和信息服务相关设备集成技术，实现系统集成创新。 - 25 - （ 4） 将视线指示技术应用到特种 行业特种应用，实现 应用创新 。 根据本项目总体研究目标 和 主要研究内容 ， 确定本项目研究关键技术内容主要为： （ 1） 基于视频分析的高速眼动跟踪技术 该技术必须具备以下特点： 稳定 ， 物理硬件的可靠性一般由物理设 计来提供保证，处理逻辑可靠性依赖于系统方案和技术实现来进行验证； 精确 ， 满足 空间分辨率；实时 ， 不允许有大的时间延时，延时控制在 1/25 秒以内。 （ 2） 视线指示技术 该技术也 必须具备以下特点：稳定、精确、实时、可修正、可表达。 视线方向的估计方法分为两种主要研究方向。一是基于神经网络；二是眼部特征分析 。一般情况下基于神经网络来估计视线方向具有较高的精度和实时性，但是鲁棒性较差，因为当环境改变时需要重新建立网络模型。基于眼部特征分析的方法，利用立体视觉的原理，可以比较精确地获取眼睛部位的三维信息，从而得到眼球的偏转角度和视线方向。 （ 3） 眼动模式识别技术 人机交互需要有定位 （类似鼠标移动） 、 选择（类似鼠标选择）、动作（类似鼠标双击）等。 识别眼球运动的模式是将其转化为有效交互命令的基础 前题。 眼动主要有三种形式：注视(跳动 (平滑尾随跟踪 ( - 26 - 另外 的眼动如眼球震颤、会聚、扭转等对人机对话没有显著意义。注视表现为在被观察目标上的停留，这些停留通常至少持续 1200 绝大多数信息只有在注视时才能获得并进行加工。 （ 4） 视线交互模块微型化技术 集成化、 微型化 是该技术规模化应用的必要条件。要求模块采用 低功耗 设计 、便 于 安装或携带 ，接口简单， 可以方便地与其他设备进行数据交换 。 术 路线 本项目研究采取总体策划与分工合作、理论研究与设备研发、初样机研发与现场实验、正样机研 发与实验验证系统建设等多个步骤，理论与实践相结合的研究方法展开。 视线跟踪 应用系统 。该系统 可以 广泛应用于军事领域的预警、火控、制导 ，特种行业的目标指认（指示）及远程行动指挥交互 。 特别 适合 高空作业、地下作业、水下作业、 高密度人群等特殊 环境情况下 ， 现场作业人员为远程 指挥 系统指认、指示作业环境的具体目标 。例如， 实时军事协同侦察通过协同侦察指挥员在后端通过实时监看前端侦察员视野目标和视觉观察方位辅助提示被前端侦察员忽视的目标或者指示其对重点目标进行侦察。实时军事目标指示系统用于通过指示者的视线指示方位快速指示军事目标或攻击对象，武器系统跟随指示方位完成瞄准、锁定、待击发状态切换。 - 27 - 该系统的主要组件及其 基本光学 原理如下 ： 系统划分为前端移动终端和后台指挥、支援平台： 前端移动终端：主要包括微型场景摄像机、微型视线跟踪器、数据传输单元等，主要提供指示现场信息。 后台指挥、支援平台：图像分析、行业专家应用系统，决策指挥应用。 - 28 - 系统处理流程如下： 1：标定眼球与场景的相对位置关系，即瞳孔中心位置（ x,y）与场景图像关注点位置（ xw,空间对应关系。 2：跟踪眼球位置（ x,y）及其运动状态。 3：判断为眼球指示状态时，将瞳孔中心位置（ x,y）投射到场景图像关注点位置（ xw,并将场景图像关注点作为视线指示目标传输到后台信息处理平台。 4：后台信息处理平台判断分析前端指示信号，向其发出行动指示。 眼控笔记本产品原型 方案 基于传统笔记本，采用添加相对独立的应用附件的方式，提供眼控应用接入。如下图，在笔记本显示屏下方，增加一个独立的长条型设备， - 29 - - 30 - 系统原理图 眼控笔记本采用微型眼动跟踪系统，该系统通过屏幕附近的红外 特征识别点采用特殊的闪烁规则或特定的形状标定自身；微型摄像头负责跟踪用户头部和眼部细节，根据红外 31 - 眼球的映光 点位置及瞳孔中心位置，反向推算出视线投射在屏幕的位置，其推算可以 按用户个体差异进行微调或者进行精细定标。 其核心处理流程如下： 1：初始化定标，确定红外 显示器的空间关系。 2：采集眼部图像，搜索红外 征点在眼球上的反光点。 3：找出瞳孔中心位置。 4：根据球迷光点反射模型，计算视线投射在显示屏的位置。 5：根据视线运动模式，利用系统消息驱动用户交互。 识产权分析与 可 取得 专利 本项目 预计 可取得 3 项专利、 2 项软件著作权，知识产权情况如下： （ 1）国内专利： 微型视线跟踪 设备； （ 2）国内专 利： 视线指示设备 ； （ 3）国内专利： 眼控模式识别 方法； （ 6）软件著作权： 微型视线跟踪 嵌入式软件； （ 7）软件著作权： 眼控交互界面应用 软件 。 七、项目的关联行动：相关的基本建设、技术改造、技术引进、国际合作等落实情况，与其它相关市级科技计划（工作）、项目的衔接和分工，项目的组织管理措施，其它必要的支撑和配套条件（如基地、示范点、技术或工程依托等）落实情况 - 32 - 划）项目的衔接和分工 （ 1）项目组织实施方案 本项目组合作双方根据理论研究、技术开发、工艺开发、可 靠性研究的优势互补原则，组建了技术、学科、年龄、职称结构较为合理的 课题组 ，并分设 四 个研究小组 ，项目组织 实施方案 为 ： 第一步：在项目批准后，成立以项目负责人为组长、项目 合作单位 负责人为副组长的项目联络与管理组，负责协调与管理； 第二步：成立课题组，制定总体技术方案和详细实施计划并由所技术委员会组织评审； 第三步：按实施计划开展研发； 第四步：组织示范工程的应用； 第五步：组织验收结题。 （ 2）研究分工和计划明确落实 项目组根据项目总体研究的总体目标、主要研究内容、关键技术要求并结合研究成员各自优势 进行了 明确任 务分工，同时制定了 项目研究工作进度计 划，双方将按进度计划严格执行。 （ 3）项目 执行 和经费 使用监管 本项目 立项后将分别纳入合作单位双方的科研管理部门统一归口管理，严格按照项目合同实施监督执行。 项目 研究经费根据 合作 双方 所 承担 的 具体研究任务 按比例进行 分配，分别由各自单位帐务部门 设立专项帐户进行管理， 并严格按照项目 经专款 - 33 - 专用、资金使用 计划 纳入财务管理 。 八、项目总投资预算，资金筹措及来源渠道 目总投资预算 （ 1）拟新增设备 费 本项目研究 相关技术已有前期研究，但为了试 验和建立示范工程，项目需要试制初样机和正式样机产品 具体需要试制设备数量与成本如 表 3所示。 表 3 项目拟新增仪器设备情况表 名称、规格型号 仪器设备来源 单价 (万元 ) 数量 金额 （万元） 备注 头戴显示器 试制 1 3 3 功能与性能验证 头戴 微型眼动跟踪仪 试制 检、验证系统建设 微型视觉指示 器 试制 2 4 8 功能与性能验证 眼控笔记本视觉跟踪器 试制 10 送检、验证系统建设 微光学系统测试仪 采购 3 1 3 性能测试 眼控笔记本 样机 试制 能与性能验证 合计金额 30 （ 2） 项目研究经费 本项目研究与管理经费主要包括材料费、测试化验 加工费、燃料动力费、差旅费、会议费、国际合作与交流费、文献资料费、科技查新费、 - 34 - 知识产权事务费、学术论文版面费、劳务费、专家咨询费、项目管理费等预算科目，并依据项目研究内容、技术路线和预期研究成果进行合理估算，具体预算科目见表 4 所示。 表 4 项目研究与管理经费预算表 序号 预算项目 预算依据 经费（万元） 1 设备费 见表 3 15 2 材料费 试制 所需 模、光学、电子 材料 15 3 测试化验加工费 样 机壳模具加工 工与焊装 8 4 燃料动力费 车辆燃油、水、电： 2年 2 5 差旅费 现场调研、考察和学术会议 6 6 会议费 调研、研究、评审会等 6 7 国际合作与交流费 学术交流 3 8 出版 /文献 /信息传播 /知识产权事务费 资料印制、论文发表、专利、软件著作权申报费等 5 9 劳务费 委托 设计、嵌入式系统驱动开发、测试等 10 10 专家咨询费 标准、产品、产权、行业咨询 3 11 管理费 按单位管理规定计算 7 小计 95 万元 （ 3）项目经费总预算 本项 目经费总预算为 95 万元，其中新增加设备费 30 万元，研究经费65 万元。 目资金筹措及来源 本项目组通过 前期 相关课题研究做了 大量的理论分析和实验研究，论证了本项目的可行性和重大意义。要继续对该项目进行更深入的研究探讨需要更多的资金支持，本项目预算资金共计为 95 万元 。资金筹措渠道为 :申请 重庆市 科技 攻关 计划项目资助 60 万元。资金筹措计划见表 5。 - 35 - 表 5 项目资金筹措计划表 总投 入经费： 95 资金来源 合计 政府 资金 自筹资金 小计 区县科委 市科委 国家部委 其它 小计 自有资金 银行贷款 其它 已 投入经费 新增经费 小计 95 160 160 0 0 2011 年 60 25 25 35 35 20122013 年 35 20 20 15 15 九、项目预期成果的经济、社会、环境效益分析，与国内外同类产品或技