仿人机器人感知与控制关键技术及应用-浙江大学科学技术研究院.doc

国家技术发明奖推荐公示材料一、 项目名称仿人机器人感知与控制关键技术及应用二、 推荐单位意见机器人是促进我国制造业与服务业转型升级的重要支撑，是国家重点发展战略技术和产业，发展仿人机器人感知与控制技术是提升我国机器人技术研究并推动行业应用转化的重要途径。本项目围绕目前亟需攻克的仿生腿足运动能耗高、移动作业环境适应弱、操作作业动态伺服慢的难点问题，发明了: 1) 采用新型弹性驱动关节的腿足机器人和高能效控制方法，研制的国内首台电机驱动单腿跳跃机器人单位距离能耗从国际最低0.36降至0.29，跳跃高度提升至35cm；2) 感知单元多维运动的三维地图重构方法和双三视张量的立体视觉快速里程估计方法，研制的激光视觉融合自然导航系统重复定位误差从国际主流产品的10mm降至2mm；3) 采用表面自然标记识别的高速旋转飞行目标状态估计方法和机器人快速伺服运动动态稳定控制技术，研制了国际首套可快速连续乒乓球对打和旋转球接打的仿人机器人系统。项目取得授权发明专利53项，其中美国专利1项，科技部专家组认定所研制仿人机器人系统“取得了突破性进展，总体技术达到了国际先进水平”，项目成果有效推动了机器人应用推广和产业发展，形成了变电站无轨自主巡检机器人、无轨自然导航搬运机器人等产品，实现了批量应用，与国外同类产品形成有效竞争。近三年新增销售额41799.15万元，新增利润3445.59万元。获2013年浙江省科技进步一等奖。三、 项目简介机器人技术及系统作为战略性高新技术是促进我国从制造大国向制造强国转变的重要技术抓手，是中国制造2025十大重点领域之一。受限于机器人感知与控制核心技术水平，现有机器人只能遥控作业或在特定简单环境下重复执行预设作业，为推广应用带来极大约束。作为机器人技术发展的制高点，仿人机器人研究涵盖运动能力类人和作业智能类人问题，对机器人技术和产业发展具有不可替代的支撑和引领作用。本项目面向机器人技术与应用瓶颈，以仿人机器人为对象，围绕目前迫切需要攻克的腿足运动能耗高、环境感知适应弱、动态伺服作业慢的技术难题，发明了三项系统性的感知与控制核心技术。1. 仿生腿足高能效快速稳定运动技术。针对现有仿生腿足运动为克服重力矩和地面冲击而带来的高能耗问题，发明了采用平面扭簧进行力位混合控制的弹性驱动模块化关节，在解决原有弹性驱动关节体积大、弹性参数难以灵活设置问题的同时提升了对外部能量的利用；发明了分层分布式架构的弹性驱动关节控制方法及单元，解决了非实时系统下CAN总线信号传输延时不确定造成的控制响应慢问题，响应速度提升50%；发明了采用弹性驱动关节的腿足机器人连杆传动机构和飞轮控制方法，单位距离能耗从国际最低0.36降至0.29，同时跳跃高度提升至35cm。 2. 复杂环境建模认知与实时定位技术。针对机器人移动作业对环境准确建模的需求，发明了采用混合高斯模型数据关联的三维地图重构方法，在国际上率先实现了旋转二维激光传感器移动状态下的连续动态稠密点云构建；发明了采用本体论方法的环境语义建模方法，实现高效率的复杂环境同时建模与语义自动标注；针对机器人大范围准确定位问题，发明了双三视张量的立体视觉快速里程估计方法，可满足移动机器人姿态定位实时性与精确性的双重高要求，研制的激光视觉融合自然导航系统，重复定位误差从国际主流产品的10mm降至2mm。3. 动态运动对象伺服稳定操作技术。针对高速旋转飞行目标的状态估计挑战，发明了基于表面自然标记识别的旋转与飞行状态同时估计技术，国际上首次实现了旋转乒乓球的实时状态估计和轨迹预测，0-60转/秒转速下估计误差小于0.07转/秒，属国际领先；发明了基于特征点跟踪的实时精确多目视觉定位与自定位方法，实现了高频运动机器人对高动态目标的实时精确定位，目标相对定位误差远低于国际主流方法；发明了移动平台在机械臂快速伺服运动时的动态稳定控制技术，解决了机器人自身不稳定性与快速精确作业间的相互干扰问题，提升了作业成功率。项目取得授权发明专利53项（美国专利1项）；研制成功国际首套可快速连续乒乓球对打和旋转球接打的仿人机器人系统，科技部专家组验收认定“取得了突破性进展，总体技术达到了国际先进水平”；依托项目发明技术研制的国内首台变电站无轨自主巡检机器人已覆盖全国21个省份近300座变电站，销量居国家电网第一；基于项目技术研制的无轨自然导航搬运机器人，在华为成功替代国外品牌Adept实现批量应用。近三年新增销售额41799.15万元，新增利润3445.59万元，获2013年浙江省科学技术奖一等奖。四、 客观评价1. 专家评价(1) 2012年2月科技部组织的工业控制技术国家重点实验室现场评估中，张钹院士为首的专家组评价为“围绕仿人机器人的快速感知与动态响应等难题，研制了具有前瞻性的可对打乒乓球的仿人机器人，在快速识别预测、稳定平衡控制、自主协调运动等关键技术方面取得重要进展，研究成果在国内外引起很大关注”。(2) 2012年8月科技部专家组对课题进行现场验收，评价为“在仿人击球运动规划与击球范围、上肢与腰部协调控制、机器人运动控制总线等方面取得了方法和技术的突破，对机器人技术的发展起到了引领和示范作用。”(3) Science杂志特约撰稿人 /author/stefano-debei、帕多瓦大学Stefano Debei教授，意大利国家工程研究委员会副主席Enrico Lorenzini教授合作发表在Measurement（78: 388396, 2016）论文对申请人在里程估计上的研究成果进行了引用,并指出“将申请人提出的视觉里程估计方法用于太空探索，将会在卫星全局定位系统失效时尤其有价值” (4) 意大利理工学院服务机器人实验室主任Nikos G Tsagarakis教授，引用申请人团队论文并指出团队提出的视觉伺服与阻抗控制相结合的机器人全身控制方法是实现双足仿人机器人稳定平衡的进行连续击球的关键技术。(5) IEEE机器人与自动化学会主席意大利那不勒斯大学的Bruno Siciliano教授引用申请团队论文，指出申请人团队采用自适应轨迹预测技术（“adaptive trajectory prediction”）研发的仿人乒乓球机器人令人印象深刻（“impressive”）。2. 第三方专业测试(1) 2012年4月22日，王田苗、赵杰、王耀南组成专家组对乒乓球对打仿人机器人系统及快速视觉感知与处理单元进行了性能测试。(2) 2016年11月26日，李贻斌、葛运建、罗均、马宏绪、苏波、杨灿军组成专家组对单腿跳跃机器人和双足跑跳机器人进行了性能测试。(3) 由中国电力科学研究院对变电站智能巡检机器人进行了测试；由国家电子计算机外部设备质量监督检测中心对无轨自然导航AGV进行了测试。(4) 由浙江省电子信息产品检验所对“叉式搬运机器人”进行了测试并对“融合多摄像头和陀螺仪的机器人本体视觉、乒乓球轨迹识别与预测、串联弹性驱动关节”等技术等进行了验证。3. 国际权威报告介绍2011年11月，美国科学基金委受奥巴马政府委托，做人机互动全球技术评估。本项目所研制乒乓球对打仿人机器人系统被列入报告，并做详细介绍。3. 学术水平评价(1) 项目负责人受邀在多个学术会议上进行演讲报告，包括：l 2012年，Intelligent Human-Machine Collaboration, 主办单位：美国国家科学院，报告题目：A Study on Humanoid Robots Playing Table Tennisl 2013年，Brain Science: State of the Art, 主办单位：The Neurosciences Institute, 报告题目：Research on Humanoid Robots Playing Table Tennisl 2014年，新青年领军者世界经济论坛年会，主办单位：世界经济论坛组织，报告题目：Robotics Research in Zhejiang Universityl 2015年，China.Europe.2025，主办单位：Stiftungsinstitut fur China-Europa Beziehungen，报告题目：Programming by Demonstration Framework(2) 组织了2015年第18届国际爬行与行走机器人以及移动机器支撑技术会议(3) 受科技部邀请，相关成果参加了2012中国国际工业博览会和2013国家高新技 术产业开发建设二十年成就展。(4) 在机器人权威杂志IEEE Transaction on Industrial Electronics 等期刊和机器人旗舰会议ICRA，IROS发表论文。4. 用户评价本项目成果成功在国家电网下属各省公司、杭叉集团、巨星集团、人人集团等几十家企业应用，多个产品在技术先进、提升效率、节约成本等方面获得好评。1、 巡检机器人用户：杭州市电力局2012年开始使用巡检机器人，认为该产品可及时、敏锐的发现设备的内部热缺陷、外部机械或电气问题，为运行人员提供事故隐患和故障预警信息，保障了电网设备的安全运行。福建省电力有限公司福州供电局2013年开始使用本项目成果，认为该产品具有“无需预埋磁条，缩短施工周期，节约系统成本，提高便捷性；环境适应性强，运行可靠等特点。2、 AGV用户：华为南方工厂、东芝信息机器（杭州）有限公司、杭叉集团股份有限公司、浙江德美轴承有限公司、杭州巨星科技股份有限公司、浙江铁流离合器股份有限公司等使用智能AGV，以自主行走的方式，实现材料和成品的自动搬运，大幅提高了物流的效率和准确性，良好的保证了生产工作的安全与稳定。3、智能制造自动化生产线用户：杭州人人集团有限公司2013年开始使用智能自动化装配检测线，认为该产品设计简约、操作简单、装配高效、运行可靠。系统开放了参数调整画面，根据实际产品型号及性能要求，可实时调整参数配置。此外，故障处理提示功能可指导操作员快速排除故障，达到生产的高效性。五、 推广应用情况经过多年技术攻关，项目组针对工业与特种环境下的作业自动化需求，研发了移动机器人平台、机器视觉平台、导航平台等通用机器人平台及专业软件包等技术，并应用于变电站巡检机器人、AGV、智能制造自动化生产线等产品，实现了在特定工况下替人自动化作业，提高了效率和安全性。1） 在全国变电站的自动巡检推广应用：基于本项目核心专利，由浙江国自机器人技术有限公司研制的变电站智能巡检机器人在国家电网、南方电网的各变电站应用，累计销售超200台，采用“一机多站”的先进运维模式，覆盖全国21个省份近300座变电站。2） 在仓储物流行业、电商行业和制造行业等自动化搬运的推广应用：基于本项目核心专利，由浙江大学合作企业杭州南江机器人股份有限公司开发的无轨自然导航iAGV在华为、东芝、菜鸟网络等单位应用，由浙江国自机器人技术有限公司研制的AGV在杭叉集团、巨星集团、安吉物流、德美轴承、浙江铁流离合器、北京华商等单位应用，累计销售超100台，提升自动化物流效率，降低物流人力成本。3） 在传统制造企业实现“机器换人”和“智能制造”的推广应用：基于本项目核心专利，由浙江国自机器人技术有限公司研发的智能制造自动化生产线，在巨星集团美工刀和折叠刀生产工厂、人人集团点烟塞生产工厂、中策橡胶轮胎生产工厂等单位应用，提供了企业生产过程中物料的运输、仓储、分拣、包装、装卸等环节的综合解决方案，推动传统制造业转型升级。应用单位名称应用起始时间应用单位联系人/电话应用技术应用效果杭州南江机器人股份有限公司2014年谢宇139898330631、仿生腿足高能效快速稳定运动技术2、复杂环境建模认知与实时定位技术应用仿生腿足高能效快速稳定运动技术研制成功国内首台电机驱动四足仿生机器人赤兔，实现6km/h以上跑步，并具有跳跃、爬坡、爬楼梯等功能。应用复杂环境建模认知与实时定位技术研制成功无轨自然导航iAGV，在华为、东芝等3C工厂复杂多变环境下可实现稳定定位导航，并且与菜鸟网络合作推出新的仓内智能分拣模式，效率提升100%。国网浙江省电力公司杭州供电公司（原杭州市电力局）2012年2月至今唐鑫137774296981、复杂环境认知建模与自然定位导航技术。高压电缆隧道巡检机器人，在环境恶劣的湘湖地下隧道，实现无人巡检，保证高压电缆隧道安全。福建省电力有限公司福州电业局2012年7月至今佘文业对象快速识别定位与伺服稳定操作技术。变电站KYN开关柜专用操作机器人，替代人工实现高压KYN柜中断路器的取放工作，保证工作人员的人身安全。青海中控太阳能发电有限公司2011年12月至今金律君159901980771、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。太阳能发电站巡检操作机器人完成对太阳能发电站环境温度采集、自动巡检、自动报警、定日镜定期清洗等任务。浙江省电力公司2013年6月至今唐杂环境认知建模与自然定位导航技术在涌潮变电站，智能巡检机器人完全替代人工，完成对变电站设备的视频监控、仪表观测、温度采集、自动巡检、自动报警、监控录像、数据查询和报表打印、数据分析等任务。人人集团2013年9月施乐佳135671464841、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。系统包含了18种不同类型的原材料自动理料机、自动组装机、半成品检测线以及成品装箱线。通过快速更换零件实现柔性生产，可生产本田、比亚迪、丰田、神龙等多种规格的汽车点烟器。每小时产量大于300个，投运以来，节省人力13人，提高生产效率50%。杭叉集团股份有限公司2014年3月至今叶飞135872791531、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。采用AGV之后，实现区域自动化物流效率提升30以上，物流的人力成本节省80%以上。浙江德美轴承有限公司2014年4月至今汪1、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。采用AGV之后，实现区域自动化物流效率提升30以上，物流的人力成本节省80%以上。杭州巨星科技股份有限公司2016年3月至今叶飞135872791531、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。采用AGV之后，实现区域自动化物流效率提升30以上，物流的人力成本节省80%以上。浙江铁流离合器股份有限公司2016年7月至今王磊159058141891、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。采用AGV之后，实现区域自动化物流效率提升30以上，物流的人力成本节省80%以上。北京华商三优新能源科技有限公司2016年1月至今唐磊136666091931、复杂环境认知建模与自然定位导航技术。2、作业对象快速识别定位与伺服稳定操作技术。采用AGV之后，实现区域自动化物流效率提升30以上，物流的人力成本节省80%以上。六、 主要知识产权证明目录知识产权类别知识产权具体名称国家（地区）授权号授权日期证书编号权利人发明人发明专利有效状态发明专利Planar Torsion Spring for robot joint美国US9086101B22015.7.21US9086101B2浙江大学朱秋国；熊蓉；褚健有效发明专利具有力反馈控制的弹性驱动模块化关节中国ZL201210112070.72015.05.271676161浙江大学朱秋国； 熊蓉； 褚健有效发明专利一种机器人柔性关节的控制方法及驱动装置中国ZL201410070561.92015.10.211818448浙江大学贾学超；朱秋国；熊蓉有效发明专利一种连杆传动的单腿机器人跳跃机构中国ZL201410107811.12015.11.251851788浙江大学赵逸栋；朱秋国；熊蓉有效发明专利一种三维环境信息采集与重构系统及方法中国ZL201310742704.12016.08.242214046浙江大学熊蓉；李千山；朱秋国；郑洪波有效发明专利一种基于双三视张量的立体视觉快速导航定位方法中国ZL201210066333.52015.03.041599734浙江大学蒋云良；许允喜；刘勇有效发明专利一种基于本体技术的三维场景建模方法及系统中国ZL200910097696.32012.02.29915184浙江大学刘勇；汤锋有效发明专利一种使用少数共面点精确定位多摄像头系统位姿的方法中国ZL201010203869.82011.12.14879540浙江大学刘勇；熊蓉；章逸丰；褚健；吴哲有效发明专利一种仿人机器人手臂作业动态稳定控制方法中国ZL201210143001.22014.11.191523046浙江大学张大松；熊蓉；吴俊；褚健有效发明专利实时精确观测和分析乒乓球旋转系统与系统运行方法中国ZL201210497563.72015.08.191756483浙江大学章逸丰；赵永生；熊蓉；褚健有效七、 主要完成人情况1. 熊 蓉，浙江大学控制科学与工程学院，教授2. 刘 勇，浙江大学控制科学与工程学院，副教授3. 朱秋国，浙江大学控制科学与工程学院，助理研究员4. 吴 俊，浙江大学控制科学与工程学院，教授5. 郑洪波，浙江国自机器人技术有限公司，总经理6. 章逸丰，工作单位：杭州南江机器人股份有限公司，总经理 完成单位：浙江大学控制科学与工程学院八、 完成人合作关系说明本项目由浙江大