（机械电子工程专业论文）仿人表情机器人技术研究与样机研制.pdf

上海大学硕上学位论文 摘要 表情机器人可以帮助操作者跳过复杂的编程与操作，更直观地实现人 机交流。并具有人性化、情感化的特点，在服务机器人领域有着非常大的 发展前景。目前，表情机器人技术在国际上尚处于研究阶段，国内也刚刚 开始此类课题的研究。本文首先介绍了国内外表情机器人的研究现状，分 析了表情机器人的主要相关技术。然后从人体面部表情运动原理出发，提 出了表情机器人的实现方案。 本文选择舵机为驱动器，连杆机构为主要传动机构，完成了包括面部 眼睛、眼睑、眉毛和下颌四个运动模块的结构设计。样机与真人头部尺寸1 ： 1 接近，整体布局合理，空间利用率高。在u g 下进行三维建模后，对样机 的8 种基本表情进行运动仿真实验验证，并完成样机的加工与装配。 样机的控制系统以a t 8 9 s 5 2 单片机为核心控制器，硬件设计包括单片 机脉冲控制电路设计及舵机的驱动电路设计。软件设计选择了c 语言模块 化的编程方式，在k e i l c 5 1 环境下进行。利用a t 8 9 s 5 2 双定时器、中断等 功能，完成了样机在2 种工作模式下，实现多种表情的7 路p w m 脉冲控 制的程序设计。 应用研制出的仿人表情机器人样机进行面部动作及表情演示实验，结 果表明样机符合设计要求，能基本实现仿人的恐惧、高兴、愤怒、惊喜、 厌恶和悲伤等基本表情。本文研究为进一步的仿人表情机器人研究奠定了 理论与技术基础。 关键词：仿人机器人；面部表情；舵机；单片机控制 上海大学硕士学位论文 a b s t i 认c t f a c i a lr o b o tc a l lh e l pp a r t n e r st or e a l i z eh u m a n - r o b o tc o m m u n i c a t i o n m o r ed i r e c t l y , s k i p p i n gc o m p l e xp r o g r a m m i n ga n do p e r a t i n g m o r e o v e r , w h e ni t i su s e da sas e r v er o b o t ，i t se m o f i o n a l i t ya n dp e r s o n a l i t ya r et h em o s tv a l u a b l e c h a r a c t e r sc o m p a r e dt oo t h e rk i n do fr o b o t s a tp r e s e n t ，t h et e c h n o l o g yo ff a c i a l r o b o ti ss t i l li nr e s e a r c h - p e r i o d t h i sr e s e a r c hi sa l s ob e g i n n i n gi nd o m e s t i c f i r s t l y , i nt h i sp a p e r , t h er e s e a r c hs i t u a t i o no ft h ef a c i a lr o b o ti si n t r o d u c e d ，a n d s e v e r a lk e yt e c h n o l o g i e so ff a c i a lr o b o ta r eg i v e n a f t e ra n a l y z i n gt h ep r i n c i p l e o ff a c i a lm u s c l e sm o v e m e n t a na v a i l a b l ep r o j e c ti sg o t i nt h i sr e s e a r c h ，s e r v om o t o r sa r es e l e c t e da sm a i nd r i v e r s ，a n dl i n k a g e s a r es e l e c t e da st r a n s m i s s i o n s am e c h a n i c a ls t r u c t u r eo fap r o t o t y p ew i t hr a t i o n a l l a y o u ta n de f f e c t i v es p a c eu t i l i z a t i o n w h o s es i z ei sl ：1c l o s et oah u m a n sh e a d ， i n c l u d e s i n gf o u rm o t i o nb l o c k s ，e y e b r o w , e y e l i d ，e y ea n dj a wi sa c c o m p l i s h e d a t h r e e d i m e n s i o n a lm o d e lf o rt h ep r o t o t y p ei sd e s i g n e d 诹mu ga n ds e v e r a l s i m u l a t i o n so fb a s i cf a c i a le x p r e s s i o n sa r eo b t a i n e d a c c o r d i n gt ot h e c e r t i f i c a t i o ng i v e nb yt h es i m u l a t i o n s ，t h ew h o l ep a r t so fp r o t o t y p ea r em a d ea n d t h ea s s e m b l yi sc o m p l e t e d a t 8 9 s 5 2i ss e l e c t e da st h ec o r ec o n t r o l l e r t h eh a r d w a r ed e s i g ni n c l u d e s as i n g l ec h i pc i r c u i t r ya n da ni s o l a t e dd r i v e nc i r c u i t r yf o rs e r v om o t o r s s o f t w a r e i sd e s i g n e db ycl a n g u a g ep r o g r a m m i n gu s i n gam o d u l a r i z a t i o nm e t h o du n d e r k e i l c 51 s u r r o u n d i n g ap r o g r a mw i 也2w o r k i n gp a t t e r n s ，u s i n ga t 8 9 s 5 2 s d o u b l et i m ec o u n t e r sa n di n t e r r u p tf u n c t i o n s ，w h i c hc a no u t p u t7p w mp u l s ef o r s e v e r lb a s i ce x p r e s s i o n si sf i n a l l ya c h i e v e d t h er e s u l t so ft h ef a c i a lo r g a nm o v e m e n ta n df a c i a le x p r e s s i o n r e p r e s e n t a t i o ne x p e r i m e n ts h o w st h a tt h i sr o b o ts y s t e mc a l lr e p r e s e n ts e v e r a l b a s i cf a c i a le x p r e s s i o n s ：s c a r e ，h a p p i n e s s ，a n g e r , s u r p r i s e ，d i s l i k ea n ds a d n e s s t h es t u d yi nt h i sp a p e re s t a b l i s h e dt h et h e o r e t i ca n dt e c h n o l o g yb a s ef o rt h e f u r t h e rr e s e a r c h k e y w o r d s ：h u m a n o i dr o b o t ；f a c i a le x p r e s s i o n ；s e r v om o t o r ；s c mc o n t r o l i l 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：牲日期：号盟 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：举睦导师签名：硒显 主日期：丕垄：z ：2 上海大学硕上学位论文 第一章绪论 1 1 机器人发展概况与相关技术 自从2 0 世纪6 0 年代初期第一台电子可编程工业机器人问世以来，机器人技 术在4 0 多年内迅速发展。比尔盖茨曾表示，机器人产业目前所处的形势，就像 3 0 年前的电脑世界一样。如今，机器人技术亦进入到智能机器人的新时代，在 将来会像计算机一样会改变我们的生活【l 】。经过2 0 多年的改革开放建设，我国 的经济与技术已经取得了长足的进步和发展，具备了机器人技术腾飞的条件。“十 一五期间将重点开展先进工艺、机构与驱动、感知与信息融合，智能控制与人 机交互等共性关键技术的研究，建立智能机器人研发体系。仿生机器人成为研发 重点之一【2 1 。 关于机器人的定义，日前有好几种，国际上尚未统一，综合比较各种定义， 可以将机器人理解为：机器人是一种在计算机控制下的可编程的自动机器。根据 所处的环境和作业的需要，它具有至少一项成多项拟人功能，如抓取功能或移动 功能，另外还可能程度不等地具有某些环境感知功能( 如视觉、力觉、触觉、接 近觉等) 以及语音功能属于逻辑思维、判断决策功能等，从而使它能在要求的环 境中代替人近行作业【3 】。 机器人基本上是以机械本体结构、关节伺服驱动、计算机控制系统、传感系 统、通讯接口等几部分组成。根据机器人的不同用途可分为：工业机器人或产业 机器人、探索机器人、服务机器人和军事机器人等。根据机器人智能程度又可分 为：一般机器人、传感型机器人、交互型机器人、和自主型机器人等【4 】。 目前的智能机器人，不仅应用各种反馈传感器，而且还运用了如临场感技术、 虚拟现实技术、多智能体技术、人工神经网络技术、遗传算法和遗传编程、仿生 技术、多传感器集成和融合技术以及纳米技术等。同时，一些用于服务的智能机 器人还应用了一些与人或生物相似的智能能力，如感知能力、动作能力和协同能 力。为了在日常环境中和人类交流，在更广泛的环境任务中扩展人类的能力，人 类开始了表情机器人的研制。表情机器人发展迅速，在美、日等发达国家已经发 展到竞相研制的局面，目前已成为机器人技术领域的主要研究热点之一【5 1 。 湃 学颤f = 学位论女 1 2 仿人面部表情机器人研究概况 对仿人血部表情机器人的研究主要集中在美困、n 奉的一些著名大学研究机 构和公司，他们的技术相对比较成熟。我困在这方面的研究起步较晚，技术卜比 较领先的足哈尔滨】：业大学。 21 国外研究主要进展 1 、荚曰汗森机器人技术公司美围德州大学互动艺术与工程学院的博士生 d a v i dh a n s o n 在2 0 0 3 年创立了汗森机器人技术公司，主要研究仿人机器人社会 化、个性化方面问题及相关技术。公司研发了四个有名表情机器人：a n d y 、k - h o t 、 p k d 和a l b e r t h u b o 。他被登上华尔街同报，美国c n n 美固有线电视新闻网等 杂志的封面。他的第一个仿人机器人头a n d y r o i d 在2 0 0 2 年美国人工智能促进 联会上展出，当叩得到关注。第一代k b o t 在2 0 0 3 年2 月在美困科学促进联会 年度会议卜展出，它多样化的表情得到r 泛的赞誉。k - b o t ( 见图1 - 1 ) 完全克隆 他女朋友的脸，总苇量2 公斤，能实现2 8 种面 【f 表情变化，她前身a n d y 只能 实现四种， 图1 1k h o t 与d a d h a n s o n 厦他女友 第三个p k d 机器人的设计灵感来自著名科幻小说家菲利普狄克( p h i l i pk d i c k ) 。2 0 0 5 年美国人工智能促进联会( a a a i ) 授予他的p k d 机器人”i n t e l l i g e n t c o n v e r s a t i o n a lp o r a f i ”称号。这个机器人能讲述作家的生平事迹度数_ t 贞小说对 话。在2 0 0 5 年1 月的芝加哥n e x t f e s t 科展会e ，p k d 机器人措飞机前往加利福 尼亚，途中突然神秘失踪。 为了纪念爱因斯坦相对论发巾1 0 0 删年，荚幽汁森机器人技术公司与韩国科 学技术院( k a i s t ) 合作制作了机器人“爱冈斯坦”，并在2 0 0 5 年1 1 月釜山会 议展览中心举行的a p e c 信息技术展示会上展出它分别和布什、普京等领导人 t 癣 l 学位论i 摧手( 见图1 2 ) 。机器人头部由汗森公司研发，所有电机及驱动机构集成在头部 内，它有3 1 个伺服电机，仅由6 伏电l 、驱动，功率为】0 瓦，8 节a a 电池就可 以提供所需电源。头部一共订3 1 个自由度，用于实现脸部表情2 8 个自山度颈 部有3 个自山度。伺服电机通过涂有壤凹氟乙烯的尼龙细线与l 自1 1 f 的各个表情控 制点连接n 圈1 3m i t 人工智能实验室与s t a nw i n t o ns n j d i o 台作研发的机器 l e o n a r d o 由于k i s m e t 具有i 通的特点，在2 0 0 1 年她与s t a nw i n t o ns t u d i o 公司一拍 即台，块定合作制作出艺术与工程结合的实物。由s t a nw i n t o ns t u d i o 公叫赞助 并进行艺术方面的设计，m i ti 智能实验室完成机器人的设计。到2 0 0 3 年已经 有所成果，设计出可咀和人类进行交流的机器人l e o n a r d o ( 见图i 3 ) ，它一热 海 学碰i 学位* 立 有6 4 个自由度，头部具有2 4 个自由度。面部表情拥有与人类血部表情类似的特 征，“，以根据人的动作和表情表达h 自己的喜怒哀乐，还能做出与人类接近的手 势，甚至是耸肩、扭屁股之类。它能与人合作完成简单的任务：在l e o n a r d o 前 面放置几个按钮，按钮有打开、关闭作用。l e o n a r d o 可以通过语音、视觉识别向 人学习按钮的作用，完成简单的控制任务【9 1 。 3 、日本早稻田大学r 本早稻田大学从1 9 9 5 年开始研究w e - 3 系列机器人， 最初的目的是为了研究平行双眼追踪三维空间的目标。1 9 9 6 年w e 3 r ( 见图 l - 4 a ) 机器人在其基础上丌展了对亮度的适应研究，w e 一3 r i i 在外观上加了眉毛、 嘴唇和下颚机构，这样就可以做仿人的表情。w e 3 r i v ( 见图l 舢) 机器人加 入了嗅觉功能和对颜色处理功能，w e 3 r v 机器人加入了声音辨别系统i i “。到 2 0 0 2 年他们研发了w e 4 1 ”1 ( 见图1 _ 4 c ) 系列机器人，与3 系列相比增加了腰部 机构，头部结构更小更轻同时能分辨8 种不同颜色的目标。耳部装有电容式麦 克风，通过声音在3 维空间内4 ：同强度柬判断声音的方向。嗅觉功能靠四个半导 体气体传感器，它能快速分辨酒精，氨水香烟的味道。触觉传搏器为f s r s 根据受到力的不同方式和强度可以分辨出推、打、敲三种形式【1 ”。如今他们已 经成功现实机器人k o b i a n 仝身仿生【i ”。 a ) r o b o t w e 3 r( b ) r o b o t w e 3 r ( c ) r o b o t w e 4 目1 4 日本早稻日 w e ，1 目【* 0 3 年以来，他们正致力于研究w d ( w e s e d a - d o c o m o ) 系列表情机器人，通 过对面部特征点及特征形状( 鼻子、嘴巴、耳朵等等) 控制，町以呈现远程通讯 者的三维面貌信息。表情机器人有两个模型：用于控制特征点的机械模型：用于 生动表现面部信息的光学模型。机械模型用拉伸方式驱动，面部特征点由大量的 钢琴线组成的网构成。光学模型靠放映机柬实现【l “。 在w d 0 机器人中利用钢琴线刚性强不易变形特性，特征点传动使用线传动， i 诲 # 十学位论文 把钢琴线穿在特氟伦管f 堆，管f 连接到金属袖r 上，再由金属袖连接到电机上。 而部材料不仪要求柔软还要高弹性选择了k u r a r a y 公司的s e p t o n 村料。 w d 0 出现的主要问题是在舜于和嘴j ! f 面部形状特征上表现不足和控制点单向深 度控制导致了面部不均匀 丁_ ，j 。是在w d i ( 见图j 5 ) 中，加人了单独设计的鼻 子、h 睹和嘴唇部件，把控制点降到17 个，并u 放弃了w d 0 中点控制，采用 能实现3 维特性的特征点的面控制。由一个1 自山度和个2 自度驱动机构组 成的3 自山度驱动机构柬实现面控制，这样就解决了脸不均匀性问题。w d l 共有1 9 个特征点，5 2 个自由度。w d i 在脸部边缘和面部褶皱还有不足之处 1 7 1 。 现在萨在研究的w d 2 机器人在面部边缘加入了更多的特征控制点，机器人特征 点达到2 7 个，自由度5 6 个。并设计了新的控制面部形状特征的3 自由度机构和 控制新增边缘控制点的曲柄滑块机构，相信不久就将看到其成果【】”。 图1 - 5 能够表现三维特征的w d 机器人 4 、日本东京理科大学日本另一家著名大学东京理科大学巫早从1 9 9 2 年开始 了这方面的研究，为了业现人与智能机器问心j 心交流，他们提出了a h i 这个 概念：1 ) 学会认识和理解人类的感情：2 ) 根据1 ) 选择做出最合适的反应；3 ) 以 最恰当的方式表现出来。他们的机器人根据不用的性能，一其有三代。 在1 9 9 3 年他们研发了第一代机器人，用直流电机驱动，并成功地表现出6 种基本表情。但是它相对于人类的头部在尺寸上大了l5 倍，总重1 5 公斤，用 做表情的有1 9 个自由度，机器人一共2 4 个自山度口“。为了减小尺寸并更好表 现表情，在1 9 9 8 年研发了第二代机器人，换用s m a 宋马 f 动，直径015 r a m ，驱 动力2 4 n 。在尺、j _ 上已经作到与人类尺寸1 ：1 ，重2 1 k g 。在表现表情上，响应 时间也与人类非常接近。机器人s a y a 在2 0 0 1 年加入了语音功能，甘于接待来宾 f 。在2 0 0 3 年完成的第三代机器人h 气动驱动器，已经i ，以连续的仿人做出表 情【2 “。展近在2 0 0 6 年他1 又研发了弹簧仿人头颈构件仿造人的7 块颈椎筒， 实现头部多个自由度，使得机器人在仿人表情上又进了一步【”i 。 上海大学硕士学位论文 1 2 2 国内主要研究进展 我国哈尔滨工业大学在1 9 9 6 年研制了仿人像演讲机器人 孙中山先生机 器人，但不能实现表情。在2 0 0 4 年他们对其进行了改造。利用制作电影时的材 料作为面部表皮，加入心理模型，制作出新的“f & h 1 ”机器人。机器人一共有 1 2 个自由度，头部机构有6 个自由度，表情机构也有6 个自由度，整个尺寸与 真人尺寸基本相同，能成功地表现出8 种基本表情【2 4 1 。他的眼睛机构采用线传 动，为了保证绳子不易磨损，将绳子放在有钢材料滚珠的保护管中，绳子在滚子 间运动。国内最早的、真正通过驱动和控制弹性面部实现喜怒哀乐等表情的仿人 头像机器人是2 0 0 4 年研制成功的h & f r o b o t i 型机器人系统【2 5 1 ，2 0 0 6 年在 h & f r o b o t i i 型系统上基于知识及神经网络的方法实现了对人类面部基本表情的 视觉识别及机器人再现【2 6 1 。目前他们又在h & f r o b o t i i 基础上，首次进行了口形系 统设计并且进行了口形与语音识别协调的实验，成功地研制出了具有视觉、语音、 面部表情及口形的仿人头像机器人h & f r o b o t i i i ，能够准确进行语音识别并以语 音和口形响应与人对话中的1 0 个短句【2 7 1 。 中国西安超人雕塑研究院院长邹人倜，受到美国超级写实主义的启发，选用 了真牙齿，真头发。利用他们独特技术研发的硅胶材料制作了高仿真机器人邹 人倜。目前在中国1 3 0 多家博物馆、纪念馆和旅游景区陈列。他们制作的另一 个高仿真表演机器人酣睡者陈列于中国蜡像馆，并成功“骗”过成百上千的参 观者，误把硅像当成真人。 美国时代周刊在前年1 1 月6 日的一期上曾将其列入“2 0 0 6 年最佳发明 。 另外，西安超人机器人科技有限公司研发的迎宾机器人索芙亚，不仅面部与 真人高仿真，还具有眨眼睛、转眼睛等机构，可以根据声音运动嘴部上下张合动 作，机器人可以与观众实现语音互动，自动点头。机器人大臂、小臂、手部可以 转动、挥动。机器人腰部可以转动、弯曲。用于迎接来馆观众，并与观众产生互 动。 6 上海大学硕士学位论文 1 3 课题来源、研究意义及主要研究内容 1 3 1 课题来源 1 上海市教委“上海高校选拔培养优秀青年教师科研专项基金：仿人面部表 情机器人研究： 2 上海大学“机械电子工程”国家重点学科“快速反应基金”项目：仿人面部表 情机器人关键技术研究。 1 3 2 仿人表情机器人的研究意义 2 1 世纪人类将进入老龄化社会，青年劳动力的不足和老年人大量增多将是 世界面临的一个严重的社会问题。而开发“仿人机器人一的重要用途之一便是弥 补年轻劳动力严重不足，解决老龄化社会的家庭服务和医疗等社会化问题；同时， 用于第三产业的机器人的数量将会超过工业机器人。由此可见，未来“仿人机器 人必将像计算机一样对社会进步起着重要作用，成为新的研究热点【2 引。 对于“仿人机器人，我们要求它不仅仅能工作，还应该具有能够适合人和环 境“仿人 功能，而且在许多场合要能和人协调作业，因此它必须能和人进行有 效的情感和信息的交流。美国著名心理学家阿尔陪特( a l b e r tm e h r a b i a n ) 认为，在 人进行感情表达时，往往言辞的使用只占7 ，而声调占3 8 ，剩下的5 5 全由 体语来完成。体语就是人的身体语言，具体来说就是人的表情和动作。由此我们 知道，在人的感情表达中体语的作用是大于语言的【2 9 】。所以当“仿人机器人 应用在各个领域时，“面部表情 技术是必不可少、非常重要的。 “面部表情 可以把语言无法表达的信息表达出来，是人与人之间交流中不 可缺少的要素。也就是说，面部表情可以表达出人的心情、感情、性格，使得信 息接受者通过面部表情顺利、圆满地接受信息，从而对双方顺利交流起到重要的 作用。“仿人机器人面部表情技术”不仅涉及到了机械、电子、信息等机器人基 础学科，还涉及到了生物学、心理学和艺术等各个其他学科，研究的道路还是比 较坎坷的。至今，国外相关研究已有近1 0 年的历史，而在国内还是很少有人问 津。由此可见，对“仿人机器人面部表情”技术的研究不仅顺应了时代的发展， 而且对我国相关领域的技术发展有着非常大的意义。 7 上海大学硕士学位论文 1 3 3 课题主要研究内容 本文所取得主要研究成果和所做的主要工作如下： 1 、通过对国内外主要研究成果的学习，对仿人面部表情机器人关键技术做 了系统的归纳、总结与分析。并通过对面部运动分析与研究，提出了满足课题要 求的研究方案。 2 、选择舵机作为驱动器，以关节轴承、直线滑轨、带座轴承等通用零件为 主要传动零件，完成了含有四运动模块的表情机器人的结构设计。所有机构占用 空间少，并在u g 下实现机器人8 种基本表情的运动仿真。 3 、以a t 8 9 s 5 2 单片机为控制核心，完成单片机控制模块与舵机控制模块的 硬件设计。并在k e i l c 5 1 下完成7 路舵机p w m 控制脉冲的c 语言模块化设计， 实现机器人8 种基本表情的演示程序编写。 4 、完成机器人样机的加工与装配，通过试验与调试后能实现各运动模块的 设计要求。机器人样机能成功演示8 种基本表情。 1 4 本章小结 本章首先介绍了机器人技术的发展概况与主要技术，然后详细介绍了国内外 这一领域的主要研究成果。最后介绍了本次课题的来源、研究意义及主要研究内 容。 上海大学硕士学位论文 第二章表情机器人关键技术分析 2 1 面部表情分析 2 1 1 面部肌肉分析 人的面部表情主要是由面部肌肉运动的结果，了解面部肌肉的分布及其运动 的特点，有助于发现面部表情的运动规律，进一步亦可以为表情机器人的设计提 供理论支持。 人体的面部肌肉，主要分布在人体头部的眼周围、嘴周围，其次是鼻子和下 颌支部位。在眼周围，有眼轮匝肌、皱眉肌、降眉肌、降眉间肌。在口周围，有 口轮匝肌、下唇方肌、颧肌、犬齿肌、上唇方肌、笑肌、额三角肌、下唇方肌、 额肌、颊肌。在鼻周围，有鼻肌。在下颌支周围，有咬肌等。人面部的肌肉属于 表情肌，它的起点和止点同其他肌肉不同，主要附着在皮肤组织上。表情肌在面 部分布见图2 1 ，对应的肌肉运动情况及对表情作用描述见表2 1 【3 0 1 。 图2 1 人体面部表情肌的分布图 9 上海大学硕士学位论文 表2 1 面部表情肌的分布与作用表 肌肉名称简要介绍与其对表情的作用 额肌和枕肌，可视为是一块二腹肌结构的肌肉，位于头顶部。它们朝颅后方 额肌和枕肌向收缩。额肌收缩能拉上眼睑和眉部向上，并使额部产生横纹，主要作用于 惊讶、注意、恐惧等表情。 位于颞窝。颞肌收缩时是上提下额骨同上颅骨产生咬合动作。颞肌在外形 颞肌 上，可构成额窝皮肤隆起的变化，填充于额窝。 位于眶部周围和上、下眼睑皮下。眼轮匝肌收缩时，能上提颊部和下拉额部 眼轮匝肌的皮肤，使眼睑闭合、同时在眼周围皮肤上产生放射状鱼尾皱纹。作用于思 索、闭眼等表情。 位于额肌和眼轮匝肌的深面及眉间两侧。皱眉肌收缩时，能拉眉向内下，并 皱眉肌 使鼻根部产生纵沟。 降眉肌位于皱眉肌的内侧和降眉问肌的外侧。降眉肌收缩时，能牵动肩头向下。 降眉问肌收缩时，能拉眉间皮肤向下，使鼻根皮肤产生横纹。它与降眉肌、 降眉间肌 皱眉肌是共同一起参与表情变化，主要作用于愁闷、思考等表情。 位于口裂周围的上、下唇。可视其为环形的多腹皮肌，在位置上可分为内、 口轮匝肌 外圈两个部分，内圈为唇缘，外围为唇缘外围。内圈收缩时、能紧闭口裂作 抿嘴的表情，外圈收缩时，并在额肌作用下，作撅嘴表情。 位于口轮匝肌上方、眶下缘下方的骨面上。上唇方肌收缩时，可上提上唇， 上唇方肌 加大鼻孔，加深鼻唇沟。 位于口角斜外侧的上部。颧肌收缩时，能上提口角向斜上方活动，是笑的表 颧肌 情主要因素。 犬齿肌 位于上唇方肌颧骨头的下方。犬齿肌收缩时，能上提口角。 位于口角外侧的颊面。颊肌收缩时，同口轮匝肌共同起吹奏作用，放又称为 颊肌“吹奏肌”。颊肌能使颊面产生纵向皮肤恒定纹。同时，颊肌对头颊部体面变 化有着深刻的影响。 笑肌位于门角外侧、颊肌上面。收缩时，能拉口角向外侧，产生微笑的表情。 颏三角肌位于口角下侧，成三角形状皮肌。颏三角肌收缩时，能拉口角向下。 位于下唇的下方、领隆突起的上方。下唇方肌收缩时，能拉下唇下降，致使 下唇方肌 鼻唇沟拉长。一般作用于哭、憎恨等表情。 颏肌位于颏陡凸的骨面上。颏肌收缩时，能上提颏部皮肤，前送下唇。 可分横部、翼部两个部分。横部收缩时，可使鼻孔缩小：翼部收缩时，可牵 鼻肌 引鼻冀向外下方运动，并扩大鼻孔。 咬肌位于下颌骨两侧的下颌支骨面上，能上提下颌骨作左、右磨动的动作。 1 0 上海大学硕士学位论文 2 1 2 基于f a c s 理论的面部控制点构造 在人体头部表情的形成与变化中，一般来讲，并非是某一块表情肌的作用。 任何一种表情的产生，都是由多块表情肌不同程度收缩形成的。f a c s ( f a o m a n i o nc o d i n gs y s t e m ) 是美国心理学专家p a u le k m a n 教授研究出的一个详细的、 从专业角度出发，对人面部的肌肉进行的分析，科学地解释了人的表情动作。 f a c s 的基本单位称作a u s ( a c t i o nu n i t s ) ，并不是肌肉。因为一方面表情变化 不是由单一肌肉产生的，每个a u 都有一个以上的肌肉组成；另外，每个肌肉不 单单对一种表情起作用，几个a u 同时共有一个肌刚3 1 1 。人面部一共有4 4 个a u ， 1 4 个控制基本表情的a u 组。作者的目的是为了给行为科学，c g 动画，计算机 识别等领域的研究提供科学的理论依据。现在f a c s 理论被广泛应用于表情识 别、c g 等领域【3 2 1 。 人体面部基本表情使用的a u 有2 6 个，表2 2 介绍了这2 6 个a u 的动作描 述，表2 3 介绍了6 种基本表情的不同a u 的组合【3 3 1 。 表2 - 2 常用表情a u 介绍 表2 36 种基本表情a u 组合 a u 序号动作描述 1 眉毛内侧抬起 2 眉毛外侧抬起 4 皱眉 5 眼睑睁开 6脸颊抬起 7 眼睑闭合 9 皱紧鼻子 1 0 上嘴唇抬起 1 2 嘴角拉伸 1 5嘴角缩紧 1 7 下颚抬起 2 0 嘴唇拉伸 2 5 双唇分开 2 6 下颚下降 面部表情 a u 组合 惊喜 l + 2 + 5 + 2 6 恐惧l + 2 + 4 + 5 + 7 + 2 0 + 2 5 ，2 6 厌恶 4 + 9 + 1 7 愤怒 针5 + 7 + l o + 2 5 ，2 6 高兴6 + 1 2 ( + 2 6 ) 悲伤 l + 4 + 1 5 上海大学硕士学位论文 根据面部常用的2 6 个a u ，对照面部表情肌肉的分布，可以得到如图2 2 的1 8 个面部表情控制点。控制点与a u 的对应关系见表2 - 4 。 图2 - 2 面部控制点分布图 表2 - 4 面部a u 与控制点对应关系 控制点 a u 序号 左边右边 l34 2 1 2 5 , 6 47 8 9 51 c1 l 61 41 6 71 01 1 91 21 3 1 01 21 3 1 21 41 6 1 5 1 5 1 7 1 71 8 2 0 1 4 ，1 5 1 6 1 7 2 51 8 2 61 8 1 2 上海大学硕士学位论文 2 1 3 面部器官运动分析 人的面部器官主要包括眼睛、鼻子、耳朵和嘴巴。鼻子的运动幅度较小， 由鼻肌收缩控制鼻孔的张开与闭合，主要表现在愤怒的情绪上。耳部的肌肉属 于退化肌肉，运动幅度微小，只有表现在情绪激动的时候。眼睛和嘴巴的动作 由多个肌肉共同参与，是构成表情的基础，对其运动分析如下【3 4 】： l 、眼球的运动人的眼球近似球形，其前后径约2 4 m m ，垂直径约2 3 r a m ， 水平径约2 3 5 m m ，眼球位于眼眶的前半部。眼睛的转动主要受六条跟部肌肉的 控制，内、外直肌负责眼球向内或向外转动；上、下直肌收缩时，眼球上转或 下转，同时还使眼球内转；上斜肌主要使眼球内旋，同时还使眼球下转和外转； 下斜肌主要使眼球外转，同时还使眼球上转和外转。这六条肌肉互相密切配合， 使眼球协调一致地自由转动。 2 、眼睑的运动眼睑是长在眼球前面的软组织，它就象两扇能自动开合的 大门一样，对眼球起保护作用。眼睑分上下两部分，上睑较下睑大而宽。肌层， 包括眼轮匝肌和提上睑肌，眼轮匝肌是由面神经支配的横纹肌，主要掌管眼睑 的闭合，提上睑肌是由动眼神经支配，主管开睑的作用。 3 、下颚的运动颞下颌关节由下颌关节凹、髁状突、关节盘和关节囊所组 成，邻近并有韧带附着。颞下颌关节是具有转动和滑动的左右联动关节，主要 有开闭口、前伸和侧方运动三种基本形式。这些运动是通过咀嚼肌群、韧带、 关节之间互相协调的动作而产生的。 面部器官运动结构的设计是表情机器人设计的基础，只有在此基础上才能 进一步集成控制点的结构设计。 2 2 表情机器人机械设计分析 对于表情机器人，与人进行交流协作要在外表、形态上像人，在机械设计 方面主要有三个重要因素：1 ) 与人外形大小、样貌相似；2 ) 容易控制：3 ) 把 大量传感器和驱动装置装入头部中。即要在有限空间上完成复杂的机械设计。 解决方法有三种：恰当的驱动方式、驱动力小的材料和布局合理的机械结构。 1 3 上海大学硕士学位论文 2 2 1 驱动方式比较 d c 直流电机或者步进电机是常用的电驱动的驱动件【3 5 】，但是，它们需要 传感器和驱动件来控制，功率和尺寸都不能满足要求，会使得机器人尺寸比正 常人头部大三倍【3 6 1 。s m a 形状记忆合金占用空间小，一根纤细的直径只有o 1 5 毫米的金属丝可以产生2 4 牛顿的驱动力，但是在功率和反应速度上不能满足 要求。气动驱动器在功率、体积和反应速度上都能满足各种要求，但是成本较 高【3 7 1 。 日本大阪的e a m e x 公司生产的机器鱼是靠内在力驱动的塑料鱼，其内部不 包含任何机械部分，它们是基于一种新一代改进型电活化聚合物( e a p s ) 的第 一批商业化产品，这种塑料聚合物在电刺激下会产生移动。e p a s 号称要成为未 来的人造肌肉，在仿人机器人领域将得到广泛的应用。 舵机不仅具有s m a 驱动力大的特点，还自带位置控制芯片可以提供精确 位置控制。而且自带齿轮减速装置，可以有效得减少机器人机构设计的复杂性。 现在国际上也有不少表情机器人选择舵机为驱动器【3 8 1 。 2 2 2 特殊的表皮材料 人的皮肤具有柔软、富有弹性、含有张力及恢复变形快等特点。对于机器 人来说，外形材料的选择直接影响到驱动器在动力和响应时间上的精度，以及 在如眼角多形变区域的仿真程度。因此就必须选择具有高弹性、柔软及有适合 恢复力的材料来做机器人的外形材料。 美国汗森公司在这方面尤其让人惊叹，他们解决这个问题的关键在于他们 给机器人面部使用的材料，他们尝试了不同材料的9 7 0 多种可能，直到发现了 人工硅脂橡胶( f r u b b e rf l e s hr u b b e r ) ，这种材料运动性能像人类面部组织，它 的低应力是使用小型伺服电机的关键所在。 1 4 上海大学硕士学位论文 2 2 3 机械机构分析 l 连杆机构应用传统齿轮传动、带传动等有着固定的结构，占用空间大， 当在有限空间内进行多个结构设计时，往往会限制机器人的外形设计和内部空 间布局。连杆机构根据其自身特点可以方便地用来控制力、行程和远距离传动 等特点。其运动副一般均为低副，可承受和传递较大的载荷，且几何形状较简 单。可改变构件的相对长度来得到设计要求的运动规律和轨迹。因此在表情机 器人面部器官运动机构设计中，连杆机构可以传递大载荷、空间设计灵活，可 以有效得提高机器人的设计效率并得到理想的结构布局【3 9 1 。 2 线驱动方式传统仿人机器人结构设计采用复杂的关节设计，不仅增加了 机器人的惯量和质量，还占用了大量空间，同时也对高速运动和快速响应极为 不利。线驱动为克服面部表情机器人的机械结构设计带来了新的思路。但是， 线驱动也存在一定的问题。必须选择适当材料的绳子和机构来保证绳子耐磨损 度，如采用钢琴线作为绳子，用钢材料的滚珠作保护管作为绳子的传输管道【2 4 】。 另外，绳子在滚子间作推拉方式，但是保证面部的均匀性和特征点的位移精度， 防止表情的变形，将是采用线驱动的最大的难题。用大量的钢琴线组成的网来 构成机器人面部，在控制点上加入小环，由线来拉动小环，可以有效得解决这 一问题。线驱动对面部表情机器的机械结构设计中，驱动大量控制点有着非常 大的作用，必将得到广泛的应用。但线驱动必须配合高弹性、高恢复力的仿人 面部材料。 本次样机主要针对面部器官的运动进行结构设计，主要选择连杆机构为传 动机构。另外，在设计时必须为下一步的可行的线驱动留有合理的空间。 2 3 机器人情感 机器人情感就是人工情感( a r t i f i c i a le m o t i o n ) ，利用信息科学的手段对人类情 感过程进行模拟、识别和理解，使机器人能够产生类人情感并与人类自然和谐地 进行人机交互m 】。人工情感主要是情感计算方面的研究，是对其心理模型的定 义。比较典型的是m e h r a b i a 的p a d ( p l e a s e a r o u s a l - d o m i n a n c e m o d e l ) 模型，以 1 5 上海大学硕士学位论文 三个变量形成的三维心理空间。m i t 的k i s m e t 的心理空间由一个由激励 ( a r o u s a l ) ，价( v a l e n c e ) 和态( s t a n c e ) 三个轴构成。这个空间被分成以某些特定点 为中心的若干个区域，每个区域代表着特定的一种心理状态，k i s m e t 具有动机 系统、行为系统以及感知系统，通过这三个系统的综合作用计算得出心理坐标， 距离该情感点最近的区域将被激活，产生相应的面部表情，而情感点与激活区 域中心的距离决定了所产生表情的幅度。 日本早稻田大学的w e 4 r 机器人亦有相似的心理模型，由3 个矢量 p l e a s a n t n e s s 、a c t i v a t i o n 和c e r t a i n t y 组成的三维心理空间。他们定义机器人有7 种心理状态，把该空间分成7 个部分，根据参数计算得出的不同坐标在空间中 位置对应机器人不同的心理状态。 机器人情感研究水平现还处于初级阶段，主要体现在情感理论建模初步化， 成熟的技术还不多。在未来还需要心理学家、生理学家和信息科学家一起就机 器人情感的理论与方法进行深入的研讨。 2 4 表情机器人未来发展展望 l 表情的丰富化美国心理学家p a u le k m a n 认为对于所有人都存在着普遍 的、先天的、基本的表情，他定义了6 种基本面部表情，愤怒、恐惧、悲伤、 高兴、厌恶和惊喜。至今基本上所有的表情机器人都以实现这6 种基本表情为 基础。心理学研究表明，人脸能够产生大约5 5 0 0 0 种不同的表情，每一种表情 都是因人的某种情绪以及不同刺激而产生的，而能用人类自然语言来区别开的 只是微乎其微。未来这方面的研究方向就是实现更多丰富的表情，使机器人与 人更贴近。 2 心理模型的细腻化日本早稻田大学的w e 4 机器人除了利用三维心理 空间实现机器人心理模型，他们还根据心理学理论进行了进一部研究。表情的 体现是由感情和情绪综合反映的。感情( e m o t i o n ) 是短时间内引起的强烈变化。 心情( m o o d ) 在长时间影响下的微弱变化。由此理论他们又引进了情感第二定 义微分方程。同时引进三个心理参数矩阵系数：惯量、粘性和弹性参数。这样 机器人就可以根据定义的感情矩阵系数，在受到相同刺激下得到相对应不同的 1 6 上海大学硕士学位论文 更精确的心理空间参数【4 1 1 。 韩国几位学者近期研发了针对表情机器人的情感系统，他们提出之前在表 情机器人上应用的心理空间方式在表达机器人感情上往往一次只能实现一个表 情。人可以同时触发几个心理感觉，在对人脑生理神经网络组成的情感系统进 行研究后，他们设计出了一个机器人情感系统。通过该系统机器人可以同时触 发两个感情参划4 2 1 。德国凯泽斯劳腾大学设计了表情机器人r o m a n ，与以往 的表情机器人心理控制不同是他们对机器人感情体系加入了优先级别：避免伤 到人；执行人的指令；机器人自我保护等等 4 3 1 。 3 表达情感系统的多样化除了面部的特征来表达表情，感情的表达还需 要身体四肢的搭配。美国汗森公司和韩国科学院设计的机器人a l b e r th u b o ，成 功与人进行握手等交流，使机器人与人交互更进一步。w r 4 r 机器人除了头部， 还加入了2 个机械臂和机械手来更好地表达感情动作。考虑各方面的因素实现 机器人与人交流的流畅将成为研究另外一个热点。 4 表情机器人的商业化应用美国汗森机器人技术公司为此创下先河，他们 为博物馆( c o o p c r - h e w i t tm u s e u m ) 、娱乐场所( d i s n e yt h e m ep a r k s ) 和实验室 ( n a s a sj e tp r o p u l s i o nl a b ) 提供了价值1 3 万美圆的表情机器人。市场上也提 供了价值1 万、3 千和3 百美圆的表情机器人出售，至今已经得到了非常大的 财富。最近他们研究的z e r o 小型娱乐表情机器人目的是力攻商业市场。在将 来，必定会有更多机器人研究机构或娱乐公司进表情机器人市场。 2 5 本章小结 本章首先从人类肌肉解剖学和f a c s 理论出发，介绍了面部表情肌的分布 和作用，分析了面部表情产生的原理。形成面部6 种基本表情可以由1 4 个a u 的不同组合实现，在面部主要表现为1 8 个控制点，结合面部器官的运动分析， 为之后的研究提供了理论依据。然后针对表情机械设计中的三个主要因素，介 绍了目前常用的驱动器、面部材料和机械机构的特性，为下一步机器人