动作捕捉简要叙述.doc

动作捕捉论文动作捕捉是为第二次世界大战后，起源于物理治疗、康复领域中，对伤残、截肢、脑瘫、帕金森症患者运动及行为学分析研究，诞生与斯坦福大学神经生物力学实验室，该实验室至今仍是该领域的权威机构。运动捕捉技术与20世纪70年代开始应用于动画制作领域，通过捕捉演员的动作以改进动画制作效果。动作捕捉英文为Motion capture,简称Mocap。技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计算机直接理解处理的数据。在运动物体的关键部位设置跟踪器，由Motion capture系统捕捉跟踪器位置，再经过计算机处理后向得到三维空间坐标的数据。当数据被计算机识别后，可以应用在动画制作，步态分析，生物力学，人机工程等领域。 常用的运动捕捉技术从原理上说可分为机械式、声学式、电磁式、主动光学式和被动光学式。不同原理的设备各有其优缺点，一般可从以下几个方面进行评价：定位精度；实时性；使用方便程度；可捕捉运动范围大小；抗干扰性；多目标捕捉能力；以及与相应领域专业分析软件连接程度。光学式运动捕捉通过对目标上特定光点或标记点的监视和跟踪来完成运动捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。 典型的光学式运动捕捉系统通常使用68个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为Marker，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60帧以上。 如果在表演者的脸部表情关键点贴上Marker，则可以实现表情捕捉。目前大部分表情捕捉都采用光学式。 有些光学运动捕捉系统不依靠Marker作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。目前研究人员正在研究不依靠Marker，而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计将很快投入实用。 光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。Marker的价格便宜，便于扩充。 这种方法的缺点是系统价格昂贵，虽然它可以捕捉实时运动，但后处理（包括Marker的识别、跟踪、空间坐标的计算）的工作量较大，对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的Marker有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。动作捕捉应用： 将运动捕捉技术用于动画制作，可极大地提高动画制作的水平。它极大地提高了动画制作的效率，降低了成本，而且使动画制作过程更为直观，效果更为生动。随着技术的进一步成熟，表演动画技术将会得到越来越广泛的应用，而运动捕捉技术作为表演动画系统不可缺少的、关键的部分，必然显示出更加重要的地位。 运动捕捉技术不仅是表演动画中的关键环节，在其他领域也有非常广泛的应用前景。 提供新的人机交互手段表情和动作是人类情绪、愿望的重要表达形式，运动捕捉技术完成了将表情和动作数字化的工作，提供了新的人机交互手段，比传统的键盘、鼠标更直接方便，不仅可以实现三维鼠标和手势识别，还使操作者能以自然的动作和表情直接控制计算机，并为最终实现可以理解人类表情、动作的计算机系统和机器人提供了技术基础。虚拟现实系统：为实现人与虚拟环境及系统的交互，必须确定参与者的头部、手、身体等的位置与方向，准确地跟踪测量参与者的动作，将这些动作实时检测出来，以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的，这也正是运动捕捉技术的研究内容。 机器人遥控：机器人将危险环境的信息传送给控制者，控制者根据信息做出各种动作，运动捕捉系统将动作捕捉下来，实时传送给机器人并控制其完成同样的动作。与传统的遥控方式相比，这种系统可以实现更为直观、细致、复杂、灵活而快速的动作控制，大大提高机器人应付复杂情况的能力。在当前机器人全自主控制尚未成熟的情况下，这一技术有着特别重要的意义。 互动式游戏：可利用运动捕捉技术捕捉游戏者的各种动作，用以驱动游戏环境中角色的动作，给游戏者以一种全新的参与感受，加强游戏的真实感和互动性。 体育训练：运动捕捉技术可以捕捉运动员的动作，便于进行量化分析，结合人体生理学、物理学原理，研究改进的方法，使体育训练摆脱纯粹的依靠经验的状态，进入理论化、数字化的时代。还可以把成绩差的运动员的动作捕捉下来，将其与优秀运动员的动作进行对比分析，从而帮助其训练。 另外，在人体工程学研究、模拟训练、生物力学研究等领域，运动捕捉技术同样大有可为。 主要技术：课题来源动作捕捉技术带给我们全新的人机交互手段，人与电脑之间的“交流”方式的扩展使的人类能更好的利用和开发电脑资源。现如今，2维到3维的发展趋势日渐凸显，在2维图像捕捉的基础上开发出来的众多应用已经遍及日常生活，不难推测，3D技术将成为今后的众矢之的，而动作捕捉带来的人机交互功能是3D技术的一个重要分支。由上段的介绍可见国内外对动作捕捉这项技术已有一定的重视与发展，作为一个基础性项目，动作捕捉的前景是大为可观的。然而现今已有的科研成果和应用设备基本上精度要求较高，因而需要一套专门的设施，这样一来也就普遍存在一个问题：研究器材的价格都很昂贵，因此使用不是很普及。但是在现在的城市，有许多应用领域如：展览，一般的互动游戏体验中心，会场布置等，不需要非常精密的动作捕捉，如果适当降低设备技术要求，使用较为简单的算法，也可以达到需要的效果，这将把此项技术推广到生活各方面，是非常有意义的。本文主要介绍使用两台摄像头捕捉人物肢体坐标，并用事先制作的3D模型输出动画的方法。设备要求： 摄像头两个，彩色纸片（若干），计算机一台，投影仪一台，投影屏幕一个核心方法：本文介绍的是基于双目成像的动作捕捉系统。首先需要用事先制作的棋盘格标定板对摄像头标定以得到摄像头内部系数和外部系数，然后使用两台摄像机同步拍摄在关键部位贴有彩色纸片（marker）的实验者得到2维图像素材。经过一系列的图像处理分别在每幅素材图片中找到marker二维坐标，并对同一时间取得的两张图片中的几个marker进行匹配，分别得到在两张图中标记过的关键部位在图片坐标系中的二维坐标。将这两个坐标点信息结合事先标定的相机内部和外部参数经过一定的矩阵计算便可以得到目标物体在世界坐标系中的三维坐标。最后只要将得到的坐标值反馈到制作的3D模型便可以在显示器上输出捕捉人物行为的动画。过程：摄像头标定：广泛使用的摄像头标定主要有两种方法，一种是自标定，另一种是使用标定板无锡-动漫基地；公司；动画-步态捕捉MotionAnalysis公司视频采集卡v-c，目距：20-30cm-CCD，web摄像头10-15cm基于双目成像的动作捕捉系统1动作设计（正面，简单）2marker位置从CG技术引入影视、动漫作品开始，动作捕捉技术就应运而生了，很多观众对这个技术已经不陌生，几乎所有影视/动画中的CG场面都会用到这种技术。 “视听效果”是阿凡达的导演卡梅隆最重视的电影语言之一，为表现阿凡达中凭空创造的潘多拉星球和全片复杂的3D立体效果，卡梅隆甚至研发了“双镜头三维摄像系统”，完善发展了动作捕捉等制作系统。阿凡达运用动作捕捉技术时，除了需要演员在拍摄时穿上布满捕捉点的紧身衣裤外，影片摄影棚内还同时架设有一套“协同工作摄像机(Simulcam)”来完成此工作。这套系统由布满在摄影棚顶部的140个数字摄像机组成，形成一个捕捉舞台。摄像机通过追踪现场LED灯打出的近红外光谱的反射，将捕捉到的数据传输到一套系统中，再将光谱的反射与演员的运动进行组合分析，得出整个镜头的立体模型。之后，这些数据再被映射到后期的计算机处理，从而令CG场景呈现出高度拟真的效果。与这套系统相比，Stage运动捕捉系统显然已经走在了时代的前列。运动捕捉技术从原理上说可分为机械式、声学式、电磁式、主动光学式和被动光学式。不同原理的设备各有其优缺点，一般可从以下几个方面进行评价：定位精度；实时性；使用方便程度；可捕捉运动范围大小；抗干扰性；多目标捕捉能力；以及与相应领域专业分析软件连接程度。ORGANIC MOTION公司创建的Stage运动捕捉系统开辟了一个全新领域。演员无需穿着动作捕捉服，只要在14台摄像机前随心所欲做动作，捕捉到的画面就会由电脑实时生成图像，图像被合成三维数据云后，电脑将相邻的数据点三角化，进而形成人体的轮廓、动作。之后再用动画软件对被填充的三维材质做进一步处理，捕捉到的动作任何细节都不会丢失。Stage运动捕捉系统也宣告了不需要紧身衣、不需要标记点，没有束缚，自由自在的时代来临了。一切是干净的、真实的、实时的、可行的，穿紧身衣的日子结束了。北京欧雷新创科技发展有限公司是一家专业从事动画教学方案和动画制作解决方案的综合性的高科技企业。公司位于北京首家以多媒体创意产业为核心发展方向的高新技术园区-北京市多媒体创业产业园内。公司董事长拥有美国大学博士学位并在硅谷从业多年。公司获雄厚的风投资金支持。Stage开启了动作捕捉的全新领域，可以自然的跟踪整个角色，即时获得干净的运动捕捉数据，包括3D模型和材质。动作捕捉数据能够实时导入Autodesk MotionBuilder软件。“Stage运动捕捉系统组合了有感知的有预想的跟踪技术和计算机视觉技术，从而让角色在屏幕上几乎能做所有事情，并且能获得干净的数据。”FXGuide在使用后发出这样的评价！除了被应用于电影特效制作，Stage动作捕捉系统可用于检测神经肌肉紊乱患者的生物力学数据。目前，一家定制高档自行车厂商还购买了该系统，帮助顾客选择最适合的自行车框架。这套系统还有可能开辟在线游戏的另一种未来。届时，玩家将不再是游戏的操控者，而是化身为游戏中的人物。在安德鲁?茨诺克看来，动作捕捉技术的最终归宿将是人类的日常生活。立体电影一定是电影的将来，就像黑白电影到彩色电影的过度，历史趋势是不可阻挡的。利用3D立体技术、动作捕捉通过阿凡达将自己的想象力完美地呈现给了全球影迷。可见3D立体技术和动作捕捉在电影制作中的地位，相信越来越多的动作捕捉将应用于电影制作中。 我们深信我们所处的时代是人类工程学的一个伟大时代，或许下一个世纪的技术开创者在回首我们所处的这个时代时，依然可以用“伟大”来形容：动作捕捉运用于电影工业，我们开始了一个崭新的电影制作时代。实现函数框架：PreProduce(IpImg *img1, IpImg *img2)利用RGB分量分开背景和物体；利用阈值分离图像；去噪；DetectFeaturePoint(IpImg *img1, point *r) /5个特征点的提取smooth FindPoint(IpImg *img1)舍弃面积过大过小的Edge 查找边缘Coutour 轮廓椭圆拟合 fit ellipse得到重心坐标存入point *rCalibration (double (*R),double (*T),double (*M)/求出摄像极的内外参数，并确定空间坐标系的位置摄像机标定存入文件calibration1.txt ，calibration2.txt Match Point(point (*r)N, IplImg *img2,point (*l)N)/左右摄像头对应点的匹配以point (*r)N中的坐标得到极线