数字虚拟人体上针刺手法学的VR再现.doc

www.CRTER.org姜雨晨，等. 数字虚拟人体上针刺手法学的VR再现数字虚拟人体上针刺手法学的VR再现姜雨晨1，姜 俊2，王福波2，国海东2，邵水金2，严振国2，苗 鹏3 (1上海同济大学附属东方医院，上海市 200092；2上海中医药大学基础医学院，上海市 200010；3上海大学通信与信息工程学院，上海市 200444)引用本文：姜雨晨，姜俊，王福波，国海东，邵水金，严振国，苗鹏. 数字虚拟人体上针刺手法学的VR再现J.中国组织工程研究，2016，20(44):6643-6648.DOI: 10.3969/j.issn.2095-4344.2016.44.015 ORCID: 0000-0002-9620-8505(姜俊)文章快速阅读：虚拟人与力反馈仪三维坐标系姜雨晨，男，1991年生，江苏省南通市人，汉族，硕士，主要从事三维数字人研究。 通讯作者：姜俊，副教授，上海中医药大学基础医学院，上海市 200010中图分类号:R318文献标识码:A文章编号:2095-4344(2016)44-06643-06稿件接受：2016-08-11文题释义：虚拟现实技术：指采用以计算机为核心的各种技术，生成逼真的视觉、听觉、触觉一体化的特定范围的虚拟环境。虚拟现实实际上是一种人机接口，为用户提供各种直观而又自然的实时交互手段。在医学方面，虚拟现实为诊断疾病，治疗康复及医学教育与培训提供了一种全新的方法。虚拟现实技术在研究内容上充实了针灸学：从针灸教学的角度来说，为针灸教学提供一种动态的兼具视觉与触觉感受的仿真手段；从针刺得气机制研究的角度来说，在将来可借此平台探讨；从为个性化针刺治疗提供依据的角度来说，在将来可利用现代传感技术进行大样本、多人群的在体针刺手法力学参数实时测定，可建立针刺时人体软组织生物力学数据库，为个性化针刺治疗提供依据；从新型学科产生的角度来说，将古老的针灸学、解剖学与现代生物力学、现代传感技术和计算机图形图像处理技术相结合，必将产生一门更新型的学科数字针灸学。摘要背景：将穴位解剖立体构筑形态融入针灸手法学教学，结合数字化虚拟针灸人计划的实施和应用，将能极大地提高教学效果和学习兴趣。目的：对融合了虚拟现实力反馈技术与组织形变技术的针灸虚拟人进行研究。方法：运用虚拟现实技术，以计算机为核心生成逼真的视觉、听觉、触觉一体化的特定范围虚拟环境，采集临床专家针灸手法，匹配能够体现针刺力度、位移和速度感的传感设备，基于虚拟人的图像分割建立人体组织力学模型，搭建虚拟针刺力反馈系统，通过力反馈设备真实地传递给操作者。一方面，基于VOXEL-MAN虚拟人体开发平台，完成了腧穴的针灸学三维浏览器再开发，给人以视觉感知；另一方面，基于近代生物力学理论，运用图形与图像处理技术和力反馈技术进行建模，将针刺时穴位区组织各层结构的受力过程以虚拟现实和力反馈的方式，给人以触觉感知。结果与结论：完成了虚拟针刺力反馈系统人机互动操作平台，操作者既可从显示器中看到毫针进入人体组织的动态过程，又可在力反馈仪控制末端感受到真实反作用力。通过操作力反馈仪控制虚拟环境中的毫针，对虚拟人施行针刺。该系统达到了2个要求：所示与各个组织相互作用所产生的反馈力变化与用仪器测得的真实针灸反馈力数据相近，毫针进入不同的组织，力感变化明显，有随层次递进的感觉；达到逼真的体验。在整个训练过程中，图像显示平滑，虚拟针体反应灵敏，较好地满足了虚拟现实的要求。关键词：骨科植入物；数字化骨科；虚拟现实；数字人体；针刺；力反馈；国家自然科学基金主题词：针刺；反馈；组织工程基金资助：国家自然科学基金项目(81072957) 3 P.O.Box 1200,Shenyang 110004 Virtual reality of acupuncture manipulation in digital virtual humanJiang Yu-chen1, Jiang Jun2, Wang Fu-bo2, Guo Hai-dong2, Shao Shui-jin2, Yan Zhen-guo2, Miao Peng3 (1Dongfang Hospital, Tongji University, Shanghai 200092, China; 2Basic Medical College, Shanghai University of Traditional Chinese Medicine, Shanghai 200010, China; 3College of Communication and Information Engineering, Shanghai University, Shanghai 200444, China)AbstractBACKGROUND: The three-dimensional structure of acupoint anatomy was integrated into the teaching of acupuncture manipulation. Combined with the implementation and application of the acupuncture and moxibustion in digital virtual human, it can greatly improve the teaching effect and learning interest. OBJECTIVE: To investigate the acupuncture virtual human with integration of virtual reality force feedback technology and tissue deformation. METHODS: Using virtual reality technology, with computer as the core, we generated a specific range of virtual environment with realistic visual, auditory and tactile integration, collected clinical expert acupuncture technique, matched the sensing equipment that can reflect the intensity, displacement and speed sensing of acupuncture. Based on image segmentation of virtual human, we constructed human tissue mechanics model, built virtual acupuncture-force-feedback system, and faithfully transmitted to the operator by a force feedback device. On one hand, based on VOXEL-MAN virtual human development platform, we finished the three-dimensional browser redevelopment of the science of acupuncture and moxibustion of Shu acupoint, which provided visual perception for people. On the other hand, based on modern biomechanics theory, we established models by graphics and image processing technology and force feedback technology. The stress process of the structure of each layer in the acupuncture point area was given to people in a sense of touch by the manner of virtual reality and force feedback. RESULTS AND CONCLUSION: With the man-machine interactive operation platform of virtual acupuncture force feedback system, operator could see the dynamic process of acupuncture needle into human body, and could feel the real counterforce in the control terminal of force feedback instrument. By operating acupuncture needle in virtual environment of force feedback instrument, acupuncture was performed in virtual human. The system meets the two requirements: the feedback changes produced by tissue interaction were similar to real acupuncture feedback force data measured by instrument. The acupuncture needle entered into different tissues, a sense of power changed significantly; there was progressive feeling with different layers, reaching a realistic experience. During the whole training, the image was smooth; virtual needle was responsive, which better meets the requirements of virtual reality. Subject headings: Acupuncture; Feedback; Tissue Engineering Funding: the National Natural Science Foundation of China, No. 81072957Cite this article: Jiang YC, Jiang J, Wang FB, Guo HD, Shao SJ, Yan ZG, Miao P. Virtual reality of acupuncture manipulation in digital virtual human. Zhongguo Zuzhi Gongcheng Yanjiu. 2016;20(44):6643-6648.6645ISSN 2095-4344 CN 21-1581/R CODEN: ZLKHAH0 引言 Introduction Jiang Yu-chen, Master, Dongfang Hospital, Tongji University, Shanghai 200092, China Corresponding author: Jiang Jun, Associate professor, Basic Medical College, Shanghai University of Traditional Chinese Medicine, Shanghai 200010, China针灸手法学与穴位解剖学是解剖学与中医针灸学相结合的基础学科，体现出中西医结合、临床医疗与基础医学相结合的特点。由于学科交叉，该门课程的教与学均具有一定的难度。随着计算机技术的迅速发展，其辅助教育功能日渐显示其优越性。将穴位解剖立体构筑形态融入针灸手法学教学，结合数字化虚拟针灸人计划的实施和应用，将能极大地提高教学效果和学习兴趣，可使针灸手法学的教与学的过程发生根本性变化1。1 材料和方法 Materials and methods1.1 设计 针刺手法学与数字化虚拟针灸人三维立体表达实验。1.2 时间及地点 实验于2011年1月至2013年12月在上海中医药大学解剖教研室国家三级实验室完成。1.3 材料 上海中医药大学解剖教研室对腧穴解剖结构的研究成果2；德国汉堡大学利用VHP数据集开发的VOXEL-MAN可视人体操作平台3。1.4 方法 针法是指在中医理论的指导下把针具(通常指毫针)按照一定的角度刺入患者体内，得气，又称“针感”，使针刺部位产生经气感应的手法。通常此时患者伴有酸麻胀痛感。运用捻转与提插等针刺手法来对人体特定部位进行刺激，达到治疗疾病的目的。刺入点称为人体腧穴，简称穴位。1.4.1 建立针刺人体软组织时的生物力学数据库 见图1-4。6649ISSN 2095-4344 CN 21-1581/R CODEN: ZLKHAHBAUSB连接通信生物力学数据库软件系统针刺力传感仪针灸专家针刺手法治疗志愿者图2 针刺现场照片Figure 2 Scene photographs of acupuncture manipulation图注：图中A为肾俞穴针刺数据采集，B为中脘穴针刺数据采集。图1 材料方法流程框图Figure 1 Flow chart of material and methodAB图4 生成针刺临床手法力学数据库Figure 4 Generation of mechanics database of clinical acupuncture manipulation图3 针刺样本位移、速度、力度力反馈波形图Figure 3 Force feedback waveform of the displacement, speed and strength图注：图中A为针刺肾俞穴力学样本波形，B为针刺中脘穴力学样本波形图。图6 针刺尺神经的动画着色显示Figure 6 Animation coloring display of ulnar nerve acupuncture图5 小海穴的虚拟进针操作界面Figure 5 Virtual needle operation interface of Xiaohai acupoint由针灸专家对50名志愿者(男女各25名)，进行双侧曲池穴、环跳穴、风池穴、中脘穴、肾俞穴共2550次手法测试，直接获得腧穴针刺得气时的进针位移、速度、力度力反馈曲线不同数据。生成多样本针刺力学参数，利用德国汉堡大学基于可视化人体数据集开发的三维可视化VOXEL-MAN操作平台，结合腧穴解剖结构，经计算机统计分析处理后得到相对标准参数，建立针刺人体软组织时的生物力学数据库。 具体参数为：针尖与皮肤的碰撞点到当前位置之间的距离，针刺得气时进针点的最大深度和最小深度，针体进入脂肪组织、肌组织的长度，针尖触接骨头的深度；进针和退针时的动摩擦力，进针和退针时的静摩擦力(针体和组织没有相对运动时的针尖作用力，肌肉的动摩擦力等)；皮肤的基础形变量，针尖所在组织的黏性系数(皮肤的弹性系数和黏性系数，脂肪的黏性系数，骨组织的弹性系数等)；针尖的运动速度，针体和组织的相对运动速度(如针尖与脂肪组织的相对速度)，速度的临界值等。图3是针灸专家进针过程中，反馈力随进针距离变化的波形图。生成针刺临床手法力学数据库。1.4.2 针刺手法虚拟视觉和虚拟触觉再现 使用OPENGL来实现虚拟针灸系统视觉上的模拟，对皮肤以及肌肉进行三维重建，并且完善其“骨骼”结构，使其在进针过程中完成视觉上的自然形变。虚拟针灸针的运动由力反馈设备的手柄进行控制，当虚拟针接触到虚拟皮肤和虚拟肌肉时，随着破皮以及组织内滑动等一系列运动过程，虚拟皮肤和肌肉发生形变，完成针刺虚拟的视觉再现。通过在虚拟人体上的腧穴定位和组织分割，在演示图上可清楚地看到针刺过程中毫针经过的组织，肌肉分割、血管及神经建模的效果非常理想，通过着色可标注重要的组织结构(图5，6)。 针灸手法力反馈过程的触觉再现由力反馈设备Falcon完成。视觉虚拟环境内，当虚拟针接触并进入到皮肤或肌肉等组织时，计算机根据所建立的各个组织的力学模型和各个穴位的数据参数，对反馈力大小进行实时计算，并且将反馈力信息通过USB接口传递给力反馈设备。力反馈设备通过实时设定操作者手握的操作杆上的反馈力，从而使操作者体验不同的针灸进针过程，从而完成针刺虚拟触觉再现。依据腧穴区组织结构的力学物理特性，建立适合针刺过程的力学弹性模型，模拟施针过程力学和视觉变化的仿真，并通过力反馈接口把数据传递到力反馈仪从而让操作者感知。虚拟视觉再现模块和虚拟触觉再现模块之间通过有名管道进行数据通讯，实现视觉与触觉的同步，达到虚拟现实的沉浸感和逼真感4。1.4.3 实时地控制针刺力反馈仪 力反馈仪将获得的控制终端坐标数据传递给VOXEL-MAN，操作者可以实时地控制虚拟空间的针体运动。但力反馈仪的空间坐标轴与虚拟人的三维坐标存有差异，必须将力反馈仪的原始坐标数据经过一系列的坐标变化，变换完成后力反馈仪的三维坐标空间与虚拟空间中以相应穴位点为原点的坐标系相对应(图7，8)。图7 虚拟人三维坐标系Figure 7 Three-dimensional coordinate system of virtual human图8 力反馈仪三维坐标系Figure 8 Three-dimensional coordinate system of force feedback instrument假设力反馈仪获得的原始坐标为(x1，y1，z1)，那么将原始坐标首先转换为与虚拟人空间相同轴向的坐标：对力反馈仪的坐标进行尺度变换：其中sx，sy，sz根据针灸针在虚拟空间中的活动范围大小而定。虚拟人还需要根据穴位点的位置进行旋转，相应的坐标轴也发生了旋转，又因为虚拟人可以360旋转，故计算坐标旋转角度时需要对3个轴分别进行运算：力反馈仪坐标系中的点(x0，y0，z0)人坐标系中的穴位P点坐标(xp，yp，zp)相对应，经过以上变换后的坐标为(xp，yp，zp)，旋转后的坐标系进行以下平移： 2 结果 Results 将硬件设备力反馈仪通过USB线与PC机的USB接口相连接，从而与软件完成信息交换。虚拟针灸针完成虚拟进针过程时，虚拟皮肤和肌肉随着进针过程发生相应的形变，并且PC机通过重建的力学模型和组织系数计算相应的反馈力，通过USB接口将信息传递给力反馈设备，力反馈设备通过对设备手柄上反馈力的控制，使得操作者对进针的触感进行全过程体验。软件和硬件相结合，从而完成视觉和触觉两方面的针灸全过程仿真，成功建立了人机互动操作平台。将虚拟现实技术与传统针灸医学相结合，分析并重建皮肤和肌肉的三维模型和力学反馈模型，并与虚拟人VOX-MAN上的穴位信息相结合，在windows环境下实现从视觉以及触觉两个方面对针灸手法全过程进行模拟，操作者既可以从显示器中看到毫针进人人体组织的动态过程，又可以在力反馈仪控制末端将感受到真实的反作用力。通过操作力反馈仪，控制虚拟环境中的毫针，对虚拟人施行针刺。随着毫针进入人体组织，操作者在力反馈仪控制末端将感受到真实的反作用力。整个系统从打开力反馈开关开始，操作者可以练习和熟练对某一特定穴位的针刺手法。在这一过程中，如果毫针偏离了腧穴区的一段特定距离，或施力太过等一系列违反针刺规则的行为发生，力反馈过程将停止，一个训练过程宣告结束。下面组图是以风池、中脘穴针刺训练场景为例的演示场景(图9)。图中，皮肤的破皮进针点，皮肤、皮下组织、肌肉、骨的进针过程。该系统达到了2个要求：所示与各个组织相作用所产生的反馈力变化与用仪器测得的真实针灸反馈力数据相近，毫针进入不同的组织，力感变化明显，有随层次递进的感觉；达到逼真的体验。在整个训练的过程中，图像显示平滑，虚拟针体反应灵敏，较好地满足了虚拟现实的要求，操作者从人机互动操作平台中真实体验针灸专家进针手法全过程。AB图9 针刺训练场景图Figure 9 Scene graph of acupuncture training图注：图中A为风池穴针刺训练场景1，B为中脘穴针刺训练场景2。3 讨论 Discussion 虚拟现实技术指采用以计算机为核心的各种技术，生成逼真的视觉、听觉、触觉一体化的特定范围的虚拟环境5。虚拟现实实际上是一种人机接口，为用户提供各种直观而又自然的实时交互手段。在医学方面，虚拟现实为诊断疾病，治疗康复及医学教育与培训提供了一种全新的方法。研究的主要工作在于：对融合了虚拟现实力反馈技术与组织形变技术的针灸虚拟人进行研究，完成了腧穴相关组织(肌肉、血管、神经)的图像分割与图形建模，实现了腧穴在虚拟人体中的定位与表达；通过制作腧穴的针刺三维动画以实现穴位进针时的全方位立体观察，实现了虚拟进针视觉再现。通过解决Omega力反馈仪与VOXEL-MAN系统的接口问题和创建有名管道Fifoserver，实现了虚拟视觉和力反馈进程间的信息传输6，同时基于虚拟人图像分割建立了人体组织力学模型，搭建了虚拟针刺力反馈系统，实现了虚拟进针的触觉再现。研究对虚拟现实技术和针灸学、三维虚拟人之间的关系也有了更新的认识，为疾病的诊断、医技传承和治疗康复及医学教育与培训提供了一种新的方法。虽然研究基于三维数字人模型，综合运用虚拟现实技术，构建完善、逼真的虚拟针刺力反馈仿真系统，达到了预期研究目标，但尚有以下不足须讨论：3.1 虚拟进针中虚拟人体上腧穴定位不足性探讨 由于穴位的定位有着全方位要求，所以对虚拟人数据集的要求也会是多体位的，对于定位和取穴，其体位有着不同的要求，如上肢穴位的曲池(LI11)穴的定位标准是在肘关节前外侧，肘横纹桡侧端与肱骨外上髁连线之中点，相应地取穴要求正坐屈肘成90取之；环跳穴的定位标准是为：在股外侧部，侧卧屈股，在股骨大转子最高点与骶骨裂孔的连线上，当外1/3与中1/3的交点处，取穴要求侧卧屈股。但当采用VHP数据集获取断面数据时，却不能通过标准的解剖学姿势来定位；因为虚拟人上肢前臂呈旋前位，肘关节略屈曲，不是解剖学姿势，一定程度影响定位。同时由于不同穴位的定位对体位又有着不同的要求，例如环跳穴的定位标准是要求侧卧屈股的，而虚拟人却难以进行相应的体位变换或变形，所以在虚拟人体上对腧穴精确定位的可视化研究具有一定难度，受一些限制，穴位定位的准确性会受到一定影响。3.2 虚拟进针中对不同人种和体型穴位进针深度的探讨 通过对脚本文件的编辑和生成动画后的观察发现，按照中国规定的穴位进针深度所生成的动画中，针尖远远不能到达穴位要求的深度，这样不会起到很好的治疗作用。如肾俞穴，常用进针深度为一二寸，但在课题中进针深度达到2寸左右；环跳穴，常用进针深度为二三寸左右，在课题中进针深度达到3寸左右才能到达目标区。进针深度的标准是中国长期临床实践经验的结果。相对于西方人种而言，东方人种体型普遍比较矮小，相应地进针深度也较浅；如果把东方人进针深度的标准运用到西方人身上，从此项研究的观察来看，进针深度过浅，可能会对针刺疗效造成一定的影响，所以国外进针深度的标准不应该照搬中国。同时对于不同人种间的穴位定位、进针深度等方面研究还需进行，这对针灸的国内外传播有着深远影响。3.3 血管和神经建模后的逼真性探讨 血管和神经在VHP数据集上的信息，或者说血管和神经能否在横断面上清晰的显示，是决定血管和神经数学建模成功与否的关键。VOXEL-MAN虚拟人体在获取断面数据时，由于受技术条件以及操作等方面的限制，使血管和神经虽然在横断面上有痕迹可查，但并不是在每一个片层上都能清晰的显示。所以在利用管状图形编辑器进行数学建模时，针对血管和神经的走向是否与实际相符合，就需要依据解剖学知识进行对照，这样就造成人为的主观因素的参与，所以血管和神经在建模过程中会有一定程度的失真性。究其原因，可能有以下几个因素：血管和神经本身有各自的走向特点，而且血管和神经之间的关系从空间结构上来讲本身就比较复杂；布控型值点时，在血管和神经走向变动较大的片层可能布控过少，导致曲线的走向未能完全与实际相符；血管和神经的建模只能在分割窗口下进行，使整个建模过程可参照的组织结构过少。虚拟现实技术在研究内容上充实了针灸学。从针灸教学的角度来说，为针灸教学提供一种动态的兼具视觉与触觉感受的仿真手段，为学习者提供了一个“三维虚拟场景”的逼真学习情景，让学生积极投入到场景之中，充分发挥其主动性。采用现代传感技术，在将来可对针灸医生行之有效的经验手法各项参数进行采集，找出他们进针和行针时的共性和特性，导入到数字虚拟人中，让后学者在已有的虚拟人体模型上深入临摹，让他们体验多种针刺补泻手法的客观针感效果，有利于快速掌握针刺的各种手法，为提高临床疗效打下基础；从针刺得气机制研究的角度来说，在将来可