基于手绘识别与几何约束推理的智能化建模体系

基于手绘识别与几何约束推理的智能化建模体系

随着计算机在工业设计和制造领域的广泛应用以及交互技术的快速发展，人们更加关注如何使用简单、快速和友好的模型。传统的CAD系统采用基于WIMP(窗口、图标、菜单、指向设备)的交互界面,限制了用户创造性能力的发挥.近年来,电子笔输入界面以其自然、直观的特性被引入到图形建模系统中,从而使基于手绘输入的三维建模系统得到了有力的发展.较早的基于笔交互的建模系统SKETCH是一个基于鼠标的手势理解的几何建模体系,然而它所创建的几何模型仅局限于简单的图形,而且使用者必须严格遵循烦琐的操作顺序.在交互式建模研究上,最有意义的一个突破是Teddy,它开发了一个通过简单的轮廓绘制、填充、挤压变形等操作获得充分自由的三维图形的“人性化”工具,但其局限于具有椭圆轮廓模型的创建.与之相似的研究还有文献,它们基于隐式曲面容易表示的优势进行自然手绘输入的建模和修改操作,但是,因为它们不允许局部的修改,更不容易控制不同曲面的连续性,所以作为结果的模型往往不能令人满意.文献中将用户直接输入和重复绘制的二维草图转化为实际的几何元素,但却只能生成比较规则的机械形状,而非任意形状物体.文献虽然描述了通过自由曲线的输入作为边界和内部特性约束来构建自由曲面技术,却仍受制于三边或四边的封闭曲面.近年来,围绕进一步提高手绘输入的理解,文献提出了有效的基于正规化重径特征和神经无网络方法的手绘工程图的识别方法;文献通过提供一系列的反馈来避免理解的二义性,但是它无法支持自由曲面的创建;文献综述了手势建模的约束建立和求解范式;文献定义了一系列常用手势集;文献开发了一个更为简单的手绘曲面创建系统,并基于条件的约束自动演绎具体操作,然而它无法实现后期的编辑和修改.本文提出一个智能化的手绘几何建模系统模型,提供了一个更加自由的操作平台,支持二维和三维任意几何实体的创建以及自由曲面的生成;并提出了高效的约束推理方法,通过对手绘输入的时间、速度、像素位置以及空间结构参数(平行、相交、叠加、垂直和角度等)、时间次序等的分析,结合及时的用户反馈措施,有效地避免了手绘理解的不确定性.同时,本文强调了智能建模系统的同步修改特性,给出了若干重要的修改手势识别操作和插入特性的分类、重组技术.1几何结构的显示本文系统由手绘输入界面、手绘识别、约束推理模块、可视化输出4大部分组成,其中识别模块包含了与模型库、基于知识表示及推理几个模块的交互,如图1所示.1)手绘识别.基于对绘制的速度、曲率的分析可以识别出基本形状,并抽取出一系列简单的几何结构、拓扑结构信息.2)图形数据的表示和推理.数据的表示包括低级的几何基本元素及具有一定意义的语义描述.系统自动存储多次笔画输入,根据逻辑框架自动匹配,生成复杂的三维实体.3)模型库.提供了信息的多次存取,它与推理系统是统一的、相互作用,并无严格的界限.4)可视化的输出.系统提供了丰富的输出反馈,同时提供了方便的交互性控制器操作.1.1党建识别模块手绘输入信息的最大特点是不确定性.对于每一笔输入,我们通过设置鼠标的按下(SoButtonEvent∷State∷DOWN)和抬起(SoButtonEvent∷State∷UP)作为消息函数来获取样点和时间两大基本参数,系统自动对其做进一步细节参数统计,包括曲率(Curvature())、速度(speed())、包围盒(BoundingBox())、最大外三角(LargestTriangle())以及其凸多边形(ConvexHull())等数值的运算.根据已定义的模糊函数(FuzzySet())进行匹配(Evaluate()),从而按照所获得的可能性值形成列表(ShapeList()),最终确定具有最大可能性的识别图形,如线、圆、椭圆、三角形、四边形等.考虑到输入动作的模糊性以及判断结果的精确性,我们提供了如图2所示的用户反馈面板.本文的手绘识别模块建立在已开发的三维场景库虚拟平台上,它提供了支持鼠标二维输入以及空间手势跟踪(通过位置跟踪仪器polhemus)的自由输入界面.用户的每一笔画信息投影到三维空间的一个或若干个平面上,自动转换为如图3所示的三维齐次坐标数据;同时开发了三维拖动器来实现投影平面在三维空间的交互控制.通过计算各个笔画的包围盒BoundingBox()以及所在平面的角度信息来判断笔画之间的空间关系(相交、平行、垂直等).然而,一个三维概念模型的构建通常基于多笔的反复勾画.对于多笔的输入,必须考虑信息的多次存储、条件的逐步匹配和推理——几何约束求解.1.2正常0.条件约束生成三维模型我们在推理库中设计了一系列的特性分类,每一种特性划分都是由条件约束和图形参数组成的树形结构.我们采用先进的推理技术,匹配不同的约束进行特性选择,从而获得具体的操作特性,如图4所示.其中,几何元素指基本的几何图元,如点、线、弧、曲线等,基本的几何物体指矩形、圆、曲面、柱体、球体等基本的二维和三维几何实体.低水平的条件约束包括几何结构信息、拓扑结构信息、纹理、颜色等,根据低水平的条件约束可以具体理解三维几何图形的创建,而基本的特性对应一系列基本操作的理解,如分割、边界的修改、凸包、融合等;高水平的特性描述即语义描述,由一系列基本的特征描述组成,并赋予一定的意义.决策树中高水平的特性描述用于创建更为复杂的几何模型,即一个三维场景的建立将不仅仅是几何实体的收集,更是一个由基于语义标识的不同实体的组合(如树、房子、云等).对于多笔画输入,我们引入四元组G(Li,Si,Pi,Vi)来存储每次的笔画输入信息,其中的每个元素都以类库的形式存在:L表示当前笔画识别后的几何形状,S为空间位置信息,P是笔画的拓扑信息,V为笔画的特性信息(如纹理、颜色等);同时,我们借用Ti表示获得的几何实体,Ci为必须满足的条件约束.笔画的空间结构信息S和拓扑结构信息P来源于手势识别过程.我们通过P→Pre_Gesture与P→Current_Gesture来存储用户顺序输入的笔画数据,同时计算各个笔画所在平面的角度信息,以判断笔画之间的空间关系S.算法1.手绘建模算法Step1.初始化输入信息G(Li,Si,Pi,Vi).Step2.笔画识别G(Li,Si,Pi,Vi)→Ti(Cj).Step3.If(单笔画)then转入用户对产生的预测结果进行确定和可视化.Else执行下一步.Step4.组合条件约束推理:Cm(Ti∧Ti-1∧…∧T1)→Tm(Tj(Ck),…,Tn(Cl),Cm).Step5.检测Tm是否存在于已知的模型库中If(!存在)then插入(Tm)于模型库Elseif(继续)then转Step1Else用户对产生的预测结果进行确定和可视化.算法1中,Step2为单笔画输入识别,它将产生基本的图形信息Ti(见第1.1所述);Step3的实现是通过用户的交互来确定建模为单笔输入建模还是多笔输入的连续过程,若为单笔,则直接显示结果即可,若为多笔连续输入建模则转Step4,约束求解过程将回溯以往的历史信息(基本图元G→L、空间关系G→S、拓扑关系G→P等)进行组合约束的匹配;最终,Tm为创建的三维模型.图5所示为三维模型T13的推理和生成过程,其中,数字1～10表示必须满足的条件约束,C1～C5为基本二维图形Ti生成的条件约束;C6～C15为低水平条件约束(包括空间、时间和拓扑关系等的匹配),约束生成三维几何图形Ti,其约束过程如下:C1(L1,S1,P1,V1)→T1(圆,C1);C2(L2,S2,P2,V2)→T2(三角形,C2);C3(L3,S3,P3,V3)→T3(直线,C3);C4(L4,S4,P4,V4)→T4(正方形,C4);C5(L5,S5,P5,V5)→T5(矩形,C5);C6(L6,S6,P6,V6)→T6(菱形,C6);C7(X,Y)=(X相交于Y)∧(X为Y的前趋笔画)∧(X∈T;Y∈T);C8(X,Y)=(X平行于Y)∧(X为Y的前趋笔画)∧(X∈T;Y∈T);C9(X,Y)=(X垂直于Y)∧(X为Y的前趋笔画)∧(X∈T;Y∈T);C10(X,Y)=(X相邻Y)∧(X为Y的前趋笔画)∧(X∈T;Y∈T);C11(C8,C9)=(C8→Tm)∧(C9→Tn)∧(Tm内含于Tn).如图5a所示,匹配树的第一层节点表示基本的几何图形(单笔输入的识别的结果),每个分支是产生的可能模型(根据约束的满足情况).例如,图5b中的T9(第二层左侧),前一笔输入为三角形,若与当前的笔输入的圆相邻接,即条件约束C1,C2,C10依次匹配,系统自动生成T9,它可表示成为T9(T2(C2),T1(C1),C10).同理,我们可以得到复杂的三维模型Ti(Tp(Cj),Tq(Ck),Cn):i,p,q,jk,n,∈integer.为了进一步优化整个推理过程,我们定义了如表1所示的笔画节点的数据结构,通过链表的形式存储连续的输入信息;同时很容易追溯三维模型生成过程中所顺序使用的笔画和具体的条件约束,这将为以后的图形分析和处理提供了很大的方便.例如,我们生成的三维模型为T10,根据表中的信息,可知其前驱笔画为T9,当前的笔画为T1;而从T9字段可知,创建T9必须要顺序绘制T2和T1.图6所示为自由绘制生成的一系列三维模型.其中,图6a中顺序输入的线和三角形满足已定义的几何约束(相交,见绿色圆区域),进而生成三棱柱模型;图6b所示为基于三笔连续输入的模型生成过程,其中线、四边形和三角形依次满足几何和空间约束;图6c中,第一笔作为边界曲线,第二笔表示曲面进行拉皮生成的轨迹,从而构成扫掠式曲面;图6d描述了6笔连续绘制轮廓曲线,并自动约束生成旋转式曲面模型的过程;最终,图6e中通过再次输入的笔画进行轮廓修改,实现曲面的局部调控.1.3维实体表达动作在概念设计阶段,设计者的最初想法往往是不准确的,需要不断地进行提炼、调整,因此简单、方便、快捷的修改技术将进一步促进整个创造性任务的实现.本文系统开发了直观的笔输入进行局部切割、复制、删除等基本的手势识别操作(如图7,8所示).其中,无论是目标的选择还是手势的绘制都通过鼠标的交互动作投影到三维空间实现.其具体步骤如下:Step1.选择三维实体SoPath*selPath=(SoSelection*)selection→getPath(selection→getNumSelected())Step2.判断是否为编辑对象(SoNode*)selNode=selPath→getTail();selNode→isOfType(SoCube∷getClassTypeId())Step3.手绘输入编辑信息并判断识别,同时确定笔画所在平面与三维实体的空间关系S,并实现具体编辑操作.同时,我们开发了自由曲面模型的绘制、边缘修改,以及内部的局部和整体调控的可靠算法.1.4基于三维场景的三维建模及结果实现“人性化的”输出是目前图形显示系统的主要方向,通过易于交互的控制器来调整几何模型,编辑、修改其一系列的特性,如纹理、颜色、光及图形尺寸的缩放等,进一步丰富模型的语义描述,并调整了模型库中图形的特性信息.我们结合先进的虚拟现实技术建立了高性能的显示系统,并已经运用OpenInventor和VC语言系统开发了三维场景虚拟建模平台,图形信息以语义描述的节点表示,并以基于场景的图结构来组织相应的特性信息及节点信息,而且方便的交互性控制器便于后期的修改和处理.2基于绘画输入的建模技术本文基于在概念设计阶段的不断提纯的特