（计算机应用技术专业论文）家居概念设计展示系统中草图交互方式的研究与实现.pdf

堕塑塑堇奎兰堡圭兰垡堡壅! ! ! l 摘要 传统的家居设计软件在交互上基于w i m p 的方式，对用户使用水平有较高 的要求，并且操作步骤繁琐，使得设计者的思路常常被频繁的菜单选择、按钮操 作和键盘输入所打断，影响了设计意图的自然流露，不能很好地支持概念设计。 本文基于笔式交互，将手势作为交互资源，将草图作为信息载体，论述了家 居概念设计展示系统中基于手势和草图的交互技术及其实现。利用草图以图会意 的方式，结合基于自由勾画的手势使用可以较好地表达设计构思，同时避免了 w l m p 方式f 繁琐的菜单和图表按钮操作，提供了一种自然和谐的用户界面。论 文的主要工作如下： 1 总结了家居概念设计展示系统的应用现状以及相关技术的研究现状，提 出了基于手势和草图的概念设计方法来实现家居系统交互功能的解决方案。 2 研究了单机版的草图实现技术。结合交互过程中用户心理模型分析，设 计了手势集合，研究了手势的表达方法和手势识别算法。通过对用户交瓦语义的 分析，总结了二维草图交互中的约束求解技术并研究了基于约束优先级的交互语 义分析算法，有效处理欠约束、过约束的情况，建立房间的拓扑结构。构造了虚 拟工作平面与垂直工作平面，解决了二维手势向三维手势的映射问题。 3 研究了协同设计环境下的草图交互问题。定义了交互日志的表达方法来 减少网络中的信息传输量：给出了批注面的定义和计算方法来支持一人操作多人 观看的协同设计；研究了冲突消解策略来解决多人协同设计中的操作冲突问题。 4 论文最后通过建立原型系统的方法验证了文中理论研究的正确性。 关键词：概念设计，手势，草图，约束，协同设计 首都师范大学硕上学位论文 摘要 a b s t r a c t m o s tt r a d i t i o n a li n t e r i o rd e c o r a t i o ns y s t e m sa r eb o u n d e di n也ew i m p i n t e r a c t i v em o d e u s e r s t h o u 曲t sa r eb r o k c nb ye x c e s s i v es w i t c h e sa m o n gs e l e c t i o n o f m e n u ，叩e r a t i o n so nb u t t o n sa n dk e y b o a r di n p u to f 、v o r d s 1 nt 1 1 i sp a p e rt h ei n t e r a c t i o nt e c h n o l o g yi sd i s c u s s e db a s e do np e ni n t e r a c t i o ni n w h i c hg e s t u r e sc a nb es e e na so n eh n do fi n t e r a c t i v er e s o u r c e sa n ds k e t c hc a nb es e e n a so n ek i n do fm f b n n a t i o nc a r r i e li tc a n e x p r e s st 1 1 ed e s i g ni d e a sb e t t e rs oa st o l v o i d t h et m u b l eo p e r a t i o n so fm e n u sa 1 1 db u t t o n si nw i mp a sw e l l ，i tg i v e san a t u r a la i l d h a m o n i o u su s e ri n t e r f h c e t h em a i nc r e a t i v ec o m r i b u t i o n so f 也i sp 印e rc a nb e s u m m a r i z e da sf o l l o w s ： 1 b a s e do nt h ea n a l y s i so ft h er c s e a r c ha c t u a i i t yo fh t e r i o rd e c o r a t i o ns y s t e m a n di t sr e l a t e dt e c l l l l o l o g y ，t h es o l u t i o nb a s e do ng e s t u r ea i l ds k e t c ht o i m p l e m e n t i m e r a c t i v em n c t i o ni ni n t e r i o rd e c o r a t i o ns y s t e mi sp r e s e n t e d 2 t h et e c h n o l o g yo fs k e t c hb 嬲e do n as t 眦d - a l o n et c 珊i n a li ss t u d i e d u n d e rt 1 1 e g u i d a n c eo fc o g n i t i v ep s y c h o l o g y ；g e s n l r eg r o u pi sd e v i s e d ，e x p r e s s i o nm e t h o da n d r e c o g n i t i o n 撕t h i n e t i co fg e s t w ei sp r e s e n t e d b a s e do nm ea n a l y s i so fu s e r s i m e r a c t i v es e m a m i c s ，g e o m e 打i cc o n s t r a i n ti n2 ds k e t c hi ss u m m 蕊z e da j l da l g o r i o fi m e r a c t i v es e m a n t i cb a s e do nc o n s 虹a i mp r i o r i t yi sc o n s t r u c t e dw h i c hc a nh a n d l e c o n s 砌n ta 1 1 db u i l dt 1 1 et o p o l o g yo fh o m e h o r i z o n t a l - p l a l l ea i l dv e n i c a l - p l a i l ea r e c o n s 打u c t i mt 0r e s o l v et l l ep r o b l e m o f s p a c em 印p i n g 舶m2 d t o3 d 3 i s s u eo fi n t e r a c t 主o ni nc o l l a b o 洲v e d e s i 鲈 e n v i r o n m e n ti sd i s c u s s c d i n t e r a c t i o nm m s a c t i o nl o gm e c h a n i s mi sp u tf o r 、a r dt or e d u c et l l en e tb u r d e n t h e d e f i n i t i o na n dc o m p u t a t i o no fm a r k u pf a c ei s p r e s e n t e dt os u p p l yc o l l 批r a t i v e d e s i g i le n v i r o n m e n ti nw h j c h 恤ed e s i 印e rm a i l i p u l a t e3 dm o d e la j l dt h ec l i e n t s b r o w s et 1 1 er e s l l l t c o l l i s i o nc h e c ks t r a t e g yi sp u tf o n v a r dt or e s o l v ec o l l i s i o n si n m u l t i i u s e rc 0 1 l a b o l a t i v ed e s i g ns y s t e m 4 ap r o t o t y p ei sb 试l tw h i c hv a l i d a t e dm em e o r i e sp r c s e n t e di nt l l i sp a p e l k e yw o r d s ：c o n c e p t i l a ld e s i 朗，g c s t u r e ，s k e t c h ，c o n s t r a j n s ，c o l l a b o r a t i v ed e s i 趴 3 y8 6 9 5 6 2 首都师范大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或 集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名 瓿再易 口期：子卵6 年r 月1 日 首都师范大学位论文授权使用声明 本人完全了解首都师范大学有关保留、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学 位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出 版。保密的学位沦文在解密后适用本规定。 学位论文作者虢武无易吼渺占年啪y 日 首都师范大学硕士学位论文 第一章绪论 第一章绪论 1 1 家居概念设计展示系统综述 1 1 l 家居概念设计展示系统的含义 家居概念设计展示系统是通过笔式交互、三维造型、三维真实感图形渲染和 实时交互式漫游等技术的应用，直观、快速、自然地实现家装方案设计的c r m 工具。该软件定位在适用行业的销售前台，为普通客户与专业设计( 销售) 人员 建立起高效的沟通桥梁，使客户能够很容易地参与到自己家居的设计过程中。 1 1 - 2 家居概念设计展示系统的研究意义 建筑业是我国国民经济的重要支柱，主要包括房地产、装修、家具与整体厨 房业等几个重要部分。据权威部门调查，房地产业的投入可带动相关3 0 多个行 业的经济增长，建筑业目前已经成为拉动国民经济增长的重要力量【”。 随着房地产业竞争的加剧，任何一种户型的住宅都难以在市场上占绝对优 势，而且消费者都希望自己的需求和偏好能够在自己的住宅中得到体现和满足。 这就使得住宅在户型、结构、建筑风格、室内装修等多方面呈多样化发展趋势。 如果开发商不注重消费者需求，仅凭想象或模仿开发住宅，必然造成供给与需求 的脱离。因此，房地产企业需要充分研究消费者的需求和偏好，并将其贯穿于住 宅开发的全过程，开发适合消费者需求的住宅。客户是企业生存的基础，根据客 户需求提供房地产品，同客户建立良好的沟通关系，成为房地产企业取得竞争优 势的重要手段。 客户关系管理系统( c r m ) ，主要完成的功能是收集客户信息，并加以分析 和利用，解答企业关于：“哪种产品更受欢迎，哪些服务最有待改进”这一类的 问题1 2 j ，是企业根据客户的喜好、需求提供针对性的服务，使得企业能够以更低 的成本、更高的效率满足客户的需求，从而提高客户的满意度和忠诚度，吸引和 保持更多客户的一种管理模式。 近年来，c i t m 在我国房地产企业的信息化建设中发挥了十分重要的作用， 但是还存在着不足，企业与用户交流过程中，普遍还是自然语言加图表的方式， 首都师范大学硕士学位论文 第一章绪论 内容大都局限于文字性介绍，计算机主要用于文字处理工作等，可视化程度普遍 不高。例如，家居装修流程中，最重要的一个环节是装修公司与客户进行洽谈并 最终敲定解决方案。这一环节所确定的方案，将影响最终的装修结果。在方案的 商讨过程中，客户跟装修公司沟通的媒介主要是平面图，装修公司收到客户的平 面图之后，会由设计师亲自到现场度量及观察现场环境，研究客户的要求是否可 行，并且获取现场设计灵感。初步选出一些材料样品介绍给客户，如果客户表示 同意，设计师会进一步提供详细的工程图和逐项分列的报价单，这时客户要向装 修公司提供准备采用的家具、设备资料，以便配合设计。装修公司最后提供的图 纸和报价单，应表达清楚每个部位的尽寸、做法、用料( 包括品牌、型号) 、价钱。 客户收到工程图和报价单后，仔细阅读，查看自己所要求的装修项目，装修公司 是否已全部提供，有没有漏掉项目。图1 所示的网上表单为传统的建筑业系统信 息化界面。 序号项目名称单位教量 材料费 二舞l 一。m 单价黼i 合计 簟价 4口“i n m z3 2 12 3 。j 3 e 3 0oi 铱泥、睦水 扣艇吊寝m z5 _ 于南9 7 b o 盥鬻嚣褪鼎s 调魔术门a e 。鼍黎鹃露锰1 酷木处理m z2 泸上海产执洚 防水刑 安麓抻d 劈m z 3 e o鼋。2 7 絮器嚣篇酽 l 睹_ f 。警2 0 0中叠i 瞅理右 * lm z 5 5 + 囔学6 ” 批嵌辅科 m z9 2 s7 4 0建 1 8 s絮盏翳黻 工 批世 图1 传统界面 在房地产业领域，这种自然语言加图表的沟通方式难以让客户清晰地表达出 他们真正的需求，尤其是在家居空间布局时很难用语言来描述清楚，并且，设计 人员在交流过程中，会使用他们自己的语言表达需求，这些语言包含很多他们所 从事工作的专业术语和专业知识，而这些专业术语和知识通常不为普通客户所理 解。另一方面，自然语言加图表的沟通方式容易造成与用户沟通的二义性。这些 问题包括：自然语言的理解依赖于用户和开发人员对同一个词语有一致的解释， 而自然语言存在二义性，因此会造成语义理解上的偏差；并且，一个自然语言书 写的需求描述随意性太大，对同样的事物可以以完全不同的方式去描述，而用户 则很难判断什么时候需求是一样的，什么时候需求是不一样的。 由于信息的可视化程度不高，用自然语言表达的二义性，使得消费者的真正 2 首都师范大学硕士学位论文 第一章绪论 需求不能直观地表达出来。购房者想要购买什么样的户型，想要如何对家居进行 装修，想要购买什么样的家具，将要把家具摆放在居室中的什么位置，墙面、地 板、天花板将要搭配什么样的颜色，如何进行家居的整体布局，这些问题都很难 表达清楚。并且传统的图纸方式周期过长，一般中小型住宅的装修过程，由洽谈 到设计完成，通常需2 至4 周。 基于可视化的家居概念设计展示系统，能够有效地解决以上问题，消除企业 与用户沟通的二义性，使沟通更加容易，并缩短设计周期。装修公司在使用家居 概念设计展示系统与用户进行交流时，用户能够简单而快速地勾画出自己喜欢的 居室图，进行家居的整体布局，并能够将结果及时地保存下来，有助于装修公司 真正了解用户的实际需求。另一方面，房地产公司也可以利用可视化的家居系统， 快速展示公司新近设计的新户型，样板房：家具公司可以向用户立体地展示他们 的新产品，以及新产品在家居中的摆放；装修公司可以向用户推销他们的瓷砖、 墙纸；空调公司可以结合可视化系统现场比较中央空调跟普通家用空调的优缺 点。综上所述，研究可视化的家居概念设计展示系统具有十分重要的意义。 1 1 1 3 家居概念设计展示系统的应用现状 为了清楚地描述用户的需求，实现需求描述的可视化以及动态仿真，快速给 出家居定制个性化的应用实例，目前市场上出现了一些流行的可视化家居概念设 计软件，在一定程度上满足了上述需求。目前家装概念设计软件大体上可以分为 两大类： 一类是国外厂商生产的大型的专业图像图形处理软件，如a u t o c a d 具有完 善的图形绘制功能，可以采用多种方式进行二次开发或用户定制；3 d sm a x 具 有建模、堆栈和修改器、摄影机和灯光、调配材质等强大功能；l i g h t s c 印e 同时 拥有光影跟踪技术、光能传递技术和全息渲染技术，设计师不需要积累丰富的实 际经验就能达到真实的模拟效果，它特别适合室内设计效果图的渲染；3 ds t u d i o v i z 是集建模与渲染为一体的软件，具有强大的建筑工程建模能力；p h o t o s h o d 是平面设计、建筑装修设计软件，在图像编辑、图像合成、校色调色及特效制作 等方面具有很强的功能。 另一类是国内软件厂商在这些软件基础上所进行的二次开发，以及自己独立 开发的设计软件，这类软件有：圆方室内设计系统，将平面图、立面图、施工图 首都师范大学硕士学位论文 第章绪论 效果展示、动画制作以及工程预算集成于同一平台，为装饰行业提供一体化解决 方案；中望装修设计软件可以满足多种类型装饰工程的需要，具有较为完善的专 业模型库及材料库；p u i l c h 家装设计软件是一款性能较为全面，价格低廉的家装 设计软件；3 dh o m e a r c i l i t e c td e l u x e ，是一个简单三维室内设计软件，能够在很 短的时间内看到最终的三维家装效果，图2 为3 d h o m e 的设计界面。a r c h i c a d 可以在设计的同时出图，它保留了建筑的所有信息一平面图、剖面图、材料、数 量、工程记录，并能更新，能够生成平面图、剖面图、透视图、材料清单，甚至 过场动画和现场浏览。 图23 d h o m e 系统界面 总的来说，这类可视化c a d 软件能够精确表达复杂、完整的三维几何模型， 较好地支持详细设计，满足一定的需要，但普遍的缺点是不能进行实时漫游，并 且基本上以功能实现为第一要旨，没有把交互放在重要的位置，在交互方面存在 着不足。现有c a d 系统普遍采用鼠标加键盘的交互方式，设计者的思路常常会 被频繁的菜单选择、按钮操作和键盘命令输入所打断，不利于捕捉设计者的设计 意图和构思，也不利于设计者与用户的实时交流。因此传统的c a d 系统基本上 是一个在设计方案基本定型之后的绘图工具，而非辅助设计工具【3 1 。 1 2 相关技术的研究现状概述 1 2 1 人机交互技术概述 人机交互( h 啪a n c 伽p u t e ri c e r 枷o n ) 是研究人、计算机以及它们相互影 响的技术。人机界面是计算机与人之间通信和对话的接口，是计算机系统的重要 组成部分。计算机的发展，推动着人机接口技术和人机界面的发展。近2 0 年来 4 首都师范大学硕士学位论文 第一章绪论 计算机硬件技术的迅速发展和制造工艺水平的提高，计算机系统向拟人化和微型 化、随身化方向发展，如何实现人机高效合作，以自然的方法和计算机交流成为 此发展路上必须解决的关键问题。多通道用户界面充分利用人的多种感觉通道和 运动通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自 然性和高效性。多通道用户界面是实现自然、商效的人机交互的关键技术。 人机界面从命令行界面发展到w i m p 界面，并最终发展为多通道界面【4 j 。 1 、命令行界面命令行界面是最早出现的人机界面。在这种界面中，人被 看成操作员，机器只做出被动的反应，人只能使用手一种交互通道通过键盘输入 信息，界面输入只能为静态单一字符。因此，这种人机界面交互的自然性和效率 都很差，命令行界面可以看作为第一代人机界面( 图3 ) 命令行界面 用 匝 一 户 皿口一 三岁 图3命令行界面概念模型 2 、图形用户界面w i m p 界面，即以窗口( w i n d o w s ) 、图标( i c o n ) 、菜单 ( m e n u ) 和指点装置( p o i r n j n gd e v i c e ) 为基础的人机界面技术。w i m p 界面可 看作是第二代人机界面，是基于图形方式的人机界面。在w i m p 界面中，人被 称为用户，人机通过对话进行工作，但用户也只能使用“手”这种交互通道输入 信息。在w i m p 界面中，界面输出为静态，动态二维图形图像及其他多媒体信息。 与命令行界面相比，w i m p 界面的人机交互自然性和效率都有较大的提高( 图4 ) w i 肝界面 用 、 一三卜一 户- ( 卜 窗口、图帮 兰、 圈4w m 即界面概念模型 从命令行界面发展到m m p 界面，计算机到用户的输入带宽大大提高，但从 首都师范大学硕十学位论文 第一章绪论 用户到计算机的通信带宽仍然受到限制，即计算机加工和呈现视觉、听觉信息的 能力与人机交互的能力是不相称的。这种不相称来自于硬件的限制和人的交互通 道与对象操作间的不匹配。近年来，计算机输入输出装置在数量和能力上迅速增 加，使得这种匹配成为可能。虚拟现实技术、多媒体和可视化对计算机系统的人 机交互提出了高效、三维和非精确的要求，这些都是目前的w i m p 技术所不能 解决的问题。 3 、多通道人机界面多通道人机界面( m m i ) 是基于视线跟踪、语音识别、 手势输入、感觉反馈等新的交互技术。它允许用户利用多个交互通道以并行、非 精确方式与计算机系统进行交互。在m m i 中，用户可以使用自然的交互方式， 如语音、手势、眼神、表情等与计算机系统进行协同工作。交互通道之间有串行 并行、互补，独立等多种关系，因此人机交互方式向人与人交互靠拢，交互的自 然性和高效性得到极大的提高( 图5 ) 。m m i 可以看作是第三代人机界面。 多通道交互研究中还存在一些特殊的问题，解决这些问题是多通道用户界面 研究的主要工作。多通道人机界面研究中的主要问题有：多通道整合、工效学问 题、软件结构、多通道界面描述方法和多通道用户界面的评估等。 传统的人机交互主要利用了人的手与眼通过键盘、鼠标、显示器进行二维与 精确方式的输入输出。多通道人机交互必须寻求新的交互手段，以充分利用人的 眼、耳、嘴、手、视觉、听觉及触觉通道。交互技术的不断发展为多通道界面研 究提供了技术基础。多通道界面研究可以考虑以下交互技术：三维交互技术、语 音技术、视线跟踪技术、姿势输入技术、反馈技术、自然语言界面、其他交互技 术如唇读和表情识别掣5 1 。 m m i 用罔二二槲i 。剀二二掣芸 罔 三多 户 鼍f 图5 多通道人机界面概念模型 6 首都师范大学硕士学位论文 第一章绪论 1 2 2 草图交互技术的应用与发展现状 目前，基于交互的研究主要有两大部分，草图的交互和常规c a d 系统中的 交互。传统的c a d 系统要求精确的实体输入、准确的尺寸数值以及详细的约束 信息，利用精确的信息来明确表示设计对象，这在一定程度上有碍于设计者思维 的自由发挥，并且传统的c a d 系统采用w i m p 的交互方式，设计者在设计过程 中大量的时间常常消耗在频繁的菜单选择以及切换、按钮搜索和键盘输入上，对 于非专业的设计者来说更是效率低下。 草图技术的出现和发展，提供了一种更加自然的交互方式，有助于弥补传统 的三维c a d 系统的不足。设计者可以利用草图探索新的想法，比较不同的方法， 并且能够将设计过程中稍纵即逝的灵感随时记录下来，将各种构思具体化。将草 图技术用在概念设计上符合人们的传统的设计习惯，通过自由手绘的笔划构成的 手势进行概念设计，人的设计思维的意向可以通过草图及时地展现出来。 目前国际上对草图技术方面进行了大量研究，开发不少原型系统。总的来说， 对于草图设计工具的研究工作大多集中于构思结果的表达上，其主要研究内容主 要可以分为三类：面向几何造型、面向空间布局和面向设计环境支持。 一、面向几何造型的应用主要包括机械零件设计、钣金设计等，研究二维草 图绘制、三维草图绘制、以及草图识别与三维重建技术。这类应用主要有： 1 b r o w n 大学研制的s k e t c h 系统6 】( 7 】，是一种较简洁的基于手势的非精确 式三维多面体造型系统。用户勾画出各种不同的三维原型图特征点，并随之以四 种简单的定位规则，s k e t c h 就可以在三维空间中确定相关的三维原型图，可以对 其几何形状及视图进行手势操作，并利用自动成组技术来较容易地实现几何图形 的转换和集成。 2 同是b r o w n 大学研制的e r g o s k e t c h 系统是基于e r g o d e s k 框架之上具有勾 画功能的概念建模系统【8 】【9 】，支持手势操作、三维交互以及三维立体视图显示。 系统不仅支持自然的二维输入，而且可以实现二维和三维之间的交互衔接。支持 双手交互、手持摄像设备、手边对象隐喻、工具类以及变焦交互。 3 美国l a s ts o 胁a r e 公司开发的商用软件s k e t c h u p 系统，侧重于基于边界 的造型方式，从点、边和面直接构造实体，这更符合基于笔的草图操作的橇念。 通过一定的约束感知和上下文感知，提供给操作者比较丰富和方便的辅助手段， 首都师范大学硕士学位论文 第一章绪论 也可根据移动达到的位置自动捕捉到相应的约束信息，不用频繁的转换视角和操 作模式，可减少图标和菜单的数量，将2 d 和3 d 操作比较自然地融合在一起。 4 日本t o k y o 大学的t a k c oi g a r a s h i 等人研制的t e d d y 系统，可以让用户通 过绘制对象的轮廓形状生成不规则的三维物体，用户勾画2 d 笔画，系统根据勾 画轮廓自动进行构建3 d 多边形表面。 5 日本1 酞e oi g a r a s h i 等研制的p e g a s u s 系统【1 0 1 ，能够快速绘制几何原型， 用户可容易地创建几何图标，提供对不规则草图图形的交互式美化操作，满足几 何约束关系。交互美化模块接受笔划输入，通过考虑笔划各分段之间的几何约束 来规整，产生多个候选方案来减少识别错误的发生；提供预言性绘制功能，基于 已存在的分段的空间关系来预言下一步绘图操作。 6 比利时的f a b i a i l d if i o f e 和f r a 【l l ( mr e e t h 开发了一个m u l t i _ l e v e l 草图 工具【“1 ，支持漫画家在绘画过程中的不同阶段的绘制，它利用计算机来模仿艺术 家使用笔纸的方式自由勾画线条并组成最终的素描图：用户勾画二维笔域的同时 系统自动创建二维对象，然后对这些对象进行解释并迅速生成近似的三维模型并 能方便地对模型对象自由变形。 二、面向空间布局的应用主要包括建筑设计和机械装配设计等，研究空间布 局、空间关系造型与分析等技术。这类应用主要有： 1 基于u cb e r k e l e y 的s a t i n 技术开发的d e n i m 系统是一个网站设计工 具【1 2 l ，支持概念设计阶段的信息处理、浏览以及交互设计。它允许设计者快速 勾画网页，创建链接、支持运行模式下的交互，支持放缩显示，可以显示单独网 页、情景图以及整个网站图，并支持手势设计和笔划处理。 2 基于u cb e r k e l e y 的s a l l n 技术开发的s k e t c h s p i c e 系统是一个简单的 电路c a d 设计工具，用户可以勾画a n d 、o r 、n o t 门电路以及连接情况，其 中加入了特定的识别特征和领域知识。 3 华盛顿大学的e l l c n - l u e nd o 开发的v r s k e t c h p a d 是一个简单的草图 识别系统【l ”，用来从二维草图推导出三维模型，支持用户使用草图构建虚拟的 建筑空间。设计者勾画带有四周墙体，柱子以及家具符号的房间平面图，系统自 动产生v r m l 格式的三维模型。设计者还可以利用草图设置三维空间中的漫游 路线。 首都师范大学硕士学位论文 第一章绪论 4 密苏里州大学的m 她i o r i es k u b i c ，s a n lb l i s a d 等人在运用草图技术产生手 绘概念地图，用来帮助用户控制机器人从事一些简单任务方面进行了一些探索性 的研究并开发了一个p d a s k e t c h e d m 印系统【l ”。他们对用户的手绘导航图进行 定性分析，并从中提取出有用的空间关系信息，然后将这些信息发送给机器人， 从而控制并指挥机器人的行为。 三、面向设计环境支持的应用主要包括图形用户界面( g u i ) 设计、面向对 象软件开发等，提供前端的设计环境支持工具。这类应用主要有： 1 日本的t a k e oi g a r a s h i 等研发的f l a t l a i l d 系统具有增强功能的白板功能【1 5 】。 它对办公白板上的笔记记录提供技术支持，辅助人们完成办公环境中的各种非正 式活动。系统在不破坏原物理白板易用性的前提下提供计算技术支持，当用户在 白板勾画一些笔画时，系统自动将临近笔画成组，允许用户基于笔画组对整个白 板进行灵活操作。根据当前操作，提供相应反馈，而不需要通过明确发布命令的 方式来完成。同时系统自动管理操作历史，支持关键字查询。 2 德国f r a u n h o 蟊玎计算图形研究所提出了虚拟环境中基于草图交互的多层 次描述【l6 1 ，引入了以用户为中心的交互模式，提供了基于透明手写板的双手交 互技术，利用投影到虚拟桌面上的三维图形来显示增强手写板功能，系统提供的 另一种方式就是直接在三维自由空间中进行绘制。 3 葡萄牙a n a b e l ac a e t a n o 等人研究的j a v a s k e t c h i t 系纠”，能通过徒手勾 画简单的几何形状并进行组合形成静态控件的方式来创建并布置用户界面。该系 统首先对用户勾画组合形状的习惯进行调研，在此基础上定义相应的形象化语法 规则并定义系统的小组件，系统的手势识别器对当前草图的勾画结果进行规整识 别并产生标准控件，然后进行后期的接体布局最终产生美观的用户界面。在创建 一些较复杂的系统控件上，该系统比j b u i l d e r 更加方便、快捷。 从国内公开发表的文献来看，基于手绘草图的研究工作极少见到报道，仅有 北京大学、中科院软件所、南京大学和浙江大学等少数单位对基于笔式交互的自 然用户界面进行了探索性的研究。如中科院软件所栗阳等人开发了一个基于j a v a 2 的s k e t c l l p o i n t 笔记簿工具【1 8 】，支持用户自由勾画并记录各种形式的笔记，并 能隐含地对笔记内容以层次结构树的形式进行有效组织。 总的来说，国外对于草图设计工具的研究工作大多集中于构思结果的表达 9 首都师范大学硕士学位论文 第一章绪论 上，在草图c a d 方面对形状构思过程的辅助研究则极少见到。当前对于手绘草 图的研究，尤其是草图三维c a d 模型构造过程中的交互存在的问题是缺少一种 合理的隐喻( 交互隐喻是通过对现实世界存在的一些机制进行比拟或抽象，并借 用到交互过程中，它把输入设备的空间方向位置信息或离散的按钮状态映射为 虚拟空间的操作，完成特定的交互任务，不同的交互隐喻提供了不同的交互方法。 从用户的角度看，交互隐喻应该是易于学习、使用和理解，并且要有良好的人机 功效学特点) ，在三维形状对象构造过程中大多数的研究是为了适应或应用某项 技术而进行的，不符合客观规律。 绘制草图过程中纸和笔是人们普遍使用的交互工具，是一种在人一机和人一 人之间流畅表达思路的高效、自然的工具。笔式用户界面秉承了纸笔交互的优点， 与基于桌面隐喻的界面技术相比，在表达力、灵活性和易用性等方面具有更大的 优势。从掌上型设备、桌面手写板、手写屏以至到大型的显示设备，笔交互界面 都表现出了极大的适用性和方便性f l ”。近年来，笔式用户界面作为一种主要的 p o s t - w i m p 界面，研究者越来越多。许多有名的系统都采用了笔式用户界面，例 如t i v o l i 【20 1 、l i v e b o a r d 【2 1 1 、s i l k 【2 2 】、d e n i m 【2 3 】、c o c k t a i ln a d k i n 【2 4 1 、f l a t l a n d 【25 1 、 c l a s s r o o m2 0 0 0 渊、a s s i s t 口7 】、t e d d y 等。一些公司如微软公司和苹果公司， 已经将笔式交互技术嵌入到他们的操作系统，如w i n d o 、sx pt a b l e tp ce d i t i o n l 2 9 】 和m a co sxt i g c r 【3 0 】。其他比较有名的笔式系统还有n e w t o n 、p a l mo s 、c i n e m a l i s t i n ga p p l i c a t i o n 、t i v o l i 、q u i c k s e t 、t c d d y 、s i l k 、a i r1 b 筋cc o n t r o l 、c a d e s k 、 m i i l d m 明a g e r 等。 1 3 论文的背景和研究内容 1 3 1 论文的背景 本课题由国家高技术研究发展计划( 8 6 3 计划) “基于手绘草图的创新设计技 术”( 课题号：2 0 0 3 a a 4 1 13 3 0 ) 资助。 1 3 2 论文的研究内容 在以上分析的基础上，本文将研究适用于房地产行业应用的家居设计展示 1 0 首都师范大学硕士学位论文 第一章绪论 系统，在交互上重点研究手绘草图的交互方式，针对笔输入设备以手势为交互手 段、以草图为信息载体实现家居概念设计的交互功能，以有效地支持客户跟设计 者之间的交流，提高设计效率。 论文的研究内容主要分为两大部分：单机版的草图交互技术和网络协同设 计过程中的草图交互技术。其中，单机版的草图交互技术主要研究内容为： ( 1 ) 研究草图交互过程中手势的描述方法和识别算法。 ( 2 ) 研究基于二维草图的约束求解技术，研究基于约束优先级的交互语义 分析算法，智能分析用户的语义，建立房间的拓扑结构，从而方便快捷地处理欠 约束、过约束等约束情况。 ( 3 ) 研究交互过程中二维手势向三维手势的映射方法。 协同设计过程中的草图交互技术主要研究以下两个部分： ( 1 ) 针对一个设计者与多个客户协同设计的情况，研究批注面的有关实现 技术来使设计者跟客户之间进行有效沟通。 ( 2 ) 针对多个设计者参与设计的情况，研究三维形状对象协同设计过程中 的冲突消解策略，解决多人协同设计时的操作冲突问题。 1 4 论文的组织结构 全文共分6 章，其组织结构如图6 所示： 一研究意义和现状卜l 第一章绪论 一、务流程分析卜一第二章系统交互功能分析 _ _ 第量章孳摩变互过程中豹关键技雇研究 _ |关键技术卜- 1 l 第四章基：】二草图的产品协同设计关键技术母f 究 一原型研究与实现卜一第五章系统歼发与实例 、一j 一jl 叫 全享璺毽一h 第六章总结与展望 图6 论文结构图 第一章分析了家居设计展示系统的含义和重要性及其应用现状，并对相关 首都师范大学硕士学位论文 第一章绪论 的人机交互技术和草图技术进行了综述。 第二章给出了家居系统的业务建模与功能框架，分析了草图的交互流程和 功能，并在此基础上结合用户心理模型的分析给出了手势集合。 第三章在第二章分析的基础上，研究了单机版的草图的实现技术。研究了 手势的描述和识别算法，分析了二维草图交互过程中的约束求解技术，根据家装 c a d 中应用的特点，研究了基于约束优先级的交互语义分析算法，并研究了二 维手势向三维手势的映射方法。 第四章研究了网络协同设计中的草图实现技术。提出了交互日志的传输方 式并给出了交互日志的表达方法。研究了一人操作多人观看的协同设计环境，给 出了批注面的定义和计算方法及其实时更新机制。并研究了多人协同设计时的冲 突消解策略。 第五章在前三章理论的基础上，针对虚拟家居的应用，研究了虚拟家居的 实现技术，包括：基于m v c 的系统体系结构建模，面向建筑元素的半边数据结 构模型，最后给出了系统应用实例。 第六章总结全文，并对后续研究提出了展望。 堕塑塑翌查兰堡主兰些丝苎篁三皇j 墅墼至皇堕! ! 坌盟 第二章系统交互功能分析 家居概念设计软件近几年有了较快发展，但真正适合用户的软件并不多，目 前市场上流行的软件不是太难了，就是使用不方便。对用户来说，都希望找一款 使用简单的，不需要使用者太高的设计水平的软件。比如通过简单的几个操作就 能画出房屋的户型结构，然后在户型结构中可以随意修改，并自带有多种家具的 样式等功能的软件，使用者只需要把软件中现存的素材拿出来摆放布局，然后生 成一个虚拟三维空间。 根据需求，我们设计并开发了基于草图的虚拟家属快速设计展示系统。该系 统定位在适用行业的销售前台，以直观、快速、自然地实现家装方案的设计为主 要目标，通过笔式快速勾画二维草图。系统生成二维户型图的同时生成三维虚拟 空间并为用户提供了实时交互式漫游等功能。系统以草图为主要的交互方式，避 免了复杂的命令和层出不穷的菜单，用户只需要记住几个简单的手势便可以快速 勾画出能够反映出自己理想的家装效果，从而为普通客户与专业设计( 销售) 人 员建立起高效的沟通桥梁，客户能容易地参与到自己家居的设计过程中。 2 。1 家居系统业务建模与功靛框架的分析与实现 根据家居行业的实际应用需求，虚拟家居设计系统中主要的交互对象有两 类：第一类是非移动对象，如墙。它是虚拟家居系统中的主要对象，是构成整个 虚拟家居场景的支持对象，系统对这类对象的主要交互任务是实现创建的过程； 第二类是可移动对象，如家具等。它是可以在场景中进行编辑的一类对象，系统 对此类对象的交互任务是对象的整体编辑，如平移、缩放、旋转等。 系统中主要的交互操作有两类：第一类是添加操作，是指在系统中添入系统 原来没有的对象，它是指墙体、家具等的创建操作；第二类是编辑操作，这类操 作是指对系统内已有的对象进行操作的过程，包括墙体、家具等的缩放、移动等。 系统中具体的交互任务主要有以下几项： 1 ) 添加：将指定的对象添加到系统之中； 2 ) 拾取：选中指定的对象； 3 ) 删除：将指定的对象从系统之中删除； 首都师范大学硕士学位论文 第二章系统交互功能分析 4 ) 平移：将指定的对象移动到新的指定位置； 5 1 旋转：绕指定坐标轴旋转指定的对象； 61 缩放：将指定的对象按照指定大小进行缩放； 7 、属性：查看指定的对象的属性信息； 8 1 漫游：系统支持在虚拟场景中的漫游； 对于图形类软件的交互设计分析，比较好的方法是建立系统的动宾表。表的 行表示系统的主要交互对象，列表示系统对象的交互操作，可以用来指导系统交 互的设计。 系统交互任务的动宾表如表1 所示，其中表示系统对象可以进行这项操 作，表示系统对象不进行这项操作： 表l 系统交互任务表 墙 门 窗 阳台家具 房间( 由墙组合) 拾取 增加 删除 j、， 移动 旋转 缩放 标注 属性 系统的功能主要有五部分： ( 1 ) 墙体勾画。包括建筑构件的绘制和家具符号的二维摆放等。建筑构件 的绘制包括墙体的绘制、门窗的定位、阳台的绘制以及尺寸的标注等。 ( 2 ) 墙面装饰。包括三方面：墙面装饰，包括贴角线的参数化设置、文化墙 的装饰、墙柜的设置、墙纸装饰、墙面构件安置；地板装饰，其中分普通地砖装 饰、有艺术图案的地板装饰、有高差的地板装饰三种参数化装饰方式。天花板装 饰，其中也包括普通地砖装饰、有艺术图案的地板装饰、有高差的地板装饰三种 参数化装饰方式，以及边线装饰和灯具安置。 ( 3 ) 室内布置。进行家具摆放并可以在三维场景中观察家具的摆放效果。对 于装修行业来说，设计人员可以实时地看到自己加入家具装饰品后的设计效果； 对于整体厨房行业，可以实时看到厨房的设计结果；对于家具销售行业来说，可 以实时看到所购家具在居室内的摆放效果以帮助定制决策。 ( 4 ) 布置可视化漫游。根据二维户型图设计结果，快速生成相应的三维户型， 堕堡堑蔓查兰堡主堂壁垒塞篁三里重壅至皇竺! ! ! ! 盟 构建真正三维场景。通过实时渲染技术，用户可以在装修前和装修( 装饰) 后的 三维户型中任意漫游，可以从房间的任何位置以任意角度对场景进行观察，以便 对设计人员或销售人员提出建议和意见。 f 5 1 概预算统计。根据设计结果和材料库的相关记录，针对定制结果快速给 出价格、重量等方面的统计，有利于客户作决策。 各功能之间的关系如图7 所示： 图7 虚拟家居系统功能关系图 2 2 基于草图的家居系统交互流程分析 系统的交互过程和相关技术如图8 所示，客户通过交互设备输入一个或多个 信号，这些信号一般都是比较模糊的手势。交互系统根据交互范式和交互技术结 合上下文信息和输入设备的信息进行语义转换，将模糊的交互信息转换成为确定 的交互语义。约束求解模块则对交互语义进行求解，生成能够实现的建模语义。 建模模块根据建模语义生成交互结果模型，然后将结果反馈给用户。语义转换、 约束求解、建模( 这里指几何建模) 和实时反馈是这个交互过程中四个重要的组 成成分。而语义转换的实施必须先确定交互范式，交互范式的确定与交互任务和 交互设备密切相关。在虚拟家居系统中，交互任务概括起来主要是墙体的建模和 家具类三维模型的整体控制( 通常有拾取、移动、旋转、缩放等) 。根据交互任 务，我们确定两种设备，分别是鼠标和笔。对应的有两种交互范式策略：面向勾 首都师范大学硕士学位论文 第二章系统交互功能分析 卤 r 而蕊晶磊妨彳一： 用户刊- i 一产一 图l o 工作流程 在图1 0 的交互过程中客户通过输入设备( 笔) ，使用手势，随手勾画出家居房 间的大致结构，交互系统提取需要的特征信息，就得到一幅具有拓扑结构的二维 草图。这个绘制过程包括墙体的绘制，门、窗户的定位，阳台的绘制以及尺寸的 标注。然后客户对草图中的对象进行精确信息的输入( 主要是几何属性) ，如确 定草图中的每面墙体边长，系统具有方便的交互方式，能够智能校正并提取用户 的输入意图，最后得到一幅比较精确的二维家居户型图。 根据二维户型图的设计结果，通过约束求解技术去除一些无用和重复的信 息，然后通过建模模块快速生成相应的三维户型