（生物医学工程专业论文）基于多模式卫生信息网络门户的3g手机语音控制研究.pdf

a u t h o r ss i g n a t u r e ： s u p e r v i s o r ss i g n a t u r e ： t h e s i s t h e s i s t h e s i s t h e s i s 刀) e s i s r e v i e w e rl ： r e v i e w e r2 ： r e v i e w e r3 ： r e v i e w e r4 r e v i e w e r5 ： c h a i r ： ( c o m m i t t e eo f o r a 。l 。d 。e 。f 。e 。n 。c 。e ) c o m m i t t e em e m b e r1 ： c o m m i t t e em e m b e r2 ： c o m m i t t e em e m b e r3 ： c o m m i t t e em e m b e r4 c o m m i t t e em e m b e r5 ： d a t eo fo r a ld e f e n c e ： 舢1删6 舢7侣刀 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得浙江大学或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江大学可以将学位论文 的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字h 期：年月日签字日期：年月日 致谢 1w i s ht oa c k n o w l e d g et h ec h i n as c h o l a r s h i pc o u n c i l ( c s c ) ，c e n t r ef o rc h i n e s es t u d i e s ( c c s ) a n ds o u t ha f r i c a ng o v e r n m e n tf o rs e e i n gm ya b i l i t i e sa n dp o t e n t i a la n dg i v i n gm et h e o p p o r t u n i t yt op u r s u em ym a s t e r ss t u d yh e r ei nz h e ji a n gu n i v e r s i t y , c h i n a 1w i s ht ot h a n km ys u p e r v i s o ry ez h i q i a nf o ra s s i s t i n gm ea n db e i n ga w a r eo ft h ec o n t r i b u t i o n ic a nm a k et oh i sl a b o r a t o r ya n df i e l do fr e s e a r c ha n dg i v i n gm ea t e l e c o m m u n i c a t i o n sr e l a t e d s u b j e c tt or e s e a r c h i t h e n1w i s ht ot h a n km yf r i e n d sa n dc l a s s m a t e sh e r ei nh a n g z h o uw h oa l t h o u g hw eh a v i n g l a n g u a g ea n dc u l t u r a ldi f f e r e n c e sa tf i r s t ，b yh e l p i n gm et oa d a p lt a l k i n ga n dh a v i n gf u nf o u n d i nt h ee n dw ea r ea l ls i m i l a r ie s p e c i a l l yw i s ht ot h a n kx i n gh a o y ua n dc h e nl i u y uf o r r e a d i n gm yc h i n e s ea b s t r a c ta n dh e l p i n gt oc o r r e c ti t 1w a sj o k i n gw h e nis a i dy o uh a v et o t r a n s l a t ei tb a c kt oe n g l i s h a n dl a s t , b u tn o tl e a s t1w i s ht ot h a n km y m o m ，d a da n df a m i l yw h oa r ea l w a y ss u p p o r t i n g ， s t a n di n gb ya n dp r a y i n gf o rm e 我感谢你们完全的支持! o 摘要 现在可用包括移动通信等多种方式访问卫生信息系统，但很难实现语音识别模式。 本论文主要研究和提供如何将语音识别与第三代( 3 g ) 手机界面结合、查看并访问卫生 信息的方法。与以往的研究不同，本文构建了一个利用多组件分发同步工作的分布式多 式系统。为了实现这一系统的同步性和互操作性，本文将国际电信、网络和多通道体系 结构标准归并。参考文献中将提供有关这些标准和协议的资料。 多模式系统由两个互动的形态组件构成：选用手机w e b 浏览器作为3 g 手机界面和 图形形态组件：语音形态组件则是在远程服务器上而不是在手机上使用一个i v r 语音 框架执行语音i , q n 。基于网络的卫生模拟转换门户网站作为医疗信息的数据接口，通过 图形形态组件同步查看上述信息，与通过语音形态组件输入的语音构成互动机制。上述 构成考虑到了其它实现w e b 门户网站数据转换的技术问题，并且图形模式组件可实时更 新。 本文将最终集成实现上述原理的原型系统。可基于互操作分布式的国际标准同步显 示语音和图形。将来，可利用该系统进一步研究语音识别及个人医疗w e b 门户系统，并 在卫生信息门户系统集成标准化的基础上为评价研究医生工作流提供建议。 本文的创新点：集成分布式国际标准，提出了一个基于该标准的多模式交互系统。 系统各接e l 与通信组件实现了与其它标准化组件的互操作性。只要遵守该标准化接e l 。 可在不知道各组件内部细节的情况下独立开发其它组件这样就可以用较少的数据资 源进行各种组件的开发。这有利于未来多通道交互系统项目的规范化，因此，本文不仅 关键词：语音识别、3 g 手机、 卫生信息系统、网络门户网站、多模态系统、信 息互动管理i v r ，d s r ，协议 h e a l t hi n f o r m a t i o ns y s t e m sc a nn o wb ea c c e s s e di nav a r i e t yo f w a y s ，i n c l u d i n gu s i n g m o b i l ed e v i c e s h o w e v e r , i t su s ew i t hs p e e c hr e c o g n i t i o nh a st h u sf a rb e e nl i m i t e d t h i s t h e s i s sm a i no b j e c t i v ei st or e s e a r c ha n dp r o v i d eam e t h o do nh o wt ou s es p e e c hr e c o g n i t i o n a n da3 gm o b i l ep h o n ei n t e r f a c et ov i e wa n da c c e s st h i sh e a l t hi n f o r m a t i o n t oa p p r o a c ht h i s p r o b l e md i f f e r e n t l y , ad i s t r i b u t e dm u l t i m o d a ls y s t e mw h e r em a n yc o m p o n e n t sa r ed i s t r i b u t e d a p a r t , b u tw o r kt o g e t h e r i n s y n c h r o n i s a t i o ni sp r o p o s e d t oa c h i e v et h i sd i s t r i b u t i o n ， s y n c h r o n i s a t i o na n di n t e r o p e r a b i l i t y , t h et h e s i sc o n c e n t r a t e do na d h e r i n gt oa n di m p l e m e n t i n g i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n ，w e ba n dm u l t i m o d a la r c h i t e c t u r es t a n d a r d s ，w h o s er e l e v a n t i n f o r m a t i o ni sl a t e rp r o v i d e d t h em u l t i m o d a ls y s t e mc o n s i s t e do ft w o m o d a l i t yc o m p o n e n t si e m o d e so fi n t e r a c t i o n t h em o b i l ew e bb r o w s e rw a sc h o s e nt oa c ta st h e3 gm o b i l ei n t e r f a c ea n df o r mt h eg r a p h i c a l m o d a l i t y t h ev o i c em o d a l i t yc o n s i s t e do fas p e e c hf r a m e w o r kt op e r f o r mt h es p e e c h r e c o g n i t i o no nar e m o t es e r v e ri n s t e a do fo nt h ep h o n e as i m u l a t e dt r a n s f o r m e dw e b b a s e d h e a l t hp o r t a li sc h o s e na st h ei n t e r f a c et oh e a l t hi n f o r m a t i o nd a t a i no r d e rt os y n c h r o n i s e v i e w i n gt h e s ew e bp o r t a l sv i at h eg r a p h i c a lm o d a li t yw i t hs p e e c hf r o mt h ev o i c em o d a l i t ya n i n t e r a c t i o nm e c h a n i s mw a si m p l e m e n t e d t h ef r a m e w o r kh a dt oc o n s i d e ro t h e rt e c h n o l o g i e s t oi m p l e m e n tt r a n s f o r m a t i o no f t h ew e b p o r t a ld a t aa n dt ou p d a t et h eg r a p h i c a lm o d a l i t y t h ef i n a li n t e g r a t e da n di m p l e m e n t e dp r o t o t y p es y s t e mi st h e np r e s e n t e d t h er e s u l t sa r e s h o w nw h e r ev o i c ea n dag r a p h i c a lm o d a l i t ya r es y n c h r o n i s e da f t e raw e bi n i t i a t e ds e s s i o n i t i ss h o w nt h a tdi s t r i b u t e dc o m p o n e n t sn e e dt oc o n f o r mt os t a n d a r d st oi n t e r o p e r a t ew i t ht h e s y s t e m t h i sm u l t i m o d a ls y s t e mb a s e do ns t a n d a r d sc a nn o wb eu s e df o rc o n t i n u i n gs p e e c h r e c o g ni t i o na n dh e a l t hw e bp o r t a lr e s e a r c h s u g g e s t i o n sa r ep r o v i d e ds ot h a tt h es y s t e mc a nb e f u l l yi n t e g r a t e dw i t has t a n d a r d i s e dh e a l t hi n f o r m a t i o np o r t a la n dt h e nh o wt oe v a l u a t e p h y s i c i a nw o r k f l o wf o rf u t u r er e s e a r c h b yp r o v i d i n gad i s t r i b u t e ds t a n d a r d i s e dm u l t i m o d a li n t e r a c t i o ns y s t e m ，c o m p o n e n t sw i t h i v i n t e r a c t i o ns y s t e m ，n o tj u s tg r a p h i ca n ds p e e c h ，b u to t h e rs e n s o rm o d a li t i e sf r o mo t h e r r e s e a r c ht e a m sm a y c o - o p e r a t et o g e t h e rt oa l l o ws e a m l e s si n t e r a c t i o nw i t hh e a l t hi n f o r m a t i o n s y s t e m s k e y w o r d s ：s p e e c hr e c o g n i t i o n ，h e a l t hi n f o r m a t i o ns y s t e m ，w e bp o r t a l s ，3 g ，m m i ，m u l t i m o d a l s y s t e m ，i n t e r a c t i o nm a n a g e r , i v r ，d s r ，p r o t o c o l s ，s c x m l ，v o i c e x m l t a b l eo fc o n t e n t s 目录 致谢1 摘要i i a b s t r a c t 1 1 v 7 i 。i s to ff i g u r e s x l i s to ft a b l e s x i i c h a p t e r1 i n t r o d u c t i o n 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 1 1 0 1 1 l 1 1 2 1 1 3 v o i c ei nh e a l t h c a r e 2 1 1 1 e n t e r i n gp a t i e n td a t a 2 1 1 2w 宅b b a s e dp a c so rp o r t a l s 4 s p e e c hr e c o g n i t i o nf r a m e w o r k 4 1 9 ，h a ti sam o d a l i t y ? 5 l i t e r a t u r er e v i e wo f r e l a t e dr e s e a r c ha n ds t a n d a r d s 6 1 4 1m o b i l ei n t e r f a c e 6 1 4 2m u l t i m o d a li n t e r a c t i o nm a n a g e r 7 1 4 3m u l t i m o d a is y s t e m s 7 1 4 4r e l a t e dm u l t i m o d a la r c h i t e c t u r es t a n d a r d sa n dr e c o m m e n d a t i o n s 9 1 4 5 c o m p a r i s o no f m u l t i m o d a la p p r o a c h e s 1 0 m o r eb a c k g r o u n do f t h ep r o b l e m 1 ：! s i g n i f i c a n c eo rr a t i o n a l e 1 ：! p r o b l e ms t a t e m e n t 1 ：! p u r p o s ea n do b j e c t i v e s 研究目标和主要工作1 2 1 8 1 p u r p o s e 1 ：1 1 8 2 o b j e c t i v e s 1 3 s c o p e 1 ： l i m i t a t i o n s 1 ：； a s s u m p t i o n s l ：； h y p o t h e s i s 1 4 m e t h o d o l o g y 1 4 1 1 3 1 m e t h o d o l o g yf o rs y s t e mr e q u i r e m e n t ss p e c i f i c a t i o n 1 4 1 1 3 2m e t h o d o l o g yf o rd e s i g na n di m p l e m e n t a t i o n 一1 5 1 1 3 3m e t h o d o l o g yf o re v a l u a t i n gt h er e s u l t s 1 6 1 1 4t h e s i ss t r u c t u r e l6 c h a p t e r2 p r o t o c o i sa n ds t a n d a r d s 17 2 1s t a n d a r db o d i e s l7 2 1 1w 3 c 一、，0 r i dw i d ew e bc o n s o r t i u m 17 2 1 2 i e t f i n t e r n e te n g i n e e r i n gt a s kf o r c e 17 2 1 3 o t h e rs t a n d a r db o d i e s 1 7 2 2w 3 cm u l t i m o d a ii n t e r a c t i o nm m ia r c h i t e c t u r e 18 2 2 1t h er u n t i m ef r a m e w o r k 1 9 v l 2 2 2 m o d a l i t yc o m p o n e n t s 2 0 2 2 3l i f ec y c l ee v e n t s 2 0 2 3w 3 c m a r k u pl a n g u a g e s 2 2 2 3 1s c x m l 2 2 2 3 2 、，o i c e x m l 2 7 2 3 3c c x m l 3 4 2 3 4e m m a 4 0 2 3 5w a pa n dx h t m l 4 2 2 2 ii e t fp r o t o c o l s 4 3 2 4 1m r c p 4 3 2 4 2s i p 4 3 2 4 31 i t ) i p 4 4 2 53 g p pe t s is p e c i f i c a t i o n s 。4 5 2 5 1d s r 4 5 2 6 o p e nm o b i l ea l l i a n c e ( o m a l 4 5 2 7 i n t e g r a t i n gt h eh e a l t h c a r ee n t e r p r i s e ( i i - l e ) 4 6 c h a p t e r3 s y g e md e s i g na n di m p l e m e n t a t i o n z 1 7 3 1 h i g hl e v e ls y s t e mo v e r v i e w 4 7 3 1 1 s y g e m c l i e n t s 4 8 3 1 2 s p e e c hf r a m e w o r k 4 8 3 1 3g u ih e l p e rf r a m e w o r k 4 8 3 1 4 s y n c m o d a l i t yf r a m e w o r k z 1 8 3 1 5 m a r k u pf r a m e w o r k z i ； 3 2 s y g e m c l i e n t s z 1 9 3 2 1t h e3 gm o b i l ep h o n e 4 9 3 2 2v o i c es t r e a m i n gi n t e r f a c ep r o t o t y p e s 4 9 3 2 3w 色bb r o w s e ri n t e r f a c e 5 0 3 2 4d i s c u s s i o n ! ；l ：；3 s p e e c hf r a m e w o r k 5 2 3 3 1 t h el v r 5 2 3 3 2 t h ec a i r om r c p v 2m e d i as e r v e r 5 4 3 3 3t h ep b x 5 5 3 3 4d i s c u s s i o n ! ；7 3 4g u ih e l p e rf r a m e w o r k 5 8 3 4 1w e bp u s hs e r v e r ! ；8 3 4 2d i s c u s s i o n 6 l 3 5 m a r k u pf r a m e w o r k 6 1 3 5 1w e bt r a n s f o r mp r o x y 6 l 3 5 ：! d i s c u s s i o n 6 4 ：；6 s y n c m o d a l i t yf r a m e w o r k 6 4 3 6 1i n t e r a c t i o nm a n a g e r 6 z i ：；6 ：! d i s c u s s i o n 6 5 3 7 m u l t i m o d a id a t af l o w 6 5 3 7 1m u l t i m o d a li n t e r a c t i o no v e r v i e w 6 5 v 3 7 2g u im o d a l i t yc o m p o n e n t 6 6 3 7 3 、，o i c em o d a l i t yc o m p o n e n t 7 4 3 7 4m m il i f e c y c l ee v e n t s 7 7 。 3 7 5 m u l t i m o d a is e s s i o n s 7 8 3 7 6d i s c u s s i o n 8 4 3 8d i s t r i b u t e ds p e e c hr e c o g n i t i o n ( d s r ) 8 5 3 8 1 c 0 d i n gt h ef r o n t e n d 8 5 3 8 2 t r a n s p o r t a t i o n 8 5 3 8 3 i n t e g r a t i o nw i t ht h eb a c k e n d 8 6 3 9 i n t e g r a t i o ni n t oam e d i c a lh e a l t hs y s t e me n v i r o n m e n t 8 7 c h a p t e r4e v a l u a t i o n , d i s c u s s i o na n di i m i t a t i o n s 9 0 4 1c a s es t u d i e s 9 0 4 2d i s c u s s i o n 9 0 c h a p t e r5 c o n c l u s i o na n dr e c o m m e n d a t i o n s 9 3 5 1r e c o m m e n d a t i o n s 9 4 r e f e r e n c e s 9 5 a p p e n d i xa 1 0 0 a p p e n d i xb l ( ) 3 v i i i 目录 致谢：i 摘要。i i a b s t r a c t i v 插图和附表清单x l 绪论1 1 4 课题研究背景一6 1 8 研究目标和主要工作1 2 4 工作总结与展望8 9 5 工作总结9 2 5 1 后续展望9 3 参考文献9 4 l i s to ff i g u r e s f i g u r elg a l a x yf r a m e w o r k 【2 11 7 f i g u r e2m o b i l t e lc o m m u n i c a t o r 【2 2 】u s i n gt h eg a l a x yf r a m e w o r k 8 f i g u r e3t h ec i t y b r o w s e r 【2 0 】u s i n gt h eg a l a x yf r a m e w o r k 8 f i g u r e4u s ec a s e v o i c ea n dw e bp a g ec o n t r o lo ft h eh e a l t hi n f o r m a t i o n i n t e r f a c e 15 f i g u r e5w 3 cr e c o m m e n d a t i o n s 1 3 1 1 7 f i g u r e6w 3 cm m i a r c h i t e c t u r ec o m p o n e n t s 【2 8 1 9 f i g u r e7l i f ec y c l ee v e n t so fw 3 c m m ia r c h i t e c t u r e l7 1 2 0 f i g u r e8e x a m p l es t a t et r a n s i t i o n ：1 6 f i g u r e9s t a t ec h a r tw i t hp a r a l l e is t a t e s 2 7 f i g u r el0o u t b o u n dc a l la n dt e r m i n a t i o n 4 0 f i g u r el le m m aa m o n g d i f f e r e n ti n p u td e v i c e s 【2 5 4 0 f i g u r el2 as i ps e s s i o nb e t w e e n2u s e r sl 3 0 1 4 4 f i g u r el3 ar t pp a c k e t 【3l 】4 5 f i g u r e1 4d s rs i m p l i f i e d 4 5 f i g u r el5v a r i o u sc a s e so f m u l t i m o d a lc o n f i g u r a t i o n sf 2 7 1 4 6 f i g u r e16h i g hl e v e ls y s t e mo v e r v i e w 4 7 f i g u r el7v o x e om a n a g e r 5 4 f i g u r e18n e t w o r kc o n f i g u r a t i o no f t r i x b o x 5 5 f i g u r el9c o n f i g u r a t i o ne d i t o rw i t h i nt r i x b o x 5 6 f i g u r e2 0a d d i n ga ne x t e n s i o n 5 6 f i g u r e2 1s i pc l i e n tc o n f i g u r a t i o n 5 7 f i g u r e2 2c o m p a r i n gt h en o r m a la j a xm o d e la n dc o m e t 5 9 f i g u r e2 3x h t m lo u t p u to f h a w h a wp r o x yu s i n gap h o n es k i n 6 3 f i g u r e2 4s e r v e rs i d es c r i p t i n gt oa d dj a v a s c r i p tt ox h t m lo u t p u t 6 3 f i g u r e2 5h i g hi e v e ld a t af l o wo f t h em o d a l i t yi n t e r a c t i o n 6 5 f i g u r e2 6s e q u e n c ed i a g r a mi l l u s t r a t i n gt h ec r e a t i o no f as c x m lc o n t e x tf r o m t h eg u im o d a l i t yw h e nt h eu s e r1 0 a d st h eo p e n i n gp a g e 7 2 f i g u r e2 7s e q u e n c ed i a g r a mt o i l l u s t r a t ea ni n p u tf r o mt h eg u im o d a l i t y c o m p o n e n t 7 2 f i g u r e2 8s e q u e n c ed i a g r a mf o ra ni n p u tf r o mt h ev o i c em o d a l i t yc o m p o n e n t a n dh o wi ti su s e dt ou p d a t et h eg u lm o d a l i t y a l s o ，s h o w ni sat i m e o u t w h e r en om e s s a g ei