（英语语言文学专业论文）电影语篇互动意义的多模态语篇分析.pdf

i u li i ii i rll ll1 1 1 i i l y 17 9 2 9 7 5 m u l t i m o d a ld i s c o u r s ea n a l y s i so ft h ei n t e r a c t i v em e a n i n g i nf i l md i s c o u r s e b yj ij i n g u n d e rt h es u p e r v i s i o no fp r o f e s s o rj iy u n x i a s u b m i t t e dt ot h es c h o o lo ff o r e i g nl a n g u a g e sa n dl i t e r a t u r e i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fa r t s s h a n d o n gu n i v e r s i t y j i n a n c h i n a m a r c h 2 0 1 0 1 原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进 行研究所取得的成果 除文中已经注明引用的内容外 本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果 对本文的研究作出重要贡 献的个人和集体 均已在文中以明确方式标明 本声明的法律责任由本人 承担 论文作者签名 刍牡 e t期 2 丝监 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件和电子 版 允许论文被查阅和借阅 本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索 可以采用影印 缩印或其他复制手 段保存论文和汇编本学位论文 保密论文在解密后应遵守此规定 做储躲绰新摊够辄一 l i s to ff i g u r e s v i i a b b r e v i a t i o n s v i i i i n t r o d u c t i o n 1 c h a p t e ro n el i t e r a t u r er e v i e w 5 1 1o v e r v i e wo f m u l t i m o d a ld i s c o u r s ea n a l y s i s 5 1 1 1d e f i n i t i o no fm o d a l i t ya n dm u l t i m o d a l i t y 5 1 1 2f r o md i s c o u r s ea n a l y s i st om u l t i m o d a ld i s c o u r s ea n a l y s i s 6 1 2a p p l i c a t i o no f m u l t i m o d a ld i s c o u r s ea n a l y s i s 8 1 2 1a p p l i c a t i o no f m u l t i m o d a ld i s c o u r s ea n a l y s i sa b r o a d 8 1 2 2a p p l i c a t i o no fm u l t i m o d a ld i s c o u r s ea n a l y s i sa th o m e 9 1 3r e v i e wo f s t u d i e so nv i s u a l v e r b a lr e l a t i o n s 1 0 1 4r e v i e wo ff i l ms t u d i e sf r o ml i n g u i s t i cp e r s p e c t i v e 1 1 1 4 1f i l ma n a l y s i so nt h eb a s i so fd es a u s s u r e ss e m i o l o g y 1 1 1 4 2f i l ma n a l y s i so nt h eb a s i so fh a l l i d a y ss o c i a ls e m i o t i c s 1 2 c h a p t e rt w ot h e o r e t i c a lf r a m e w o r k 1 8 2 1t h e o r e t i c a l b a c k g r o u n d s 1 8 2 i i i n t e r p e r s o n a lf u n c t i o ni ns y s t e m i c f u n c t i o n a ll i n g u i s t i c s 1 8 2 1 2a p p r a i s a lt h e o r y 1 9 2 1 3v i s u a lg r a m m a r 2 0 2 2am o d e lf o rt h ei n t e r a c t i v em e a n i n go ff i l md i s c o u r s e 2 3 2 2 1t h ei n t e r a c t i v em e a n i n go fv i s u a li m a g e s 2 4 2 2 1 1t h ei m a g ea c t z i 2 2 1 2s o c i a ld i s t a n c e 2 5 i l i 东大学硕 学位论文 2 2 1 3a t t i t u d e p e r s p e c t i v e i n v o l v e m e n ta n dp o w e r 2 5 2 2 1 4m o d a l i t ys y s t e m 2 6 2 2 2i n t e r a c t i v em e a n i n go fl a n g u a g e 2 7 2 2 2 1 s p e e c ha c to fl a n g u a g e 2 7 2 2 2 2s o c i a ld i s t a n c e 2 7 2 2 2 3a t t i t u d e 2 8 2 2 2 4m o d a l i t yo fl a n g u a g e 2 9 c h a p t e rt h r e em e t h o d o l o g y 3 1 3 1r e s e a r c hq u e s t i o n s 3 1 3 2d a t ac o l l e c t i o na n ds e l e c t i o n 3 1 3 3f i l ms e g m e n t a t i o nm e t h o d 3 2 3 4r e s e a r c hm e t h o d 3 3 c h a p t e rf o u ra n a l y s i so ft h ei n t e r a c t i v em e a n i n go ff i l md i s c o u r s e 3 4 4 1t h ed y n a m i s mo ft h ei n t e r a c t i v em e a n i n go fv i s u a li m a g e s 3 4 4 1 1i m a g ea c t o f f e ra n dd e m a n d 3 4 4 1 2s o c i a ld i s t a n c ea n ds i z eo ff r a m e 3 7 4 1 3p e r s p e c t i v e i n v o l v e m e n ta n dp o w e r 3 9 4 1 3 1h o r i z o n t a la n g l ea n di n v o l v e m e n t 4 0 4 1 3 2v e r t i c a la n g l ea n dp o w e r 4 1 4 1 4m o d a l i t y 4 3 4 1 4 1c o l o r 4 3 4 1 4 2c o n t e x t u a l i z a t i o n 4 5 4 1 4 3 r e p r e s e n t a t i o n 4 7 4 1 4 4i l l u m i n a t i o n 4 7 4 1 4 5b r i g h t n e s s 4 8 4 1 4 6d e p t h 5 0 4 2s y n t h e t i ca n a l y s e so ff i l md i s c o u r s e 5 1 4 2 1s h o tf r o mp r i d ea n dp r e j u d i c e 5 1 4 2 1 1i n t e r a c t i v em e a n i n go ft h ev i s u a li m a g e s 5 1 4 2 1 2i n t e r a c t i v em e a n i n go ft h el a n g u a g e 5 4 4 2 2 3v e r b a l v i s u a l i n t e r s e m i o t i ci n t e r a c t i o n 6 4 4 2 3s h o tf r o mf o r r e s tg u m p 6 4 4 2 3 1i n t e r a c t i v em e a n i n go ft h ev i s u a li m a g e s 6 5 4 2 3 2i n t e r a c t i v em e a n i n go ft h e l a n g u a g e 6 7 4 2 3 3v e r b a l v i s u a li n t c r s c m i o t i ci n t e r a c t i o n 6 9 i o n c l u s i o n 7 l m a j o rf i n d i n g s 7 1 l i m i t a t i o n sa n ds u g g e s t i o n sf o rf u r t h e rs t u d y 7 3 b i b l i o g r a p h y 7 4 a c k n o w l e d g e m e n t s 7 8 p u b l i c a t i o n s 7 9 东大学硕i j 学位论文 a b s t r a c t w i t ht h ea d v e n to fi n f o r m a t i o nt e c h n o l o g y l a n g u a g ei sn ol o n g e rt h eo n l ys o u r c eo f m e a n i n g v a r i o u ss o c i a ls e m i o t i c ss u c ha sg e s t u r e s i m a g e s m u s i ca n dt h r e ed i m e n s i o n a l m o t i o ni m a g e sa r em o r ef r e q u e n t l yi n c o r p o r a t e di n t os o c i a lp r a c t i c e so fm e a n i n ge o n s t r u a l m u l t i m o d a l i t yb e c o m e si n c r e a s i n g l yp o p u l a r i n p e o p l e sd a i l yl i f e w h i c h e n d st h e d o m i n a t i o no fl a n g u a g eo v e ro t h e rt y p e so fm o d a l i t i e s t h et r a d i t i o n a ld i s c o u r s ea n a l y s i s w h i c hc o n c e n t r a t e so nl i n g u i s t i cd i s c o u r s e sh a sb e e nf o u n dl i m i t e di ne x p l a i n i n gt h e m e a n i n gc o n s t r u a lo fm u l t i m o d a ld i s c o u r s e s w h i c hp r e s s e s f o ran e wg r a m m a rf o r m u l t i m o d a ld i s c o u r s e s i ti sa g a i n s tt h i sb a c k g r o u n dt h a tm u l t i m o d a ld i s c o u r s ea n a l y s i s m d a a r i s e sa san e wt r e n do fd i s c o u r s ea n a l y s i s a m o n gt h em a n ys c h o o l s o f m u l t i m o d a ld i s c o u r s ea n a l y s i s t h es o c i a ls e m i o t i ca p p r o a c ht om u l t i m o d a ld i s c o u r s e a n a l y s i sw h i c hb e g a ni nt h e19 9 0 sp r o v e st ob et h em o s td e v e l o p e d o n e b a s e do nh a l l i d a y ss y s t e m i c f u n c t i o n a ll i n g u i s t i c s 19 7 8 2 0 0 0a n d2 0 01 s o c i a l s e m i o t i ca p p r o a c ht om u l t i m o d a ld i s c o u r s ea n a l y s i sa t t e m p t st oe x t e n df u n c t i o n a l g r a m m a ri n t ot h ea n a l y s i so fd i s c o u r s e si n v o l v i n gm u l t i p l em o d a l i t i e ss u c ha st h ev i s u a l t h ea u d i o t h et h r e ed i m e n s i o n a lo b j e c t sa n ds oo n y e ts of a ra si ti sc o n c e r n e d m u l t i m o d a l d i s c o u r s ea n a l y s i si ss t i l la ti t si n i t i a ls t a g e w i t hm o s ts t u d i e sc o n c e n t r a t i n go ns t a t i c i m a g e s w h i l eo t h e rt y p e so fm o d a l i t i e sa r ei n a d e q u a t e l yt o u c h e du p o n i nt e r m so f t h i s c o n s i d e r a t i o n t h i st h e s i sc h o o s e sd y n a m i cf i l md i s c o u r s ea st h ea n a l y z i n go b j e c t si no r d e r t oe x p l o r et h ec o n s t r u c t i o no fi n t e r a c t i v em e a n i n gi nd y n a m i cm u l t i m o d a ld i s c o u r s e s f i l ma n a l y s i sf r o mt h el i n g u i s t i cp e r s p e c t i v eb e g a nw i t hm e t z sf i l mt h e o r i e st h a t l e a n e dh e a v i l yo nd es a u s s u r e ss t r u c t u r a l i s m h o w e v e r m e t z 19 7 4 u l t i m a t e l yd e n i e dt h e f e a s i b i l i t yo fr o o t i n gf i l ma n a l y s i sw i t h i nal i n g u i s t i cf r a m e w o r k b yt a k i n gt h es o c i a l s e m i o t i cs t a n c e t h ep r e s e n tt h e s i sh o l d st h a ta l lt y p e so fm o d a l i t i e sl i k ev i s u a li m a g e sa n d s o u n da r es o c i a ls e m i o t i c sw i t ht h et h r e em e t a f u n c t i o n sj u s tl i k el a n g u a g e t h e r e f o r e t h e o r e t i c a l l ys p e a k i n g l i n g u i s t i ct h e o r i e sa r ea p p l i c a b l et ot h ea n a l y s i so ff i l md i s c o u r s e p r a c t i c a l l ys p e a k i n g t h ea p p l i c a b i l i t yo fl i n g u i s t i ct h e o r i e si n t oo t h e rt y p e so fm o d a l i t i e s s a m ea s p e c tf i o md i f f e r e n tp e r s p e c t i v e so ri n t e r a c ti nac o n t r a d i c t o r yw a yt oe x p r e s st h e c o n t r a d i c t o r yb e t w e e nt h ei n n e rw o r l do ft h er e p r e s e n t e dp a r t i c i p a n t sa n dt h ew o r l do f r e a l i t yi na n do u to f t h ef i l l t os o m ed e g r e e t h ep r e s e n ts t u d yh a sm a d ec e r t a i nc o n t r i b u t i o nt oe n r i c h i n g m u l t i m o d a ld i s c o u r s e a n a l y s i st h e o r e t i c a l l yt h r o u g hc o n s t r u c t i n g a l l i n t e g r a t i v e v e r b a l v i s u a li n t e r s e r n i o t i ef i a m c w o r kf o r i n t e r a c t i v em e a n i n ga n a l y s i s w h i c hf u r t h e r p r o v i d e sc o n v e n i e n c ei ne x p l o r i n gt h ei n t e r a c t i v em e c h a n i s mb e t w e e nt h ev i s u a li m a g e a n dt h ev e r b a ll a n g u a g ei nam o r ed i r e c ta n dc l e a r e rw a y m o r e o v e r b ye l a b o r a t i n gi n d e t a i lt h er e a l i z a t i o no fi n t e r a c t i v em e a n i n g si nad y n a m i cf i l le n v i r o n m e n t t h ep r e s e n t l 统 多模态语篇分析正是在这样的背景下出现的 在多模态语篇分析的多个学派中 以2 0 世纪9 0 年代兴起的社会符号学视角下的多模态语篇分析方法发展最为迅速 社会符号学角度的多模态语篇分析方法建立在系统功能语言学 1 9 7 8 2 0 0 0 和 2 0 0 1 之上 并将功能语法扩展到包括视觉模态和空间物体等在内的多模态语篇中 到目前为止 多模态语篇分析还处于起步阶段 其中以对静态图像的研究最为丰富 而对动态图像 三维空间物体等的研究则比较少 因此本文选取了动态的电影语篇作 为研究对象 试图探讨电影中的图像和语言是如何相互作用来共同构建意义的 从语言学的角度分析电影开始于麦茨 1 9 7 4 的电影理论 然而尽管麦茨的理论 很大程度上基于索绪尔结构主义语言学 他最终否认了以语言学为框架研究电影语篇 的可行性 本文采取社会符号学的视角 认为图像声音等各种模态均为社会符号的一 种 以不同的形式实现三大元功能 其他模态与语言这种模态的结合是可能的 而且 最新的研究 如k r c s s 和v a nl e e u w e l l 对图像的语言学研究 以及o t o o l e 对建筑 雕塑的语言学研究 证明了这种结合的发展前景 鉴于以上考虑 本文采取社会符号学的视角 以韩礼德的系统功能语言学以及 k r e s s 和v a nl e c u w o l l 的 视觉语法 为理论依托 并通过借鉴评价理论构建了一 个多模态互动模型作为分析电影语篇的工具 同时 本文采用以定性研究为主 定量 研究为辅的分析方法 着重研究电影语篇中的互动意义 依照k a yl o h a l l o r a n 的电 影语篇切分方法 以镜头为基本的分析单位 对图像如何动态实现互动意义 图像和 语言如何相互作用表达互动意义进行了细致的分析 分析结果显示 首先 动态语篇提供多种方式在同一个互动意义资源系统的各选 择项之间转换 由此连续地动态地展现再现参与者之间以及再现参与者与互动参与者 之间的关系 其次 实现互动意义的各个资源系统具有互补或者相互加强的作用 而 i i i 东大学硕i j 学位沦文 量量量量量量舅曼曼量曼曼曼曼曼舅舅鲁量量量置 量 量 喜量喜鲁喜量蔓笪量皇曼曼量量量量曼皇 鼻量 量量量量量喜皇i 且 通过不同资源系统中看似矛盾的选择项之间的组合可以产生各资源系统本身无法 构建的意义 最后 语言和图像之间不是单纯的一致不一致的关系 而是以一种复杂 的形式相互作用 对同一个方面从不同的角度进行补充或加强或以一种相互矛盾的形 式展现再现人物内心世界与再现的外部世界或电影之外的真实世界的冲突 从某种程度上讲 本文在理论上和实践上丰富了多模态语篇分析的研究 在理论 上 本文构建了一个综合了语言和图像的动态互动意义分析框架 这一框架有助于更 加直接 清晰地探讨语言和图像之间在构建意义时的相互作用 此外 本文详细探讨 了互动意义在动态环境下的实现形式 超越了视觉语法只注重静态语篇的局限性 从 实践的角度看 本文为深入理解电影语篇中隐藏的意识形态提供了一个新的视角 但 是本文在研究过程中也发现了自身的局限性 比如本文只涉及了语言和图像两种模态 以及语音中的音调 而对语音模态中的其他因素如音乐等没有进行详细阐述 就此 本文为今后的研究提出了一些建议 关键词 互动意义 电影语篇 社会符号学 多模态语篇分析 i i 东大学硕十学位论文 l i s t o ft a b l e s t a b l e1 1o h a l l o r a n s 2 0 0 4 f r a m e w o r ko ff u n c t i o na n ds y s t e mi nt h em i s e e n s c e n e 1 3 t a b l e2 1t h r e em e t a f u n c t i o n si ns f la n dv g 2 l t a b l e2 2am o d e lf o rt h ei n t e r a c t i v em e a n i n go ff i l md i s c o u r s e 2 3 t a b l e2 3t h r e ev a l u e so fm o d a l i t y a d a p t e df r o mh a l l i d a y19 8 5 3 0 t a b l e2 4s e m a n t i cd i m i n c t i o no fm o d a lv e r b sa c c o r d i n gt ot h e i rv a l u e a d a p t e df r o m h a l l i d a y1 9 8 5 3 t a b l e3 1s t r u c t u r a lu n i t so faf i l m s u m m a r i z e df r o mw i k i p e d i a 3 2 t a b l e4 1i n t e r a c t i v em e a n i n go f t h ev i s u a li m a g e s 5 3 t a b l e4 2m o o dt y p e su s e di nt h ed i a l o g u e sb yd a r c ya n de l i z a b e t h 5 4 t a b l e4 3e v a l u a t i v em e a n i n g so ft h eu t t e r a n c e sb yd a r c ya n de l i z a b e t h 5 6 t a b l e4 4m o d a l i t yv a l u eo ft h eu t t e r a n c e sb yd a r c ya n de l i z a b e t h 5 6 t a b l e4 5i n t e r a c t i v em e a n i n go ft h el a n g u a g e 5 7 t a b l e4 6i n t e r a c t i v em e a n i n go f t h ev i s u a li m a g e s 6 1 t a b l e4 7i n t e r a c t i v em e a n i n go ft h el a n g u a g e 6 3 t a b l e4 8i n t e r a c t i v em e a n i n go ft h ev i s u a li m a g e s 6 6 t a b l e4 9i n t e r a c t i v em e a n i n go ft h el a n g u a g e 6 8 l l i s to ff i g u r e s f i g u r e2 1a b r i e fo v e r v i e wo fa p p r a i s a lt h e o r y 2 0 f i g u r e2 2v i s u a lg r a m m a r s u m m a r i z e df r o mk r e s sa n dv a nl e e u w e n 19 9 6 2 2 f i g u r e2 3s p e e c ha c t s 2 7 l i 东大学硕f 学位论文 a b b r e v i a t i o n s m d a m u l t i m o d a ld i s c o u r s ea n a l y s i s s f s f l s y s t e m i cf u n c t i o n a l s y s t e m i cf u n c t i o n a ll i n g u i s t i c s s f m d a s y s t e m i cf u n c t i o n a lm u l t i m o d a ld i s c o u r s ea n a l y s i s v g v i s u a lg r a m m a r 1 1 1 111 1 l i i 东大学硕l j 学位论文 皇 量舅 皇皇量量舅墨曼量基量 曹量 量量量量量罾 量量 量量舅置量量量量量 i n t r o d u c t i o n b a c k g r o u n do f t h es t u d y s i n c ei t sa d v e n ti nt h e19 5 0 s d i s c o u r s ea n a l y s i sh a su n d e r g o n eas e r i e so fs i g n i f i c a n t d e v e l o p m e n t se s p e c i a l l y a f t e rt h ei n t r o d u c t i o no fh a l l i d a y a n s y s t e m i c f u n c t i o n a l l i n g u i s t i c s h o w e v e r d u r i n gt h ep a s td e c a d e s t h ef o c u so f d i s c o u r s ea n a l y s i sh a sa l w a y s b e e no nw r i t i n gl a n g u a g e w h i c hs e 雹m si n s u f f i c i e n ti nt h em a s sm e d i ae r ao ft h ei n t e r n e t m u l t i m o d a ld i s c o u r s ea n a l y s i s m d a e m e r g e da tt h i st i m ei nr e s p o n s et ot h er e q u e s tf o r ad e v e l o p e dt h e o r yc a p a b l eo fi n t e r p r e t i n gm u l t is e m i o t i cm o d e sa p a r tf r o mw r i t i n g l a n g u a g e t h es o c i a l s e m i o t i ca p p r o a c ht om d ai sd e v e l o p e df r o mh a l l i d a y a ns f l e x a m i n i n gam u l t i m o d a ld i s c o u r s ei nt e r m so ft h et h r e em e t a f u n c t i o n s t h ei n t e r a c t i v e m e a n i n ga sa ne s s e n t i a lp a r to f t h et h r e em e t a f u n c t i o n sr e c e i v e sg r o w i n ga t t e n t i o na g a i n s t t h eg l o b a l i z a t i o nb a c k g r o u n dw h e r ei n t e r p e r s o n a lr e l a t i o n sa r ea r a c h e dg r e a t e ri m p o r t a n c e h o w e v e r t h ea p p l i c a t i o no fm d a a r o u n dt h ew o r l dh a sg e n e r a l l yb e e nc o n f i n e do nas t a t i c i m a g e v e r b a la n a l y s i s b a s e do nt h i sb a c k g r o u n d t h i s r e s e a r c ha t t e m p t st os m d yt h e i n t e r a c t i v em e a n i n go fd y n a m i cf i l md i s c o u r s e s s t a t e m e n to ft h ep r o b l e m w i t ht h e d e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y m a s s m e d i ai n v o l v i n gt h e i n t e r a c t i o no fm o r et h a no n es e m i o t i cm o d es u c ha sl a n g u a g e g a z e g r a p h i cd i s p l a ye t c p l a y sa ni n c r e a s i n g l yi m p o r t a n tr o l ei nt h ec o m m u n i c a t i o na n di n f o r m a t i o nt r a n s m i s s i o n c o n t i n u o u s l yc h a l l e n g i n gt h ed o m i n a n tp o s i t i o no fv e r b a ll a n g u a g e e s p e c i a l l yw r i t i n g l a n g u a g e t ok e e pp a c ew i t ht h i sc h a n g e m d ae m e r g e si nt h el a t e 19 9 0 s e n d e a v o r i n gt o c o n s t r u c tat h e o r e t i c a lf r a m e w o r ka p p l i c a b l et oa l lt y p e so fs e m i o s i s y e t a f t e rm o r et h a no n ed e c a d e sd e v e l o p m e n t m d ai ss t i l l s t a n d i n gw i t ho n ef o o t i n t h ew o r l do fm o n o m o d a ld i s c i p l i n e s k r e s s 2 0 0 1 1 t h em o s tf u l l yd e v e l o p e d f r a m e w o r ki st h eo n ep r o p o s e db yk r e s sa n dv a nl e e u w e ni nv i s u a lg r a m m a r w h i c hp u t s w e i g h to ns t a t i cv i s u a lm o d e i tr e m a i n sa m b i g u o u sh o we a c ht y p eo fs e m i o s i sc o n t r i b u t e s t oc o n s t r u c ta ni n t e g r a t i v em e a n i n ga n dh o wm u l t i m o d a ls e m i o s i sw o r kt o g e t h e rt o p r o d u c e t h ei n t e g r a t i v em e a n i n gi nad y n a m i ce n v i r o n m e n t i nl i g h to ft h ea b o v eq u e s t i o n s t h i sp a p e rm a k e sa na t t e m p tt op r o p o s ea ni n t e g r a t i v e m u l t i m o d a lf r a m e w o r kf r o mas o c i a l s e m i o t i c p e r s p e c t i v e f o r a n a l y z i n g t h e m e a n i n g m a k i n gp r o c e s si nad y n a m i cm u l t i m o d a le n v i r o n m e n t i i i 东大学硕十学位论文 r a t i o n a l ef o rt h es t u d y a sd i s c u s s e dp r e v i o u s l y t h ed o m i n a n c eo fw r i t i n gl a n g u a g eo v e ro t h e rt y p e so f s e m i o t i cm o d e sh a sb e g u nt or e v e r s e m e a n so fc o m m u n i c a t i o na n di n f o r m a t i o n t r a n s m i s s i o nh a v ew i t n e s s e dar e v o l u t i o n a r yc h a n g ef e a t u r e db yas h i f t f r o mt h ec e n t r a l i t y o fw r i t i n gt ot h ei n c r e a s i n gs i g n i f i c a n c eo fi m a g e m c d o n a g he t c 2 0 01 7 9 i nf a c t n o t o n l yi m a g eb u ta l s o t h ea v a n t g a r d e so f t h eh i l g hc u l t u r ea r t sh a v eb e g u nt ou s ea n i n c r e a s i n gv a r i e t yo f m a t e r i a l sa n dt oc r o s st h eb o u n d a r i e sb e t w e e nt h ev a r i o u sa r t d e s i g n a n dp e r f o r m a n c ed i s c i p l i n e s t o w a r d sm u l t i m o d a lg e s a m t k u n s t w e r k e m u l t i m e d i ae v e n t s a n ds oo n k r e s s 2 0 01 1 m u l t i m o d a ls e m i o t i cp h e n o m e n o ni n s p i r e st h ed e v e l o p m e n to f m u l t i m o d a ld i s c o u r s ea n a l y s i s t h ei n t e r p r e t a t i o no fm e a n i n g sc a n n o tp u r e l yr e s tu p o n w r i t i n gl a n g u a g eb u tn e e dt ob ee x t e n d e di n t oo t h e rt y p e so fs e m i o t i cm o d e s s u c ha s i m a g e s o u n d e t c b e s i d e s a sk a ylo h a l l o r a nn o t e d o u rp e r c e p t u a la p p a r a t u si so r i e n t e dt o w a r d s d e t e c t i n ga n da s s i m i l a t i n gc h a n g ea n dc o n t r a s t r a t h e rt h a nr e l y i n go nt h es t