（外国语言学及应用语言学专业论文）多模态话语分析与电影作品及翻译.pdf

多模态话语分析与电影作品及翻译 a s t u d yo fa u d i o - - v i s u a lp r o d u c t sa n dt r a n s l a t i o n f r o mt h ep e r s p e c t i v eo fm u l t i m o d a ld i s c o u r s ea n a l y s i s 学位论文完成日期： 指导教师签字： 答辩委员会成员签字： 2jjjjl-iijii0洲3眦8iiiii-y 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 ( 洼；垫遗直基他蠡噩挂基4 查明的：奎拦卫窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：柱为军签字日期：2 9 口年厶月；日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，并同意以下 事项： 1 、学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。 2 、学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以 采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权清华大学“中 国学术期刊( 光盘版) 电子杂志社”用于出版和编入c n k i 中国知识资源总库， 授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：雀乃晕 翩擗稆 签字日期：2p 。年6 月多日签字日期：2 。i o 年月多日 一 ， a s t u d yo fa u d i o v i s u a lp r o d u c t sa n dt r a n s l a t i o nf r o mt h ep e r s p e c t i v eo fm u l t i m o d a ld i s c o u r s ea n a l y s i s 摘要 随着信息形式的多样化，话语也不再以单一的文本模态形式体现，而是加入 了声音、图像、动画、颜色等多种模态形式。同时电影作品充分运用了语言、听 觉和视觉等模态，通过语言、图像、声音等多种手段和符号资源进行交际。但以 前的电影字幕的研究只局限于语言本身，即只注重字幕( 语言) 的作用，而忽视 了其他意义模态的作用。2 0 世纪9 0 年代西方兴起的多模态话语分析则在很大程 度上突破了传统影视研究的局限性从而提供了一个更为综合的视角。 因此本文旨在根据多模态话语分析理论框架分析其在电影作品及其字幕翻 译中的应用。也就是说，本文将在多模态话语分析的框架下重点研究以下三个方 面的内容：一、电影作品中不同意义模态之间如何相互协同表达整体意义；二、 字幕与其它意义模态之间的关系不同如何影响字幕及其翻译；三、尝试性地根据 字幕在整体意义构建过程中的主次作用提出字幕的处理建议。本文首先从国内外 对多模态话分析的研究现状和历史渊源及其主要观点和术语方面，简要介绍多模 态话语分析这一理论。其次描述和分析传统的电影翻译理论和实践；总结出传统 电影作品研究视角及其翻译的特点，并指出多模态话语分析理论，作为一个新的 研究视角，合理地整合了语言、图像、声音等意义模态，因此它为分析不同模态 如何协同表达整体意义提供了理论框架；从而在很大程度上解决了传统电影研究 只注重语言( 字幕) 的局限性。再次，通过案例分析试图运用多模态话语理论分 析电影作品非诚勿扰，采用定性法探讨语言( 字幕) 与其它模态，诸如图画 ( 镜头、面部表情等) 和声音( 背景音乐等) 如何协同来传递整体意义，最后分 析如何优化字幕与其它意义模态之间的关系，实现最佳的电影字幕翻译效果。最 后，笔者尝试性地提出了几条电影字幕的翻译建议，例如双行字幕法、缩减法、 省略法和句型结构差异法。 关键词：多模态话语分析，电影作品及翻译，字幕，图画，声音 ab s t r a c t m u l t i m o d a ld i s c o u r s ea n a l y s i s s u g g e s t st h a td i s c o u r s e se x i s ta sm u l t i m o d a l t o 加sr a t h e rt h a nm o n o m o d a lf o r m s t h e yu s e s o u n d s ，v i s u a li m a g e s ，a n i m a t i o n sa n d c o l o r s m e a n w h i l e ，a u d i o v i s u a lp r o d u c t sa d o p tl a n g u a g e ，s e n s eo f h e a r i n ga n ds i 曲t t oc o m b i n ed i f f e r e n t s e m i o t i cr e s o u r c e st o c o n s t r u c tt h ew h 0 1 em e a n i n go ft h e d i s c o u r s e t r a d i t i o n a lt h e o r i e so fa u d i o - v i s u a lp r o d u c t sa n d t r a n s l a t i o nt h a th a v eb e e i l d o n es of a ra r el a r g e l yr e s t r i c t e dt o l a n g u a g ei t s e l f n a m e l y , m o s to fa t t e n t i o n sh a v e b e e l lp a i dt ot h es u b t i t l e sb u to t h e rs e m i o t i cr e s o u r c e ss u c h a sv i s u a li m a g e sa n d s o u n d sa r ei g n o r e d m u l t i m o d a l i t yd i s c o u r s e a n a l y s i s ，w h i c hs t a n e di n19 9 0 si nt h e w e s t e n lc o u n t r i e s ，p r o v i d e sa m o r ec o m p r e h e n s i v e p e r s p e c t i v e t h e r e f o r e ，t h i st h e s i si st oa n a l y z et h ea u d i o v i s u a lp r o d u c t sa n dt r a n s l a t i o nu n d e r m et h e o r e t i c a lf r a m e w o r ko fm u l t i m o d a ld i s c o u r s e a n a l y s i s t h a ti st o s a y ，t h i st h e s i s f o c u s e so nt h ef o l l o w i n ga r e a s ：h o wt h ed i f f e r e n tm o d a l i t i e sa r e c o m b i n e dt oc o n s t r u c t t 1 1 ew h o l e m e a n i n g ；h o wt h e i rr e l a t i o n s h i p sa f f e c tt h ea u d i o v i s u a ls u b t i t l e s ；a n dw h a t s u g g e s t i o n sa r ep r o p o s e dt od e a lw i t h d i s c o u r s ea n a l y s i si s b r i e f l yi n t r o d u c e d s u b t i t l e t r a n s l a t i o n f i r s t l y , m u l t i m o d a l f r o mi t so r i g i na n dp r e s e n ts t a t u s ，a n di t s t l l e o r e t i c a lf r a m e w o r k s e c o n d l y , t h et r a d i t i o n a la u d i o v i s u a lt h e o r i e sa r es u m m a r i z e d a n di ti sf o u n dt h a tt r a d i t i o n a la u d i o - v i s u a lt r a n s l a t i o n sa r el i m i t e dt o l a n g u a g ea n d 1 鲫o r et h eo t h e rs e m i o t i cm o d a l i t i e ss u c ha sv i s u a li m a g e sa n ds o u n d s h o w e v 瓯t h e m u l t i m o d a ld i s c o u r s ea n a l y s i sp r o v i d e san e w a p p r o a c ht os t u d ya n dr e v i e wt h e 舳d i o - v i s u a lp r o d u c t sa n dt r a n s l a t i o n i tp r o v i d e sa p o t e n t i a l l yt h e o r e t i c a l 丘姗e w o r k f o rt h e c o m p r e h e n s i v ea n a l y s e so fh o wl a n g u a g e s ，v i s u a li m a g e sa n ds o u n d sa r e c o m b i n e dt oc o n s t r u c tt h ew h o l e m e a n i n g t h e r e f o r e ，i t ，t oac e n a i ne x t e n t ，s 0 1 v e st h e l i m i t a t i o n so ft h et r a d i t i o n a ls t u d i e so fa u d i o - v i s u a lp r o d u c t s 锄dt r 觚s l a t i o n t h i r d l y i fy o ua r et h eo n ei ss e l e c t e da sc a s es t u d i e st os h o wh o ws u b t i t l e sa s l a n g u a g e ， p i c t u r e sa sv i s u a li m a g e sa n dm u s i c ，m o n o l o g u eo rd i a l o g u e sa ss o u n d se o m b i n e t o g e t h e rt oc o n s t r u c tt h ew h o l em e a n i n g a n ds u b t i t l e si na u d i o v i s u a lp r o d u c t sa r e i m p a c t e db yt h e i rr o l e st oa c h i e v et h ec o m m u n i c a t i v ee f f e c t c o n s c q u e n t l y s e v e r a l a u d i o v i s u a lt r a n s l a t i o ns u g g e s t i o n sa r ep r o p o s e dt o d e a lw i t hs u b t i t l e sa n dt h e i r t r a n s l a t i o n t h e yi n c l u d ed o u b l e 1 i n e ds u b t i t l e s ，r e d u c t i o n ，o m i s s i o n ，a n ds t r u c t u r a l d i s c r e p a n c y k e y w o r d s ：m u l t i m o d a ld i s c o u r s ea n a l y s i s ，a u d i o - v i s u a lp r o d u c t s a n d t r a n s l a t i o n ，s u b t i t l e s ，v i s u a li m a g e s ，s o u n d a s t u d yo f a u d i o v i s u a lp r o d u c t sa n dt r a n s l a t i o nf r o mt h ep e r s p e c t i v eo fm u l t i m o d a ld i s c o u r s ea n a l y s i s t a b l eo fc o n t e n t s i n t r o d u c t i o n p 1 c h a p t e rim u l t i m o d a id i s c o u r s ea n a l y s i s l 。ll i t e r a t u r er e v i e w 。i 5 1 1 1 f o r e i g ns t u d i e s p 5 1 1 2d o m e s t i cs t u d i e s p 8 1 2t e r m su s e di nm u l t i m o d a ld i s c o u r s ea n a l y s i s p 9 1 3t h e o r e t i c a lf r a m e w o r ko fm u l t i m o d a ld i s c o u r s ea n a l y s i s p11 1 3 1c o n t r i b u t i o no fs y s t e m i cf u n c t i o n a ll i n g u i s t i c st om u l t i m o d a ld i s c o u r s e a n a l y s i s p 1 1 1 3 2t l l e o r yo f m u l t i m o d a ld i s c o u r s ea n a l y s i s p 1 3 c h a p t e r2a u d i o v i s u a lp r o d u c t sa n dt r a n s l a t i o n 2 1p r e v i o u sp e r s p e c t i v e si na u d i o v i s u a lp r o d u c t ss t u d i e s p18 2 2o v e r v i e wo fa u d i o v i s u a lt r a n s l a t i o nt h e o f f e s p18 2 1 1r e s e a r c h e si nc h i n a p 1 8 ：! 1 2o v e r v i e wo ff o r e i g nr e s e a r c h e s p 2 0 2 3l i m i t a t i o n so ft r a d i t i o n a la u d i o v i s u a lt h e o r i e s p 2 5 2 4a p p l i c a t i o no fm u l t i m o d a ld i s c o u r s ea n a l y s i si na u d i o v i s u a lt r a n s l a t i o n a san e wa p p r o a c h p 2 6 c h a p t e r3c a s es t u d i e s ：；1b r i e fi n t r o d u c t i o no fi fy o ua r et h eo n e p 3 0 3 2a n a l y s e so fr e l a t i o n sa m o n gd i f f e r e n tm o d a l i t i e si nz fy o ua r et h eo n e p 3 0 3 2 1c o m p l e m e n t a r yr e l a t i o n p 3 l 3 2 1 1n o t r e i n f o r c e d p 3 1 3 。2 1 2r e i n f o r e e d p 3 4 3 2 2 n o n c o m p l e m e n t a r yr e l a t i o n p 3 7 3 2 2 1 o v e r l a p p i n ga n di n c l u s i o n p 3 8 3 2 2 2s i t u a t i o ni n d e p e n d e n to rd e p e n d e n t p 4 0 c h a p t e r 4s u g g e s t i o n sf o ra u d i o - v i s u a lt r a n s l a t i o n 4 1s u g g e s t i o n sf o rs u b t i t l e sw h e nt h e yp l a yk e yr o l e st oc o n s t r u c tt h ew h o l e m c a n i n g p 4 4 4 2s u g g e s t i o n sf o rs u b t i t l e sw h e nt h e yp l a ye q u a lo rm i n o rr o l e st oc o n s t r u c tt h e v 0 ，h o l em e a n i n g p 4 5 4 2 1b r e v i t ya n dc l a r i t y p 4 5 4 2 2o m i s s i o n 。p 4 6 4 2 3s t r u c t u r a ld i s c r e p a n c y p 4 7 c o n c l u s i o n j p 4 9 b i b l i o g r a p h y p 5 1 a c k n o w l e d g e m e n t s p 5 4 个人简历p 5 5 i n t r o d u c t i o n t h et w e n t i e t hc e n t u r yw a sat i m eo f r a p i dc h a n g ea n dg r o w t hi nt h es t u d ya n d u n d e r s t a n d i n go fh u m a nm e a n i n gs y s t e m s w h e r e a ss e m a l l t i cs c h o l a r sp r i o rt ot h e m l q dt w e n t i e t hc e n t u r yw e r eo nt h ew h o l ei nt h er e l a t i v e l ys a f ep o s i t i o no f b e i n ga b l e t or e s t r i c tt h e m s e l v e st ot h es t u d yo f l a n g u a g e ，t h eo n g o i n gr e v o l u t i o ni nm u l t i m e d i a d e s i g na n dd i g i t a lt e c h n o l o g yw i t h i nc o n t e m p o r a r y s o c i e t ya tl a r g eh a sl e dt oa p r o l i f e r a t i o no fm u l t i m o d a ld o c u m e n t s m e a n w h i l e ，t h et w e n t i e t hc e n t u r yh a ss e e na p r o f u s i o no fd i s c i p l i n a r ya n dt h e o r e t i c a lp e r s p e c t i v e su p o nh u m a nc o m m u n i c a t i o ni n g e n e r a la n dm u l t i m o d a lc o m m u n i c a t i o ni n p a r t i c u l a r t h ep r i o rs c h 0 1 a r sm u s tt h u s c o p ew i t hm u l t i p l ef o r m so fc o m m u n i c a t i o n ， a sw e l la s m u l t i p l et h e o r e t i c a l p e r s p e c f i v e su p o nw h i c ht od r a wi nt h es t u f f yo fh u m a n m e a n i n g m a k i n ga c t i v i t y f u r t h e r m o r e ，w i t h i na c a d e m i cr e s e a r c h e s ，a s p a r to ft h em o v et oam u l t i m o d a l o r i e n t a t i o nw i t h i nt h ec u l t u r ei n g e n e r a l ，i n c r e a s i n g l ys o p h i s t i c a t e d 锄dp o w e r m l t e c h n i c a lr e s o u r c e sh a v eb e c o m ea v a i l a b l ef o rt h es t u d yo fh u m a n s 锄i o t i ca c t i v i t i e s n o to n l yh a v ea d v a n c e si nd i g i t a lt e c h n o l o g yo p e n e du pn e wa r e a si nt e n n so ft h e o b j e c t so fr e s e a r c h ，t h e ya l s oi m p a c t e dt h ew a y si nw h i c ht h eu s e r sc o i l e c t ，仃a i l s c 订b e a n da n a l y z em u l t i m o d a ld a t a t od e v e l o pe f f e c t i v ea n df l e x i b l er e s o u r c e sf o r t r a c i n gt h ec o m p l e xm e a n i n g m a k i n gp r o c e s s e s o fm u l t i m o d a l p h e n o m e n a ，it h e r e f o r ep r o p o s et o e m p l o y m u l t i m o d a ld i s c o u r s e a n a l y s i sa st h eu n d e r l y i n gt h e o r e t i c a lf o u n d a t i o nf o rt h i st h e s i s t h i si sb e c a u s e ，t h r o u g ht h ep r i s mo ft h i s t h e o r y , ia n le n a b l e dt ot r e a ti n t e r a c t i v e d i g i t a lt e c h n o l o g ya sb o t ht h ev i r t u a la n dp h y s i c a le m b o d i m e n to fm u l t i m o d a l m e a n i n g t h a ti s ，f i r s t l y , f r o mt h em u l t i m o d a ld i s c o u r s e a n a l y s i s ，“m e a i l i n g i s p r o d u c e da n dr e p r o d u c e du n d e rs p e c i f i cs o c i a lc o n d i t i o n s ，t h r o u g hs p e c i f i cm a t e r i a l f o r m sa n da g e n c i e s i te x i s t si nr e l a t i o n st oc o n c r e t e s u b j e c t sa n do b j e c t s ，如di s i n e x p l i c a b l ee x c e p ti nt e r m so ft h i ss e to fr e l a t i o n s h i p s ( h o d g e & k r e s s ，1 9 9 8 ) t h u s ， t h ed e s i g na n du s eo f d i g i t a lr e s o u r c e sa r et h e m s e l v e sm e a n i n g b e a r i n ga c t i v i t i e s ，w i t h a l lt h ei m p l i c a t i o n st h a tas o c i a ls e m i o t i ct h e o r yo f m e a n i n ga n di t se x p r e s s i o na f f o r d s s e c o n d l y , l i k eb a l d r y & t h i b a u l t ( 2 0 0 6 ) ，ib e l i e v et h a t ，i np r a c t i c e ，t e x t so fa l lk i n d s l a r ea l w a y sm u l t i m o d a l ，m a k i n gu s eo f , a n dc o m b i n i n g ，t h er e s o u r c e so fd i v e r s e s e m i o t i cs y s t e m st of a c i l i t a t eb o t hg e n e r i ca n ds p e c i f i cw a y so fm a k i n gm e a n i n g i n t e r a c t i v ed i g i t a lt e c h n o l o g y , i np a r t i c u l a r ( s u c ha si nf i l m ，h y p e r t e x t ，v i d e og a m e s ， e t c ) ，r o u t i n e l ye m p l o y sam i xo ft r a d i t i o n a la n dn e wm e d i a , w h i c h a l l o w sf o ra m u l t i p l i c i t yo fs e m i o t i cm o d a l i t i e sa n d r e s o u r c e st ou n f o l ds i m u l t a n e o u s l yo n s c r e e n c o n s e q u e n t l y , t h i st h e s i si sa na t t e m p tt os t u d ya u d i o - v i s u a lt r a n s l a t i o nf r o mt h e p e r s p e c t i v eo fm u l t i m o d a ld i s c o u r s ea n a l y s i s f r o m t h i s p e r s p e c t i v e ，t h i st h e s i s f o c u s e so nt h ef o l l o w i n gi n t e r r e l a t e da r e a s ：h o wt h ed i f f e r e n ts e m i o t i cr e s o u r c e sa r e c o m b i n e dt oc o n s t r u c tt h ew h o l em e a n i n g ，w h a ti st h er e l a t i o n s h i pb e t w e e no ra m o n g t h es u b t i t l e sa sl a n g u a g ea n do t h e rs e m i o t i cm o d a l i t i e s ，a n dh o wt h e i rc o m p l e m e n t a r y o rn o n - c o m p l e m e n t a r yr e l a t i o n si m p a c tt h es u b t i t l e sa sl a n g u a g e i no t h e rw o r d s ，t h i s p a p e ra i m st ou n d e r s t a n dt h ei n t e r r e l a t i o n so ft h ec l o s el i n k so fs u b t i t l e a n do t h e r s e m i o t i cm o d a l i t i e st oe x p l o r et h ep r e v i o u s l yi g n o r e db u ts i g n i f i c a n ts e m i o t i c r e s o u r c e si nt h em u l t i p l i c i t yo fm o d a l i t i e s i ta l s oh e l p sc o m ec l o s e rt oas a t i s f a c t o r y t h e o r e t i c a lf r a m e w o r kt od e a lw i t hs u b t i t l et r a n s l a t i o ni no r d e rt oa c h i e v et h em o s t c o m m u n i c a t i v ee f f e c t i na d d i t i o n ，t h es e l e c t i o no ft h ec o r p u si n t h i st h e s i sw a g n e i t h e ra r b i t r a r yn o rp u r e l ys u b j e c t i v e t h ea u d i o v i s u a lt e x t sc h o s e nb e l o n gt o p o p u l a ra u d i o v i s u a lp r o d u c t si n2 0 0 8 i ti s 矿y o ua r et h eo n e ，d i r e c t e db ym r f e n g x i a o g a n g a l t h o u g ht h ed o m e s t i ca n df o r e i g nr e s e a r c h e sh a v es u p p l i e ds u f f i c i e n tt h e o r e t i c a l f o u n d a t i o n sf o rt h i st h e s i s ，t h em a j o r i t yo ft h e ma r el i m i t e dt oa n a l y z i n gt h es t a t i c p i c t u r e so rs u b t i t l e su n d e rt h ef r a m e w o r ko fm u l t i m o d a ld i s c o u r s ea n a l y s i s e s p e c i a l l y i nc h i n a , s e l d o mw e r et h em o v i n gp i c t u r e ss u c ha sa u d i o - v i s u a lp r o d u c t sa n a l y z e d w i t hi t sa p p l i c a t i o n t h ed e v e l o p m e n to fd i g i t a lt e c h n o l o g yp r o m o t e st h ep r o l i f e r a t i o n o fa u d i o v i s u a lp r o d u c t s ，w h i c hs u p p l yr a wm a t e r i a l sf o rc a s es t u d i e s w h a t sm o r e ， m u l t i m o d a ld i s c o u r s ea n a l y s i sp r o v i d e sam o r ec o m p r e h e n s i v ep e r s p e c t i v et os t u d y a u d i o v i s u a lt r a n s l a t i o n ，w h i c hr e g a r d ss u b t i t l e sa sl a n g u a g e ，m o v i n gp i c t u r e sa s v i s u a li m a g e sa n dt h ec o r r e s p o n d i n gb a c k g r o u n dm u s i ca sad i s c o u r s e a sas t u d e n to ft r a n s l a t i o n ，if o u n dm y s e l fi n c r e a s i n g l yd r a w nt oa u d i o - v i s u a l 2 t r a n s l a t i o na n di t s i m p l i c a t i o n sf o rl a n g u a g e ，t h ev i e w e ra n dt h e 仃a n s l a t o r u p o n c o m p l e t i n gt h ep r e l i m i n a r yp i e c eo fr e s e a r c ho ne n g l i s h c h i n e s e s u b t i t l i n g i na s e l e c t i o n ib e c a m ea w a r eo ft h ec o m p l e x i t yo ft h ea u d i o v i s u a lm o d a l i t i e sa n dt h e s p e c i f i cc h a l l e n g e sf o rt h et r a n s l a t o r s p o k e nd i a l o g u e sa r et r a n s p o s e di n t os u b t i t l e so f w r i t t e nt e x ti nt h ef o r mo fo n eo rt w ol i n e sa tt h eb o t t o mo ft h es c r e e n s o u n d t r a c k a n di m a g e sc o n v e r g et oc r e a t et h em e a n i n g s o u n d s ，v o c a li n t o n a t i o n ，v i s u a l s i g n s ， g e s t u r e s ，p o s t u r e s ，e d i t i n gt e c h n i q u e sa r ec o m b i n e dt oc r e a t ea m e s s a g ef o rt h ev i e w e r t oi n t e r p r e t i no t h e rw o r d s ，w h a ti ss a i di so n l y p a r to f t h em e s s a g e t h ew a yi ti ss a i d ， t o g e t h e rw i t hv i s u a la n da u d i t o r ym a r k e r s ，f o r ma ni n t e g r a lp a r to ft h em e s s a g e i nt h e d i g i t a le r a , s o m ep e o p l ec a nn o ta v o i dt r y i n gt oc a t c ha m a g i cg l i m p s eo ft h ef u t u r eo f f i l mw i t hd i g i t a l i z a t i o n ，i tw o u l db ef a rc h e a p e rt os h o o t ，c u t ，e d i t ，d u p l i c a t e