（英语语言文学专业论文）电视访谈节目中参与人头部动作与言语的互动关系研究.pdf

摘要 多模态话语分析不仅关注人际交流中的语言 而且关注人际交流中其他各种 表意模态 c o m m u n i c a t i v em o d e s 旨在发现表意模态内部或之问的各种关 系与规律 在人际交流的多模态研究中 头部动作和言语属于两种不同的表意模 态 其他的模态还包括眼神 手势 姿势 场景中存在的各式物体等 本篇论文研究头部动作和言语的互动关系 着眼于三方面 一是言语停顿时 头部是否停止运动 二是言语中出现并列结构时 头部如何运动 三是言语中 否定和摇头否定的时间是否一致 本文对该三方面进行多模态分析 研究言语和 头部运动是如何协作表意的 本文选取了八部电视访谈节目作为分析案例 包括 鲁豫有约 艺术人生 锵锵三人行 等 这些节目通常涉及两到三名讲话者 镜头总是聚焦于主持人 和被采访者的面 头 部 非常适合本论文研究 分析节目片断时 利用绘声绘 影软件 可将片断分解成连续图片 还可提取出音频 十分便利 通过节目片断分析 得出如下结论 在本文研究的三个方面 头部动作能有 机地配合言语表达意义 和言语共同承担表意功能 首先 当言语停顿时 头部 在大多数情况下会随之停止 少数情况才继续运动 其次 当话语中出现并列结 构时 头部往往伴随重复性动作 尽管每一步头部动作不尽然完全相同 但整体 上有很大的相似性 再次 摇头这一否定的动作 可以比言语中的否定提前实现 形成明显的否定时差 关键词 表意模念 头部运动 话语停顿 话语并列结构 话语否定 a b s t r a c t i n t e r p l a yb e t w e e ns p e e c ha n dh e a dm o v e m e n t l nt vi n t e r v i e wp r o g r a m s z h a n gj i n g t i n g h e a dm o v e m e n ta sw e l la sv e r b a ll a n g u a g ei sr e g a r d e da so n eo ft h em a n y c o m m u n i c a t i v em o d e si nm u l t i m o d a lh u m a ni n t e r a c t i o n s o t h e rm o d e si n c l u d eg a z e g e s t u r e p o s t u r e p r i n t l a y o u t e t e t h i st h e s i ss t u d i e st h ei n t e r p l a yb e t w e e nh e a dm o v e m e n ta n dc o n c o m i t a n t s p e e c h a n da i m st oe x p l o r es o m ep e r c e p t i o n so nh o wt h et w om o d e si n t e g r a t ew i t h e a c ho t h e rt oc o m m u n i c a t em e a n i n g f o rt h i sp u r p o s eh e a dm o v e m e n t si nt h r e e s p e e c hs i t u a t i o n s n a m e l ys p e e c hp a u s e s p e e c hp a r a l l e la n ds p e e c hn e g a t i o n a r e s t u d i e di nt h i st h e s i s t h es t u d yi st ob ee x p l o r e di nm u l t i m o d a la n a l y s i so ft h e c o l l e c t e dc a s e s e i g h tt vi n t e r v i e wp r o g r a m sa r es e l e c t e da st h ed a t ab a s e i n c l u d i n gd a t ew i t h y u t h es t o r yo fc e l e b r i t i e s a n dt a l ks h o wa m o n gt h r e ef r i e n d s m o s to ft h e m a r ef a c e t o f a c ec o n v e r s a t i o n sj o i n e db yt w oo rt h r e ep e o p l e t h es e t t i n g sa r es i m p l e a n dt h ec a m e r al e n sc o n s t a n t l yf o c u s e so nt h es p e a k e r s h e a d s t h e r e f o r et h e ya r eo f g r e a tc o n v e n i e n c ef o rh e a dm o v e m e n to b s e r v a t i o n t h es o f t w a r ec o r e lv i d e o s t u d i oi s u t i l i z e di nc a s ea n a l y s e st od i s s o l v ev i d e oi n t oi m a g ef l o w sa n dt oe x t r a c tt h es o u n d t r a c k t h es t u d yd e m o n s t r a t e st h a tt h eh e a dm o v e m e n t sa r ea ni n t e g r a ls y s t e mw i t h t h es p e e c ht h e ya c c o m p a n yh e a dm o v e m e n tn o r m a l l yp a u s e sw h e nas p e a k e rs t o p so r p a u s e st h es p e e c h b u tu n d e r af e wc i r c u m s t a n c e si tc o n t i n u e st om o v e w h e np a r a l l e l s t m c 眦o c c u i s t h eh e a du s u a l l ym o v e si nar e p e a t e dp a t t e r n t h eh e a dm a ys h a k et o i n d i c a t en e g a t i o na h e a do f n e g a t i o nt h a ti se x p r e s s e dt h r o u g hw o r d s w h i c hp r o v e st h e v i e wt h a ti d e a sa l ef o r m e db e f o r et h e ya l ee x p r e s s e da n dt h a tb o d yl a n g u a g em a y f o r e t e l lt h em e s s a g el a n g u a g ew i l lb eu s e dt om a k e e x p l i c i t k e yw o r d s c o m m u n i c a t i v em o d e s h e a dm o v e m e n t s p e e c hp a u s e s p e e c h p a r a l l e l s p e e c hn e g a t i o n l i s to ft a b l e s t a b l e2 1c o m m 眦i c 撕v ee n v i r o n m e n t h e a dm o v e m e n t s 1 6 t a b l e3 1p r o g r a mc o l l e c t i o n 1 9 t a b l e4 1s p e e c hp a u s ea n dh e a dm o v e m e n ti nd a t ew i t hl uy u 2 9 t a b l e4 2s p e e c hp a u s ea n dh e a dm o v e m e n t i nt a l ks h o wa m o n gt h r e ef r i e n d s 3 5 t a b i e4 3s p e e c hp a u s ea n dh e a dm o v e m e n t i nl e c t u r e sf r o mh u n d r e d so fs c h o o l s 3 7 v l i s to ff i g u r e s f i 帅2 1 1 1 脚阳3 1 2 3 脚心3 2 2 4 f i 舯4 1 2 5 f i 肿4 2 2 6 f 1 鲫4 3 i 2 7 f 1 肿4 4 3 0 f i 舭4 5 3 l 脚聆4 6 3 2 f 1 9 u r e 4 7 3 3 f 1 黜4 8 3 4 脚陀4 9 3 6 脚糟4 1 0 3 6 脚m 4 1 1 4 0 f 1 舭4 1 2 4 2 f i 肿4 1 3 4 3 f l 鲫4 1 4 4 4 脚聆4 1 5 4 5 脚糟4 1 6 4 6 脚r e 4 1 7 4 7 f i 舭e 4 1 8 5 0 脚他4 1 9 5 l f 1 眇4 2 0 5 3 f i 黜4 2 1 5 3 学位论文原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进行研究工作所取得的成果 除文中已经注明引用的内容外 本论文不含任何其他个人或集体已经发表或撰写过的作品成果 对本文所涉及的研究工作做出重要贡献的个人和集体 均已在文 中以明确方式标明 本人完全意识到本声明的法律责任由本人承 担 特此声明 学位论文作者签名 涨囊锄 j 口9 年驴月7 e t 学位论文版权使用授权书 本人完全了解对外经济贸易大学关于收集 保存 使用学位 论文的规定 同意如下各项内容 按照学校要求提交学位论文的 印刷本和电子版本 学校有权保存学位论文的印刷本和电子版 并采用影印 缩印 扫描 数字化或其它手段保存论文 学校有 权提供目录检索以及提供本学位论文全文或部分的阅览服务 学 校有权按照有关规定向国家有关部门或者机构送交论文 在以不 以赢利为目的的前提下 学校可以适当复制论文的部分或全部内 容用于学术活动 保密的学位论文在解密后遵守此规定 学位论文作者签名 嬲 导师签名 主艿代狼f 方氐 弓年妒月7 日 湖7 年v 月c 日 a c k n o w l e d g e m e n t s w r i t i n gt h i st h e s i sw o u l dh a v eb e e ni m p o s s i b l ew i t h o u tt h eh e l p s u g g e s t i o n s a n ds u p p o r tf r o mm ys u p e r v i s o r t e a c h e r sa n df r i e n d s m yd e b tt ot h e mi s b e y o n d w o r d s t h em o s ti n f l u e n t i a lf i g u r ed u r i n gt h ep r o c e s so f m yw r i t i n gi sm ys u p e r v i s o r z h a n gz u o c h e n g ih a v el e a r n e dm o r et h a nic a nd e s c r i b e o ra d e q u a t e l y a c k n o w l e d g e f r o mh i sp r o f o u n dk n o w l e d g e h i sr i g o r o u sa t t i t u d e 部as c h o l a r a n dh i se n l i g h t e n i n g s u g g e s t i o n sa b u n d a n ti nw i s d o m h eh e l p e dm er e v i s em yt h e s i s p r o p o s a l m a d e c a r e f u la n dd e t a i l e dc o r r e c t i o n s g a v em a n yv a l u a b l es u g g e s t i o n s a n dg a v em e m u c h n e e d e de n c o u r a g e m e n t ic a n n o tt h a n kh i me n o u g hf o ra l lh eh a sd o n ef o rm e s e v e r a lo t h e rt e a c h e r sh a v eb e e np a r t i c u l a r l yi m p o r t a n t ia m d e e p l yi n d e b t e dt o d r s h ix i a o j u na n dd r h u a n gh a of o rt h e i r e n l i g h t e n i n ga d v i c e g i v e nt om ei nt h e o r a ld e f e n s eo ft h ep r o p o s a l f r o mw h i c hih a v ed r a w ng r e a ti n s p i r a t i o nf o rw r i t i n g t h i st h e s i s ia ma l s og r a t e f u lt om yf r i e n d sw h o i nt h ep r o c e s so fw r i t i n g t h e s i s p r o v i d e d m en o to n l yb o o k sa n da r t i c l e sr e l a t e dt ot h i st h e s i s b u ta l s ot h ee n c o u r a g e m e n ta n d d r i v ef o rm et oc o m p l e t et h i st h e s i s 1 1b a c k g r o u n dt ot h es t u d y c h a p t e ro n e i n t r o d u c t i o n h u m a ni n t e r a c t i o n sa r ec a r r i e do u tt h r o u g he i t h e ro n eo fo ra ni n t e g r a t i o no fa n a r r a yo f c o m m u n i c a t i v em o d e s n o r r i s 2 0 0 4 p 1 t h et e r mr e f e r st os e m i o t i c s y s t e m so fr e p r e s e n t a t i o ne s s e n t i a l l yi n c l u d i n gp r o x e m i c s p o s t u r e h e a dm o v e m e n t g e s t u r e g a z e l a n g u a g e l a y o u t p r i n t a n dm u s i ct h a tc a np e r f o r mc o m m u n i c a t i v e f u n c t i o n n o r r i s 2 0 0 4 p 12 o fa l lt h e s em o d e sl a n g u a g eh a st r a d i t i o n a l l ya s s u m e d ad o m i n a n tp o s i t i o na n di s p r o b a b l yt h em o s tp r o f o u n d l ys t u d i e dm o d e y e ti n i n t e r a c t i o np e o p l es e l d o mc o m m u n i c a t eo n l yt h r o u g hl a n g u a g e l a n g u a g ei su s u a l l y u s e d a l o n g w i t hv a r i o u sn o n v e r b a l m o d e s c o n s c i o u s l y o r s u b c o n s c i o u s l y i n t e n t i o n a l l yo ri n s t i n c t i v e l y t or e a l i z em e a n i n ge x p r e s s i o n t h e s em o d e s e x c e p t l a n g u a g e h a v et r a d i t i o n a l l yb e e nv i e w e da sp a r to ft h ea s p e c t so ft h ec o n t e x t w h i c h e n c o m p a s s e se v e r y t h i n gs u r r o u n d i n gas t r i po ft a l k n o wt h ec o n t e x t u a la s p e c t s b e c o m ea n a l y z a b l ea l o n gs i d ew i t ht h el a n g u a g ei nt h ef i e l do fm u l t i m o d a la n a l y s i s t h i sn e we m e r g i n ga c a d e m i cb r a n c hs t u d i e sn o to n l yh u m a ni n t e r a c t i o n sb u ta l s o m u l t i m o d a lt e x t s a l sw e l l w h i c hc o m b i n e sl a n g u a g ew i t hv i s u a li m a g e s a n i m a t i o n s v i d e o m u s i c a n ds o u n de f f e c t s a n a l y s t sa t t e m p tt of i n do u tp o t e n t i a lr u l e sg o v e r n i n g e a c hm o d es y s t e mo fr e p r e s e n t a t i o na n dt h ew a yd i f f e r e n tm o d e sc o l l a b o r a t et om a k e m e a n i n gi nm u l t i m o d a lt e x t sa n di n t e r a c t i o n s t h e r eh a v ea p p e a r e dah a n d f u lo fp r o m i n e n ts c h o l a r si nt h ef i e l do fm u l t i m o d a l d i s c o u r s ea n a l y s i s k r e s s b a l d r y t h i b a u l t r o y c ea n dv a i ll e e u w e n s p e n de f f o r t so n t h es t u d yo fm u l t i m o d a lt e x t s w h i l eo t h e r ss u c ha ss i g r i dn o r r i sa n dg uy u e g u o f o c u so nt h er e s e a r c ho fm u l t i m o d a li n t e r a c t i o n s d e s p i t ed i f f e r e n c e si nt h e i r a p p r o a c h e sa n dt e c h n i q u e s w h a ts e e l b st ou n i t et h e mi st h eg o a lo fd i s c o v e r i n gh o w d i f f e r e n ts e m i o t i cr e s o t l r c e sa r eu s e di ne x p r e s s i n gm e a n i n g i ti ss a i dt h a tt h eh e a da sw e l la st h eh a n d sa r et h et w ob o d yp a r t st h a ti n v o l v e t h em o s tm o v e m e n t a n dg a r n e rt h em o s ta t t e n t i o ni ns o c i a li n t e r a c t i o n s h a r r i g a n 2 0 0 8 p 10 2 a l t o r f e re ta 1 2 0 0 0 p 12 d i s c e mt h r e ef u n d a m e n t a lt y p e so fh e a d m o v e m e n t i e s a g i t t a l l a t e r a la n dr o t a t i o n a l w h i c hc a nf o r mm o r ec o m p l e xh e a d m o v e m e n t si n s e q u e n t i a la n d o ro v e r l a p p i n gw a y r e s e a r c ho nh e a dm o v e m e n t s s t r i d e st od i s c o v e rp o t e n t i a lr u l e su n i v e r s a l l yg o v e r n i n gt h i sc o m m u n i c a t i v em o d e o r t of i n do u th o wh e a dm o v e l l l e n t s y n c h r o n o u sw i t ho t h e rm o d e s f a c i l i t a t e sm e a n i n g e x p r e s s i o n s of a rs c h o l a r sh a v ec h a n n e l e dm o s te n t h u s i a s mo nt h es t u d yo fh e a d n o d d i n ga n dh e a ds h a k i n gi nr e l a t i o nt ot h ea c c o m p a n y i n gs p e e c h b u th a v es e l d o m e x p l o r e do t h e rw a y so ft h ei n t e r p l a yb e t w e e nt h et w om o d e s t h i st h e s i ss t u d i e st h e i n t e r p l a yb e t w e e ns p e e c ha n dh e a dm o v e m e n ti nt h eh o p eo fd r a w i n gs o m en e w i n s i g h t si n t ot h er e s e a r c hs u b j e c t 1 2r e s e a r c hq u e s t i o n s w i t hh e a dm o v e m e n ta n ds p e e c ha tt h ec e n t r a lc o n c e r n ic h o o s et os t u d yt h e i n t e r p l a yo nt h r e eo c c a s i o n s h e a dm o v e m e n ta ts p e e c hp a u s e h e a dm o v e m e n ta t s p e e c hp a r a l l e l h e a dm o v e m e n ta ts p e e c hn e g a t i o n d o e st h eh e a dm o v e m e n tp a u s e w h e nt h ea c c o m p a n y i n gs p e e c hp a u s e s w h a ti st h em o v e m e n tp a t t e r no ft h eh e a d w h e ns p e e c hp a r a l l e lo c c u r s d o e sh e a ds h a k i n g a l li n d i c a t i o no f n o t a k ep l a c e a h e a do ft h et i m et h es p e e c h n e g a t i o ni su t t e r e d 1 3m e t h o d o l o g y f i n d i n g so nt h et h r e er e s e a r c hq u e s t i o n sa r et ob er e a c h e dv i ac a s ea n a l y s e so f c o l l e c t e dd a t a am u l t i m o d a la p p r o a c hw i l lb ea d o p t e di na n a l y z i n gt h ed a t a t h e m u l t i m o d a la p p r o a c hr e q u i r e sp r u d e n to b s e r v a t i o na n di n t e g r a t e dt r a n s c r i p t i o no f c o m m u n i c a t i v em o d e st h a ta r es i g n i f i c a n tt ot h es t u d y i nt h i st h e s i s s p e e c ha n dh e a d m o v e m e n tw i l lb en o t e dd o w ni nd e t a i l i no r d e rt og e tap r e c i s eo b s e r v a t i o na n d 2 t r a n s c r i p t i o n ir e s o r tt o t h ec o m p u t e rs o r w a r ec o r e lv i d e o s t u d i o t h es o f t w a r e a l l o w su st od i s s o l v eav i d e oi n t oas e r i e so fc o n t i n u i n gi m a g e sa n dt oe x t r a c ts o u n d t r a c k s w h i c hi so fg r e a tc o n v e n i e n c ef o rt h i ss t u d y 1 4d a t a b a s e a l lo ft h ec a s e sa r ef r o mt vb r o a d c a s to nc h i n e s et vc h a n n e l s i n c l u d i n g f a m o u st a l ks h o w ss u c ha s 鲁豫有约 d a t ew i t hl uy u 艺术人生 t h el i f eo f c e l e b r i t i e s 锵锵三人行 t a l ks h o wa m o n gt h r e ef r i e n d s a n d 康熙来了 k a n ga n d x ic o m e a n do n et vl e c t u r e 百家讲坛 l e c t u r e s f r o mh u n d r e d so f s c h o o l s s u c hac o l l e c t i o ni sm a d eo u to ff o u rc o n s i d e r a t i o n s f i r s t l y t h e s et v p r o g r a m sa r ee a s yt od o w n l o a df r o mt h ei n t e m e t s e c o n d l y t h eh o s t sa n dh o s t e s s e si n t h e s ep r o g r a m se n j o yp o p u l a rf a m ea c r o s sm a i n l a n dc h i n a h o n g k o n ga n dt a i w a n a n da r et h u sr e p r e s e n t a t i v eo fh i g h p r o f i l et a l ks h o w si n c h i n a t h i r d l y t h e s e p r o g r a m sf e a t u r ev a r i o u st o p i c s i n v o l v i n go v e rt e np e r s o n sf r o mv a r i o u sw a l k so fl i f e t h e r e f o r e f i n d i n g sb a s e do nt h e s ec a s e sa r en o tc o n f i n e dt oau n i q u ef e a t u r eo fa n i n d i v i d u a l f o u r t h l y t h es p e a k e r s f a c e s h e a d sa r ec o n s t a n t l yf o c u s e du p o nb yt h e c a m e r as ot h a tic a ng r a s pm o s to ft h eh e a dm o v e m e n t s 1 5o r g a n i z a t i o no ft h et h e s i s t h et h e s i sc o n s i s t so ff i v ec h a p t e r st o e x p l o r et h ei n t e r p l a yb e t w e e nh e a d m o v e m e n ta n da c c o m p a n y i n gs p e e c h t h eb e g i n n i n gc h a p t e ri n t r o d u c e sm u l t i m o d a l r e s e a r c h e s t h er e s e a r c hs u b j e c ta n dt h em e t h o d o l o g i e so ft h i ss t u d y c h a p t e rt w o r e v i e w ss t u d i e so fs p e e c ha n dh e a dm o v e m e n t a n dr e l a t e dt h e o r i e sa n dc o n c e p t s t h e f o l l o w i n gc h a p t e rg i v e saf u l ld e s c r i p t i o no ft h ed e s i g no ft h i sr e s e a r c h c h a p t e rf o u r i st h ea n a l y s i so ft h ec a s e s c h a p t e rf i v ea r r i v e sa tc o n c l u s i o n sa n dd i s c u s s e st h e l i m i t a t i o n so ft h i st h e s i s 3 c h a p t e r t w o l i t e r a t ur er e v i e w 2 1m u l t i m o d a f i t ya n dc o m m u n i c a t i v em o d e s m u l t i m o d a l i t yi sa l le m e r g i n gr e s e a r c hs u b j e c ti nd i s c o u r s ea n a l y s i s a si m p l i e d b yt h et e r mi t s e l f m u l t i m o d a l i t yr e f e r st ot h ep r e s e n c e o fm u l t i p l em o d a l i t i e si ns o c i a l c o m m u n i c a t i o n e a c hm o d a l i t yi sm e a s u r e di nt e r m so f b o t ht h ec h a n n e l e g g r a p h i c a u d i o a n dt h em e d i u m e g w r i t t e n p r i n t e d w e b b a s e d m a t t h i e s s e n 2 0 0 7 p 2 t h e t e r mm u l t i m o d a l i t yc o m e si n t ob e i n ga sac o n t r a s tt ot h et r a d i t i o n a ln o t i o nt h a t l a n g u a g ei st h ec e n t e ro f t h es t u d yo fs o c i a lc o m m u n i c a t i o n l a n g u a g e h o w e v e r i si n i t s e l fb i m o d a l t h ev o c a ls o u n ds y s t e ma n dt h ev i s u a l w r i t t e ns i g n s y s t e m m a t t h i e s s e n 2 0 0 7 p 6 a r g u e st h a tt h r o u g h o u th u m a ne v o l u t i o n m a l lh a sb e e n r e a l i z i n gc o m m u n i c a t i o nv i am u l t i p l em o d a l i t i e s p r o t o l a n g u a g e s c a l lh a v et h ee n t i r eb o d ya st h e i re x p r e s s i o np l a n e a s p r o t o l a n g u a g ee v o l v e di n t ol a n g u a g e t h el i n g u i s t i cm u l t i m o d a l i t yi s r e t a i n e d a n de x p a n d e d b u ti ti sd i s t r i b u t e da c r o s sl a n g u a g ea n do t h e rs e m i o t i cs y s t e m s g e s t u r e sa n df a c i a le x p r e s s i o n sb e c o m ep a r to ft h ee x p r e s s i v er e s o u r c e so f w h a th a sb e e nr e f e r r e dt oa s b o d yl a n g u a g e t h eb o u n d a r i e sb e t w e e n l a n g u a g ea n dt h e s eo t h e rs e m i o t i cs y s t e m sw i t ha s p e c t so ft h eb o d ya st h e i r e x p r e s s i o np l a n e sa r ef u z z yr a t h e rt h a ns h a r p h es u m m a r i z e st h em u l t i m o d a l i t yo fl a n g u a g ei t s e l fa n do t h e rs e m i o t i cs y s t e m s i nt h ea u d i o v i s u a la n db e h a v i o r a lc a t e g o r i e s t h ef i r s ti sp h o n o l o g y a u d i o i n c l u d i n g t i m b e r t e m p o l o u d n e s s p i t c hr a n g ea n do t h e rf e a t u r e so fs o u n d t h es e c o n di s g r a p h o l o g y v i s u a l c o n t a i n i n gd r a w i n g p a i n t i n g l a y o u t d 6 c o r s c u l p t u r e o nt h e b o d y c t c t h et h i r di ss i g n b e h a v i o r a l c o n s i s t i n go fv a r i o u sb o d yl a n g u a g e f a c i a l e x p r e s s i o n g a z e e t c m a t t h i e s s e n 2 0 0 7 p 7 t r a d i t i o n a ll i n g u i s t i cr e s e a r c h e sg r a n tc e n t r a li m p o r t a n c et ol a n g u a g e i na 4 r e a l t i m ei n t e r a c t i o ni t i s s p o k e nl a n g u a g e i n c l u d i n gv o c a lr e p r e s e n t a t i o n s p r o d u c e db ys p e a k e r s w h e r e a sl i n g u i s t st o d a ya r el a y i n gm o r ea n dm o r ee m p h a s i s o na l la r r a yo fm o d a l i t i e s t ow h i c hs i g r i dn o r r i sg i v e st h en a m e c o m m u n i c a t i v e m o d e s m o d e ss u c ha sp r o x e m i c s p o s t u r e h e a dm o v e m e n t g e s t u r e g a z e s p o k e n l a n g u a g e l a y o u t p r i n t a n dm u s i ca r ee s s e n t i a l l ys y s t e m so fr e p r e s e n t a t i