多模态话语分析的理论基础与研究方法-朱永生

1、 多模态话语分析的理论基础与 朱永生-研究方法 2007, DOI :10.16263/ki .23 -1071/h.2007.05.034 No.5 外语学刊 2007 年第 5期SerialNo.138 期总第 138FOREIGNLANGUAGERESEARCH 话语分析 编者按 :而且是语言哲学、后现代主义等许多人文科学关注的焦点。目前, 话,话语分析不仅是语言学关注的对象语分析可以区分为批评话语分析和积极话语分析。其实, 话语分析应该以话语为对象, 或者以语言本身为目的, 或者以人及人的世界为目的。前者属于语言学, 后者属于语言哲学, 两者相互联系, 相互支撑。朱永生先生的文

2、章为我国话语分析的开展指明了发展方向, 而丁建新、廖益清等先生也从不同角度出发, 在话语分析领域进行着细致的耕耘。 多模态话语分析的理论基础与研究方法 朱永生 (复旦大学 , 上海 200433) 要提即只注意语言系统和语义结构本身及其与社会文化和心理认知之间,:迄今为止的话语分析基本上局限于语言本身年世纪的关系, 忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。 这就使得话语分析带有较大的局限性。 20 90 代, 西方兴起的多模态话语分析本文将论述与多模态话语分析紧密相关的则可以在很大程度上帮助人们克服这些局限性。 , 多;(3);(2)多模态话语的定义多模态话语分析的性质和理论基础;

3、(4):(1)4个问题多模态话语的产生 模态话语分析的内容、方法和意义。 关键词:多模态话语分析;理论基础;研究方法 文章编号 中图分类号文献标识码 -5 :1000:A-0100(2007)05:B089-0082 TheoryandMethodologyofMultimodalDiscourseAnalysis ZhuYong-sheng (FudanUniversity, Shanghai200433, China) Thediscourseanalysisthathasbeendonesofarislargelyrestrictedtolanguageitself, i.e.atten

4、tionhasbeenpaidtothe languagesystemandsemanticstructureandtheirrelationtocultureandcognition, withotherwaysofmeaningmakingsuchasim-ages, sounds, coloursandflashesignored.Thishasmadediscourseanalysisfarfromcomprehensiveandexhaustive.Multimodal discourseanalysis, whichstartedinthe90softhelastcenturyin

5、thewest, cansolvethisproblemtoagreatextent.Thispaper attemptstodiscussfourissuescloselyrelatedtomultimodaldiscourseanalysis:1)wheremultimodaldiscoursecomesfrom;2) howmultimodaldiscourseisdefined;3)whatisthenatureandtheoreticalbasisofmultimodaldiscourseanalysis;and4)What isthecontent, methodologyands

6、ignificanceofmultimodaldiscourseanalysis. Keywords:multimodaldiscourseanalysis;theoreticalbasis;methodology 引 1 言 即只注意语言系统和语义结构本言为研究对象, 忽视身及其与社会文化和心理认知之间的关系年代初Haris于 20世纪 50 , 自美国语言学家 诸如图象、声音、颜色、动漫等其他意义表现形式。提出话语分析(discourseanalysis)这一研究方向 以来, 世界各地的话语分析家作出了很大努力, 提 这就使得话语分析带有较大的局限性。 20世纪 (multimodal 通

7、过大量年代西方兴起的多模态话语分析 90 出了各种各样的话语分析理论和方法, 实例分析则可以在很大程度上帮助人解剖了话语活动内在的规律以及话语, discourseanalysis), 活动与意识形态和认知模式之间的关系。们克服这些局限性。 (朱永 基本上都是以语 本文将论述与多模态话语分析紧密相关的4 ,这些理论和方法 ,然而2003) 生 82 2007年朱永生 多模态话语分析的理论基础与 研究方法第 5期 (modeofdiscourse), 意指交流渠道 (channelof 个问题:(1)多模态话语的产生;(2)多模态话语的定义;(3)多模、书面模式communication), 如

8、口头模式(spokenmode)态话语分析的性质和理论基础; (4)多模态话语分析的内容、(electronicmode) 、电子模式(writenmode) 等。这些模式的使用和变化在一定程度上影响信息的流动 方法和意义。 (informationflow), 最终影响语篇性 2(texture)(语篇应该具备的特征)。 媒介指语言 多模态话语的产生 2.1感知模态的产生生命科学的研究成果告诉我们, 生命体在演 化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等 5种不同的感知通道(sensorychannel):(1)靠眼 睛获得的视觉通道 (visualchannel);(2)靠耳朵获得的听

9、觉通道(auditivechannel);(3)靠皮肤获得的触觉通道 (tactilechannel);(4)靠鼻子获得的嗅觉通道(olfactorychannel);(5)靠舌头获得的味觉通道 (gustatorychannel)。 这些通道是生命体与周围环境进行信息交换的界面和路径。 在残酷的物竞天择面前, 这些感知通道能否相互作用, 对周围的一切作出迅速而有效的反应, 直接影响生命体的生存和繁衍。 生物学家们认为, 上述5种感知渠道的获得分别导致以下 5种交际模态的产生:视觉模态(visualmodality)、听觉模态(au-ditivemodality)、触觉模态(tactilemo

10、dality)、嗅觉 模态 (olfacotrymodality)和味觉模态 (gustatory modality)。 在上述模态中, 与话语分析关系最紧密的是视觉模态和听觉模态。 近年来, 由于科学技术的发展, 触觉模态、嗅觉模态和味觉模态也开始用于话语交际。 这里仅以触觉模态为例, 随着数据手套(dataglove)的问世, 人们可以依靠传递手指的弯曲角度, 打出各种各样的三维手势, 把语言和手势结合起来, 从而使人机对话更加接近于自然的人际对话。 2.2模式、媒介与模态的差别在多模态话语分析中, 模式 (mode)、媒介 (medium)与模态(modality)三个词语经常出现。由于

11、彼此之间在意义上有一定的联系, 但界限并不十分明确, 容易造成混乱和误解, 有必要对它们各自的含义进行说明。 一般来说, 模式指系统功能语言学家所说的与话语范围(fieldofdiscourse)和话语基调(tenor ofdiscourse)并列的语境三要素之一的话语模式 course), 如使用听觉模态收听新闻广播或使用视觉模态阅 从严格的语言学和符号学 交际所使用的技术(technology),读小说。同时使用两种或两种以上模态的话语叫做 “ 多模态在英语中都 。模态和情态一样,意义上来看, 算不上一个术语话语 ” (multimodaldis-course), 也有人把同时使用两种模情

12、态指语言系统中讲话 但两者所指不同。 modality,叫做 态的话语叫做 者对事物的或然性“双模态话语”(bimodaldiscourse)。 同时使用两种模态的 (probability)进行判断和事物的必要性(necessi-ty)表明态度例子有使用可视电话进行交际时, 交际双方都需要用耳朵听对方的讲话内容, 用眼睛看对方的表情变化和手势变化。 同的语义系统, 而模态则指交流的渠道和媒介, 包括语言、技 我, 。时使用三种或三种以上模态的例子很多 在日常生活中术、图象、颜色、音乐等符号系统。 需要用耳朵听, 用嘴讲, 用笔写信息, 们使用手机交流时, 需要用眼睛看屏幕上显示的文字 用手发

13、信息;电脑上网时,3和图象, 用耳朵听文字的录音和图象发出的声音, 在技术允 多模态话语的性质和识别标准 许的条件下还可以用鼻子闻到电脑里发出的某种气味。技术多模态话语就其性质而言是人类感知通道 我们认为,含量更高的是美 ATT贝尔实验室设计的 HuMaNet系统, 在交际过程中综合使用的结果。 因此,多模态话语分析不应这个系统能使异地客户召开会议时同时获得声音、文字、数该局限于语言学的研究范围, 而应该是跨学科的。事实上, 经 据和图象。过十多年的发展, 多模态分析已经超越了语言学的藩篱, 扩 展到符号学、哲学、社会学、人类学、政治学、新闻学、心 研究对象也从语言文字扩 理学、法学、美学和医

14、学等领域,第二条标准是看涉及的符号系统有多少。 有些话语虽展到音乐、图片、影像、网页设计和建筑风格等多种社会符然只涉及一种模态, 但包含两个或两个以上的符号系统, 如 号系统。连环画虽然只涉及视觉模态,但既有文字又有图画;广播小说 但既有文字内容又有背景音乐。我们 虽然只涉及听觉模态,多模态话语如何识别? 我们认为, 不外乎两个判断标 也把准。 第一条标准是看涉及的模态种类有多少, 这是当前语言学界普遍认可的标准。 只使用一种模 态的话语叫做 “ 单模态话语 ” (monomodaldis- 83 2007年朱永生 多模态话语分析的理论基础与 研究方法第 5期 下的多模态化的应用;(3)多模态

15、化与识读实践;(4)多模态化 这些话语看作是多模态话语。 (至于手势语、面 多模态化话语分析;(6)语料库的建立;(5)多模态化和类型学 部表情和身势语等副语言(paralanguage), 我们既可以把(Simpson2003) 及其理论问题。 它们看作语言, 也可以看作另一种模态。) BaldryThibault则列出 6个课题:(1)什么 4多模态话语分析的理论基础 虽然多模态话语分析也从皮尔斯等人的符号学理论中吸取了媒介、对象、解释三位一体等理念, 但其主要理论基础却是 Haliday创立的系统功能语言学(Haliday1978, 1985/1994;Haliday Mathiesse

16、n2004)。 具体地说, 多模态话语分析从系统功能语言学那里接受了语言是社会符号 (socialsemiotic)和意义潜势(meaningpotential) 的观点, 认为语言以外的其他符号系统也是意义的源泉;接受了系统理论, 认为多模态话语本身也具有系统性;接受了纯理功能假说(metafunction hypothesis), 认为多模态话语与只包含语言符号的话语一样, 也具有多功能性, 即同时具有概念功能、人际功能和语篇功能;接受了语域 (register) 理论, 认为语境因素和多模态话语的意义解读之间有着密不可分的联系。 由于多模态话语分析深受系统功能语言学和符号学的影响, 我们

17、可以把它叫做系统功能符号学(systemic-functionalsemiotics)。 系统功能语言学则可看作系统功能符号学的一个分支。 5多模态话语分析的内容方法与意义 、 5.1内容 把语言学理论应用于符号学(尤其是视觉符号研究)研究早就开始了。 例如, 布拉格学派把 “前景化”(foregrounding)概念应用于美术、戏剧、电影和服饰研究;巴黎学派把索绪尔有关“语言”与“言语”、“能指”和“所指” 、“任意”与“理据”等理论应用于绘画、摄影、时装、电影和音乐研究;批评语言学派和系统功能符号学派把 Haliday的系统功能语言学理论应用于新闻、文学和音乐等领域的研究等。 多模态话语分

18、析关心的课题很多, 学者们的看法也不尽相同。 这里仅列举几种有代表性的意见。 Simpson对一次以多模态化为主题的国际应用语言学研究会的议题进行归纳, 指出多模态话语分析主要涉及如在学术和教育情境;(2)多模态化和新的媒体:(1)下几个方面 语言学家在进 术时不仅要使多模态相互结合而且相互配合, 对多模;(3)叫多模态语篇;(2)如何对这些语篇进行转录和分析行多模态话语分析时不仅要研究每个模态本身对话语意义的;(4)态语篇进行分析或建立多模态语篇语料库时需要哪些技术而且要研究所涉及的所有模态之间是如何互 产生有何作用,综合把多媒体的意义生成资源(meaning-makingresources

19、) 的。从而使语篇获得更多的意义(en-hancedmeaning),动 后怎样才能使我们的意义生成潜应用到超级语篇(hypertext) 在我们所处的 成倍地增加;(5)能(meaning-makingpotential) 须要掌握两, 5.2方法要正确解读多模态话语的意义如何使语言研究与多模态和多媒体联系起电子学习时代, 多模态话语分析能以什么方式、在多大程度上给语言学;(6)来 个要领。Thibault2006) 带来新的变化。 (Baldry 一讲到语第一个要领是确定不同成分之间的语法关系。 很少考虑 人们自然会想到如何把单词连成句子的规则,法,主张在社会、教育和工Scolon(200

20、4)此外, LeVine 回 到视觉符号系统中单个元素相互组合时是否也有章可循。 模态作场所等不同的语境中开展多化话语分析(胡壮麟研究占据(visualsemiotic), 视觉符号顾符号学的研究历史语言学家应该关注多 O Haloran Jewit则认为, 。2007)但这类研究基本上都集中在图象、人 了十分重要的地位, ,如语言模态语篇与多种交际模式合成(、动态图象和静态图象这在 物、事物和地点等元素的外延和内涵以及象征意义上,”语法符号之间的“很大程度上相当于语言学中的词汇研究, 的话语之间在意义表达和理解上的关系)外加三维物体 ? 如何确定多模态话语的语法关系呢 那么, 关系被忽视了。

21、(O HaloranJewit2006)。 研究的具体内容包括这些模态图象中的视觉符号不仅可以反映客, KressLeeuwen认为的步骤(phase)、过渡(transition)、摄 而且可以表现各种各样 观世界和主观世界发生的各种事件, 影(camera)、身体移动(bodymovement)、印刷版式与此同时视觉符号内部也是一个有机的连贯的的人际关系, (typography)以及这些模态的选择和使用是如何引导读者理分别从,整体 Haliday因此可以借用的语言三大功能假说, 解语篇和语境意义的。正如信息学家在发明和应用多模态技 概念功能、人际功能和语篇功能三个不同的层面分析图象等 8

22、4 2007年朱永生 多模态话语分析的理论基础与 研究方法第 5期 研究的重心转移到自然状态下的话语上来, 特别是现场即席 视觉符号的语义关系 (Kress Leeuwen2003)。 总是运用多种多样 而人们在具体的社会情境中,口语会话。 在概念意义层面上, 我们可以探讨不同的图象之间或同一个 的图象中不同成分之间有何联系, 哪个成分相当于及物系统中 的行为者(actor), 哪个成分充当对象(goal), 哪个成分表示环境 (circum-stance)。 在人际意义层面上, 我们可以探讨图象中参与者之间的社会关系、图象设计者的交际目的以及图象解读者本身对图象内容的介入 (in-volve

23、ment)程度。在语篇意义层面上, 我们可以根据同一个图象中不同成分之间或不同图象之间所处的相对位置(如上下、前后、中心边缘关系)等版面安排的具体情况, 分析多模态话语的信息分布(informationdistribution), 确认哪些成分是已知信息(giveninformation), 哪些成分是新信息(new information), 从而认清哪些信息是多模态话语的 起点(pointofdeparture), 哪些信息是多模态话语想要传递的信息焦点(informationfocus)。 第二个要领是要弄清文字和图象之间的关系。这方面, 图象和文字说明 认为,如 Barthes 学术界

24、的看法不尽相同。 必须借助文字, 是关联的, 然而由于图象本身的意义飘忽不定 说明才能确定图, Leeuwen却认为Kress(Barthes1967, 1977)。 而 因为它本, , 但并不依赖文字说明象和文字说明是有联系的的构是有结组织的(organized), 又既身是有 。 Leeuwen2006)(structured)(Kress , 这就要求我们对两者的互补作用进行深入的研究。此外 现实Leeuwen还告戒我们, “视觉结构并不只是对Kress 它们生成的现实世界的各种图象,结构进行复制。恰恰相反,与那些生成、传播和阅读这些图象的社会机构的利益是紧紧视觉结构绝不只它们是表达意识

25、形态的。 联系在一起的。 它们在语义上也是非常重要的”是形式的, 对 。这意味着图象和语言一样,(KressLeeuwen2006:47)又具有重新建构的作,社会现实和心理现实既具有复制作用 用。 5.3意义 几乎都是以文本为基础的。回顾迄今为止的话语分析,早就明确指Sau-ssure(1916)这可能是一个方向性的错误。 基于, 实际使用的话语才是语言学真正须要研究的对象出, 文本的语言形式和结构研究并不能从根本上解决语言学家想(1985), Haliday 要解决的问题。Haliday(1978), Hasan等人也持有相同的观点。我们认为有必要将语言Chafe(1994) 一般都可以提供

26、严格意义上的语法依据, 而多模态话语分析 自然状 符号资源完成意义建构(Kressetal2001)。 这就是说,中的语法分析由于缺乏严格语法意义上的标记和线性关系, 。以态下发生的话语活动往往具有多模态性(multimodality)因此带有很强的主观性, 即在很大程度上依靠分析者本人对, 前由于科学技术的限制不同组成部分之间语义关系的理解。在面对同样两个或更多随着多媒体技术和很少有人从多模态角度分析话语。如今, 的成分时, 不同的人可能会因为文化背景不同、知识结构不对自然话语进行多模态研究已经成为可 语料库的迅速发展,同, 甚至解读动机不同进行不同的分析, 从而得出不同的结 能。论。第二,

27、 与第一个不足之处相关的是各种模态之间的互动 多模态话语分析的意义在于它可以将语言和其他相关的关系和互补作用难以确定。多模态话语中往往由多种系统构意义资源整合起来(Gibbon2000), 它不仅可以看到语言系统哪 成,而每个系统中又有很多单个的成分。 这些成分当中,在意义交换过程中所发挥的作用, 而且可以看到诸如图象、音第, 也是不容易确定的因素。,些对解读有价值 哪些没有价值乐、颜色等其他符号系统在这个过程中所产生的效果, 从而使从事多模态话语分析的绝大多数是系统功能, 三, 迄今为止话语意义的解读更加全面、更加准确, 进而发现人类如何综合仅仅依靠语言学,语言学家 而多模态话语分析是跨学科

28、的, 使用多种模态达到社会交际的目的。可以说, 这类话语分析既 的一个流派是远远不够的。只有其他学科的学者共同参与,可以推动我们对语言学的研究, 同时也可以加深对符号学的 多模态话语的意义才能得到更加全面而正确的解读。认识(胡壮麟 2007)。 值得高兴的是, 虽然多模态技术还处于研发阶段, 但 6已经对多模态话语的收集、转录和分析以及社会交际的方式不足之处与今后走向 人们认识 和作用产生了影响。随着科学技术的进一步发展,多模态话语分析目前还处于起始阶段, 在如下三个方面 ,世界的水平将越来越高。 根据现有的资料 我们可以预测,存在一些不足。 第一, 语法分析的主观性太强。 以文本为基多模态话

29、语分析将呈现两个比较明显的趋势。第一个趋势是础的语法分析, 尽管也需要分析者对句子意义结构的理解, 但 ,对多模态互补作用的更加关注如语篇与图象 85 2007年朱永生 多模态话语分析的理论基础与 研究方法第 5期 (eds.), FramingandPerspectivisinginDiscourse C . 的互补, 说话与手势的互补, 面部表情与语音识别 Amsterdam, PA:JohnBenjaminsPub, 2003. (speechrecognition)的互补, 面部表情与语音综合 Leeuwen第二个趋势是复杂程度的提。 (speechsynthesis)的互补等 , T

30、heoVan. ThreeModelsofInterdisciplinarity 从静态研究走向 , 如从二维话语分析走向三维话语分析,高 A .InWodak, RuthandPaulChilton(eds.), A 此类研究必将进一步推动话语分析动态研究等。我们相信, NewAgendain(Critical)DiscourseAnalysis C .Am- sterdam, 目前处于落后地位的我国语言学 乃至整个语言学的发展。PA:JohnBenjaminsPub, 2005. 做出自己应有的贡献。界须要迎头赶上,Leeuwen, TheoVan.TowardsaSemioticsofT

31、ypography J .InformationDesignJournal, 2006(2). Leeuwen 参考文献TheoVan Adam Jaworski.TheDiscoursesof , WarPhotography:PhotojournalisticRepresentations .胡壮麟社会符号学研究中的多模态化 J .语言教学与 of 2007(1). , 研究 thePalestinian-IsraeliWar J .JournalofLanguage 2003(3). , 年.话语分析 50 J .外国语朱永生 andPolitics, 2003(2). LeeuwenP

32、.J.Thibault.MultimodalTranscriptionand Baldry, A. TheovanJewit,Carey.TheHandbookofVisual , TextAnalysis M .London:EquinoxPublishing, Analysis M .London:Sage, 2001. 2006. Lemke, BarthesR.ElementsofSemiology M .London:Cape, , Jay.MultiplyingMeaning:VisualandVerbalSemi-otics 1967. inScientificText A .I

33、nJ.R.MartinandRobert BarthesVeel(eds.), ReadingScience:CriticalandFunctional R. Image-Music-Text M . London: Fontana, , PerspectivesonDiscoursesofScience C .London/ 1977. Chafe, W.Discourse, New York:Routledge, 1998. andTime M .Chica- Consciousness, LeVine, Philip RonScolon.DiscourseandTechnology: g

34、o:UniversityofChicagoPres1994. s, MultimodalDiscourseAnalysis M .WashingtonDC: DafyddGeorgetownUniversityPress, 2004. RogerK.Moore.Handbook IngeMertins , Gibbon, O Haloran, K.L.Interdependence, ofMultimodalandSpokenDialogueSystems M .Bos- InteractionandMeta-phorinMultisemioticTexts J .ton:KluwerAcademicPu