胡壮麟多模态小品中的主体模态

多模态小品中

的

主体模态

胡壮麟

北京大学

胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第1页!1．符号的多元性与多模态性索绪尔:语言符号是‘概念’(concept)与‘音响意象’(soundimage)的任意关系。他预示了语言学只是属于尚未出现的符号学的一个分支学科。他试图将任意性理论应用于其他符号系统:‘所指’(signified)和‘能指’(signifier)的术语一个世纪过去了，当代系统功能语言学派和认知语言学派对语言学和符号学这们新兴学科提出了不少崭新的观点。

√√

√√√√√

√√√

√√√√

胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第2页!（1）语言语法不是在词语概念基础产上生正确句子的代码，不是规则的集合，而是产生意义的资源（Halliday，

1978：192）。这意味着正确的符号观应关注意义是如何从‘符号资源’中进行选择和被表达的。它不是停留在概念和语音，或者所指和能指之间的任意的静态的层面。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第3页!（3）在一定语境下使用的词语必然出现在‘语篇’之中。同理，我们应当将话语或语篇的概念应用于符号学研究。人类符号与一定语境下完成的语篇共现。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第4页!有关这方面的研究，将我们引入‘多元符号学’（multi-semiotics）和‘多模态性’（multimodality）的领域。索绪尔自会接受符号的多元性，但他有关语言符号的概念和音响意象的绝对任意关系的观点，是否接受符号的多模态性有待我们进一步审视。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第5页!O’Halloran（2008）:

现代的真正意义上的多模态性理论研究应数MichaelO’Toole(1994)的《展示艺术的语言》和GunatherKress和TheovanLeeuwen(1996)合著的《阅读的意象：视觉设计的语法》。我国尽管有图文并茂的实践传统，有关当代多模态性理论研究的综述和报道有李战子（2003），胡壮麟（2004a,b;2007），朱永生（2007），张德禄（2009，杨信彰（2009）等。对多模态语篇案例研究的有胡壮麟和董佳（2006），魏晓茹（2009）、李妙晴（2009）等。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第6页!所谓多模态小品，我借用了‘小品文’的概念，即生动活泼的说理抒情的短小作品，但它是多模态的。我在“多模态小品的问世和发展”（2010）一文中曾对1092个多模态小品进行分析.胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第7页!

多模态可包含不同模态的组合。但对多模态组合的规律性和特征缺乏深入研究，特别是形成这些规律性和特征的原因和功能。本文想具体讨论的是：（1）对同一语篇意义的表达可以采用不同模态。（2）这些模态可以分别使用，也可以同步使用。（3）在多种模态同步使用的情况下，我们一般可发现其中一至二种模态是主体的，其余模态起陪衬作用。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第8页!共有17张幻灯片。片1引入上述标题。片2说明作者的意图，即他认为读者可能并不意识到他往下所说话语的正确性和重要性，但这是百分之百正确的、重要的，因而希望读者每天思考其中的某些内容。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第9页!从这些文字不难发现，作者诚意地友好地向读者提供一个一个诤言，如为人应该笑颜常开，你并非孤独，坏事可以变成好事，等。因此‘友谊花朵’这个题目高度概括了作者期待你树立乐观向上的用意。这层意义无疑是通过文字传递给读者的。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第10页!每张幻灯片上的都有一种花朵，有的含苞欲放，有的展瓣吐艳。这抽象地表达了每一枝花朵就是作者馈赠读者的一个箴言。这才是美的感受，这才是真正的友情。值得注意的是有些花朵中有蜜蜂驻足，其象征义是我们可以像蜜蜂那样，从这些花朵中获得精神的营养。

胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第11页!——在片1的下方有“Music：NightingaleSerenade”(音乐：夜莺小夜曲)三词。——小夜曲一般指黄昏或夜间在室外独奏或独唱的歌曲或器乐曲，其音乐缠绵委婉，典雅悠闲，常为年轻人，特别是男士在月夜徘徊于恋人窗前向恋人述说自己的内心爱慕，以打动对方。——这种形式渊源于欧洲中世纪骑士文学的一种爱情歌曲，在西班牙、意大利等国流行。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第12页!3。以乐曲为主体的多模态小品

OneDayWhenWeWereYoung是三十年代美国拍摄的《翠堤春晓(TheGreatWaltz)》里的插曲。施特劳斯爱上了一位女高音歌唱家——卡拉·唐娜，他们在一起时，经常含情脉脉地唱起这首歌。当卡拉得知施特劳斯的妻子波蒂深爱着他的丈夫时，她毅然斩断情丝，悄然离去。施特劳斯追去码头，从船上隐约飘来女高音的歌声：“当我们年轻时光……”。影片最后，施特劳斯已是满头银丝，在千万个粉丝狂热的欢呼声中，他的耳边又响起了这首扣人心弦的歌曲：“当春之歌又唱，又回忆起五月早上…”胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第13页!OneDayWhenWeWereYoung

Onedaywhenwewereyoung,当我们年轻时光onewonderfulmorninginMay,在美妙的五月早上youtoldmeyouloveme你曾说你爱我whenwewereyoungoneday.当我们年轻时光Sweetsongsofspringweresung,唱起了春之歌andmusicwasneversogay.那音乐是多么动人youtoldmeyouloveme,你曾说你爱我whenwewereyoungoneday.当我们年轻时光胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第14页!虽然在这首多模态小品中，我们也可从幻灯片上找到每一句歌词，但那种浪漫的思念之情更多地来自缠绵动人的歌曲和歌曲中女高音的唱词。用言语表达的唱词，不是用文字表达的歌词。在表达意义时，乐曲和唱词的模态组合起到主要作用。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第15页!图1（片2）通过两只鸟在春意盎然的花枝上相互偎依象征两个年青人在五月的一个美妙早晨情意萌生，难分难舎。Onedaywhenwewereyoung,onewonderfulmorninginMay,胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第16页!图2（片7）则通过孤鸟徘徊示意离别的时候来临，景色灰蒙蒙地给人以黯然神伤之感。Welaughedthen,wecriedthen,Thencamethetimetopart.胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第17页!这些图片作为多模态的交相映辉是成功的，但恋人间忆旧怀念之情的主题更多地依赖歌曲的魅力。如果我们只是朗诵经过汉默斯顿改写的歌词，其感染力将大为逊色。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第18页!30张幻灯片中的片7（图3）和片21（图4）。前者是泰国的大皇宫，后者是一所庙宇的外景。前者代表泰国的王权，后者展现了这个国家的佛教传统。比较:中国故宫和寺庙。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第19页!GRANDPALACE胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第20页!LADYBOYSHOW胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第21页!5．以动作为主体的多模态小品

有的多模态小品，在意义表达上真正起作用的是一定环境（如舞台）下人和其他有生命物的动作。例如，在小品‘与狗共舞’中，一条白狗，穿着花裙子，扮演女舞伴的角色，与它男主人翩翩起舞，节奏的合拍，身子的扭动，如此娴熟，如此逼真，如此幽雅！由此诱发了观众阵阵笑声。观众发笑不是看了片头的文字，也不是乐曲的伴奏，而是人与狗的实时实地的连贯的舞蹈动作。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第22页!6．结束语

上述四类小品表明，在创作多模态小品时，作者完全可以选择不同的模态，或两种，或三种，或更多。这有赖于作者受教育的程度和所掌握的技术。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第23页!多模态小品的出现也回答了‘重新符号化’所提出的课题，即人们从一种模态发展为更多地使用另一种模态，这与社会进程是分不开的,也是和当代技术的发展分不开的。即使本文所介绍的多模态小品也只是在一定的社会阶层中，如受教育阶层中，流传和欣赏。不掌握电脑操作技术者只能望洋兴叹。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第24页!符号的载体就是语篇。多模态小品就是语篇。它是多模态语篇中的与文艺创作有关的一种语类。我们把它叫做小品主要用心是为了和其他多模态语篇进行区别，如电影、歌剧、相声等，也是为了和文学中把散文中的小品文进行对比。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第25页!（2）人们如何对符号进行选择来体现自己想表达的意义呢？有关符号应当实现的功能。四大元功能，即概念的，逻辑的，人际的，和语篇的（Halliday，1985/1994)。这四大元功能就是‘符号资源‘（semioticpotential）。用表达意义的符号与它的发送者、接受者、要表达的内容、发送方式或模态，以及与时空有关的情景和风格有密切的联系。‘社会符号学’由是应运而生。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第26页!（4）系统功能语言学的研究者进一步发现符号既然存在于语篇之中，这就不难发现“所有的语篇都是多模态的”(Scollon&Levine,2004）。人们感知和认识大千世界有赖于触摸、视听、嗅闻、舔尝等多种感觉方式的运用。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第27页!多模态性的研究旨在说明人们在表达意义时对不同符号特性的掌握和运用，以及对不同符号体系之间相互关系的了解。一种模态被另一种模态替代实际上是一种符号资源转入另一种符号资源的过程，也就是‘重新符号化’（re-semiotization）重新符号化的任务是分析：（1）一种符号资源是如何随着社会进程转成另一种符号资源的？（2）为什么是这些符号资源而不是另一些符号资源在某个时期被动用来表达某种意义。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第28页!doc,ppt，

pps，eml，wmv等软件的技术支持.有关文科内容的学术论文较多地采用文字模态，社会科学的文章有时文字与图表并用，理工科的研究报告除文字和图表外，时有实图为佐。本文研究本世纪方流传的多模态小品。(举例:南非世界杯开幕式)胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第29页!多模态小品的模态组合文字

图片

乐曲

自动翻页√√√

√√

√

√

√

√√

√

√√

√

√√胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第30页!2．以文字为主体的多模态小品

作为小品，既然强调的是生动活泼和说理抒情，文字形式的视觉模态不失为一个重要方式。小品中的文字要求短小精干，诙谐幽默，寓理于情，以打动读者。‘FriendshipBouquet’（友谊花束）胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第31页!片6Asmilefromyoucanbringhappinesstoanyone,你的微笑 可以给人以快乐，

eveniftheydonotlikeyou.

即使他们很不喜欢你。片7Everynight,SOMEONEthinksaboutyou.每晚，有 人想 着你。

Youmeantheworldtosomeone.

你是某些人的世界。片8Youarespecialandunique.你是特殊的，唯一的，

Someoneyoudon’tevenknow–lovesyou.

你甚至不知

道的人——爱着你。片9Whenyoumakethebiggestmistakeever,当你犯了 从未 有过的大错误，

somethinggoodesfromit.

随之而来的是某个

好事。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第32页!Theonlyreasonthatanyonewouldeverhateyou,Isbecausetheywanttobejustlikeyou.胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第33页!Music:NightengaleSerenadeFriendshipBouquet胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第34页!——鉴于乐曲出现的时间较早，可以推断它不是专门为‘友谊花束’配制的。因此只能说小品的作者只是选用它作为背景音乐。——本乐曲突出的是夜莺的啼声，抒情浪漫，但不能充分表达‘友谊花束’的主题.——作者向读者提供一个又一个如何正确处理人生中的问题。——但小夜曲以情动人正好起到激发对方深入思考并接受自己的观点。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第35页!Onedaywhenwewereyoung胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第36页!Youtoldmeyouloveme,你对我多钟情andheldmeclosetoyourheart.啊,我们心心相印Welaughedthen,wecriedthen,我们欢笑,我们喊叫thencamethetimetopart.但离别时候来到Whensongsofspringaresung，当春之歌又唱起，rememberthatmorninginmay.回忆起五月那个早上，Remember,youlovedme别忘了,你爱我whenwewereyoungoneday当我们年轻时光。

胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第37页!供视觉欣赏有14张幻灯片。这些幻灯片色彩时浓时淡，一草一木，均能传神。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第38页!Onedaywhenwewereyoung,onewonderfulmorninginMay,

胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第39页!welaughedthen,wecriedthen,thencamethetimetopart.胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第40页!4。以图象为主体的多模态小品

有一些多模态小品主要依靠幻灯片中的图像来表达意义。如在多模态小品“曼谷”中，作者将最能代表泰国首都曼谷的建筑、社会生活和城市发展的图片在我们眼前展示，百闻不如一见，尽管我们有的可能还没有去过曼谷，至少在图片上能够鉴赏曼谷的面貌。胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第41页!BUDDHISTTEMPLE胡壮麟多模态小品中的主体模态共48页，您现在浏览的是第42页!在这个小品中也使用了少量的文字，它提供了有关图片内容的一定信息，如‘BankokAirport’（曼谷机场，片3），‘Skytrain’（空中轻轨，片5）,‘DemocracyMonument’（民主纪念碑，片

9）,‘Dif