大学生写作的环流性测量指标有效性研究

大学生写作的环流性测量指标有效性研究

1.低语言特征对二语写作回流性的影响慈济定义分为狭义和广泛。狭义的流利性维度单一,是一个与时间相关的构念,如词汇提取速度(Snellingsetal.2004)、写作速度(Chenoweth&Hayes2001)、限时作文中单词和语言结构的数量(Wolfe-Quinteroetal.1998)以及无意识自动程序技能(Ellis1996)等等。广义的流利性涉及维度较多,既涉及时间性,也涉及语言运用能力,甚至还包括内容充分性等多个方面。流利性是二语发展中的重要语言特征,反映了写作者在发展和组织思想以及综合运用语言知识等方面的能力。自上世纪70年代开展二语习得发展指标研究以来,二语写作流利性逐渐引起人们的关注。概括起来,二语写作流利性研究大致分为两大类:一是通过测量流利性检验教学干预效果,如Robbetal.(1986)使用流利性指标检验错误反馈的有效性,徐浩、高彩凤(2007)和Ong&Zhang(2010)用它来探讨不同类型学习任务对语言运用的影响;二是测量二语写作流利性的发展变化,如Henry(1996)研究了不同语言水平写作者写作样本中的流利性特征。尽管二语流利性文献逐年增多,但是针对写作流利性研究并未受到足够重视,而且现有的研究未能很好地解决流利性测量指标的有效性问题,如这些指标能在多大程度上预测写作质量,它们对语言水平是否具有区分力。为此,本研究拟对二语写作流利性测量指标的有效性进行初步探讨。2.成品指标和过程指标基于对流利性的不同理解,流利性测量指标可分为成品指标和过程指标两大类(Latif2009)。前者是根据文本语言特征提取的参数,后者则是采用有声思维或观察法从写作过程中提取的指标。2.1频数指标的有效性成品指标主要由频数测量、比率测量和总体量表测量组成。频数测量。这方面的测量涉及词汇和句子层面,以及考虑了准确性后的频数计算等三个方面,如单词数(Storch2009;陈慧媛、吴旭东1998),动词数(Harley&King1989);句子总数(Rosenthal2007),T单位(Storch2009)和子句或从句总数(Ishikawa1995);以及无错误T单位或子句单词总数(Hirano1991;Ishikawa1995)。上述频数指标的特点是具体、易操作,考虑了流利性的句子层面和词汇层面,其中有些指标还同时考虑了量和质方面的特性。在频数指标的有效性研究方面过去的研究得出了不一致的结果。Storch(2009)发现,单词数和T单位总数随着语言水平和写作水平的提高呈增长势头,且不同阶段之间的差异均达到显著性水平。Rosenthal(2007)发现,随着语言水平的提高,单词数、句子数量均呈线性增长趋势,但仅单词数达到了显著水平。频数指标不仅取决于语言水平,而且受写前准备、体裁、话题、时长、写作者态度等多方面因素的影响。因此,需要结合这些因素对频数指标的有效性做更深入的探讨。比率测量。比率测量是对频数进行标准化处理后的测量,不受文本长度影响,相比频数测量应能更好地体现语言的发展特征或区分不同的语言水平。已有的比率指标包括写作速度或每分钟单词量(Ong&Zhang2010);句子、T单位或子句的平均长度(Homburg1984;Yau1991;Ishikawa1995;Larsen-Freeman2006;Storch2009;徐浩、高彩凤2007);T单位和子句中复合名词性短语长度(Yau1991);无错误T单位和子句平均长度(Larsen-Freeman1983;Kawata1992;Ishikawa1995)等。研究表明,每分钟单词量、句子和子句长度在区分发展水平上相对稳定,而T单位长度以及无错误T单位和无错误子句长度的区分力较为明显但并不可靠,可能受到一些未知因素的影响。总体量表测量。除频数和比率测量外,有人认为应使用总体量表才能更好地测量流利性。如Taroneetal.(1993)认为,流利性并不完全意味着写作者能写多快,而是多大程度接近本族语者;流利性指标应包含语言地道性、语言标准程度、长度、易读和习惯性等5个方面。Ballatoretal.(1999)认为,总体测量的假设是篇章整体大于部分之和,在进行总体测量时无需对流利性的不同方面进行独立评判,只需考虑整体效果以评价流利程度;且不同体裁应有不同标准。2.2语段/量表研究者使用的过程指标主要有语段长度、语块和处理负荷等指标。语段(burst)是指句中各停顿之间的文字部分,测量的是一种句内流利程度。句子一般由一个或多个语段构成,句子的写作被认为是经过多次语段构思/评判及停顿完成的。研究者大多通过有声思维法(如Friedlander1989)和摄像观察法(如Bosher1998)确认语段。另一个过程指标是语块(chunk),指写作中每次不间断写出的词语数量。语块意味着词汇流(wordflow),词汇流越顺畅表明流利性越好(如Kelly1986;Latif2009)。此外,近年来,有学者(如Matsunoetal.2007)使用键盘活动记录程序(如INPUTLOG)以测量写作处理负荷值(valueofprocessingloads),低负荷值表明写作容易度高或流利性强。研究表明,过程指标能较好地反映写作流利性特征。2.3过程指标和量表测量本研究拟采用成品指标的频数测量和比率测量(见表1),但不包括动词数、名词性短语长度和总体量表,因为动词数和名词性短语长度仅仅考察单个词性而没考虑其他词性。本研究关注的是流利性文本特征,因而不包括过程指标。过程指标能较好地揭示二语写作过程,但指标单一且不易应用于大样本研究,不适用于总体了解流利性文本特征。本研究也不使用总体量表测量,因为它虽然涵盖了流利性,但所涉及的维度较多,远远超出流利性范畴。另外总体量表虽然使用起来方便,但主观性强,实施起来很难保证评判者内信度和评判者间信度。3.学习方法3.1是否有理想的大力值,指的标准关系,即指水平间的关系基于上述讨论,本文拟使用文本分析方法通过探讨流利性指标与写作质量和语言水平间的关系,以检验流利性指标的有效性。具体研究问题如下:1)英语写作流利性指标与写作质量之间是什么关系?2)英语写作流利性指标对写作质量的预测力有多大?3)英语写作流利性指标对语言水平的区分力有多大?3.2材料和网络等本研究采用了多体裁、熟悉话题、多任务限时作文语料,同时事先告知受试,语料作文的评分将作为受试的平时成绩处理,以获得他们的重视和合作。全部语料由我国某重点大学英专四个年级写作课堂472篇作文中随机抽出的240篇组成。为保证各年级之间的可比性,每个年级随机抽取60篇,题为“EducationasaLifelongProcess”的论说文和题为“TheImpactofInterneton...”的说明文各30篇。两篇作文的收集前后相距一周,并由四个年级的写作任课教师承担。每次作文任务要求受试在50分钟内写出不少于300字的作文,无上限要求。3.3确定成绩的确定全部作文经编码并打乱顺序后由三名批阅人按照专八英语作文评分标准进行平行评分。结果出来后进行了信度分析,信度系数介于0.864-0.871之间。最后,取平均成绩作为最终成绩。全部流利性指标的确认由人工和电脑程序分析完成。对于无法使用程序分析的T单位、子句、无错误T单位和无错误子句等指标,由一名研究者和一名写作教师分头确认。然后对确认结果进行相关分析(系数达到.92),最后找到分歧点进行协商,直至意见完全一致。全部数据的分析首先使用描述统计以了解流利性指标的总体趋势,然后使用相关分析和回归分析探讨流利性指标与写作质量的关系,最后使用方差分析方法以检验流利性指标对不同语言水平的区分力。4.研究结果4.1对写作质量的影响表2结果显示,频数指标中作文长度(W)、无错误T单位单词总数(WEFT)和无错误子句单词总数(WEFC)与写作成绩之间的相关系数达到了显著性水平;全部比率指标与写作成绩之间也呈显著正相关。这表明作文长度、考虑了准确性的频数指标(WEFT和WEFC),以及频数指标标准化之后的测量均与写作质量关系密切。换言之,受试在作文长度、无错误T单位单词总数和无错误子句单词总数等频数指标,以及比率指标的全部变量上得分越高,写作成绩也越高。另外,句子总数(S)、T单位总数(T)和子句总数(C)与写作成绩均未发现显著相关关系。从相关系数来看,各变量对写作成绩的影响程度由大到小依次为:无错误子句单词总数(WEFC)、作文长度(W)和写作速度(W/M)、无错误T单位单词总数(WEFT)、子句长度(W/C)、T单位长度(W/T)、句子长度(W/S)、无错误子句长度(W/EFC)和无错误T单位(W/EFT)。4.2多因子句长度对写作成绩的影响从上述相关分析结果可知,作文长度和考虑了准确性的频数指标以及全部比率指标对写作成绩产生不同程度的影响。为了进一步探讨流利性指标对写作质量的预测力,我们以频数和比率各变量作为自变量,写作成绩为因变量,采用多元逐步回归分析法进行检验?。结果如表3和表4:由表3和表4可知,频数测量的无错误子句单词总数(WEFC)和作文长度(W)两个变量,以及比率测量的子句长度(W/C)共三个变量进入了回归模型。由标准化回归系数可知这些自变量对写作成绩因变量的影响程度,它们的标准化回归系数分别为.339、.421和.222,说明当作文长度和子句长度得到控制时,无错误子句单词总数每增加1个单位,写作成绩也相应增加.339个单位;当控制无错误子句单词总数和子句长度时,作文长度每增加1个单位,写作成绩也相应增加.421个单位;当无错误子句单词总数和作文长度得到控制时,子句长度每增长1个单位,写作成绩也相应增加.222个单位。R2和校正后R2分别为.499和.486,说明无错误子句单词总数、作文长度和子句长度一共能解释写作成绩48%以上的方差。频数和比率中的其他变量未进入回归方程,说明它们不能预测写作成绩。4.3各年级变量在频率和比率测量上的方差分析为弄清楚流利性指标对语言水平的区分力,本研究以年级水平定义语言水平,分析不同流利性指标在年级水平上是否存在差异。表5和表6分别是不同年级水平在频数测量和比率测量上的描述统计结果。表5结果表明,写作成绩由低年级向高年级呈递增趋势。频数测量在年级水平上呈现一定的变化规律,即句子数量(S)、T单位数量(T)和子句数量(C)呈递减趋势;无错误T单位数量(WEFT)和无错误子句数量(WEFC)总体上呈递增趋势,但属非线性增长,即三年级在这两个指标上均低于二年级;在作文长度(W)方面,低年级却普遍高于高年级。表6结果显示,在写作速度方面(W/M)各年级变化不大;句子长度(W/S)和子句长度(W/C)从低年级到高年级呈线性增长趋势,T单位长度(W/T)也基本上呈增长趋势,尽管三年级略低于二年级;在无错误T单位(W/EFT)和无错误子句(W/EFC)方面,各年级变化较大且规律不明显。图1和图2直观地呈现了各年级分别在频数测量和比率测量方面的变化情况。上述结果表明,流利性指标在年级水平上发生了变化,但并未揭示各年级水平之间的差异是否达到显著性水平,因此需要进行方差分析。我们在分析之前对各变量进行了方差齐性检验,以满足方差分析的要求。结果发现,W、S、T、C和W/M等5个变量未达到方差齐性要求,其余7个变量的方差均为齐性。对于前者,我们使用非参数检验方法(Kruskal-Wallistest),对于后者则采用参数检验方法(One-WayANOVA)。表7汇报的是以频数测量和比率测量为因变量,年级水平为分组变量进行的方差分析统计结果。结果显示,除作文长度(W)和写作速度(W/M)两个变量以外,其余10个变量在年级水平上均存在着显著性差异,也即这些变量对于语言水平均具有显著的区分力。为进一步检验这10个变量在不同年级水平上的具体差异,我们还进行了多重比较分析。频数测量的多重比较分析发现,除作文长度(W)外,一年级在句子总数(S)、T单位总数(T)、子句总数(C)、无错误T单位总数(WEFT)和无错误子句总数(WEFC)等频数测量变量上与其他三个年级存在显著性差异。在不考虑准确性的句子总数(S)、T单位总数(T)和子句总数(C)三个频数指标上,一年级均显著地多于其他三个年级,而在涉及准确性的无错误T单位总数(WEFT)和无错误子句总数(WEFC)两个频数指标上却显著地低于其他年级。此外,二年级至四年级在这两个变量上均存在显著差异。这些结果可概括为,当不涉及准确性时,频数变量可有效地区分大一学生和其他年级学生;当涉及准确性时,频数变量可有效地区分各年级学生。比率测量的多重比较分析结果表明,在句子长度(W/S)、T单位长度(W/T)和无错误T单位长度(W/EFT)上,一年级均显著低于其他年级。在子句长度(W/C)和无错误子句长度(W/EFC)上变化较大,一年级在子句长度上均显著低于其他年级,二年级和三年级均显著低于四年级;一年级在无错误子句长度上显著低于四年级,但高于三年级?;二年级和三年级均显著低于四年级。这些结果可概括为,比率变量可有效区分大一学生和其他年级学生;其中基于子句的比率测量能有效区分不同年级的学生。5.讨论5.1对写作成绩的效应本研究的目的之一是通过探讨流利性频数测量和比率测量与英语写作成绩之间的关系,确认有效的流利性指标。首先,本研究发现,所有的比率测量变量与写作成绩呈显著正相关,其中每分钟单词数(W/M)和子句长度(W/C)与写作成绩之间的相关强度明显大于其他语言单位长度。这一结果与过去大多数研究结果一致,说明写作速度和子句长度两个比率测量的效应较为稳定。但在T单位长度(W/T)、无错误T单位长度(W/EFT)和无错误子句长度(W/EFC)方面,本研究发现它们对写作成绩具有显著的效应。这一结果与不少研究结果不同,如Wolfe-Quinteroetal.(1998)发现这三个长度比率测量没有显著效应的研究达12项之多。本研究之所以与上述研究结果不同,原因很可能是他们使用的是同质受试,且多为低水平写作者或国际学生,而本研究使用的是水平相对较高的英语专业、包括四个年级语言水平跨度较大的受试。据此我们推断,对于低语言水平写作者,T单位长度、无错误T单位长度和无错误子句长度等比率测量对于写作质量的效应可能不明显,但对于高水平写作者则效应明显。其次,本研究还发现频数指标中句法流利性测量(S、C和T)与写作成绩之间无显著相关关系,这一结果与过去的研究结果比较一致(如Homburg1984;Ishikawa1995)。据此,句法流利性指标可能不是有效的流利性测量。本研究的词汇流利性测量(W、WEFT和WEFC)与写作成绩之间的相关系数达到了显著性水平。可见,词汇流利性测量比句法流利性流量更能反映写作成绩。本研究对写作任务数量、时间、态度和场地等因素进行有效控制之后,研究结果有效地支持了词汇流利性测量与写作质量之间的关系。可见,只要控制好外在影响因素,频数指标中的词汇流利性测量也是有效的流利性指标。第三,多元回归分析发现,频数和比率流利性测量中能有效预测写作成绩的变量有三个:作文长度(W)、无错误子句单词总数(WEFC)和子句长度(W/C)。这说明,除作文长度外,相对于T单位,子句是更有效的流利性测量指标。本研究多元回归分析的结果确认了对写作质量有较强效应的流利性测量指标。5.2其他分类指标本研究的另一个目的是确认对语言水平具有区分力的流利性指标。方差分析未能发现作文长度对语言水平的区分力,这意味着高水平写作者的作文未必比低水平写作者的作文长。这一结果与过去的一些发现不同(如Larsen-Freeman1983;Rosenthal2007;Storch2009)。一种可能是本研究写作任务不是自由写作或课外作文,而是限时作文,而且任务指示中有长度暗示,在有限的时间内,高年级学生更注意写作质量,而低年级学生注重作文字数的多少;另一种可能是所谓的“高限效应”(ceilingeffect),即在心理学看来,高限效应与任务难度有关,如果任务对于所有受试来说没有挑战性,不同水平的受试表现不出差别,即出现高限效应。本研究在设计写作任务时,为了避免出现无话可说的现象,特意选择了两个熟悉的话题:终身教育的重要性和网络对生活的影响。这两个话题是各类语言考试中经常出现的话题,对于受试者来说不具挑战性。也许正因如此,才出现了高限效应。另外,写作速度在本研究中也不具区分力,这是因为本研究为限时作文,也未让受试在作文上标明具体的起始和结束时间,写作速度变量就是由限定时间除以作文长度转换而来。相应地,作文长度没有区分力时写作速度亦然。除上述两个变量外,本研究中其他流利性指标均对语言水平具有不同程度的区分力。研究结果有如下特点:第一,频数变量在区分大一学生和其他年级学生时作用明显。本研究发现,句子(S)、T单位(T)和子句数量(C)三个变量从低年级到高年级基本上呈线性增减趋势且有显著效应。这与这些研究所使用的受试性质比较单一有关,如果受试语言水平跨度不够大,就难以发现其显著效应。而本研究与过去研究的一个很大不同之处在于,我们使用的是英语水平相对较高且差异跨度较大的英专学生。据此,我们推论,句子、T单位和子句数量用来测量低水平写作者的流利性可能不恰当,但对于水平相对较高且跨度大的受试有较好的区分力。此外,本研究还发现,与准确性相关的频数变量(WEFT和WEFC)区分力更强,它们既可以区分相邻的不同年级,也能区分不相邻的年级水平,且基本上呈递增趋势。这一结果与前人的研究比较一致(如Hirano1991;Ishikawa1995)。对于这一结果,Wolfe-Quinteroetal.(1998)认为,随着受试者语言能力的提高,他们产出正确长句的能力会得到相应的提高,因而正确的T单位或子句单词数量也会相应地增加。这一解释也符合本研究受试的现状。第二个特点是全部比率变量均能有效区分一年级和其他年级,而且基于子句的比率测量能有效区分不相邻的年级水平。首先,在句长(W/S)方面,本研究发现一年级到四年级的跨度为16.48-20.3个单词,而且句长与语言水平之间是一种线性关系。Kawata(1992)对这种线性关系的解释是成熟的写作者能写出越来越长的T单位,因此句子也就相应变长了。尽管如此,我们仍不能在句长与写作能力之间划等号。在一定阶段(如中高级阶段)内,句长与写作能力可能的确存在线性关系,但在初级阶段,学习者可能不知道如何断句,写出了大量的并列句或连续句,这种情况下的句长并不代表流利性强。因此针对不同写作水平学习者,需要区别对待句长的效应。其次,在T单位和子句长度方面,本研究发现,随着语言水平的提高它们也在逐渐变长,虽然不完全呈线性方式。过去的研究中,有的发现了它们在语言水平上的显著性差异,也有的未发现显著性差异(如Wolfe-Quinteroedal.(1998)综述的研究)。但无论结果如何,有两点可以肯定,一是众多研究发现的共性是这两个测量与语言水平之间呈线性关系。即使有些研究达不到显著水平,可能是测试或数据的效度存在问题、数据时间的间隔太短,或者样本量不够大等原因造成的。二是虽然T单位和子句都有效地测量流利性发展趋势