语言是一种特殊的符号吗？来自双语控制的视角

/语言是一种特殊的符号吗?来自双语控制的视角【摘要】语言与符号的关系一直是学界关注的议题。以往研究多基于哲学思辨，或局限于初级认知加工层面的实证探索，而缺乏对高级认知控制层面的深入考察。本研究借用双语切换范式分离出高级认知控制过程，结合多维指标和余弦距离算法，量化被试在中文-符号、英文-符号和中文-英文切换任务下行为模式的相似性。结果显示，被试在任意两种切换任务下的行为模式无显著差异，等值性检验进一步支持三种任务间的行为模式具有一致性。这表明中文、英文和符号两两之间的切换所需的认知控制是相同的，意味着在高级认知控制层面，语言相较于符号无实质性的特殊之处。本研究为揭示语言的认知特性提供了新的视角与实证依据。【关键词】双语控制；语言切换；符号；语言 1引言 语言和符号是人类交流的重要方式：语言帮助人类实现知识传承和社会进步(Hauseretal.，2002)；同时，符号以其具象性的优势，通过图像和表情等非语言方式在人际交流中起重要作用(Kuczajetal.，2005)。语言与符号的关系一直是学术界备受关注的议题(deSaussure，2004；Jones&LeBaron，2002；Sproat，2014)，引发了学者们对语言本质的探讨(deSaussure，2004)，揭示了语言和符号在塑造与反映人类认知、社会和文化中的关键作用(Hauseretal.，2002)，并为人工智能和教育等领域提供重要的理论支持与实践指引(Huangetal.，2023)。 语言是一种特殊的符号吗?前人基于哲学思辨认为语言是符号系统的一个分支(deSaussure，2004；Kuczajetal.，2005)。如deSaussure认为，符号是指代对象的标志物；而语言是以声音为物质外壳，以含义为内涵，由词汇和语法构成，是表达思想的指令系统。除了语言，符号系统还包括图像、肢体动作和表情等(deSaussure，2004；Kuczajetal.，2005)，这些符号在频率分布等统计指标上与语言有明显差异(Sproat，2014)，却仍能传达与语言一致的概念或补充更多信息(Jones&LeBaron，2002)。语言相比于非语言符号(后文简称为“符号”)是否存在实质性的特殊之处仍然存在争论，有研究者认为语言在编码方式上区别于符号，如Paivio(1991)提出的“双重编码理论”认为非语言信息(图像)采用视觉编码，而语言信息(文字)采用语言编码。然而，余光武和秦云(2011)认为表情符号与语言的加工编码过程相同，都需要进行编码与解码。 近些年，有研究实证性地考察语言与符号的加工(Beyersmannetal.，2023；Kayeetal.，2021)，并取得一些发现。首先，在加工速度上，符号加工可能快于语言加工。如Kaye等发现emoji符号和面孔的加工速度明显快于单词，但该研究的实验任务仅涉及分辨刺激类型，符号和语言的加工速度差异可能主要来源于基础视觉过程，而非高级认知加工，如语义处理。其次，在句义整合中，符号和语言加工可能发生在同一阶段，Beyersmann等将符号插入句子中，发现emoji符号和句子语义的一致性会增加总阅读时间和试次停留时间，说明符号的语义整合和单词一样发生在句子阅读后期，但这项研究未对比符号加工和语言加工，无法回答二者是否存在差异。以上发现均基于拼音文字研究，尽管有研究在中文被试中考察了符号加工，如Cui等(2023)发现，在歧义语境下，相比于低讽刺职业，高讽刺职业发送的语句更易使表情符号被解读为讽刺。但这项研究尚未反映符号和非拼音文字的关系。总体而言，前人发现的语言与符号之间的差异可能主要源于它们在初级认知加工上的不同，如视觉复杂性对感知过程的影响(Geisler&Chou，1995)。然而，在完成目标导向任务时，人们通常需要调节和控制多种认知加工过程(Egner，2023；Meuter&Allport，1999)，如注意分配、任务切换以及抑制无关信息等，这些过程统称为认知控制，属于一种高级认知功能。已有研究采用的方法未能在初级加工之上探讨语言与符号在高级认知过程中的异同。因此，有待引入新的研究方法。 双语研究可以为探讨语言与符号的关系提供新视角。具体来说，语言切换范式(languageswitchingparadigm)是双语领域考察双语控制(bilinguallanguagecontrol)的经典范式。其中，双语控制是指双语者在使用一种语言时，需要对另一种语言的加工施加控制，以避免其对当前的语言加工造成干扰(Green，1998)，即对两种语言加工施加认知控制的过程。如Declerck和Grainger(2017)给被试呈现两种语言的词汇并让其完成词汇判断任务，结果发现，相比于重复使用同一种语言(非切换试次)，双语者从一种语言切换到另一种语言(切换试次)需要额外的反应时间，即切换代价(switchingcosts)。切换代价被认为能排除初级认知加工(如视觉加工)，更纯粹地考察高级认知控制。因为切换代价是基于切换试次与非切换试次的反应时差异计算的，而这两类试次的实验材料相同，差异仅在于是否涉及额外的切换过程，而该过程需要进行认知控制。此外，切换代价不对称性(asymmetryofswitchingcosts)也是体现认知控制过程的指标。在双语切换中，切换代价不对称性是指优势语言的切换代价显著大于弱势语言的切换代价的现象，反映了双语者在使用弱势语言时对优势语言施加更强的抑制，导致在切换回优势语言时需更长时间解除抑制(Meuter&Allport，1999)。因此，切换代价及其不对称性被视为反映双语控制的重要指标。 少数研究通过考察切换代价揭示相应的认知加工机制。如Declerck等(2019)以双语数字词汇为材料，发现被试在法语-英语切换任务(含4对同源词，通常在发音上比较相似，如“柠檬”和“lemon”)下的切换代价(18ms)大于在法语-西班牙语切换任务(含7对同源词)下的切换代价(2ms)，这与前者同源词数量较少相符。Calabria等(2012)发现被试在语言切换任务中显示出对称的切换代价，但在非语言切换任务中未显示，表明语言和非语言加工的认知控制过程可能不同。此外，研究者此前发现，语言加工过程会反过来影响双语控制，表现为概念性词汇的切换代价比具体性词汇更小(Wuetal.，2024)。这可能意味着高级认知控制过程与初级认知加工过程是相适应的，将不同抽象程度的材料纳入研究，可以为探索语言与符号关系提供更全面的视角。但以往研究大多基于单个指标的分析(如某一种材料的切换代价)，未综合考虑不同材料下的切换代价及其不对称性，缺少对多个指标的更全面、整合的分析，难以细致地揭示高级加工层面的多维差异。 计算余弦距离(cosinedistance)可以整合多个指标，从而更全面地评估两个事物之间的相似性(差异性)。具体来说，该方法将多个指标当作多维度空间中的矢量，通过计算两个事物之间的矢量夹角来衡量二者的相似程度(夹角越小，距离越小，二者越相似，见图1a)，被广泛应用于评估行为模式的相似性(Madsenetal.，2021；Roads&Love，2024)。如Madsen等通过余弦距离分析学生观看教学视频的全程眼动轨迹与组平均轨迹的相似性，发现学习表现良好的学生具有相似的眼动模式，而且相似度越高，学习表现越佳。Roads和Love进一步指出，计算余弦距离是从行为数据或神经影像数据构建心理表征的有效方法。 图1计算余弦距离的示意图(a)和本研究结果预期示意图(b，c) 注：在图a中，θ12表示T1与T2矢量在二维空间(x，y)中的余弦夹角(值越小，距离越小)，与图b、c中的θ12相对应；T2与T3矢量的差异反映了指标的正负对余弦夹角(θ12和θ13)的影响；图b、c中的T1、T2、T3指代中文-符号、英文-符号和中文-英文切换任务(对应关系不限)，＠、#、$指代中文、英文和符号(对应关系不限)；图b、c中的夹角是两个任务的余弦夹角，并被转化为弧长，以便将其理解为距离(如把θ12转化为d12)；图b表示三个余弦距离两两之间相等的情况(即d12=d23=d31)，对应假设1和预期1；图c则表示三个余弦距离不完全相等的一种情况(如d12=d31≠d23)，对应假设2和预期2。 综上所述，前人多从哲学思辨角度探讨语言与符号的关系，少有实证研究考察二者在初级认知加工中的异同，尚未有研究涉及高级认知控制层面的对比。为此，本研究创新性地结合语言切换范式和余弦距离算法，实证性地探讨这一问题。具体而言，本研究让中英双语被试完成中文-符号切换、英文-符号切换和中文-英文切换任务，并计算切换代价和切换代价不对称程度来反映行为模式。接着，计算被试在三个切换任务下行为模式的余弦距离，并通过差异检验或等值性检验(equivalencetesting)判断两两任务的余弦距离是否相等。如果语言与符号无实质性的特殊之处(假设1)，则三个切换任务两两之间的余弦距离相等(预期结果1)，呈等边三角形关系(图1b)；如果语言与符号有实质性的特殊之处(假设2)，则三个切换任务两两之间的余弦距离不完全相等(预期结果2)，呈非等边三角形关系(见图1c)。本研究通过比较实验结果与预期，检验上述假设。 2研究方法 2.1实验设计 中文-符号、英文-符号和中文-英文切换任务的实验设计均为2刺激类型(中文、符号；英文、符号；中文、英文)×2试次类型(切换、非切换)的被试内设计，此外，中文-英文切换任务的数据揭示了概念的抽象性会影响概念通达的加工过程和认知控制过程(Wuetal.，2024)。因此，本研究纳入概念性、形象性和指向性材料，以避免单一材料可能导致的偏倚，并通过多种材料获得更多控制过程指标，便于在高维空间中计算余弦距离，从而获得更全面和整体的认识。在每种材料下，被试都需要完成中文-符号、英文-符号和中文-英文切换任务，切换任务顺序随机平衡。 2.2被试 通过G*Power3.1软件进行的功效分析显示，在2×2的重复测量设计中，取中等效应量f=0.25，且显著性水平α=0.05时，若要达到95％的统计检验力，共需要36名被试。本研究从天津师范大学随机招募非心理学专业的在校大学生为被试。为获得足够的统计检验力，实际完成所有任务的有效被试为60名。所有被试在实验前填写基本情况表，签署知情同意书，实验结束后获得报酬。 60名被试(53名女性)的平均年龄为20.40±1.28岁，年龄范围18～24岁，视力正常，无神经或精神疾病。1名左利手，59名右利手。所有被试均为中文母语者，平均8.10±2.57岁开始学习英语，他们在满分为10分(1表示“水平很低”，10表示“水平很高”)的自评量表上测得中文的熟练度为8.45±1.21分，英语为5.69±1.38分。58名被试在大学英语四级考试(CET-4；满分710分)中的平均得分为498±44分，21名被试在大学英语六级考试(CET-6；满分710分)中的平均得分为442±60分。所有被试在牛津分级测试(OxfordPlacementTest，OPT；满分100分)中的平均得分为69.57±9.71分。 2.3实验材料 正式实验的材料包括3种不同抽象程度(概念性、形象性和指向性)的材料。每种材料包括14组语义相同的符号、中文词汇和英文词汇(如概念性材料，“√”“正确”“correct”)。本研究对概念性和形象性材料在表意明确性、具体-抽象程度及消极-积极程度上进行评估。为避免过强的情绪反应引起复杂的情绪加工，未纳入特别积极或消极的材料。考虑到中英文字形的固有差异，且切换代价已能排除初级视觉加工的影响，未评估材料的视觉复杂度。此外，本研究增加指向性材料以提高材料的代表性，而不是用于材料间的比较，因此指向性材料仅包含“向上”和“向下”两个项目，未进行评估，也未与其他两类材料进行统计匹配。 2.4实验程序 本研究数据通过在线方式收集。实验过程中，被试需全程开启腾讯会议视频以确保数据质量。所有切换任务的数据通过Pavlovia平台()使用PsychoPy程序收集。任务完成后，被试需在问卷星平台()填写语言背景问卷和牛津分级测试。 在切换任务中，被试需要判断图片上的词汇或符号是“积极的”或“消极的”，并按“上”键或“下”键作答(对于指向性材料，根据含义直接反应)。首先，被试完成8个练习试次(从正式材料中随机选取)。正式实验中，第1个试次为填充试次，第2个试次开始为正式试次，共112个正式试次。如在中文-符号切换任务(图2)中，每个试次开始时，屏幕中央会呈现一个350ms的注视点，接着以伪随机顺序呈现一个词汇或符号，被试需要又快又准地进行分类判断，待被试做出按键反应后，刺激材料消失。实验程序记录被试在每个试次上的按键和反应时。刺激类型(如，中文、符号)和试次类型(切换、非切换)均采用伪随机的方法平衡，共有4种实验条件，每种条件下的试次数相等(28个)。在非切换条件中，当前试次的刺激与前一试次相同(都为中文)；在切换条件中，当前试次的刺激(符号)与前一试次的刺激(中文)不同。 图2概念性材料的中文-符号切换任务示意图 2.5数据分析 2.5.1极端值剔除 对于中文-符号、英文-符号、中文-英文三个切换任务，剔除试次标准相同。首先剔除填充试次，再剔除极端值数据，最后剔除反应错误的试次。剔除率具体为：(1)中文-符号切换任务，反应时短于200ms或长于2500ms的试次(概念性2.43％，形象性1.25％，指向性0.12％)，反应时在个体平均值±2.5个标准差以外的试次(概念性3.71％，形象性3.26％，指向性2.59％)和反应错误的试次(概念性10.09％，形象性4.03％，指向性3.47％，总错误率为6.15％)；(2)英文-符号切换任务，反应时短于200ms或长于2500ms的试次(概念性2.65％，形象性1.76％，指向性0.25％)，反应时在个体平均值±2.5个标准差以外的试次(概念性3.65％，形象性3.38％，指向性2.68％)和反应错误的试次(概念性11.13％，形象性5.34％，指向性3.57％，总错误率为7.10％)；(3)中文-英文切换任务的剔除率详见Wu等人(2024)的研究，总错误率为6.69％。此外，错误率分析也采用上述标准剔除，但保留反应错误的试次。 2.5.2余弦距离的计算 为检验语言和符号在控制层面上的差异，每个切换任务的矢量坐标仅基于切换代价和切换代价的不对称程度建立，并在个体水平计算任务矢量间的余弦距离。以中文-符号切换任务为例，在每种材料下，本研究计算每个被试在不同试次类型上的平均反应时之差(即切换代价)，以及不同刺激类型的切换代价差异(即切换代价的不对称程度)。由此，每个被试在每种材料上可得2个指标(切换代价和切换代价不对称程度)。由于有3种材料，所以每个被试在中文-符号切换任务中可获得6个指标，形成6维任务矢量。同理，每个被试的英文-符号切换任务矢量和中文-英文切换任务矢量也可计算。得到每个被试的三种任务的矢量后，计算这三个任务矢量两两之间的余弦距离，得到3段余弦距离：中文-英文和中文-符号切换任务的余弦距离(记为d1)，中文-符号和英文-符号和切换任务的余弦距离(记为d2)，以及英文-符号和中文-英文切换任务的余弦距离(记为d3)。此外，错误率分析也采用上述方法。 2.5.3差异检验和等值性检验 获取每个被试的3段余弦距离后，在群体水平检验这3组余弦距离的差异性/等值性。首先进行单因素重复测量方差分析，检验3组余弦距离的差异性。若无显著差异，继续进行等值性检验。然后采用K-S(Kolmogorov-Smirnov)检验来考察数据的正态性。若数据呈正态分布，使用基于Welcht检验的TOST程序(R软件包TOSTERv0.8.3)进行双侧等值性检验(twoone-sidedtests，TOST)；否则，使用带连续性修正的Wilcoxon符号秩检验(R软件包statsv3.5.1)进行双侧等值性检验。在本研究中，等值性检验首先使用函数powerTOSTpaired，在显著性水平α=0.05，样本量为60，且统计效能为90％的条件下计算等值区间。接着，使用函数data-TOSTpaired检验每两组余弦距离之间是否无差异的假设。若TOST的90％置信区间位于上下等值边界之内，则拒绝TOST假设，得出等值性结论。若零假设显著性检验(nullhypothesissignificancetesting，NHST)的95％置信区间包含零，则接受原假设，得出差异性结论。 3结果 在反应时分析中，切换任务的矢量坐标结果图(下页图3a)表示中文-符号、英文-符号和中文-英文切换任务在概念性、形象性和指向性材料(图3a中的1、2、3维度轴)下的切换代价及切换代价不对称程度均值的分布。图中每条折线代表一个切换任务，每个维度轴对应一个具体指标，每个轴上的实心点表示60名被试在不同材料下的切换代价均值或切换代价不对称程度均值。 图3三个切换任务的6维矢量坐标雷达图(a)和余弦距离示意图(b) 注：图a中，切换代价1、2、3分别是60名被试在概念性、形象性和指向性材料上的切换代价均值；切换代价不对称程度1、2、3分别是60名被试在概念性、形象性和指向性材料的切换代价不对称程度均值；图b中，d值是余弦夹角转化为弧长后的距离，rad代表弧度单位；d1为中文-英文和中文-符号切换任务的余弦距离，d2为中文-符号和英文-符号切换任务的余弦距离，以及d3为英文-符号和中文-英文切换任务的余弦距离。 从图中可以看出，这三种切换任务的折线形状整体较为相似，表明它们在不同材料下的行为模式具有一致性。具体来说，切换代价和切换代价不对称程度在中文-符号、英文-符号和中文-英文切换任务中的均值结果分别如下：概念性材料(切换代价1)，12ms，33ms，-5ms；形象性材料(切换代价2)，0ms，1ms，17ms；指向性材料(切换代价3)，26ms，48ms，49ms；概念性材料(切换代价不对称程度1)，-20ms，-6ms，-16ms；形象性材料(切换代价不对称程度2)，5ms，0ms，-3ms；指向性材料(切换代价不对称程度3)，1ms，26ms，38ms。三种任务的变化趋势大致相符，尤其是在切换代价2、切换代价不对称程度l和切换代价不对称程度2上，数值差异较小，呈现出相近的特征。这表明，三种任务在行为表现上具有一定的相似性。 随后，检验三种切换任务行为模式之间的相似性，每两个任务间的余弦距离结果见下页图3b。经重复测量方差分析显示，60名被试的3组余弦距离之间不存在显著差异，F(2，118)=1.03，p=0.361。故进一步进行等值性检验。经K-S检验，余弦距离d1(D=0.11，p=0.454)、余弦距离d2(D=0.13，p=0.228)和余弦距离d3(D=0.07，p=0.913)的数据分布与正态分布没有显著差异，故基于Welcht检验的TOST程序进行双侧等值性检验。 对于余弦距离d1和余弦距离d2，等值检验结果显示，TOST的90％置信区间都在下界(ΔL=-0.25，t=3.36，p＜0.001)和上界(ΔU=0.25，t=-3.22，p=0.001)之间，整体p最大=0.001，表明余弦距离d1和余弦距离d2是等值的；NHST结果不显著(t=0.07，p=0.945)，表明余弦距离d1和余弦距离d2没有显著差异。 对于余弦距离d2和余弦距离d3，等值检验结果显示，TOST的90％置信区间都在下界(ΔL=-0.26，t=4.40，p＜0.001)和上界(ΔU=0.26，t=-2.18，p＜0.05)之间，整体p最大＜0.05，表明余弦距离d2和余弦距离d3是等值的；NHST结果不显著(t=1.11，p=0.272)，表明余弦距离d2和余弦距离d3没有显著差异。 对于余弦距离d3和余弦距离d1，等值检验结果显示，TOST的90％置信区间都在下界(ΔL=-0.20，t=4.81，p＜0.001)和上界(ΔU=0.20，t=-1.77，p＜0.05)之间，整体p最大＜0.05，表明余弦距离d3和余弦距离d1是等值的；NHST结果不显著(t=1.52，p=0.134)，表明余弦距离d3和余弦距离d1没有显著差异。 此外，由于错误率在切换代价上的敏感性低于反应时，不容易在错误率上发现显著的切换代价(Declerck&Grainger，2017；Declercketal.，2019)，因此错误率分析不作为本研究的重点。 4讨论 本研究借鉴语言切换范式，考察被试在中文-符号、英文-符号和中文-英文切换任务下的加工特点，并结合余弦距离算法量化被试在这三种任务下行为模式的差异。结果发现，被试在任意两种任务下的行为模式之间的余弦距离无显著差异，且等值性检验结果进一步显示，三种任务间的行为模式具有一致性。这表明中文、英文和符号两两之间的切换所需要的认知控制是相同的，语言与符号在高级认知控制层面无实质性的特殊之处。 本研究发现中文、英文和符号切换任务的行为模式一致，三个切换任务两两之间的余弦距离相等(符合预期1)，呈等边三角形关系(图3b)。尽管以往研究认为语言在信息编码方式(Paivio，1991)和基础认知加工(Kayeetal.，2021)上与符号不同，本研究结果从认知控制的视角表明，语言和符号在执行高级认知任务时表现出相似的行为模式，表明语言与符号共享一致的控制机制。这结果支持符号与语言在高级加工上可能具有一致性(余光武，秦云，2011；Beyersmannetal.，2023)。因此，语言与符号在高级认知控制层面没有区别，支持语言(中文/英文)与符号无实质性的特殊之处假设(假设1)。 本研究以切换代价作为衡量认知控制的指标，排除初级加工的干扰，专注于高级认知控制，避免以往研究未能区分高级与初级加工而可能产生的结果偏差。初级加工主要涉及感知和编码过程，如对刺激的识别和反应(Geisler&Chou，1995)，而高级加工则包括任务转换和干扰抑制等复杂认知过程(Egner，2023；Meuter&Allport，1999)。初级加工易受视觉复杂性影响(Geisler&Chou，1995)，而高级加工受加工熟练度(Meuter&Allport，1999)、任务需求(Egner，2023)等因素影响，更能反映任务本质上的认知需求。因此，高级加工的结果更能解释语言与符号的本质联系。相比于基于初级加工的研究，切换代价能排除基础视觉干扰，聚焦于核心的认知控制过程，具备更高的可靠性和解释力。 切换代价能够反映语言和符号在高级认知控制层面上的相似性。在语言理解中，双语者在识别一个词汇时，会同时激活两种语言的候选词汇，需要通过抑制机