面向设计类问题解决能力的多模态数据测评研究：动因、要素、框架与发展路径

/面向设计类问题解决能力的多模态数据测评研究：动因、要素、框架与发展路径【摘要】面向设计类问题解决能力的多模态数据测评，能够科学有效地融合多元化的学习过程数据，尽可能地挖掘问题解决过程中存在的教育规律，是智能化测评研究中的一个热点问题，也是学习分析领域中的重要突破点。基于此，以设计类问题解决能力的测评为主题，通过分析设计类问题解决能力测评的起源和发展现状，揭示了面向设计类问题解决能力的多模态数据测评的发展动因；通过分析设计类问题解决能力的关键要素，构建了基于多模态数据的测评框架，进而提出在面向设计类问题解决能力测评时，应更加关注测评模型的科学性、教学规律的准确性、数据采集的真实性、测评过程的智能性、干预策略的针对性。这为未来在真实、复杂的学习场景下进行能力测评、学习分析等，提供了新思路和新方法；也为设计类问题解决能力的培养与教育教学深度融合，奠定了扎实的基础。【关键词】多模态数据；学习分析；设计类问题解决；设计思维

一、引言 当前，创新成为国家核心竞争力不可或缺的组成部分，设计作为一种创造性活动，是实现创新的重要途径和有效方式(Swann，etal.，2005)。其中，设计类问题解决能力是创新能力的重要体现，对设计类问题解决能力进行测评，有助于面向智能时代创新性人才的培养，同时也是一个学术难题。近年来，国内外一些研究者对设计类问题解决能力的测评，进行了较为深入的研究，主要采用主观性量表、行为言语编码、问题解决结果分析等方法，但依然无法全面、真实地掌握解决者的能力水平。特别对于问题解决过程中学习者的认知效率、认知表征模式、信息加工层次、思维品质、心理状态等要素，都缺乏关注与揭示。因此，如何建立科学的评价模型，实现基于过程的设计类问题解决能力测评，成为智能化测评研究中的一个热点问题。 智能时代新技术的快速发展，为设计类问题解决能力的测评提供了新的思路和方法。从真实的、复杂的设计类问题情境切入，利用多种感知与识别设备对学习者学习过程进行跟踪与记录，基于多模态数据的分析，来交叉验证设计类问题解决能力各维度的状态，从而提高设计类问题解决能力测评的精准度，可为培养学生的创新能力提供有力地支撑。为此，本研究试图厘清设计类问题解决能力的关键要素，并依此来构建多模态数据测评框架，以期为未来的相关研究，提供理论与实践的启示。 二、基于多模态数据的设计类问题解决能力测评动因 (一)设计类问题解决能力的内涵 乔纳森将生活与工作场景中可能出现的所有问题，从学习行为、问题输入、成功标准、问题情境、结构性与抽象性等维度，进行了详细地划分，共包括十三类(Jonassen，etal.，1995)。其中，设计类问题是十三类问题中最复杂的综合性问题类型(Chandrasekaran，1989)。事实上，设计类问题的概念自提出以来，一直处在动态变化中。早在20世纪60年代，纽厄尔等人(Newell，etal.，1961)提出了设计问题的概念，其将问题分为良构问题和弱构问题。霍斯特·里特尔(Rittel，1973)等人在此基础上，提出弱构问题的极端形式是劣构问题，并进一步指出“设计师解决的大多数问题都是劣构问题”。劳伦斯·巴萨卢(Barsalou，2017)从设计的角度，总结出劣构问题包含三个特点：第一，界限，设计类问题具有无限的特征；第二，复杂，行动与结果之间无法严格对应以及对行动的结果难以进行预测；第三，规范，人们的价值观和规范存在差异，易引起冲突，但价值观和规范与定义问题、解决问题关系密切。 由此可知，设计类问题通常是一个开放性的劣构问题，没有具体的界限约束，学习者可以自行定义问题的边界，这类问题也允许多样化的解题结果，没有标准化的答案。但西蒙等研究者只是描述了劣构问题的特征，并没有对设计类问题的解决，提出具体方法与策略。 关于设计类问题的解决，我们从历史发展的角度可划分为四个阶段，即设计的萌芽阶段、手工艺设计阶段、工业设计阶段和全面设计阶段，各阶段及其特点如图1所示。 进入21世纪以来，设计类问题已普遍存在于生产、生活、教育和学习等各个方面，因此，设计类问题的解决能力，被认为是人们适应21世纪社会发展所需要的关键技能之一。具言之，问题解决能力是一个人在没有获得显而易见的方法时，能够表征各种不同领域的问题，并找到达成目标的方法或路径(Finkelstein，2005；Fischer，2011)。近年来，由于设计类问题解决逐渐扮演着重要的角色，诸多研究者尝试在设计学习项目中开展问题解决的研究，以此探究设计活动中问题解决能力的特点、变化和要素等。比如，布朗将设计思维作为设计类问题求解的范式(Brown，2008)，辨析其在问题求解过程中的内在机制。罗建平等(2020)指出，设计思维可以通过整合性创新方式，为定义和解决复杂问题提供更多可能的解决方案，并指出设计思维是以价值为导向，设计类问题解决过程要经过多次聚焦、发散、迭代、验证。 由此可知，从内涵上看，设计类问题解决能力就是在复杂问题的情境下，学习者在面对复杂、模糊、开放的设计类问题时，能够不断收集和整合已有的知识，并加入自己的看法、观点、偏好等，以明确问题边界，定义和表征问题；再通过不断反思和迭代，寻找问题解决的方案，最终以制品化的形式，来解决真实情境中存在的问题。 (二)基于多模态数据的问题解决能力测评的发展动因 最初，学界对于设计类问题解决能力的测评，主要采用结果取向的评价形式，研究者通过编制问卷来评估问题解决过程中学习者的真实状态，或专家通过经验对学习者的解决方案进行评分。由于设计类问题解决能力所反映的是信息加工的深度以及意义建构的过程，其本质是内隐的，因此，这些主观测评的方法不足以客观地表征设计类问题解决能力。 图1设计类问题的发展阶段及其特点 随着智能技术等的逐步应用，研究者对设计类问题解决能力的测评，逐渐由主观测评向数据驱动的多元化测评发展，以获取学生全方位的数据。因此，兼顾外在行为数据与内在生理数据的多模态学习分析，成为精准测量问题解决能力的关键方法。有研究者通过采集视频数据，自动生成频率度量(如，屏幕中的人脸数量)、距离度量(如，身体之间的距离)等指标，构建了决策树来预测学生的听、看、做和说等行为，以及预测学生合作进行问题解决的能力(Spikol，etal.，2017)。但是，仅采用数据挖掘的方法应用在测评领域，仍存在一定的局限性，主要在于：数据来源多且杂，理论依据不足，缺乏可解释性，对过程数据评价结果的效度缺乏足够的实证支撑。 近年来，后续研究者在此基础上，扩大了数据的采集范围，采用可穿戴设备，获取脑波、心率、皮肤电等生理层面的数据，以期打开设计过程中的“黑箱”，为探究学习者内在学习机理提供了可能的路径(牟智佳，2020)。有的研究者采用多种数据互相应证、交叉对比的方法，对问题解决能力进行测评，如拉姆等人(Larmuseau，etal.，2019)采用皮肤电、皮肤温度、自我报告量表和平台的数据，对学生在线的问题解决学习进行了预测，证明了用多种数据可以对问题解决能力进行表征；黄雪莹(2020)采用行为数据和脑电波数据，对小组合作的问题解决能力进行了测评，发现学生非言语行为指标(脑电波特征和行为序列特征)，可以有效地表征学生之间的协作问题解决能力；奥乔拉等人(Ochoa，etal.，2013)从身体运动、面部跟踪、情感传感器、硬件和软件的日志文件、用户和研究生成的数据中，收集多模态数据，为分析学习者协作学习能力的特征，提供了参考。 总之，基于多模态数据的测量可将理论与数据进行融合，将行为与心理进行结合，形成相互补充印证的闭环模型，为设计类问题解决能力的测评，提供了理论和方法上的有力支持，使测量更加精准与全面。因此，多模态数据采集和分析技术，以及智能化测评工具的发展等，成为推动面向设计类问题解决能力走向多模态数据测评的发展动因。 三、面向设计类问题解决能力的关键要素分析 设计是一项兼顾过程性和创新性的活动，过程极为复杂，设计类问题解决被看作是一种包括问题识别、问题表征、概念产生、方案形成、方案评价等阶段的、非线性的、螺旋式上升的过程。在设计类问题解决的最初阶段，问题的边界往往高度模糊，设计师的任务被确定为“在混乱中组织复杂性并寻找清晰性”(Ochoaetal.，2013)。设计者在解决问题的过程中，思维不断发散，逐步明确问题的边界，并与团队成员对问题进行研讨或者表达个人的观点，进而反思并迭代设计方案，以此得到问题的最优解决途径。 由此可见，设计类问题解决是一种协作问题解决活动，在已有经典的协作问题解决能力研究中，ATC21S、CRESST、PISA2015三个项目，均主张协作问题解决应包含“问题解决”和“合作”两个方面，其中，ATC21S将其从“问题解决”和“社会技能”两个维度进行测评(陈红君，等，2019)。因此，本研究沿用这种划分方式，从问题解决的思维策略和社会合作技能两个方面，进行关键要素的分析。 (一)设计思维是贯穿设计类问题解决过程的思维策略 设计思维被视为以解决问题为中心的创造性思维策略，旨在产生创造性的结果和/或创造性地解决复杂的问题(Henry，2013)。拉祖克等人(Razzouk，etal.，2012)强调设计思维对于提高学生成功率所需的问题解决能力的重要性，尹碧菊等人(2013)将设计思维看作创新问题解决的过程。与此同时，由斯坦福大学设计学院(D.School)提出的设计思维模型和由全球最大的设计咨询公司IDEO提出的设计思维模型，均认为设计思维不仅可以为问题解决提供一种高效路径，也为问题解决提供了有效方法。 从宏观层面来看，在设计类问题的解决中，设计思维是一个探索谜题的过程，设计者关注溯因推理，在模糊的问题背景中通过整理，逐渐聚焦可清晰的因素，并得出问题的最优解(林琳，等，2021)。 从微观层面细究设计类问题解决过程机制，已有诸多研究者提出了设计思维的过程模型，且由于侧重点和研究场景不同有所差异，主要包括线性的过程模型和非线性的过程模型。以西蒙(Simon，1969)为代表的研究者认为，设计是一般的问题解决过程，并建立了分析—综合—评估线性模型。以乔纳森(Jonassen，etal.，1995)为代表的研究者，更倾向于认为设计类问题的解决不是一蹴而就的线性过程，而是设计者不断地回溯反思与再设计的迭代过程，这种观点被多数研究者所接受。 我国研究者林琳等人(2021)提出的设计思维过程框架包含“启发—构思—实施”的循环，同时，关注多次迭代以对方案进行优化。康普顿等人(Compton，etal.，2015)认为设计过程通常是复杂的，包含反思和不断迭代。在麻省理工学院提出的设计思维过程模型中(Grubb，etal.，2017)，强调反思与分享；在贝尔(Bell，2008)提出的设计思维过程模型中，反思与调节贯穿于“理解—观察—可视化—评价—改进—实践”等环节。由此可见，不断的需求反馈和修改迭代是设计类问题解决的最重要策略，设计者对设计任务的反思调节成为问题解决能力的关键要素。 在社会实践中，不论是项目研发、产品制造或者作品创作等，都需要汇集不同领域的专业知识，并利用每个领域的概念和工具集来分析、综合并建构新见解和新想法(Melles，etal.，2012)。在问题解决的过程中，设计者对知识共建方面体现出的贡献质量和效率，可以表现其在认知层面的加工策略、认知水平等。根据SECI模型(知识的社会化—外化—组织化—内化)，可将知识的外化与组织化过程，界定为知识观点的贡献行为。可见，观点建构是设计类问题解决能力的又一关键要素。 (二)协作交流是贯穿设计类问题解决过程的重要途径 随着全球化的加速，跨国、跨领域合作越来越多，个人想要跨越这些鸿沟，不仅需要设计者自身具备精深的专业知识和设计能力，更需要设计团队协同进行信息共享并共同完成任务。因此，诸多学者强调，复杂的设计类问题解决其实是一种独特的人际协同活动(Meacham，etal.，1989)。比如，拉祖克等人(Razzouk，etal.，2012)对45篇文献进行了系统回顾，强调了团队协作的亲和力在设计过程中的重要性。米歇利等人(Micheli，etal.，2019)确定了教育管理背景下设计的十个主要属性，其中包括了跨学科的协作，且在研究最后的聚类分析中，将跨学科协作作为未来设计类问题解决的重要途径。陈鹏等人(2019)提出在复杂问题的解决中，跨学科合作是基础，必须要加强各领域人员之间的交流与沟通。 卡尔格伦等人(Carlgren，etal.，2016)的研究表明，在设计活动中保持开放、避免评判、并与具有不同专业背景和观点的人相处融洽，是一项很重要的能力。因此，设计过程需要设计者在团队内具有沟通、协调并包容他人的能力(Siran，etal.，2020)。当面对有限资源的竞争时，设计者能够合理的进行分工、组织和协调，才能带领团队获得更多的资源、认可和回报。另外，良好的组间关系也有助于协作设计的进行，每个人分工明确、各司其职，才能将问题解决达到最佳水平(Sanders，etal.，2008)。因此，在设计类问题解决过程中，能够协调组间成员的关系至关重要，即组织协调是问题解决能力的关键要素之一。 (三)同理心是促进设计类问题有效解决的重要保证 张红英(2019)将共情指向同理心思维，并把它作为问题解决过程中的核心能力和评价重点。费什巴赫等人(Feshbach，etal.，1974)认为，同理心是指一种能够了解、预测他人行为和感受的社会洞察能力。同理心要求设计者能够深刻理解利益相关者及其需求，更需要设计者能够站在他人角度来理解与设计的能力。因此，同理心对于促进良好的组内关系、改善人际沟通、提升协作问题解决的效率、促使设计任务的完成，有着重要的意义。 从社会心理学的角度来看，沟通是人与人进行互动的社会和心理过程，而同理心是团队协作过程中一个必不可缺的沟通技能。在康翠萍等人(2020)提出的社会情感能力中，将同理心视为促进有效沟通与交流最重要的一种能力。黄岳等人(2019)也将同理心视为一项重要的社会情感能力，对于社会关系的建立，起着至关重要的作用。 同样，同理心对于促进良好的人际关系的建立也是必不可少的，有助于培养人们之间的信任，促进更友好关系的建立。因此，同理心是以设计为核心的问题解决中的关键要素，旨在使设计者表现出高度情感参与以及对环境的敏感性(Seshadri，etal.，2014)。 综上所述可知，设计类问题的解决就是一个不断地通过回溯反思，逐渐明晰问题和寻求最佳问题解决方案的过程，具有非线性、灵活性和动态性等特征。在这个过程中，设计者的反思调节、观点建构、组织协调、同理心是最为重要的因素。基于上述研究，我们构建了面向设计类问题解决能力的关键要素模型，如下页图2所示。 四、面向设计类问题解决能力的多模态数据测评框架 (一)设计类问题解决能力测评指标的构建 1.设计类问题解决能力的测评指标初步构建 根据前文对设计类问题解决能力的关键要素分析，本研究构建了过程导向的设计类问题解决能力测评框架的初步指标。该测评框架包括两个一级维度：设计思维维度和协作交流维度。其中，设计思维维度主要表征个体认知方面的技能，又包括反思调节、观点建构两个二级维度；协作交流维度主要表征群体社会方面的技能，又包括组织协调、同理心两个二级维度。现有诸多研究者将同理心作为设计思维中很重要的构成要素(尹碧菊，等，2013)，但由于同理心的发生主要基于团队协作，故本研究将其纳入协作交流维度当中。 (1)反思调节。该要素主要表征学习者对设计任务的总体调控和不断反思，进而优化设计方案的能力，主要关注个体的认知技能。在调节方面，主要参考林琳等人(2021)提出的“启发—构思—实施”三要素模型。其中，启发在于聚焦问题的发现、为任务解决制定计划以及提供灵感和创意；构思意在通过对资源的整合、头脑风暴等活动，产生问题解决的方案：而实施则聚焦于对方案进行评价与应用。因此，本研究从启发性、构思性、实施性三个观测点，对学习者的调控能力进行评价。 在反思方面，允许学习者试错，不断进行反思和迭代，不能忽视反思在问题解决中的重要作用。许多研究者将反思和迭代，视为设计类问题解决中一个重要环节。比如，约翰逊等人(Johansson，etal.，2013)认为，设计过程中四个主要主题，包括“反思性实践”；鲍尔森等人(Poulsen，etal.，2011)在三阶段设计思维模型中，加入了反思要素；莱韦伦茨等人(Leverenz，etal.，2014)认为，劣构的设计类问题存在不确定性，要求学习者能够将对失败的恐惧转化为对不断尝试和改进机会的兴奋。可见，设计类问题的解决，需要鼓励学习者接受失败，并期待学习者从中学习，根据结果进行不断的反思与迭代(Von，etal.，2014)。这种非线性反思和迭代是设计类问题得到最优解的关键所在。 图2面向设计类问题解决能力的关键要素模型 因此，本研究将启发性、构思性、实施性以及反思度作为反思调节维度的测评指标。 (2)观点建构。该要素主要表征学习者调动多学科知识提取观点，并建构创新观点的能力，主要关注个体的认知技能。劳特等人(Rauth，etal.，2010)确定了设计思维教育的不同能力，包括“采用观点”的能力，且认为这种能力的发展，最终会使学生获得创造性思维的发展。其中，所提出的观点科学与否成为评价的主要指标。而且，个体通过交流来分享自己的理解，通过质疑他人的观点、澄清或协商想法，可以推动共同体知识的发展(马志强，等，2022)。 另外，也有研究者对协作设计中“观点提出”评价有不同的见解，较有代表性的是对“观点”具有创造性的阐述。比如，麦克劳克林等人(McLaughlin，etal.，2019)在对169篇“设计思维”的论文进行综述后，认为培养设计能力的目的，在于提高个体的创造力和创新思维能力；维金斯等人(Wiggins，etal.，2005)认为，设计类问题解决就是在创造性地解决棘手的问题。还有研究者认为，应该关注“观点的系统性”。比如，乔纳森等人(Jonassen，etal.，1995)认为，设计类问题解决就是要求学习者开发出符合标准的系统性产品。更有研究者认为，观点的系统导向和创造导向同等重要(Camacho，2018)。 因此，本研究将科学性、系统性、创新性作为衡量学习者观点建构的主要指标。 (3)组织协调。该要素主要表征在社会群体中学习者对成员的组织和对关系的协调能力，这种组织协调是通过参与者之间的交互而产生，主要关注学习者的社会技能。如前所述，大多数协作都需要领导力，且需要参与者的互相配合，才能创建具有凝聚力的共同体，使团队完成更高质量的设计任务。因此，沟通的复杂性、成员之间的社会关系协调以及组织活动的领导技能，都是组织协调所需要关注的。在多模态测评领域，参与者的组织协调一般采用社会网络分析中的社交网络的密度、中心性或网络结构等来进行表征。就该维度而言，本研究参考了马志强等人(2022)对社会关系投入度的测评框架，将引领度、响应度和协调度作为考察学习者在维护共同体稳定的社会关系的重要指标。 因此，本研究将引领度、响应度和协调度作为组织协调维度的测评指标。 (4)同理心。该要素主要衡量学习者积极参与设计并与团队成员建立起共情的能力，即站在对方角度考虑问题的能力，主要关注学习者的社会技能。费什巴赫等人(Feshbach，etal.，1974)认为，同理心具有三种必要的成分：一是识别成分：区分与辨认他人情感状态的能力；二是社会成分：理解对方观点和立场能力；三是情感成分：体验情绪和反应的情感能力。 另外，心理学研究表明，学习者可以感受到对方的情感，是因为自主神经系统开始呈现出同步的神经系统反应，即生理同步，而这种同步又会反过来促使设计类问题的解决。本研究参考以上研究成果，把以同理心作为核心的识别、理解和体验其他参与者的情感态度和思维方式，作为主要的评价指标。 因此，本研究将识别度、理解力、体验度作为同理心维度的测评指标。 2.基于德尔菲法的评价指标修改与完善 基于前文的文献分析和阐述，本研究初步提出了设计类问题解决能力测评维度和指标，然后采用德尔菲法进行了两轮迭代修改，以此来保证测量指标的科学性和有效性。 第一步进行专家选取。专家均来自教育技术领域，长期从事教学或研究工作，在学术界和基础教育界具有一定的影响力，且其研究领域与学习分析或高阶思维相关，研究方向略有差异，以保证专家建议的多元性和权威性。其中，教授学者5名，副教授学者6名，博士研究生12名。 第二步编制专家咨询问卷，并根据专家建议修正框架。两轮专家问卷回收有效卷100％。指标选择原则为：(1)三位及三位以上专家所提出的相似指标，将纳入测评框架中；(2)两位及两位以上专家所否定的初步指标，将舍弃。对23位专家的建议进行调整和整合后，形成最终的测评指标。 在第一轮调查中，专家对于反思调节、观点建构、组织协调和同理心四个一级维度，以及计划性等13个测量指标的重要性进行打分，对四大能力维度和13个测量指标的认同平均分为3.95～4.38(选择“非常重要”和“比较重要”的比例)，协调系数为0.184。专家意见主要集中在同理心的评价指标的描述和划分上，认为这三个指标较为重复，可做删减。因此，本研究对同理心的三个指标进行了修订，减少为两个。在对框架进行了修订后，第二轮德尔菲法的变异系数为0.03～0.25。协调系数小于0.001，说明专家意见趋向一致。本研究最终确定的评价指标体系，如下页表1所示。 (二)面向设计类问题解决能力的多模态数据的采集与表征 1.多模态数据的采集 在真实的设计类问题解决情境中，评估和量化通常是非常困难的。随着学习分析、智能化测评技术的发展，研究者通常使用各种昂贵的传感器和音、视频录制工具获取各种数据，包括通过可穿戴摄像头、可穿戴传感器、生物传感器(如，测量皮肤电导率、心跳和脑电图)、手势感应、红外成像和眼睛跟踪等设备所采集的数据。采集与分析来自这些传感器的多模态数据，为研究设计类问题解决过程中学习者以及学习者之间的学习活动，提供了新的思路和方法(Halverson，etal.，2014)。 (1)设计思维维度。目前，诸多研究者针对设计思维展开评价研究，主要包括以下几种： 其一，基于心理量表或观察的测量。一些研究者借助一些心理学量表，通过学习者自我报告的方式，探究其心理状态，对其中一些难以外显化的抽象内容进行量化评价。比如，研究者开发了相关量表，用于测量创造力、反思性思维、心流体验等。另外一些研究者采用有声思维的方式，对学习者的思维方式和过程进行分析，以此获得学习者在解题中的努力程度等(Anwar，2016)。 其二，基于多模态数据的设计思维评价，包括生理数据、神经心理数据等。比如，约翰等人(Gero，etal.，2020)通过眼动跟踪、皮肤电活动、心率和情绪跟踪，测评了生理层面的设计认知；通过使用脑电图、功能性近红外光谱和功能性磁共振成像，测量了神经层面的设计认知。 其三，专门为测评设计思维开发的基于真实情境的计算平台。这类测评工具，往往需要专业的跨学科团队经过较为严谨的测试和迭代开发完成，相对其他测评方案成本较高。但由于这种测评方式往往基于真实的任务情景，且能够获取学习的全过程数据，所以效度较高。比如，罗斯曼等人(Rusmann，etal.，2019)开发的基于计算机的设计思维测试，分别利用不同真实任务情境，模拟不同的设计思维能力。库图米苏等人所开发的自动化测评平台(Cutumisu，etal.，2020)，通过学生在任务中的得分情况，判断其设计类问题解决能力的表现。 (2)协作交流维度。不同研究者以不同的方式，对群体学习中的协作交流能力进行了表征和评价。目前，对于问题解决能力中的协作交流的测评研究，主要包括以下几类： 其一，通过学习者在学习平台上的发帖和回复等社交行为所表现出来的网络关系指标，来进行表征。比如，刘智等人(2020)利用社会交互网络的中心性和网络结构特征等指标，来表征社交的投入状态。 其二，通过学习者在协作学习中的心率、皮肤电等变化，来表征协同设计中的心理情况。比如，阮氏等人(Nguyen，etal.，2014)在一个开放式的设计类问题中，设计一个能飞的房子，用HRV测量了设计师的心理压力。迪克等人(Dikker，etal.，2017)通过学习者之间脑电波的时域、频域特征的同步性，探究了学习者之间的协调度。 其三，通过在协作活动中与小组成员间发生的行为和言语来表征。比如，袁建林等人(2022)利用协作问题解决中的行为编码赋值，来表征协作维度的能力。武法提等(2022)提出协作问题解决过程中的语音能够反映学习者的心理活动，结合文本分析的结果，可以更加完整地还原出学习者的学习意愿，并表征其在整个过程中的心理能量。 我们通过以上阐述可知，多模态数据通过多元化的数据采集与挖掘处理，可更加清晰地展现设计类问题解决能力的内在机制，以便全方位、深层次地探究学习者问题解决能力的发展情况，更加精准化地对其进行数字化表征。 2.多模态数据的表征 基于多模态数据的设计类问题解决能力测评，首先在于通过采集学习者在进行设计任务与完成的过程中所产生的多模态数据，然后进行数据特征的提取；接着利用数据融合方法，对多种数据进行整合，最终得到能力的分值或等级。在这个过程中，我们可以发现学习者在解决问题过程中真实的学习状态和情感变化，理解学习者复杂的行为言语，挖掘其中潜在的规律，探究不同类型学习者在各个维度上的异同、行为序列上的差异等，成为破解能力培养的瓶颈、优化教与学过程的重要途径。但在进行多模态数据表征时，还需要考虑以下问题： (1)基于多模态数据的测评，要将学习过程与结果成效相结合。对设计类问题解决过程进行真实、全面的记录，所包含的丰富信息有利于提取测量证据，从而对问题解决过程中所涉及的学习者的知识、能力、情感、态度等各种元素进行判断。对设计类问题解决结果进行记录，有利于从教师、专家角度对学习者进行客观评价。因此，二者结合可以对设计类问题解决能力有一个全面的评价。 (2)基于多模态数据的测评，要将立体全息与主体聚焦相结合。设计类问题的解决过程，蕴含着丰富的认知与社会性交互关系，是在丰富的交互关系中动态形成的复杂状态。同时，随着设计类问题解决过程的展开，每位学习者的学习状态可能会随时间而发生变化。因此，在探究设计类问题解决能力的测量时，不仅要对每一位学习者的状态进行分析，还要详细剖析团队整体的情况。 (3)基于多模态数据的测评，要将学习者心理状态与行为表现相结合。国外学者罗兰(Rowlands，2009)认为，认知过程是个混血儿，既有内部的动作，也有外部的操作。由于设计类问题解决反映的是信息加工的深度以及意义建构的过程，其本质是内隐的，无法直接观测。学习者在进行思考或自我解题时，不一定会产生外显行为，但仍在进行积极的心理加工。已有研究表明，生理数据或脑电波数据可以表征学习者进行思考的内隐心理状态。因此，将学习者外显的行为表现与内隐的心理状态相结合，将使设计类问题解决能力的数据表征，更具科学性和客观性。 (三)面向设计类问题解决能力的多模态数据测评框架 由于单一维度的测评指标，难以对设计类问题解决能力进行全面的测评，且容易受研究者主观印象等因素的影响。因此，为了客观、全面、精准地对其进行测评，本研究基于心理量表、生物传感数据、行为言语数据，构建了设计类问题解决能力的多模态数据测评框架，具体如表2所示。 1.反思调节维度 主要体现学习者对设计类问题整体的掌控和调节情况，选取言语数据，对学习者的问题解决全过程进行监控。在启发阶段，组内成员多关注问题的定义、通过头脑风暴进行灵感的碰撞或迸发，可通过提出关键点子的频次，以表征学习者的启发性。在构思阶段，主要关注学习者通过整合已有的学习资源和知识进行方案设计的能力，可通过分析言语数据中涉及提出方案的正确关键词频次进行表征。在实施阶段，学习者更加关注通过迭代测试，使方案更加完善和科学，对方案进行科学评估的频次可以表征其设计实施的情况。另外，在反思阶段，可通过心理问卷的方法，对学习者自我反思的情况进行表征。 2.观点建构维度 协作问题解决中学习者知识的外化与组织化，可界定为学习者的知识贡献行为(武法提，等，2022)，并通过学习者言语数据中关键词的出现频次，来全面衡量科学性、系统性和创新性情况。方案的科学性越好，则说明学习者提出的观点中所涉及的知识关键词越准确，因此，本研究采用准确关键词的信息总量来表征科学性。观点的系统性越好，则说明学习者的观点可以涉及各类不同的方案，知识量更大，知识面更广，考虑更加周到且可具操作性。因此，本研究采用涉及不同方案类别的关键词数量来表征系统性；观点的创新性越好，则说明学习者更具创造力，可提出新颖、不同的知识观点，为此，本研究采用言语文本中的关键词信息增益来进行评价。 3.组织协调维度 主要体现学习者与同伴之间的沟通交流情况。在设计类问题解决的过程中，学习者对小组活动参与越多，投入度越多，则会有更高的信任感和归属感(马志强，等，2022)，从而有助于小组内部的知识构建和知识分享。在多模态测评领域，参与者的组织协调性，一般采用社会网络分析中社交网络的密度、中心性或网络结构等来表征。因此，本研究从交流言语中所提取的社交网络数据，来表征学习者在协作设计中组织协调组间关系以及维护组间稳定的情况。 4.同理心维度 心理学研究表明，学习者可以感受到对方的情感，是因为自主神经系统开始呈现出同步的神经系统反应，即生理同步，而这种同步又会反过来促使设计类问题的解决。自主神经系统可以在生理信号的变化中体现，皮肤电、皮肤温度、心率等都是较为敏感的生理信号数据(Cowley，etal.，2013)。因此，本研究选取生理数据的同步性，对同理心进行表征。另外，也可以用学习者自报告的同理心调查问卷对其进行表征，以进一步对生理数据进行补充和交叉验证。 五、面向设计类问题解决能力的多模态数据测评之发展路径 (一)强化数据模型的理论支撑，提升测评模型的科学性 近年来，基于多模态数据的智能化测评研究逐渐增多，它是一个多学科交叉融合的新兴研究领域，包括计算机科学与技术、心理学、教育学等。而不同体系的研究范式，在短时间内很难形成统一的标准，因此，目前的研究还存在着理论框架研究与数据挖掘研究彼此割裂的现象。 在未来的研究中，首先，需要适当引入专家知识，从测评需求出发，建立相对应科学有效的测评理论框架。研究者需要基于教育学、心理学和神经科学等理论基础，构建细小粒度的测评维度或框架。其次，从数据视角出发，融合多元化学习的全过程数据，构成智能化测评的证据。最后，合理地衔接测评框架、测量数据与测量结果之间的关系。在测评内容与多模态数据之间建立可解释的理论链接，这样既避免了仅从理论维度分析设计类问题解决能力所欠缺的特征遗漏问题，也避免了仅采用自下而上的数据测评方法所欠缺的数据可解释性，从而全面提升测评模型的准确性。 (二)探索基于过程的数据挖掘，揭示教学规律的正确性 由于设计类问题解决能力的培养和发展是一个长期的过程，应尽可能全过程、多角度采集数据，以保证设计类问题解决能力评价的连续性、全面性和科学性。目前，虽然已经有了一些对过程性数据进行挖掘的探索性研究，但真正将过程性数据作为评估证据进行评价的研究仍然较少(尹碧菊，等，2013)。 在未来的研究中，需要收集大规模群体数据流，不仅应该获取学习者单次学习的过程数据，包括学生的作答情况、带有时间戳的系列行为和步骤、交谈过程中表现出行为言语等；还应该记录学习者在很长一段学习过程中的学习情况，以此观测学习者在一段时间内的思维策略变化与情感表现等。可采用机器学习、深度学习等算法，对过程数据流进行个体与群体、静态与动态、过程与结果的立体化全息测评，使更多有用的信息形成测量证据，挖掘其中潜藏的教育意义和教学规律，并以此为依据，为教育教学提供科学的指导。同时，还应进一步开展在智慧教育理念下的设计类问题解决能力测评的规律研究，以期更好地为教育教学服务。 (三)面向真实场景的数据采集，实现能力测评的真实性 设计是一类广泛存在的创造性活动，存在于生活的各个方面和各类领域学科中。在真实的情境中开展测评，对于设计类问题解决能力以至于创新能力的培养，具有重要的意义。而目前对于设计类问题解决能力的测评，虽然从生活问题出发，但却以良构问题呈现出来，这类问题束缚了学习者设计思维和创新思维的发散，难以对学习者真实的设计类问题解决能力进行精准的测评。 未来对于真实情境下的设计类问题解决能力测评，可以从以下几个方面展开：首先，将设计类问题解决能力的培养与设计类课程进行有机融合，使学习者在课程学习中身临其境地解决真实问题。研究者可通过真实场景的数据采集，观察学习者是如何从知识建构走向知识创新，并在此过程中获得更加有效的测评数据。其次，开展模拟式的智能化测评，比如，PISA2015所开展的协作问题解决能力的人机交互式测评。这类测评允许学习者在真实的任务情境中进行自由地探索和表达，不仅可以获取学习者真实的学习表现，同时其作答过程，也更容易被观察、记录、保留和分析。 (四)加强测评过程智能化，以推动测评的大规模推广 对于设计类问题解决能力的多模态测评，目前通常采用专家对设计成果进行主观打分、对设计表现进行观察并编