比较半自动驾驶中由非定向反应任务引起的心理负荷的眼动追踪指标

Comparingeye-trackingmetricsofmentalworkloadcausedbyNDRTsinsemi-autonomousdriving比较半自动驾驶中由非定向反应任务引起的心理负荷的眼动追踪指标1.

Introduction是追求以人为中心的新经济社会，运用高度融合网络虚拟空间及物理实现空间的相关技术，满足未来人类生活上的各种需求，同步解决经济发展与社会课题，并以此建构更贴近符合个人需求之社会，其中最受影响的范围移动与交通，将来自动驾驶将成为最显著的运动方式。社会5.01-1

Take-over-Request在SAE（汽车工程师协会）Level3，驾驶员无需监控驾驶环境，并且可以自由从事与驾驶无关的任务(NDRT)，例如阅读和使用智能手机。当自动系统遇到较复杂的情况且无法掌控时，自动化会发出TOR，要求驾驶员收回对车辆的控制权。接管请求(TOR

,Take-over-Request)心理工作负荷(MWL

,

mentalworkload)MWL是探索人与技术设备之间交互的重要设计概念(Longo,2015)。为了用有效的方式发布TOR，并引起驾驶员的注意帮助他快速重建情境意识(SA

,situationawareness)，因此每个TOR应在驾驶员身上设置尽可能低的MWL。根据研究(Bazilinskyyetal.,2018)指出在最高紧迫性情况多模式TORs是最佳首选，而最低紧迫性情况听觉TOR首选。然而视觉TOR又比触觉TOR来的好。1-1

Take-over-Request1-2

Eyetrackingmetrics在市场上或正在开发的大多数自动驾驶车辆中，驾驶员使用相机，并通过计算机视觉实时分析来分析驾驶员的行为，因此哪个认知通道被占用就可以从摄像机图项中确认，但是单凭视频不足以确定驾驶员的MWL。眼动追踪指标已被证明是半自动驾驶和其他研究领域(ex.外科训练、一般心理研究)中多任务性能令人信服的指标。眼动追踪指标(Eyetrackingmetrics)1-2

Eyetrackingmetrics已经被认为是MWL的有利指标:瞳孔直径变化(Mattonetal.,2020;Lietal.,2020;Niezgodaetal.,2015)眨眼持续时间(Benedettoetal.,2010)水平注视分散(Wangetal.,2014)眨眼频率(Faureetal.,2016;Chiharaetal.,2020)注视持续时间扫视次数(Huangetal.,2019)水平眼球旋转的标准差(SD)(Chilharaetal.,2020)注视点偏差(Kosch&Hassib,2018)眼动追踪指标(Eyetrackingmetrics)2.

Hypotheses根据以往的研究，听觉任务在半自动驾驶过程中，驾驶员的MWL影响并尚未得到证实，因此提出了两个假设:H1

:在视觉和听觉多任务情况下，不同的半自主级别对驾驶员施加不同的MWLH2

:眼动追踪指标是视觉和听觉多任务情况下MWL级预测的有效指标→侧重于听觉任务是否将不同的MWL至于不同的自动驾驶级别→检验使用眼动追踪指标来预测MWL水平的可能性3-1

Generalmethods–Drivingsimulation修改Dash自动驾驶模拟器的半自动驾驶模拟器。驾驶模拟包括三个自动驾驶级别:

SAE

Level0、1、2在SAE

Level

1，自主系统负责速度控制，而驾驶员控制车轮参与者们用键盘控制模拟器。与使用方向盘及踏板的驾驶模拟相比，这种驾驶模拟器不太逼真控制，未来改进。在实验过程中参与者可能会被告知自动驾驶可能无效，并被要求时刻监控驾驶环境。车头时间和车道保持状态可以通过结合使用者界面(UI,userinterface)信息和模拟车辆动力学进行连续检查动态障碍物静态障碍物可察看驾驶级别速度、加速度、转弯角度3-2

Generalmethods–Secondarytasks次要任务的基础是2-back任务。选择2-back任务是因为他在TOR的过程中工作记忆是相当重要的。为了掌握TOR，必须访问驾驶员手动驾驶的长期记忆，因为他提供最近过去的情况信息。手动驾驶的长期记忆将会转变成自主的驾驶技能。在TOR警报适合的认知渠道的可能性:1.视觉语言任务:在靠近模拟荧幕的平板中显示0~9数字2.听觉空间任务:识别位置来自哔声的资源(左边、左右边、右边)3.听觉语言任务:涉及用英文呈现数字(0~9)的音频3-2

Generalmethods–Secondarytasks在(Chenetal.,2021)研究中显示，视觉语言任务对驾驶员施加的MWL是最少的因此决定要使用听觉空间任务、听觉语言任务与其他两个次要任务进行实验该实验采用受试者内设计，这意味着参与者要在三个自主的情况下执行三个次要任务水平，所以有3*3=9个条件。每个条件下的任务分为三组，每组有42个刺激物。刺激物是呈现1秒，两个刺激物间的时间间格为0.2秒。3-3

Generalmethods–Participants招募36名京都大学的学生(Male

=18

,Female=18,meanage=26,ageSD=2.791)参与实验的人都要先签署同意书在进行实验前要先简单介绍了设备和每个次要任务的解释4-1

Datacollection–NASA-TLxNASA-TLx(任务负荷指数)

有6项指标:心智需求(MD

,mentaldemand)生理需求(PD,physicaldemand)时间需求(TD

,temporaldemand)自我绩效(P

,performance)努力(E

,effort)挫败(F

,frustration)在这六个指标进行单独加权后，参与者需要从0~10分分别进行评分。NASA-TLx越高，参与者的MWL就愈高4-2

Datacollection–Secondarytaskperformance次要任务表现(Secondarytaskperformance)参与者执行的次要任务越好，该任务应该放在参与者上的MWL就越低利用Kane的方法来评估2-back任务的绩效评估

(8个目标项目、8个诱导项目、24个其他项目)4-3

Datacollection–Eye-Trackingmetrics眼动追踪指标(Eye-Trackingmetrics)便携式眼动仪TobiiProGlasses2.0（TobiiTechnologyAB，Danderyd，Sweden）用于对眼睛进行双眼采样以50赫兹的频率运动。使用TobiiProLab软件（TobiiTechnology

AB)并进一步分析。九个眼动追踪指标：瞳孔直径变化(pupil

diameterchange)扫视次数(numberofsaccades)扫视持续时间(saccadeduration)注视次数(numberoffixations)注视持续时间(fixationduration)眨眼次数(numberofblinks)眨眼持续时间(blinkduration)2D熵(2Dentropy)3D凝视熵(3Dgazeentropy)5.

Experimentprocedure研究眼动追踪指标作为半自动驾驶场景中视觉和听觉非驾驶相关任务(NDRTs,non-drivingrelatedtasks)引起的MWL测量方法的有效性。在发布TOR之前，这个结果可以被视为驾驶员监控系统的基础。这个实验设计了具有三个不同次要任务的驾驶模拟。每个参与者都必须执行驾驶任务和次要任务。参与者有10分钟的时间可以熟悉模拟器的自动驾驶级别6-1

Result–H1ExaminationANOVAH1假设:在视觉和听觉多任务情况下，不同半自主级别对驾驶员施加不同的MWL将利用变异数分析(ANOVA)重复测量分析NASA-TLx分数和次要任务性能指标NASA-TLx评分显示自主水平对MWL有显著效果(α=0.05，p<0.01)有效尺寸是使用Omaga-sq作为指标（d0.10为小效果，0.25为中等效果，0.40以上为大效果）6-1

Result–H1ExaminationANOVAH1假设:在视觉和听觉多任务情况下，不同半自主级别对驾驶员施加不同的MWL将利用方差分析(ANOVA)重复测量分析NASA-TLx分数和次要任务性能指标NASA-TLx评分显示自主水平对MWL有显著效果(α=0.05，p<0.01)6-2

Result–H2为了消除实验结果中的差异影响，对指标(瞳孔直径变化、扫是持续时间、注视持续时间、眨眼持续时间)进行Z分数(标准分数)数据标准化6-2

Result–H2MANOV结果表明，眼动指标在半自主级别及次要任务之间的显著效应(p=0.0002,有效大小部分eta-sq=0.065,统计功效1-

β

=

0.99)

此效应大小代表一个中等效应，而当把H2作为原生假设时，九个眼动追踪指标有足够得统计数据(99%)来拒绝无效假设因为参与者有没有处理视觉讯息将会影响眼动追踪指标因此应该找到最具代表性的眼动追踪指标，并以适当的精度来测量视觉和听觉多任务情况下的MWL多变量变异分析(MANOV)6-2

Result–H2瞳孔直径变化、注视持续时间、注视次数、扫视次数、3D凝视熵是提取的五个有效眼球追踪指标指标提取NASA-TLx分数被认为是MWL的指标听觉任务、次要任务表现、瞳孔直径变化是视觉任务、注视持续时间、2D凝视熵的重要指标与MWL密切相关当三个任务的所有数据都用于计算矩阵，次要任务表现、瞳孔直径变化、注视持续时间、2D凝视熵、3D凝视熵显示出显著的相关性，因此可被认为对MWL的指标有效6-2

Result–H2使用KNN来检查五个眼动指标是否有效预测MWL工作负荷分类7-1Discussion单向ANOVA表明NASA-TLX的三个次要任务都在三个自动级别中有显著影响尽管视觉是驾驶和视觉认知过程中最重要的信息资源，资源可以随着自动驾驶水平的提高而节省，我们的研究表明，听觉认知通道具有同样现象。在设计TOR的界面时，应考虑TOR之前的视觉多任务情况及听觉多任务情况NDRTtypesmentalworkloadEye-trackingmetricsandmentalworkload瞳孔直径变化、扫视次数、扫视持续时间、注视次数和3D凝视熵被证明用于预测MWL水平的有效眼动追踪指标。虽然精确的预测模型仍不清楚，但可以通过眼动追踪指标来预测MWL。利用计算机视觉技术，车载驾驶员监控系统，通常是一个摄像头，不仅可以监控驾驶员的行为，还可以监控多任务情况下的驾驶员MWL。7-1Discussion由于完成实验需95分钟，因此对于参与者是相当疲惫这次的驾驶模拟较为简化，与实际的方向盘及踏板有所差异，因此可信度较低对参与人员此项实验是相对陌生的(ex.驾驶模拟)，因此熟悉时间只有10分钟较不足每位参与者的空间探测能力不同，因此对于声音位置的辨别有些许困难声音空间任务比