光标显示模式对视线交互绩效与用户体验的影响研究

/光标显示模式对视线交互绩效与用户体验的影响研究【摘要】显示与反馈方式是人机交互的重要设计要素。在视线交互这种自然人机交互技术中，视线光标的呈现方式一直是研究的焦点。本研究选取基于凝视点击范式的文本输入任务，设计了2(有无视点锁定功能)×2(有无实时注视点)被试内实验，探讨光标显示模式对视线交互绩效与用户体验的影响。结果：视点锁定功能可以提升交互绩效和用户体验，有无实时注视点对交互绩效无显著影响；输入速度的提升主要在于视点锁定功能能够让被试的视线更快地转移到下一个目标上。研究结果可为视线光标的设计与应用提供借鉴。 1前言 随着眼动跟踪技术的迅速发展，消费级眼动仪已可以有效地检测到目光注视的方向并将其转换为屏幕上的坐标点，这就大大促进了基于眼动跟踪的视线交互技术的发展与应用推广。在各类视线交互技术中，尽管很多研究者应用了视线定位与其他点击确认操作(如手动按键确认和语音确认)相结合的范式，但是交互方式最自然的还是凝视点击(Dwell)范式。Dwell范式会预先设定一个时间阈值(Dwelltime)，当用户的注视点在目标上停留的时间超过该时间阈值，目标就会被选中。该范式仅需用到眼睛，因此可很大程度上方便那些肢体活动不便的残疾人。 在此类眼动交互系统中，视线输入技术仍存在着许多可用性问题，其中之一就是光标的稳定性(Kumaretal.，2008；Zhangetal.，2008)。由于人眼内在的震颤、微抖动等特性，即便在凝视目标时视线也不是稳定的，而是会发生轻微的抖动。视线抖动虽然很轻微但却十分频繁，这导致基于眼动仪采集的视线光标(即呈现在屏幕上的注视点)并不能像鼠标光标一样稳定，进而影响了视线交互的效能和用户体验(Miniotasetal.，2004；Zhangetal.，2011)。为此，研究者提出了几种方式来提高视线光标的稳定性。第一种方式是实时过滤注视点噪音仅呈现平滑的数据，该方式有效地提高了视线光标的稳定性(Kumaretal.，2008)。第二种方式是将光标锁定在目标中心以减少光标抖动的影响。例如，Zhang等人(2008)提出了“扭转到目标中心(warpingtocenter，WTC)”算法，一旦注视点进入到目标区域，视线光标马上就会被锁定在目标中心，当注视点离开目标区域时，视线光标也会随即跳离该目标。但是由于人眼会发生轻微却频繁的抖动，因此该方法会经常出现光标突然跳人或跳出目标的情况。这种突然的跳跃可能就是WTC没有提升任务绩效的原因。与WTC相似，Murata和Karwowski(2019)提出了“自动锁定光标移动(theautomaticlockofcursormovement，ALCM)”算法，并结合视线定位与其他点击确认方式(手动点击和语音确认)，有效地提高了拖动和菜单选择任务的准确性和主观体验。但是在凝视点击范式中，ALCM也会受到视线光标突然跳跃的干扰。而Miniotas等人(2004)在光标居中的基础上增加了扫视检测规则并提出了“抓握(grab-and-holdalgorithm，GHA)”算法，在该算法中，当注视点进入到目标区域后视线光标会一直停留在目标中心，直到检测到眼睛扫视行为为止。虽然该算法增加了任务完成时间，但是有效地减少了任务错误率。 总体来说，这三种算法都试图通过理解用户的意图(用注视点来代表用户意图)来提高视线光标的稳定性，但没有考虑到注视点并不能完全代表用户的意图。当用户在扫视屏幕时，注视点可能会在多个目标上短暂地停留，但这并不意味着用户想要选择这些目标，此即“米达斯接触(Midastouch)”问题(Jacob，1993)。在上述三种算法中，一旦注视点落在了目标区域，视线光标马上就会被锁定在目标中心，它们对于正常的眼睛运动过于敏感。另一方面，由于视线抖动等因素，用户在凝视目标时，注视点可能会离开目标区域并在短时间内返回，在这种情况下，用户想要注视的对象仍旧是该目标。虽然GHA提供了扫视检测规则以对抗此类情况，但效果不佳——延长了任务完成时间。而WTC和ALCM则没有考虑到这种情况，只是单纯地将视线光标从目标中心移出。因此这三种方式并未有效地处理由于眼睛非自愿抖动引起的干扰。受到这三种模式的启发，Zhang等人(2020)提出了视点锁定(gazelock)功能，在眼手协调范式(视线定位+手动按键确认)的比较实验中，应用视点锁定光标模式(gazelockcursor，GLC)能在不增加错误率的情况下显著提高输入速度。在此基础上，本研究使用了眼动交互领域应用最广泛的Dwell范式，相比眼手协调范式，视线抖动对Dwell范式的影响可能更大，在这种情况下视点锁定功能能否在Dwell范式下发挥作用，是一个需要进一步探讨的问题。 本研究想探讨的另一个问题是在眼动交互系统中是否有必要向用户呈现光标。有研究者认为在视线交互界面中应避免呈现视线光标。Jacob(1993)认为提供可见的视线光标会分散用户的注意力，尤其是当视线光标与实际的注视点不匹配时，用户可能会去追逐光标。Kumar等人(2007)发现显示光标并不能有效地提高被试在点击任务中的正确率，反而会延长用户完成任务的时间。部分研究者则持有相反的看法，如Ohno(1998)发现向用户提供当前注视位置的视线光标可以显著减少用户在选择时的错误操作。呈现光标除了能够减少用户的错误操作，对任务完成时间也有影响，冯成志等人(2004)发现呈现视线光标可以加速用户对目标字母的搜索与定位，让用户更快地锁定目标，从而缩短任务的完成时间。另有部分研究则认为视线光标呈现的效果还受其他因素的影响，如Zhang等人(2011)认为如果提前告知用户不要去追逐视线光标，那么光标的存在并不会分散用户的注意力，并且在视线追踪精度较差的情况下，用户还可以通过视线光标提供的视觉反馈来调整注视行为。Graupner和Pannasch(2014)认为视线光标对任务绩效的影响与任务类型有关，具体表现为呈现光标有利于数字输入任务，但是在阅读和图像搜索任务中应避免呈现光标。 目前视线光标是否影响操作绩效和体验暂无一致的结论，反对呈现光标的学者认为光标的存在会分散用户的注意力，而支持者认为呈现光标能够向用户提供操作反馈，增加用户的信心，从而有利于任务的进行。呈现光标的负面影响主要体现在扫视、搜索阶段，在这一阶段实时的光标会分散用户注意，影响用户操作，而当视线锁定目标后，此时光标又能向用户提供正向反馈。鉴于上述对有无视线光标的研究大都是在视线光标与注视点保持同步的基础上进行的，因此想要在视线交互过程中分阶段提供光标反馈难度较大。考虑到gaze-lock功能的特殊性——当光标未被锁定时，视线光标等同于实时的注视点，当锁定时，视线光标不等同于实时的注视点，这为分阶段提供光标反馈提供了可能性。基于此，本研究在GLC模式的基础上，隐藏实时注视点形成了视点锁定部分光标模式(gazelockpartialcursor，GLPC)，本研究预计GLPC能在增加用户信心的同时，减少光标在扫视、搜索阶段的干扰。 2方法 2.1被试 20名被试(女性3名)，年龄29岁±3.9岁(M±SD)，所有被试视力或矫正视力正常，无精神、运动或神经系统疾病，具有丰富的计算机使用经验且熟悉汉语拼音。 2.2变量与设计 本实验为2×2被试内设计，自变量为4种视线光标显示方式，根据有无视点锁定功能以及有无实时注视点划分组合而成。 常规视线光标(conventionalcursor，CC)：眼动仪检测到注视点在哪，视线光标就显示在哪，如图1A-C所示。 无视线光标(nocursor，NC)：在常规视线光标的基础上隐藏了实时注视点。 视点锁定光标(gaze-lockcursor，GLC)：在常规视线光标的基础上，增加了视点锁定功能：①添加了用于锁定视线光标的时间限制：当注视点落在某个目标区域内并停留超过一段时间(tlock)后，视线光标就会被锁定在目标中心。一旦光标被锁定，只要注视点保持在目标区域内(如图1D和E)，视线光标就不再随注视点的移动而变化，会一直停留在目标中心，直到满足解锁条件。②增加了用于解锁视线光标的时间限制：当注视点落在目标区域之外时，除非注视点离开目标的时间超过预定时间(tunlock)，视线光标才会被解锁(图1F)，否则光标仍将停留在目标中心(图1E)。当视线光标解锁后，视线光标会跟随注视点运动，直到再次被锁定。根据预实验结果，本研究将tlock设置为150ms，tunlock设置为50ms。 视点锁定部分光标(gaze-lockpartialcursor，GLPC)：在视点锁定光标的基础上隐藏了实时注视点(图1G和I)，仅当视线光标被锁定在目标中心时才呈现(图1H)。GLPC与GLC的tlock和tunlock时间相同。 四种模式的实验顺序在被试间进行了拉丁方平衡，以消除练习和疲劳效应。 本研究的因变量有输入速度(characterspersecond，CPS)、每字符点击次数(keystrokespercharacter，KSPC)、最小编辑距离错误率(minimumstringdistanceerrorrate，MSDerrorrate)，视线转移时间(gazeshifttime，GST)、目光凝视时间(gazefocustime，GFT)以及主观评价。 CPS为每秒输入的字符数；KSPC是指被试输入的内容中单个字符的平均点击次数；MSD错误率为被试输入的文本转换为正确的文本所需要的最小操作次数除以总字符数(Soukoreff&MacKenzie，2003)；GST是指上一个目标被点击后到目光首次注视下一个目标的时间；GFF是指首次注视目标到该目标被激发点击的时间。 图1同一组注视点序列在三种模式中的差异 图注：矩形代表目标，圆点代表目标中心，实线圆圈为视线光标，而虚线圆圈为实际的注视点。实线箭头显示了视线光标的运动轨迹，而虚线箭头为实际注视点的轨迹。 2.3设备与程序 实验在23寸显示器上(1920×1080)进行，眼动仪(Tobii4CPRO，90Hz)作为眼动信息采集设备安装在显示器底部。 实验程序由C#语言编制而成，屏幕上呈现的虚拟键盘类似于QWERTY键盘。按键尺寸为68×68像素，字符高度为34像素，按键间距为12像素。光圈(实际实验中为紫色)代表视线光标，光圈直径为37像素。 图2任务输入界面 2.4实验任务 实验任务为文本输入任务，被试通过虚拟键盘输入字符(无需考虑大小写)。每次试验中，被试需要先朗读“#”和拼音，再开始字符输入，实验过程中被试只能修改上一个输入的字符。正式实验共需输入80组地名，每种模式20组，平均每组的字符数(包括“#”和拼音)为7.75，字符数范围为6～10。另外，在呈现光标的模式中，明确告知被试不要去追逐光标。 实验使用了Dwell范式作为激发点击方式，借鉴Majaranta等人(2006)的研究结果，实验设置的凝视时间为600ms。另外为了避免重复输入，当重新选择当前字母时，凝视时间增加了300ms。当按键被点击时，按键的背景颜色会短暂地变为紫色约200ms，并伴有短暂的“滴答”声。 2.5实验流程 被试需要先阅读并签署知情同意书，接着进行眼动仪校准，然后主试向被试介绍实验任务。正式实验前，被试需要对4种模式进行练习，每种模式练习6组。所有测试结束后，对被试进行访谈。 图3实验场景 3结果 使用MATLAB2018a对数据进行提取和预处理，剔除了34组输入时长超过20s的异常数据，剔除率为2.13％。使用SPSS26.0对CPS和GST进行了重复测量方差分析并对两者进行了相关分析，对主观评价人数进行了卡方检验，由于KSPC、MSD错误率以及GFT违反了参数检验假设，因此使用对齐等级转换(alignedranktransform)程序(Mottetal.，2017；Wobbroeketal.，2011)进行非参数检验。 3.1输入绩效 CPS结果显示，视点锁定功能主效应显著，F(1，19)=32.49，p＜.001，=.631，有视点锁定功能的光标输入速度更快有无实时注视点主效应不显著(p＞.05)；两者交互效应不显著(p＞.05)。 KSPC结果显示，视点锁定功能主效应显著，F(1，19)=5.32，p＜.05，有视点锁定功能的光标平均每字符点击次数更高，有无实时注视点的主效应不显著(p＞.05)，两者交互效应不显著(p＞.05)。MSD错误率结果显示，视点锁定功能主效应不显著(p＞.05)，有无实时注视点主效应不显著(p＞.05)，两者交互效应不显著(p＞.05)。 3.2眼动指标 GST结果表明，视点锁定功能主效应显著，F(1，19)=31.12，p＜.001，=.621，具有视点锁定功能的光标视线转移时间更少；有无实时注视点主效应显著，F(1，19)=13.92，p=.001，=.423，呈现实时注视点的光标视线转移时间更少；两者交互效应不显著(p＞.05)。 GFT结果表明，视点锁定功能主效应不显著(p＞.05)，有无实时注视点主效应不显著(p＞.05)，两者交互效应不显著(p＞.05)。 3.3CPS与GST相关分析 结果发现，CPS与GST呈显著负相关(整体：r=-.935，p＜.001；CC：r=-.940，p＜.001；NC：r=-.947，p＜.001；GLC：r=-.918，p＜.001；GLPC：r=-.965，p＜.001)，视线转移时间越少，输入速度越快。 3.4主观评价 被试的主观评价如表2所示。分别对四种模式下主观评价人数的实际分布与理论分布进行卡方检验，结果显示，GLC差异显著(=9.23，p=.01)，被试态度更偏正面；CC(p＞.05)，GLPC(p＞.05)和NC(p＞.05)模式中三种态度的人数无显著差异，为进一步探究被试对这三者态度的区别，对三者的实际分布进行卡方检验，结果显示，三者差异显著，=17.67，p=.001。事后检验发现，GLPC比CC拥有更多的正向评价和更少的负面评价。 图4CPS与GST散点图 实验询问了被试对凝视时间的看法，75％的被试认为600ms的凝视时间是合适的，有4位被试认为600ms的时间太长，仅一位被试希望有更长的凝视时间。对于GLC和GLPC模式中的解锁反应时间(600-150-50=400ms)，70％的被试认为该时间足够其在误选按键被激发点击前将视线光标解锁，30％的被试报告说400ms的解锁反应时偶尔还不够。对于CC模式，30％的被试表示其可以轻松地控制视线光标，65％的被试报告说即便他们知道视线光标的原理，有时候还是会去追逐视线光标，1位被试表示其对CC模式的视线光标感到困惑。 4讨论 4.1视点锁定功能对任务的影响 正如结果所示，在基于凝视点击范式的文本输入任务中，具有视点锁定功能的光标显示模式有着更快的输入速度，其中GLC比CC快3.8％，GLPC比NC快4.5％。虽然在输入的过程中有视点锁定功能会犯更多的错误，但由于被试能够及时地更正，因此该功能并未提高输入结果的错误率。主观报告的结果也显示，被试更偏好具有视点锁定功能的光标显示模式。 对CPS和GST的分析发现，输入速度的提高主要归功于视线转移时间的减少。在呈现实时注视点的条件下，GLC的视线转移时间比CC减少了34ms(7.6％)。由于人眼内在的震颤、微抖动等特性，常规视线光标始终是不稳定的。因此在CC模式的基础上，实验设计了GLC，期望通过增加一个空间限制和两个时间限制来提升视线光标的稳定性。在GLC模式中，当注视点在目标按键上停留时间超过150ms(tlock)时，视线光标就会被锁定在按键中心，这一锁定有效地避免了光标的抖动。并且与直接锁定在目标中心相比(Miniotasetal.，2004；Murata&Karwowski，2019；Zhangetal.，2008)，该方式区分了有意与非刻意的注视，向被试提供了有关其意图的正确视觉反馈，增强了被试的主观信心，减少了识别和调整视线光标的负荷，加快了视线转移速度。对比不呈现实时注视点的两种模式，NC虽然避免了用户去追逐光标，但是因为缺乏视觉反馈，被试只能凭自己主观的感觉来判断光标是否正确地落在了目标上，所以极大地增加了视线转移时间。而GLPC既避免了用户去追逐实时注视点光标，同时也得益于视点锁定功能，该模式可锁定后呈现光标，给予被试正确的视觉反馈，因此GLPC的视线转移时间比NC减少了61ms(13.1％)。 从理论上讲，解锁机制可以削弱视线暂时离开目标的影响，减少凝视时间被中断的情况。因而本研究预期GLC和GLPC的目光凝视时间相比于CC和NC会有所降低。但是实验结果却表明四种模式下的目光凝视时间无显著差异。对数据进一步分析发现，注视点从离开到再进入目标的平均时间为189ms，远超过50ms(tunlock)。因此，在大多数情况下，当注视点离开目标后，视线光标会在注视点重新落回目标按键前被解锁，从而中断凝视时间。这也就解释了为什么在GLC和GLPC模式中目光凝视时间没有缩短。在少数情况下，解锁机制确实有效避免了凝视时间被中断。例如，在GLC模式中，被试共输入2796字符，其中避免被打断84次；在GLPC模式中，共输入2870字符，避免被打断93次。虽然使用更长的tunlock可以覆盖更多注视点离开目标的情况，但是这样可能会导致更多的输入错误和延长凝视时间。例如，将解锁时间tunlock设为150ms，凝视时间(600ms)和锁定时间(150ms)保持不变，因为解锁机制的存在，注视点只要在目标上停留超过450ms(600-150)就会触发点击该按键；并且由于视线光标的锁定是发生在150ms之后，所以当光标锁定在错误的目标上后，用户需要在300ms(450-150)内识别并做出反应，考虑到用户不可能时刻集中注意力，这一解锁反应时间通常是不够的。访谈结果也支持了这一推测，30％的被试报告400ms的解锁反应时偶尔还不够。因此如若要提供足够的解锁反应时间以减少错误输入，那么必须将更长的tunlock(150ms)和更长的凝视时间(700ms)相结合。但是就目前的实验结果来看，95％的被试认为600ms的凝视时间是足够的，所以本实验并没有采取更长的凝视时间。 4.2实时注视点呈现对任务的影响 虽然有无实时注视点未对任务绩效造成显著的影响，但是对视线转移时间产生了影响。具体表现为与NC相比，CC的视线转移时间显著下降。这一结果与冯成志等人(2004)的研究相符，视线光标的呈现会加速用户对目标字母的搜索与定位过程，进一步支持了Majaranta和(2002)的观点——眼动交互系统应该向用户呈现当前注视点位置的视线光标。呈现实时注视点光标不仅可以促进用户对目标的搜索与定位，更重要的是，对于那些视线不准确的用户而言，不呈现光标的不良影响很大——由于眼动仪检测到的注视点位置和实际的注视位置偏差较大，用户可能会经常错选目标，而当有了可见光标后，用户可以根据光标的位置来调整视线，从而减少输入错误。同时