基于多感官通道的人车交互系统探究.doc

基于多感官通道的人车交互系统探究 浙江大学张克俊杜稼淳宋雨珂 摘要：本文总结了前人检测驾驶情绪的方法，并以此为基础研究了一种基于多感官通道的人车交互系统VISI。文中利用摄像头、眼动仪、传感器等方式记录被试者的驾驶行为，比较其使用系统前后的驾驶行为差异，并基于此进行数据分析，对该系统在降低驾驶错误的有效性上进行评估。 关键词：驾驶人车交互情感监测多感官通道 ：U463.6 ：A ：1003-0069(xx)-06-0134-02 一研究目的 汽车为人们出行带来了极大的便利，然而因汽车驾驶而导致的交通安全事故也成为人们生活安全的一大隐患。如何提高汽车驾驶安全性、降低事故发生率已成为亟待解决的问题。 传统的信息表达方式以视觉化表达为主，但视觉表达有它的缺点，那就是人们必须时时用双眼搜集道路、交通的各种信息，关注车载信息显示屏，这将导致两个问题：一是精神疲劳，不利于安全驾驶；二是不利于人们观察其他信息。因此，信息表达方式的多样化在这里是必要的。除了视觉表达外，听觉、触觉、嗅觉等方式的引入，能使人们更轻松愉快地接收到汽车和道路等各类信息，减少信息以单方式出现所导致的厌烦情绪。 目前检测司机情绪行为或者疲劳程度的装置大多是接触式外加设备，需要司机进行额外佩戴，使用起来并不方便。能否设计出针对路怒症的车载简易检测装置，并检测它的有效性，也是本课题关注的问题之一。 二系统设计 经过调研，我们发现用户在驾驶过程中最主要的需求是“愉悦驾驶、减少驾驶过程中的烦躁情绪”“驾驶安全”“舒适驾驶，缓解驾驶疲劳”，以及“了解路况”。 分析后，我们认为以联觉为基础的人车交互系统可以极大地丰富汽车输出信息的方式，使人与车在一个相对平等的环境中进行交流，提高驾驶过程的安全性。 基于此我们设计了VISI人车交互系统。它的硬件部分由信息输入模块、分析处理模块、信息输出模块三部分组成。 信息输入模块包括车况检测部分、路况检测部分，以及皮肤电感应部分。路况检测部分用于检测后车身两侧与后方来车的距离。车况检测部分用于检测车辆的驾驶运行状况。皮肤电感应部分用于检测驾驶员的皮肤电信号并传输到相应的终端。分析处理模块在样机上是基于单片机完成的。信息输出模块总体上分为视觉输出模块、听觉输出模块、触觉输出模块三部分。视觉输出模块由抬头显示屏组成，把对应信息投影于车前玻璃上。听觉输出模块负责输出对应信息的语音提示。触觉输出模块通过方向盘两侧振动电机输出对应信息的振动提示。 VISI人车交互系统实验样机通过硬件部分输入模拟信号后，程序将输入的信号特隆与预设的阈值相比较，得出是否需要提示驾驶员的结论，并通过单片机产生相应的电流输出来实现各提示功能。通过程序可实现导航、车况检测、附近车辆陕速靠近提示、超速提醒、驾驶情感调节等功能。（图1） 三实验研究 眼动实验 尽管VISI已经涉及了多通道信息输入，加入了听觉、触觉反馈，但是视觉交互仍是必要的。我们希望让驾驶者在行驶过程中尽可能将注意力集中，并在系统发出警示时尽陕注意到抬头显示屏上的警告信号。为了理想的效果，许多设计细节值得注意。 在颜色搭配方面，低饱和度的调色板、明亮的浅色更易让人联想到简洁、时尚，且更平易近人塞正是我们想要达成的设计目标，一个温暖的、平易近人的界面设计。过多的颜色可能会让驾驶者面对过多不必要的信息。我们利用颜色来区分不同的信息模块，比如，用橘黄色代表警告式样，白色代表正常状态。用颜色区分模块甚至能帮助用户加强对于界面信息的理解。 通过眼动仪及其视觉跟踪技术，我们在本实验中全程实时记录被试验者浏览素材界面（各组实验合不同的自变量）时的视觉轨迹移动情况，了解用户在注视驾驶室空间时感兴趣或注意的空间位置及其注意力的转移过程，以此测试界面中各要素的排版设置是否合理。 我们的实验目的有三个：测试有无警示（有警示、无警示）与界面可视性的关系；测试不同颜色（白色、橘色）的HMI与界面可视性的关系；测试不同位置（左侧、中间、右侧）的HMI与界面可视性的关系。实验步骤为：选定界面素材，定义目标被试；设计实验，实验程序部署；实施实验，数据采集；数据分析与解读。 在实验中，我们以被试者的注视频率衡量其对某区域的关注程度。 对于有无警示的测试显示，被试者在“有警示”时对前方区域及HMI区域的注视频率高于“无警示”时注视频率。且根据眼动仪记录的视频分析可知，每当“警示”信息出现时，被试者视线首先锁定到界面上的警示信息，其次才注意到行驶速度、导航方向等消息。即当警示信息出现时，被试者能更快地注意到HMI区域的变化，并将更多的注意力集中到前方区域上。此外，值得注意的是，在“有警示”的情况下，被试者对于车内区域的关注频次明显下降，对HMI的关注频次较“无警示”时提升了13.6%。这证明，警示交互界面设计是成功的。 对于颜色的测试显示，当HMI为“橘色”时，被试者给予前方区域（包括HMI区域）更多注意，即橘色的HMI更容易在短时间内引起驾驶员的注意。被试者对橘色界面中前方注视区域的注视频率约为86.7%，高于“白色”时7.3%；其中对HMI的注视频率约为54.5%，与对白色界面中HMI注视频率基本持平。 对于不同位置的测试显示，当HMI在左侧时，最易引起被试者的注意，此时前方区域除HMI外获得被试者的注意频率也为最高(40.9%)。总体而言，当HMI设计在最左边时，被试者给予前方区域最多的注意，界面设计效果最佳。 对于视觉化界面，我们的结论是：有警示时驾驶员更易将注意力集中于前方区域；采用橘色设计的HMI比白色设计的可见性更好；当HMI设置在界面左侧时，比设置在中间、右侧时的可见性更好。 因此在设计VISI系统的交互界面时，我们采用橘色代表警告式样，并将HMI置于界面左侧。（图2） 驾驶行为实验 实验设备采嗣i:i模拟驾驶空间。为了模仿驾驶中的视角感觉，采用在前方较远（3米）处投影的方法投射模拟驾驶空间的界面。为了更好地记录被试者的行为模式，获取更多的参数，在获得被试者同意的前提下，我们在被试者的前上方设置了微型摄像头，在其后方设置了微单作驾驶行为记录摄影用。 测试方案为：让被试验者先进行一次30分钟的模拟驾驶。驾驶条件为“城市道路，晴天，多车”。在驾驶中每隔5分钟回答一组5个20以内加减法问题，记录其正确率与反应速度，以检查用户对外界信息的反应力以及干扰。随后把VISI系统安装到模拟驾驶空间中，再让各个被试者在相同条件下进行时长为30分钟的模拟驾驶。在驾驶过程中也进行简单的加减法提问。在实验中所得的全部录像数据在实验后将进行统一的分析处理。 在方向盘上安装VISI的电路系统。每次测试前都会为被试者介绍VISI系统各功能。在被试者充分熟悉VISI统之后进行实验。 通过以上的记录方式，我们以一分钟为一个区间，在每次实验中记录被试者在30个区间内的表现，并采集以下10个指标作为量化被试者的驾驶行为的10个维度，分别是： 眨眼次数：用户每分钟的眨眼次数。 皱眉次数：用户每分钟的皱眉次数。 眼动次数：用户每分钟眼珠突然移动的次数。此动作表明用户注意力被突然出现的状况吸引。 驾驶错误：除对照组实验中发现的由模拟驾驶固有问题导致的驾驶错误外，用户所有的驾驶错误，如越过双黄线、撞车、熄火等等。记录用户每分钟内的驾驶错误个数。 语言行为：用户每分钟讲话的多少。0表示没有讲话，5为最高值。 身体动作幅度：用户每分钟内表现出的肢体动作幅度。1为基准分，5为最高值。 情绪行为：用户每分钟内表现出的整体情绪状态评分。1为基准分，5为最高值。 正确次数：用户在每五分钟的数学问题测试中回答正确次数。数学问题测试共有7次，每次包含5个问题。 干扰错误：用户在每五分钟的数学问题测试中因为回答问题分心而导致的驾驶意外。 反应速度：用户在回答数学题的反应速度，以010评分。 对应于每个被试者，我们可以收集2个lOx30的矩阵（对照组、实验组），每个矩阵定义为该被试者在此次实验中的行为矩阵。 首先分析系统对减缓疲劳度的影响。采用K-means方法聚类计算眨眼次数、皱眉次数、眼睛上下左右移动次数，将30个分钟数聚成两类，通过均值比较两聚类的驾驶错误建立疲劳行为矩阵。最后通过T值检验检测系统显著性。我们以驾驶错误率衡量驾驶员在驾驶过程中的疲劳程度。对照组和实验组的驾驶错误数进行T值检验。 通过对比，发现对照组与实验组错误次数的平均差异，相差了0.69次分钟；T值为2.830，R检验统计量观测值对应的双尾概率P-值0.009，接近于O。如果显著性水平为0.05，由于概率P值小于显著性水平，应拒绝零假设，意味着对照组与实验组的犯错次数平均值存在显著差异。 因此，我们认为对于被试者，VISI系统在降低驾驶犯错行为次数上有明显作用，即对缓解疲劳有明显作用。 分析安装系统前后驾驶员行为矩阵的变化。用归一化法和多元线性回归法分析得出VISI系统的行为影响矩阵。再额外加入新的被试验者，将该新被试验者的实验数据与通过数学分析方法得到的预测结果进行比较，验证归一化法、多元线性回归法分析的有效性及VISI系统对于改变驾驶员行为模式的有效性。 归一法得到预测行为矩阵与实际行为矩阵相关系数为0.4的结论，说明通过归一法得到的行为影响矩阵有较高的参考价值。而对照组与实验组的多元线性回归预测能成功预测几个峰值，说明多元线性回归能较好的拟合本系统的驾驶行为趋势。结合前面的t值检验以及均值分析等手段可以看出VISI系统大大改变了驾驶员的行为模式，使其驾驶行为更加谨慎、出错率降低。（图3） 四总结与展望 本文主要阐述了以联觉为基础的新型智能人车交互系统（VISI人车交互系统），所完成的工作及取得的研究成果主