人机交互技术1-人机交互概论和认知心理学

人机交互技术HumanComputerInteractionTechnology人机交互的概念人机交互（Human-ComputerInteraction，HCI）是关于设计、评价和实现供人们使用的交

互式计算机系统，且围绕这些方面的主要现象进行研究的科学（ACMSIGCHI，1992，第6页）广义上讲，人机交互以实现自然、高效、和谐的人机关系为目的，与之相关的理论和技术都在其研究范畴，是计算机科学，设计学，心理学，认知科学，社会学等学科的交叉学科。研究开发新的人机交互设备、技术和理论，以实现无处不在计算，ubiquitouscomputing，环境下的以用户为中心的交互式计算机系统，使其能够增强人的创造力，解放人类的大脑、改善人与人之间的交流与协作。狭义上讲，人机交互主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分。人们如何借助键盘、鼠标、操纵杆、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息。计算机如何通过打印机、绘图仪、显示器、头盔式显示器（HMD）、自由立体显示器，VR眼镜，音箱、力反馈等输出设备给人提供信息。Humantheend-userofaprogramtheothersintheorganizationComputerthemachinetheprogramrunsonInteractiontheusertellsthecomputerwhattheywantthecomputercommunicateswithresultsTheSystemTheUserInputOutput控制信息显示信息Human-ComputerInteraction(HCI)GoalsofHCIImproveproductivityandreducecoststhrough:Safety:Doesthesystempreventdanger?E.g.Nuclearpowerplant,AviationEngineeringFunctionality:Howmanythingscanthesystemdo?Efficiency:Howfewresourcesdoesittaketogetataskdone?Usability/Enjoyably:Howeasytolearnanduseisthesystem?BUTHighfunctionality(manywaysofdoingthesamething)canactuallyreduceusabilityCreateconfusionFiveKeyIdeasinHCIGoalAstatetheuserwantstoreachtobetalkingwithsomebodyonthephonetohavesavedafileVisibilityTipsControlneedstobevisibleGoodmappingwiththeireffectsSuggestfunctionalityTheUIshouldhelptheuseralwaysunderstand...ThecurrentstateofthesystemWhatoperationscanbedoneWindows…shutdownandupdate!E.g.Whenyoupositionthecursoroverapointonthescreen,itshouldbeclearwhatwouldhappenifyouclickedthemouseFeedbackWhenanythingchangesitshouldbemadevisibleWhenyoudeleteafile,thesystemshouldnotjustsay‘ready’Automobile---steeringandwheel!FiveKeyIdeasinHCIAffordance-功能可见性AtechnicaltermreferpropertyofobjectsThesetofoperationsandproceduresthatcanbedonetoanobject‘Perceivedaffordance’iswhattypicalusersthinkcanbedonetoanobjectShouldadoorbepulledorpushed?Whatdoesthisiconmean?Toimprovevisibility/feedbackweneedto:ChooseobjectswithgoodperceivedaffordanceDesigntheUItogeneratebetterperceivedaffordanceTaskAnactiontheuserwantstodotocallsomebodytosavethefileGoalsbegettasks,tasksbegetgoals.DisciplinesContributingtoHCICognitivepsychologyCapabilitiesandlimitationsofhumansensesandthoughtprocessesPeopletendtoselectcognitivestrategiesthatminimizescognitiveeffortsErgonomicsHardwareandsoftwareefficiencyofuseandsafetyLinguisticsSyntaxandsemanticsofcommandsSpeechI/OArtificialintelligenceSpeechI/OIntelligent‘guessing’whattheuserwantstodoKnowledgerepresentationsofusersandtasksSociologyandsocialpsychologyAssistingpeopletoworkingroupswithsoftwareEnsuringsoftwareworksindifferentculturesEngineeringandindustrialdesignDisciplinedmeasurement-basedapproachesEstheticsStoryboardingetc.人机交互与其他学科的关系人机交互与认知心理学、人机工程学、多媒体技术和虚拟现实与增强现实技术密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实与增强现实技术与人机交互技术相互交叉和渗透认知心理学（CognitivePsychology）研究人们如何获得外部世界信息，信息在人脑内如何表示并转化为知识，知识怎样存储又如何用来指导人们的注意和行为涉及心理活动的全部过程——从感觉到知觉、识别、注意、学习、记忆、概念的形成、思维、表象、回忆、语言、情绪和发展过程信息加工心理学是现代认知心理学的主流，用计算机信息处理过程来类比人的认知过程了解认知心理学原理可以指导人们进行人机交互界面设计，可用性、用户心理、用户行为人机工程学（Ergonomics）人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的交叉学科早期人机工程学是最活跃、最主要的分支硬件人机工程学

对人体能力、人体限制及其他与设计相关的人体特性信息的应用，以满足设计、分析、测试与评价、标准化，以及系统控制的要求软件人机工程学（SoftwareErgonomics）

研究软件和软件界面，侧重于运用和扩充软件工程的理论和原理，对软件人机界面进行分析、描述、设计和评估多媒体技术多媒体技术是指将文本、声音、图形、图像、视频等集成在一起的技术动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率多媒体带来的信息冗余性可消除人机通信过程中的歧义性及噪声目前多媒体技术的研究基本上限于信息的存储和传输方面，媒体理解和推理研究较少虚拟现实技术，VirtualReality,VR虚拟现实就是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。沉浸感（immersion）交互性（interaction）构想性（imagination）自然和谐的交互方式是虚拟现实技术的一个重要研究内容，其目的是使人能以声音、动作、表情等自然方式与虚拟世界中的对象进行交互最终要的三维交互虚拟现实技术三维交互设备：如立体眼镜、WorkBench、头盔式显示器、CAVE、柱形或球形立体显示器、立体音频输出设备；位置跟踪器、眼动跟踪器、三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆、数据手套；触觉和力反馈装置、可穿戴计算机等复杂场景的建模、实时高度真实感绘制等技术，也是虚拟现实非常重要的研究内容。虚拟现实为人机交互的研究提供了很好的契机和媒介增强现实技术AugmentedReality,AR增强现实技术融合了虚拟环境与真实环境，其在交互性与可视化方法方面开辟了一个崭新的领域；而虚拟现实使用虚拟环境取代了真实环境增强现实是把虚拟的信息立体化，在人的周围环境中再现出来，虚实结合，能够达到以假乱真的地步，完全给人逼真的感觉。在增强现实环境中交互是实时的。HCI的发展历史人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。它经历了几个阶段：图形用户界面自然和谐的交互命令行HCI的发展历史语言命令交互阶段计算机语言经历了由最初的机器语言，而后是汇编语言，直至高级语言的发展过程。这个过程也可以看作早期的人机交互的一个发展过程。HCI的发展历史图形用户界面（GUI）交互阶段图形用户界面（GraphicalUserInterface，GUI）的出现，使人机交互方式发生了巨大变化。GUI的主要特点是桌面隐喻、WIMP技术、直接操纵和“所见即所得”。与命令行界面相比，图形用户界面的人机交互自然性和效率都有较大的提高。图形用户界面很大程度上依赖于菜单选择和交互小组件（Widget）。图形用户界面给有经验的用户造成不方便，他们有时倾向使用命令键而不是选择菜单，且在输入信息时用户只能使用手这一种输入通道。图形用户界面需要占用较多的屏幕空间，并且难以表达和支持非空间性的抽象信息的交互。HCI的发展历史自然和谐的人机交互阶段随着虚拟现实、移动计算、无处不在计算等技术的飞速发展，自然和谐的人机交互方式得到了一定的发展。基于语音、手写体、姿势、视线跟踪、表情等输入手段的多通道交互是其主要特点，其目的是使人能以声音、动作、表情等自然方式进行交互操作。笔式交互设备语音交互设备视觉交互设备虚拟环境中的交互设备触觉交互设备课程目标基础了解人机交互的含义，人机交互的研究内容及发展趋势了解认知心理学、人机工程学在人机界面设计的作用，并在此基础上能够进行人机交互界面评价了解普遍流行的各种交互设备，包括文本输入设备、图像输入设备、指点输入设备，显示设备等理论了解人机交互的一些新技术，如语音、手写识别、图像理解，眼动跟踪等技术掌握人机交互的界面模型，如用户模型、任务模型、表现模型等学习热点和前沿研究领域的新技术，如立体视觉，增强现实，虚拟现实等研究课题的基本理论和要解决的关键问题技术-提升动手解决问题能力深度图像获取，点云编辑处理双目立体图像的处理，全景图像的生成方法基于多视点图像的三维重建技术……

第2章感知和认知基础本章课程目标了解人的感知模型掌握认知过程与交互设计原则掌握概念模型及对概念模型的认知了解分布式认知2.1人的感知认知心理学研究：人们如何获得外部世界信息，信息在人脑内如何表示并转化为知识，知识怎样存储又如何用来指导人们的注意和行为感知和认知人的感知即通过人体器官和组织进行人与外部世界的信息的交流和传递认知是人们在进行日常活动时发生于头脑中的事情，它涉及思维、记忆、学习、幻想、决策、看、读、写和交谈等

人的感知是认知的基础，认知是将感知获取的信息综合运用认知分为经验认知和思维认知认知过程是相互联系的，单纯的一个认知过程是非常少见的1.感知通道五种基本感知的绝对阈限:“视觉:在黑暗而空气清新的夜晚,人们可以看到30英里(48000千米)外的一只烛光(1英里≈1.6千米);听觉:在安静的环境中,人能够听到20英尺远处的手表滴答声(1英尺=0.3米);嗅觉:人能嗅到1公升空气中散布的1/10万毫克的人造麝香的气味;味觉:人可尝出9升水中放一茶匙糖的甜味;触觉:人可感到蜂蜜翅膀距脸颊1厘米处落下。视觉感知视觉是人与周围世界发生联系的最重要的感觉通道。外界80%的信息都是通过视觉得到的，因此视觉显示是人机交互系统中用的最多的人机界面。视觉感知可以分为两个阶段：受到外部刺激接收信息阶段和解释信息阶段。视觉感知特点：一方面，眼睛和视觉系统的物理特性决定了人类无法看到某些事物；另一方面，视觉系统进行解释处理信息时可对不完全信息发挥一定的想象力。进行人机交互设计需要清楚这两个阶段及其影响，了解人类真正能够看到的信息。

眼睛的构造视觉活动始于光，眼睛接收光线，转化为电信号。光能够被物体反射，并在眼睛的后部成像。眼睛的神经末梢将它转化为电信号，传递给大脑。视干细胞和视锥细胞的功能区别视网膜由视细胞组成，视细胞分为视干细胞和视锥细胞两种。它们是接收信息的主要细胞。视干细胞视锥细胞在低水平照明时（如夜间）起作用在高水平照明时（如白天）起作用区别黑白区别彩色对光谱中绿色部分最敏感，在远离视网膜中心处最多对光谱中黄色部分最敏感，在视网膜中部最多对极弱的刺激敏感主要在识别空间位置和要求敏锐地看物体时起作用视角和视敏度

视角视敏度：指人眼对细节的感知能力，通常用被辨别物体最小间距所对应的视角的倒数表示。通常将能分辨出视角1′的视敏度定为1.0。一般人能够在2m的距离分辨2mm-20mm的间距，为我们设计界面时字符大小和间距提供了依据。感知物体大小、相对距离和深度利用视觉影像中的线索：覆盖关系：被覆盖的物体相对较远；大小比例：一般来讲，较大的物体距离较近；对物体的熟悉度：对非常熟悉物体，人们对物体的大小在头脑中事先有一个期望和预测，因此在判断物体距离时很容易和他看到的物体的大小联系起来

感知亮度亮度是光线明亮程度的主观反映

增强亮度可以提高视敏度

随着亮度的增加，闪烁感也会增强。在高亮度时，光线变化低于50Hz，视觉系统就会感到闪烁在设计交互界面时，要考虑使用者对亮度和闪烁的感知，尽量避免使人疲劳的因素，创造一个舒适的交互环境。30感知色彩人能感觉到不同的颜色，这是眼睛接受不同波长的光的结果。

颜色通常用三种属性表示：色度、强度和饱和度。色度是由光的波长决定的，正常的眼睛可感受到的光谱波长为400μm-700μm。

颜色模型RGB颜色模型颜色模型CMYK颜色模型（减性原色系统）——主要用于印刷和显示器蓝=白-红-绿青=白-红绿=白-红-蓝黄=白-蓝黑=白-红-绿-蓝红=白-绿-蓝品红-白-绿CMYK原色的减色效果颜色模型

HSV颜色模型HSV是指Hue(色相)、Saturation(饱和度)和Value(值或明度)。设想从RGB沿立方体对角线的白色顶点向黑色顶点观察，就可以看到立方体的六边形外形。六边形边界表示色彩，水平轴表示纯度，明度沿垂直轴测量。H参数表示色彩信息，即所处的光谱颜色的位置。该参数用一角度量来表示，红、绿、蓝分别相隔120度。互补色分别相差180度。

纯度S为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。S=0时，只有灰度。

V表示色彩的明亮程度，范围从0到1。有一点要注意：它和光强度之间并没有直接的联系。颜色模型颜色模型Lab颜色空间用L来近似人类对亮度的感知a,b用来表示“红/绿”和“黄/蓝”通道视错觉

莱亚错觉厄任斯错觉视错觉背景错觉视错觉视错觉camouflageimage/~niloy/research/camouflage/camouflage_images_sig_10.html视错觉物体的组合方式将影响观察者的感知方式：人们总会夸大水平线而缩短垂直线。视错觉同样会影响到显示页面的对称性。人们经常把对称页面的中心看得稍微偏上些，如果页面以实际中心为基准排版设计，人们就会感到页面上部比下部分要短，影响视觉效果。在实际设计过程中，设计者就会以视觉中心为基准设计图形界面。听觉听觉感知传递的信息仅次于视觉，可人们一般都低估了这些信息。人的听觉可以感知大量的信息，但被视觉关注掩盖了许多。听觉所涉及的问题和视觉一样，即接受刺激，把它的特性转化为神经兴奋，并对信息进行加工，然后传递到大脑。声音的处理声波在空气中的振动传播的特性音调与声波的频率有关，低频能产生低调的声音，高频能产生高调的声音。响度指在频率一定的情况下声波的振幅。音色与发声的材料有关，不同的乐器可以产生相同频率和振幅的声波，但音色不同。人类能够听到频率在20Hz~20kHz之间的声音，其中在1000Hz~4000Hz范围内听觉的感受性最高。500Hz以下和5000Hz以上的声音，强度很大时才能被听到。响度超过140dB（分贝）时，所引起的不再是听觉而是痛觉。人可以辨认的语音频率范围是260~5600Hz。声音的解释听觉系统把输入分为三类：噪声和可以忽略的不重要的声音；被赋予意义的非语言声音，如动物的叫声；用来组成语言的有意义的声音。听觉系统就像视觉系统一样，利用以前的经验来解释输入。LindsayPH和NormanDA的“材料-驱动”（Data-Driven）和“概念-驱动”（Conceptually-Driven）过程。材料-驱动指的是对言语材料在感知水平上进行的加工过程，它是由下而上的分析过程。概念-驱动则是在理解水平上进行的加工过程，它是由上而下（从最高的结构概念开始）的分析过程。人类听觉系统对声音的解释可帮助设计人机交互界面中的语音界面触觉Touch或者Hapticperception触觉在交互中的作用是不可低估的，尤其对有能力缺陷的人，如盲人，是至关重要的触觉的感知机理与视觉和听觉的最大不同在于它的非局部性温度感受器-冷热伤害感受器-疼痛机械刺激感受器-压力实验表明，人的手指的触觉敏感度是前臂的触觉敏感度的10倍。对人身体各部位触觉敏感程度的了解有助于基于触觉的交互设备的设计。动觉的概念：对人的躯干和四肢的位置的感觉，主要由于人的关节处的感受器。

2.2认知过程与交互设计原则认知是人们在进行日常活动时发生于头脑中的事情，它涉及认知处理，如思维、记忆、学习、幻想、决策、看、读、写和交谈等。Norman把认知划分为两个模式经验认知：有效、轻松地观察、操作和响应周围的事件，它要求具备某些专门知识并达到一定的熟练程度，如使用Word字处理系统编辑文档等。思维认知：涉及思考、比较和决策，是发明创造的来源，如设计创作等。常见认知过程感知和识别人们可以使用感官从环境中获取信息，并把它转变为对物品、事件、声音和味觉的体验。注意注意通常是指选择性注意，即注意是有选择的加工某些刺激而忽视其他刺激的倾向。记忆记忆就是回忆各种知识以便采取适当的行动。常见认知过程问题解决问题解决是由一定的情景引起的，按照一定的目标，应用各种认知活动、技能等，经过一系列的思维操作，使问题得以解决的过程。语言处理阅读、说话和聆听这三种形式的语言处理具有一些相同和不同的属性。相似性之一是，不论用哪一种形式表示，句子或短语的意思是相同的。但是，人们对阅读、说话和聆听的难易有不同的体会。影响认知的因素情感情感因素会影响人的感知和认知能力。如积极的情感会使人的思考更有创造性、解决复杂问题的能力更强，而消极的情感使人的思考更加片面，还会影响其他方面的感知和认知能力。人的个性差异个性差异可能是长期的，如性别、体力和智力水平；也可能是短期的，如压力和情感因素对人的影响；还可能是随时间变化的，如人的年龄等。注意注意就是在某个时刻，从众多可能的事物中选择一个，并把精力集中在这个事物上。

注意的不同类型视觉关注听觉关注注意相关的因素目标信息的表示形式信息表示方法信息的显示方式对于人们能否快速捕捉到所需的信息片断有很大的影响。分类显示的信息就比较便于人们查找。感知和识别在结合不同的媒体时，应确保用户能够理解它们表示的复合信息。在结合使用声音和动画时，需要仔细协调，合理安排它们的调用次序。在设计虚拟人物时，就应该使其唇形与所说的话同步，两者之间的微小延迟都会使人难以忍受，这类似于给外文电影配音。用户应能不费力地区别图标或其他图形表示的不同含义。声音应足够响亮而且可辨识，以便用户理解它们的含义。用户应能够理解输出的语音及其含义。文字应清晰易读，且不受背景干扰如可以在黑色或蓝色背景上使用黄色文字，但不能在白色或绿色背景上使用黄色文字。在虚拟环境中使用触觉反馈时，用户应能识别各种触觉表示的含义。例如“紧握”的触感与“按下”的触感不同。

记忆

记忆就是回忆各种知识以便采取适当的行动。记忆过程中有三个环节：识记：相当于信息的输入和编码过程，也就是使不同感官输入的信息，经过编码而成为头脑可接受的形式；保持：相当于信息的贮存，即信息在头脑中被再加工整理，使其成为有序地组织结构，以便贮存；再认和回忆：再认和回忆相当于信息的提取，编码越完善、组织越有序，提取也就越容易，反之，提取越困难。

减轻记忆负担人的识别能力大于回忆能力图文界面替代命令界面安装过程的wizard回忆提示密码的提示语句2.3概念模型及对概念模型的认知概念模型：指的是一种用户能够理解的系统描述，它使用一组集成的构思和概念，描述系统做什么、如何运作、外观如何等。设计概念模型的关键过程应包括如下两个阶段：了解用户在执行日常任务时做什么；选择交互方式，是主动式的提问方式，还是被动式的填表进行检索方式；并决定采用何种交互形式。有关交互方式的决策与有关交互形式的决策是不相同的。前者是更高层次的抽象，它关心的是要支持的用户活动的本质，而后者关心的是特殊的界面类型。对概念模型的认知一个系统能够做到让用户感到满意，除了在设计开始阶段建立一个好的概念模型以外，还应该考虑如何根据人的认知特点，提供多种手段，使用户能尽快理解关于系统外观及行为即概念模型的构思，这是一个非常基本的问题。三个相互联系的概念模型设计模型——设计师设想的模型，说明系统如何运作。系统映像——系统实际上如何运作。用户模型——用户如何理解系统的运作。几种认知概念框架从人们不同的认知特点，讨论用户如何理解系统概念模型，它们是：思维模型信息处理模型外部认知模型思维模型用户思维模型：人们在学习和使用系统的过程中，积累了有关如何使用系统的知识，而且在一定程度上，也积累了有关系统如何工作的知识。在认知心理学中，思维模型被认为是外部世界的某些因素在人脑中的反映，掌握和运用思维模型使得人们能够进行推测和推理。思维模型牵涉到两个过程—“构建”和“运用”过程，人们既可能进行有意识的思维处理，也可能进行无意识的思维处理。正确的思维模型的建立在理想情况下，用户开发的思维模型应与设计人员开发的概念模型相符，如何帮助用户达到这个目标是一个非常关键的问题。一个交互式系统在设计时，应该开发一个易于用户理解的系统映像，应该做到及时响应用户的输入并给出有用的反馈；提供易于理解的、直观的反馈信息。此外，一个好的交互系统还需要提供正确的信息类型以及正确的信息层次，以针对不同层次的用户，提供不同层次的系统透明度。这方面包括：有条理的