《智能交互技术与应用》课件-第2章 感知认知和交互技术

感知认知和交互技术《智能交互技术》第2章2.1知觉和认知——（1）知觉和认知概述感觉人脑对直接作用于感觉器官的客观事物的个别属性的反映知觉人脑对直接作用于感觉器官的客观事物的整体属性的反映感知+感知感觉人脑对直接作用于感觉器官的客观事物的个别属性的反映知觉人脑对直接作用于感觉器官的客观事物的整体属性的反映感知感觉人脑对直接作用于感觉器官的客观事物的个别属性的反映知觉人脑对直接作用于感觉器官的客观事物的整体属性的反映感知感知人的感知是人们了解外部世界的渠道，也是一切复杂心理活动的基础和前提。比如驾驶员对汽车的“车感”、“路感”，就是通过对身体周围环境的刺激产生的。敏感程度不同的人，反应行为也会有所不同。人们获得知识或应用知识的过程，或信息加工的过程，这是人的最基本的心理过程。它包括感觉、知觉、记忆、思维、想像和语言等。认知知觉认知人们获得知识或应用知识的过程，或信息加工的过程，这是人的最基本的心理过程。它包括感觉、知觉、记忆、思维、想像和语言等。抽象运作和提升提供基础知觉和认知感官与交互体验交互体验是指用户在操作产品时的感受，即用户和产品之间发生信息交流过程的体验，需要对场景和在此场景下用户的动向进行全面了解。感知认知贯穿整个交互过程感知界面视觉、听觉输入理解功能记忆与匹配做出决策分析与判断执行操作反馈与操作感知系统用户体验的入口视觉、听觉、触觉认知系统信息加工处理器记忆、决策、推理感知反馈循环感知是信息输入，认知是处理过程，两者贯穿整个交互循环知觉是在当客观事物直接作用于人的感觉器官时，人不仅能反映该事物的个别属性，而且能够通过各种感觉器官的协同活动，在大脑中根据事物的各种属性，按其相互间的联系或关系整合成事物的整体，从而形成该事物的完整映像。知觉是纯心理性的知觉的特性认知负荷知觉的选择性在特定时间内，人只能感受少量或少数刺激，被选为知觉内容的事物称为对象，其他衬托对象的事物称为背景。某事物一旦被选为知觉对象，就立即从背景中突现出来，被认识得更鲜明、更清晰。观察者采取的角度或选取的焦点不同，可能产生截然不同的知觉知觉的整体性知觉的整体性指人根据自己的知识经验把直接作用于感官的客观事物多种属性整合为统一整体的组织加工过程。整体性可使人们在感知不熟悉的对象时，倾向于把它感知为具有一定构成意义的整体。知觉的整体性知觉的整体性知觉的理解性当一个知觉对象出现在人们面前，人们用以往所获得的知识经验来理解这个对象，将它归于经验中的某一类事物，以便对知觉的对象做出最佳解释、说明当前的知觉对象的特征称为知觉的理解性。这是什么字?这是什么字?这是什么字?图中是什么?图中是什么?面对同一事物，大家得到的结论不一致，就是知觉的理解性。大家得到的结论一致，就是知觉的整体性。看到电影海报，大人关注的是海报上的文本，小孩儿关注的是海报上的照片。看到一幅画，小孩看到的画面上人物的形象，大人看到的是人物背后的关系。做完型填空时，结合上下文及已有知识填空。做阅读理解时，结合上下文及已有知识猜测词义。一个人换了衣服和发型，我们还是能认出这个人。士兵在战场上穿迷彩服以达到隐蔽的效果。上课时老师会在课件上用不同的字体、字号、颜色标注出本堂课的重点知识，让同学们能够很好地掌握这些重点知识知觉的选择性当熟悉的旋律响起人们能够很快说出歌曲的名字知觉的整体性看完一段公益广告，有人读出了善良的意义，有人读出了信念的力量，也有人读出了创新的重要知觉的理解性请问盘碟的方向?朝上还是朝下？知觉的恒常性在不同的角度、不同的距离、不同明暗度的情境之下，观察某一熟知物体时，虽然该物体的物理特征可能因受环境影响有所改变，但我们对物体特征有知觉经验，就倾向于保持其原样不变的心理作用。外在刺激受环境影响使其特征虽发生改变，但在知觉经验上却维持不变。知觉的恒常性在不同的角度、不同的距离、不同明暗度的情境之下，观察某一熟知物体时，虽然该物体的物理特征可能因受环境影响有所改变，但我们对物体特征有知觉经验，就倾向于保持其原样不变的心理作用。外在刺激受环境影响使其特征虽发生改变，但在知觉经验上却维持不变。顺时针：右脑逆时针：左脑裙子颜色裙子颜色裙子颜色裙子颜色颜色恒常性知觉的恒常性颜色恒常性哪个怪物更大？真实照片真实照片真实照片二、人类感知系统与多模态交互刺激及感觉反应感觉种类感觉器官适宜刺激刺激来源识别特征视觉眼光外部形状、大小、位置、远近、色彩、明暗、运动方向等听觉耳声外部声音的高低、强弱、方向和远近嗅觉鼻挥发和飞散的物质外部香气、臭气、辣气味觉舌被唾液溶解的物质表面接触酸甜苦辣咸等皮肤感觉皮肤及皮下组织物理或化学物质对皮肤作用直接或间接接触触觉、痛觉、温度觉、压觉深度运动

与

内脏感觉肌体神经及关节外部物质对躯体的作用外部和内部撞击、重力、抗衡、姿势等平衡感觉前庭器官运动和位置变化外部和内部旋转运动、直线运动等视觉交互视觉是人与周围事物发生联系最重要的感觉通道，人获取外部世界信息时80%以上来自于视觉。带宽最大的感官通道（~10^7bits/s）视锥细胞与视杆细胞的分工（颜色vs亮度、中央视野vs周边视野）中央凹效应：视敏度在视野中心最高，向周边迅速下降视干细胞和视锥细胞功能区别视干细胞视锥细胞在低水平照明时（如夜间）起作用在高水平照明时（如白天）起作用区别黑白区别彩色对光谱中绿色部分最敏感，在远离视网膜中心处最多对光谱中黄色部分最敏感，在视网膜中部最多对极弱的刺激敏感主要在识别空间位置和要求敏锐地看物体时起作用

视觉体验视觉是人与周围事物发生联系最重要的感觉通道，人获取外部世界信息时80%以上来自于视觉。视角颜色为什么三基色是红、绿、蓝？颜色为什么三基色是红、绿、蓝？颜色视觉感知分为两个阶段受到外部刺激接收信息阶段解释信息阶段。视觉感知的特点眼睛和视觉系统的物理特性决定了人类无法看到某些事物；视觉系统进行解释处理信息时可对不完全信息发挥一定的想象力。视觉体验悬浮球绿灯？听觉交互听觉是仅次于视觉的重要感觉，其适宜的刺激是声音。设计中加入听觉设计可以丰富消费者对产品整体的感受，增加其体验的层次感。适当的声音可以成为很好的反馈信息，让用户准确地把握操作状态，增加对产品的信任度，例如点击鼠标时的喀嚓声、敲打键盘的噼啪声等。人类能够听到频率在20Hz~20kHz之间的声音，其中在1000Hz~4000Hz范围内听觉的感受性最高。500Hz以下和5000Hz以上的声音，强度很大时才能被听到。音频超过140dB时，所引起的不再是听觉而是痛觉。人可以辨认的语音频率范围是260~5600Hz。听觉体验听觉体验什么发音？听觉系统把输入分为三类：噪声和可以忽略的不重要的声音；被赋予意义的非语言声音，如动物的叫声；用来组成语言的有意义的声音。听觉系统就像视觉系统一样，利用以前的经验来解释输入。

声音的解释触觉交互触觉接收并对刺激做出反应的速度几乎和听觉一样快，而且在很多时候要比视觉更快。在产品设计中，合理的利用触觉

除了可以提高人的效率之外，还

能带给用户特殊的感官体验。这

一点对于盲人以及生理机能下降

的老年人来说尤为重要。嗅觉交互VR设备Nosulus

Rift嗅觉作为人体对外界气味的接收器，能给人以特殊的感官体验，它所带来的情感反应是其他任何一种感觉所不能替代的。味觉交互味觉在设计中的应用相对较少，因为只能放入口中才能感受得到，但人的各种感官都是相通的，它们之间必有相辅相成的作用存在，特别是在包装和食品的相关产品设计中，味觉设计会给用户一种特有的愉悦与体验。情感体验基于情感体验的产品设计，注重以某种设计方法激发用户的内在情绪，使其与产品在情感上达到共鸣。设计师们要努力提升虚拟世界的机器情感，进行界面交互设计、声音的录制、互动效果的制作等更多的是要去注重用户的情感体验，用户希望产品的形式美带给他们更多的是情感的交互，而并非转瞬即逝的视觉感受。思考体验和行动体验基于思考体验的产品设计，是通过某种创意引起用户的兴趣，对问题进行分析、思考，从而创造认知和解决问题的体验。基于行动体验的产品设计，以用户参与的方式使其与产品之间进行互动，丰富他们的生活。多模态交互优势选择与融合策略任务匹配原则：根据任务性质选择合适模态认知负荷分配：跨模态分散注意力资源多模态协同：确保跨模态信息一致性信息冗余：提高可靠性和易用性模态互补：弥补单一模态的局限（如驾驶时视觉+声音）适应性：满足不同场景和用户需求认知过程认知过程是人对客观世界的认识和观察过程，包括感觉、知觉、注意、记忆、思维、语言等生理和心理活动。人类认识世界首先是从知觉和感觉开始。人们感知事物时需要以注意为前提，并从众多信息中将有用的信息筛检过滤，储存到记忆系统，继而形成表象和概念。人在认识事物时会联系和抽象这些事物的内外部规律，其认识靠思维过程来进行认知过程人对外部世界的认知过程，本质上是一个多传感信息的融合过程。人脑通过对多通道信息的相互监督完成学习，从而获得对外部事物的知识；通过对多传感信息的融合，实现对目标的识别与理解；并可以根据已有知识对各传感器实行控制。人类认知的三种基本过程问题解决采用启发式、手段-目的分析和计划过程法。模式识别能力人要建立事物的模式，就必须认识各元素之间的关系。学习学习就是获取信息并将其贮存起来，便于以后使用。2.2输入/输出设备大家耳熟能详的智能交互硬件产品有MicrosoftKinect、GoogleGlass、SamsungGear、FitBitCharge等大家耳熟能详的智能交互硬件产品有MicrosoftKinect、GoogleGlass、SamsungGear、FitBitCharge等输入/输出设备人机交互从本质上讲，是为了减轻人的认知负荷，增强人类的感觉通道和动作通道的能力。输入/输出设备从输入和输出来描述，输入依赖于硬件的发展。输出设备以视觉为主：智能手机、电视等，都需要用户眼睛去看。智能音箱语音交互智能音箱是近年来比较热门的方向，市面出现了大量同类产品。当然，目前智能音箱也存在着一些影响体验的问题。不过，随着硬件及软件慢慢的迭代下去，体验一定会越来越好。类Kinect/FaceID交互微软的Kinect可以捕捉到你肢体（包括头部面部）的动作并和设备产生实时交互，苹果推出的FaceID技术也与之相类似，获得改良后更好的交互体验。AR/手势/投影交互AR增强现实技术可以实时地在现实环境中渲染虚拟数字信息，通过现实和虚拟的结合来帮助用户完成某项任务和活动。AR中的虚拟数字信息通过与现实环境以及用户的实时互动来向用户传递有价值的信息。AR可支持更加丰富的三维层面的交互方式；这种方式不再仅限于主动式的交互（点击，滑动）方式，它还包括用户行为的被动触发。云技术/大数据比如亚马逊的AWS(AmazonWebServices)，可以提供最专业的大数据和云计算服务以及云解决方案。大数据例如国内阿里、腾讯都投入了不少的资源，显示出了大数据的重要性。2.3交互技术交互方式的变化不仅为我们带来新的体验，而且改变了人机之间的关系。交互方式主要交互方式数据交互是指用户与产品之间，用户输入信息为数字、数值或文本。直接输入可允许输入精确的数值，输入灵活，但容易出错因而对重要的数据需要系统进行正确性判定，或者用户确认。选择性输入多采用菜单形式，用户可根据列出的菜单项进行直接选择，或输入菜单项的序号。用户没有记忆负担，且不易出错。信息读入信息读入需要专用的信息读入设备，从电子标签、条形码或电子芯片或磁卡中义读入预置其中的信息，如产品编码，标识等。数据交互图像交互图像交互是通过图像来传递信息，多用于图形用户界面。对于用户来说，主要通过界面表达或输出图形所传达的意义来正确识别产品，以确定后续的交互动作或行为。图像交互分类图像输入：通过扫描、图片文件或现场采集等方式获得图像信息，以便于存储、检索和输出。图像识别：对静态图像进行分析、理解和处理，识别图像中感兴趣的目标和对象。图像感知：利用图像传感器输入（采集）图像或视频，通过一定的数学模型和算法，理解实时图像的特征点或特征区域。谷歌的猜画小歌动作交互通过动作来传递信息的交互形式称为动作交互或行为交互。应用于游戏类产品，提高了游戏的娱乐性、参与性与互动性，使人的交互行为更贴近于自然方式。动作交互大致包括

接触式/非接触式二维动作识别，和接触/非接触式三维动作识别多点触控交互技术多点触控（Multitouch或Multi-Touch）是采用人机交互技术与硬件设备共同实现的技术，能在没有传统输入设备下，通过一个触摸屏或触控板，能够同时接受来自屏幕上多个点进行计算机的人机交互操作。多点触控的交互方式，向现实中的双手操纵方式有效地靠拢，与人机用户界面的自然化发展方向相一致。语音交互技术语音交互是以“说话”的方式来实现用户与产品之间的信息交流，是一种自然的、流畅的、方便快捷的信息交流方式。语音输入：利用声音传感器接受音频信息，把模拟的语音信号转换为数字语音信号。语音识别（AutomaticSpeechRecognition，ASR）：把语音信号转变为相应的文本或命令。语音合成(TexttoSpeech，TTS)：是将文字信息实时转化为标准流畅的语音。汽车上所有的功能都需要满足“安全”这个前提2.4基于感知技术的人车交互自动驾驶分级L0：完全的人驾🚗在L0级别，车辆完全没有自主控制能力，只能提供一些基本的警报功能。也就是说，所有的驾驶操作都需要司机来完成。L1：解放双脚🚦L1级别可以让车辆在特定情况下自主控制速度，不需要司机踩油门和刹车。这样司机可以稍微放松一下双脚。L2：解放双手🚗💨L2级别更进一步，车辆可以在特定情况下自主控制方向，保持在车道中间，不需要司机手握方向盘。此外，车辆还具备自动变道的能力。自动驾驶分级L3：解放双眼👀L3级别可以实现大部分情况下的点到点自动驾驶，但在特殊路况下需要人工介入。司机需要随时注意车辆是否提醒接管。L4：解放大脑🧠L4级别可以理解为“可以睡觉”。