第二章-视觉感知与视觉通道(感知与认知)ppt课件

1、视觉感知与认知,主讲人： 刘天亮 TEL:南京邮电大学图像处理与图像通信江苏省重点实验室,大纲,视觉感知 认知 视觉通道* 色彩,2.1.1 感知与认知的定义,Visualization is really about external cognition, that is, how resources outside the mind can be used to boost the cognitive capabilities of the mind.,Stuart Card,可视化致力于外部认知，也就是说，怎样利用大脑以外的资源来增强大脑本身的认知能力,感知：

2、关于输入信号的本质； 看见的东西 认知： 关于怎样理解和解释看到的东西,什么是认知,图中找动物：认知依赖于观察者的先验知识,Ranger Rick:, ca. 1980s Courtesy of Terry Yoo / Ross Whitacker,什么是视觉感知,是指客观事物通过人的感觉器官在人脑中形成的直接反映 眼、耳、鼻、神经末梢 就是客观事物通过人的视觉在人脑中形成的直接反映,视觉感知,感知 感觉器官 那么，视觉感知,认 知,认知心理学将 认知过程 看成由信息的获取、分析、归纳、解码、储存、概念形成、提取和使用等一系列阶段组成的按一定程序进行的信息加工系统 科学领域中，认知是包含注意力

3、、记忆、产生和理解语言、解决问题，以及进行决策的 心理过程 的组合,认 知,认知依赖于先验！这是一张脸吗,人脑先验地假设了这是一张脸，从而形成了一个bias（偏差、错觉） （实际生活中你可能已经看过billion量级的脸了,认 知,认知依赖于先验！这是一张脸吗,人脑先验地假设了这是一张脸，从而形成了一个bias（偏差、错觉） （实际生活中你可能已经看过billion量级的脸了,2.1.2 格式塔理论,Wolgang Khler 1887-1967,Kurt Koffka 1886-1941,Max Wertheimer 1880-1943,为什么我们在观看事物的时候会把一部分当做前景，其余部分

4、当做背景,为什么我们能区分形状,什么形状是好的,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity,格式塔（gestalt）原则,假设视觉感知是一个整体的过程并且人类倾向于感知简单的几何图形,空间距离上的相似性,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity,格式塔（

5、gestalt）原则,根据事物属性（形状、颜色、光照或其他性质） 上的相似性进行感知分组,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity,格式塔（gestalt）原则,很自然地沿着物体的边界， 将不连续的物体事物连续的整体,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplic

6、ity,格式塔（gestalt）原则,只要物体的形状足以表征物体本身， 就容易感知整个物体而忽视未闭合的特征,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity,格式塔（gestalt）原则,人类倾向于感知简单的几何图形,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 共势原则（common fate） 好图原则（similarity） 对称原则（symmetry） 经验原则（past experience,格式塔

7、（gestalt）原则,从一堆字符中认知语句,一组物体具有沿着相似的光滑路径运动趋势或 具有相似的排列模式时，将被识别为同一类物体,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接共势原则（common fate） 好图原则（similarity） 对称原则（symmetry） 经验原则（past experience,格式塔（gestalt）原则,对五环形状的两种识别。 上：奥运环；下:割裂的圆环,个体识别世界时，通常会消除复杂性和不熟悉性， 并采纳最简化的形式,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接共势原则（common fate） 好图原

8、则（similarity） 对称原则（symmetry） 经验原则（past experience,格式塔（gestalt）原则,按照男女将年龄分布数据对称排列，增强数据的可读性,结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接共势原则（common fate） 好图原则（similarity） 对称原则（symmetry） 经验原则（past experience,格式塔（gestalt）原则,某些情况下视觉感知与过去的经验有关,2.1.3 视觉感知的相对性&绝对性,感知系统基于相对判断，而非绝对判断(Webers Law,无线框 未对齐,有线框 未对齐,无线框,A和B那

9、一个更高,相对性&绝对性,感知系统基于相对判断，而非绝对判断(Webers Law,A和B哪一个更亮,视觉感知,视觉感知,相对性&绝对性,感知系统基于相对判断，而非绝对判断(Webers Law,A和B哪一个更亮,相对性&绝对性,感知系统基于相对判断，而非绝对判断(Webers Law,颜色,相对性&绝对性,感知系统基于相对判断，而非绝对判断(Webers Law,颜色,2.2 视觉通道,2.2.1 视觉通道的类型 2.2.2 视觉通道的表现力和有效性,2.2.1 视觉通道的类型,空间 标记 位置 尺寸 颜色 亮度 饱和度,色调 配色方案 透明度 方向 形状 纹理 动画,色 彩,光谱,什么是基

10、色,红绿蓝（RGB） 红黄蓝 橙，绿，紫罗兰 青，品红，黄，黑（CMYK） 以上所有,加色法系统（RGB,Green,Blue,Red,Cyan,Magenta,Yellow,减色法系统（CMYK,Magenta,Green,Blue,Red,Cyan,Yellow,Black,减色法系统（RYB,颜色空间,RGB颜色空间,可被显示器表达的颜色 感知上不均匀,C. Ware, “Visual Thinking for Design,HSL颜色空间,色调（Hue） 人类认为的颜色 饱和度（Saturation） 纯度，与灰色的距离 亮度（Lightness） 从黑色到亮色 感知上不均匀,C. W

11、are, “Visual Thinking for Design,非常适合用于编码分类的数据属性,亮度适合编码有序的数据,大块区域内（如背景），建议使用低饱和度的颜色填充； 小块区域建议使用更亮的饱和度高的颜色填充， 以保证其容易被用户辨识,Lab颜色空间,感知上均匀分布 L用来近似人类对亮度的感知 a, b用来近似“红/绿”和“黄/蓝”通道,Lab颜色空间,亮度、发光度,色 盲,色 盲,红色盲 （Protanope,绿色盲 （Deuteranope,蓝色盲 （Tritanope,无L锥形细胞,无M锥形细胞,无S锥形细胞,红/绿色盲,蓝/黄色盲,色盲,正常,红色盲,绿色盲,全色盲,Based

12、on slide from Stone,原图,绿色盲,Based on slide from Stone,Based on slide from Stone,2.2.2 视觉通道的特点,视觉通道的类型将决定可视化不同的数据是可能采用的视觉通道 定性的视觉通道，适合编码分类的数据信息； 例如，形状、颜色的色调或空间位置,2.2.2 视觉通道的特点,定量或定序的视觉通道，适合编码有序的或数值型的数据信息； 例如，直线长度、区域面积、空间体积、斜度、角度、颜色的饱和度和亮度,2.2.2 视觉通道的特点,分组的视觉通道，则适合将存在互相联系的分类的数据属性进行分组，从而表现数据的内在关联性。 分组通常

13、是指多个或多种标记的组合模式。 辨认分组最基本的通道是接近性，根据格式塔原则，人类的感知系统可以自动地将互相接近的对象理解为属于同一组,表现力和有效性,表现力和有效性，将指导可视化设计者如何挑选合适的视觉通道，实现对数据信息完整而具有目的性的展现。 表现力 视觉通道的表现力要求视觉通道准确编码数据包含的所有信息。即视觉通道在对数据进行编码的时候，需要尽量忠于原始数据 有效性 通道表现力符合属性的重要性,视觉通道的表现力判断标准,精确性：用于衡量人类感知系统对于可视化的判断结果和原始数据的吻合程度 可辨性：区分具有不同取值范围的视觉通道的两种或多种取值状态 可分离性： 视觉突出,对于可视化结果，

14、人们更倾向于优先阅读标题、文本、标签。 尽可能将标题置于左上角，并使文字说明尽可能接近对应的可视化结果,结论 1,观察物体的变化需要集中注意力,在可视化中突出变化，以减轻认知负担,结论,尽可能地扩大视觉要素间的差异以使它们更加清晰。 尽量少使用杂乱的纹理，它很容易将读者的注意力转移到纹理（所产生的大量边缘）上而忽略了视觉要素本身,人类视觉系统观察的是变化，而不是绝对值，并且容易被边界吸引,在不同物体间使用高对比度使得物体更容易区分,结论 2,使用“亮度”产生对比优先于使用“色彩,对比效果,西班牙的分区失业率增长率情况 使用亮度产生对比的优秀实例,对比效果,网格对于对比度的影响。左图是更好的方案

15、,对比效果,一个没有对比度、效果不好的实例,对比效果,图样的实例，突出重点,对比效果,缺少对比/重点,对比效果,重点突出，效果更好,对比效果,让用户的视线聚焦在可视化结果中最重要的部分。 提供给用户有层次的可视化结果，帮助用户找到正确的阅读可视化结果的方法,结论 2,视觉感知,人脑先验地假设了这里有一个圆，其实,记忆在人类认知过程中起着至关重要的因素，但工作记忆容量十分有限,可视化可以作为帮助增强工作记忆的工具,结论 1,扫 视,Ron Rensink 2002,实际上，我们获取周围的完整影像所依靠的则是扫视（saccades），它并受不人的主动控制。 依赖于眼球周期为20-100ms/次的移

16、动，我们可以获得10-50FPS的影像。 但如果我们想将注意力集中在某一事物上，这通常会消耗200-600ms，才能集中注意力,眼动（Eye tracking）实验,受试者观察这一图表，而眼动跟踪设备则尝试找出人眼注意的焦点,图中每一个圈代表着一次聚焦。圈的大小表示人眼聚焦在上面的时间长短。 颜色代表先后顺序（暖色调在前，冷色调在后,多个受试者的热力图,饼图的中心并不受注视,视觉焦点集中在：中心，标签，图例,有多少黑点,交叉点上的黑色圆点在跳跃变化,移动视点， 看到的黑色斑点位置也随之变化,对比,Shepards Rotated Table,人类视觉系统观察的是变化，而不是绝对值，并且容易被边

17、界吸引,在不同物体间使用高对比度使得物体更容易区分,结论,我们的视觉系统对差异而非绝对值更加敏感，更容易被差异较大的边缘吸引,眼见不为实,不可能的盒子,埃斯切爾的不可能的盒子： 比利时艺术家马瑟黑梅克，从荷兰平面造型艺术家M.C.的一幅画中吸取灵感，创造了一个不可能存在的盒子的实物模型,疯狂的螺母,你知道直钢棒是怎样神奇地穿过这两个看似乎成直角的螺帽孔的吗？ 两个螺帽实际是中空的，虽然它们看起来是凸面的，所以两个螺帽并不互相垂直。螺帽被下方光源照到（一般光线应来自上方），这给人们判断他们的真实三维形状提供了错误信息。美国魔术世界里安德鲁斯创造了这个精彩的幻觉作品,幻视,黄色和紫色的圆是否一样大,幻视,竖线似乎是弯曲的，但其实他们是笔直而相互平行的,解析】 当你的视网膜把边缘和轮廓译成密码，幻觉就偶然地现在视觉系统发生。这就是曲线幻觉,不可能的棋子,这个棋盘是如何成为可能的？ 【解析】 棋盘完全是平面的，这个棋盘以瑞典艺术家奥斯卡路透斯沃德的一个设计为基础，又布鲁诺危斯特创造,看到平行线了吗,认知,看到的比实际存在