第二章-视觉感知与视觉通道(感知与认知)资料讲解

视觉感知(gǎnzhī)与认知主讲人：刘天亮liutl@TEL京(nánjīnɡ)邮电大学图像处理与图像通信江苏省重点实验室第一页，共94页。大纲(dàgāng)视觉感知认知视觉通道(tōngdào)*色彩第二页，共94页。2.1.1感知与认知(rènzhī)的定义第三页，共94页。“Visualizationisreallyaboutexternalcognition,thatis,howresourcesoutsidethemindcanbeusedtoboostthecognitivecapabilitiesofthemind.”StuartCard可视化致力于外部认知，也就是说，怎样利用(lìyòng)大脑以外的资源来增强大脑本身的认知能力。第四页，共94页。感知(gǎnzhī)： 关于输入信号的本质； 看见的东西认知： 关于怎样理解和解释看到的东西什么(shénme)是认知？第五页，共94页。图中找动物：认知(rènzhī)依赖于观察者的先验知识RangerRick:,ca.1980sCourtesyofTerryYoo/RossWhitacker

第六页，共94页。什么(shénme)是视觉感知？第七页，共94页。 是指客观事物(kèɡuānshìwù)通过人的感觉器官在人脑中形成的直接反映 眼、耳、鼻、神经末梢 就是客观事物(kèɡuānshìwù)通过人的视觉在人脑中形成的直接反映视觉(shìjué)感知感知

感觉器官(gǎnjuéqìguān)那么，视觉感知第八页，共94页。认知 认知心理学将认知过程看成由信息的获取、分析、归纳、解码、储存、概念形成、提取和使用等一系列阶段组成的按一定程序进行(jìnxíng)的信息加工系统 科学领域中，认知是包含注意力、记忆、产生和理解语言、解决问题，以及进行(jìnxíng)决策的心理过程的组合。第九页，共94页。认知认知(rènzhī)依赖于先验！这是一张脸吗？人脑先验地假设了这是一张脸，从而形成(xíngchéng)了一个bias（偏差、错觉）（实际生活中你可能已经看过billion量级的脸了！！）第十页，共94页。认知认知(rènzhī)依赖于先验！这是一张脸吗？人脑先验地假设(jiǎshè)了这是一张脸，从而形成了一个bias（偏差、错觉）（实际生活中你可能已经看过billion量级的脸了！！）第十一页，共94页。2.1.2格式(géshi)塔理论第十二页，共94页。WolgangKöhler1887-1967KurtKoffka1886-1941MaxWertheimer1880-1943为什么我们在观看事物的时候(shíhou)会把一部分当做前景，其余部分当做背景？为什么我们(wǒmen)能区分形状？什么(shénme)形状是好的？第十三页，共94页。 结构比元素重要，视觉形象首先作为统一的整体被认知(rènzhī) 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity）格式(géshi)塔（gestalt）原则假设视觉感知是一个整体(zhěngtǐ)的过程并且人类倾向于感知简单的几何图形空间距离上的相似性第十四页，共94页。 结构比元素重要，视觉形象首先作为统一的整体被认知(rènzhī) 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity）格式(géshi)塔（gestalt）原则根据事物属性（形状、颜色、光照或其他性质(xìngzhì)）上的相似性进行感知分组。第十五页，共94页。 结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵(yùnhán)律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity）格式(géshi)塔（gestalt）原则很自然(zìrán)地沿着物体的边界，将不连续的物体事物连续的整体第十六页，共94页。 结构比元素重要，视觉形象首先(shǒuxiān)作为统一的整体被认知 原则（蕴涵律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity）格式(géshi)塔（gestalt）原则只要物体(wùtǐ)的形状足以表征物体(wùtǐ)本身，就容易感知整个物体(wùtǐ)而忽视未闭合的特征第十七页，共94页。 结构比元素重要，视觉形象首先作为统一的整体被认知 原则（蕴涵(yùnhán)律） 接近性（proximity） 相似性（similarity） 连续性（continuity） 闭合性（closure） 简单性（simplicity）格式(géshi)塔（gestalt）原则人类倾向(qīngxiàng)于感知简单的几何图形第十八页，共94页。 结构比元素重要，视觉形象(xíngxiàng)首先作为统一的整体被认知 原则（蕴涵律） 共势原则（commonfate） 好图原则（similarity） 对称原则（symmetry） 经验原则（pastexperience）格式(géshi)塔（gestalt）原则从一堆(yīduī)字符中认知语句一组物体具有沿着相似的光滑路径运动趋势或具有相似的排列模式时，将被识别为同一类物体第十九页，共94页。 结构比元素重要，视觉形象首先作为统一的整体被认知 原则(yuánzé)（蕴涵律） 接共势原则(yuánzé)（commonfate） 好图原则(yuánzé)（similarity） 对称原则(yuánzé)（symmetry） 经验原则(yuánzé)（pastexperience）格式(géshi)塔（gestalt）原则对五环形状的两种识别(shíbié)。上：奥运环；下:割裂的圆环。个体识别世界时，通常会消除复杂性和不熟悉性，并采纳最简化的形式第二十页，共94页。 结构比元素重要，视觉(shìjué)形象首先作为统一的整体被认知 原则（蕴涵律） 接共势原则（commonfate） 好图原则（similarity） 对称原则（symmetry） 经验原则（pastexperience）格式(géshi)塔（gestalt）原则按照男女将年龄分布数据对称排列(páiliè)，增强数据的可读性第二十一页，共94页。 结构比元素重要(zhòngyào)，视觉形象首先作为统一的整体被认知 原则（蕴涵律） 接共势原则（commonfate） 好图原则（similarity） 对称原则（symmetry） 经验原则（pastexperience）格式(géshi)塔（gestalt）原则某些情况(qíngkuàng)下视觉感知与过去的经验有关第二十二页，共94页。2.1.3视觉(shìjué)感知的相对性&绝对性

感知系统(xìtǒng)基于相对判断，而非绝对判断(Weber’sLaw)无线框未对齐(duìqí)有线框未对齐ABAB

AB无线框A和B那一个更高？第二十三页，共94页。相对性&绝对性

感知(gǎnzhī)系统基于相对判断，而非绝对判断(Weber’sLaw)A和B哪一个(yīɡè)更亮？第二十四页，共94页。视觉(shìjué)感知第二十五页，共94页。视觉(shìjué)感知第二十六页，共94页。相对性&绝对性

感知系统基于相对(xiāngduì)判断，而非绝对判断(Weber‘sLaw)A和B哪一个(yīɡè)更亮？第二十七页，共94页。相对性&绝对性

感知系统(xìtǒng)基于相对判断，而非绝对判断(Weber‘sLaw)颜色(yánsè)？第二十八页，共94页。相对性&绝对性

感知(gǎnzhī)系统基于相对判断，而非绝对判断(Weber‘sLaw)颜色(yánsè)？第二十九页，共94页。2.2视觉(shìjué)通道*2.2.1视觉通道(tōngdào)的类型2.2.2视觉通道(tōngdào)的表现力和有效性第三十页，共94页。2.2.1视觉(shìjué)通道的类型空间标记位置尺寸(chǐcun)颜色亮度饱和度色调(sèdiào)配色方案透明度方向形状纹理动画第三十一页，共94页。色彩第三十二页，共94页。光谱(guāngpǔ)第三十三页，共94页。第三十四页，共94页。什么(shénme)是基色？红绿蓝（RGB）红黄蓝橙，绿，紫罗兰青，品红(pǐnhóng)，黄，黑（CMYK）以上所有第三十五页，共94页。加色法系统(xìtǒng)（RGB）GreenBlueRedCyanMagentaYellow第三十六页，共94页。减色法系统(xìtǒng)（CMYK）MagentaGreenBlueRedCyanYellow(Black)第三十七页，共94页。减色法系统(xìtǒng)（RYB）第三十八页，共94页。颜色(yánsè)空间第三十九页，共94页。RGB颜色(yánsè)空间 可被显示器表达(biǎodá)的颜色 感知上不均匀C.Ware,“VisualThinkingforDesign”第四十页，共94页。HSL颜色(yánsè)空间色调（Hue） –人类认为的颜色饱和度（Saturation） –纯度(chúndù)，与灰色的距离亮度（Lightness） –从黑色到亮色感知上不均匀C.Ware,“VisualThinkingforDesign”非常适合用于编码(biānmǎ)分类的数据属性；亮度适合编码有序的数据；第四十一页，共94页。大块区域内（如背景），建议使用低饱和度的颜色(yánsè)填充；小块区域建议使用更亮的饱和度高的颜色(yánsè)填充，以保证其容易被用户辨识。第四十二页，共94页。Lab颜色(yánsè)空间 感知(gǎnzhī)上均匀分布 L用来近似人类对亮度的感知(gǎnzhī) a,b用来近似“红/绿”和“黄/蓝”通道第四十三页，共94页。Lab颜色(yánsè)空间亮度(liàngdù)、发光度第四十四页，共94页。色盲第四十五页，共94页。色盲红色盲（Protanope）绿色(lǜsè)盲（Deuteranope）蓝色盲（Tritanope）无L锥形细胞(xìbāo)无M锥形细胞(xìbāo)无S锥形细胞红/绿色盲蓝/黄色盲第四十六页，共94页。色盲(sèmáng)正常(zhèngcháng)红色盲绿色(lǜsè)盲全色盲BasedonslidefromStone第四十七页，共94页。第四十八页，共94页。原图(yuántú)绿色(lǜsè)盲第四十九页，共94页。BasedonslidefromStone第五十页，共94页。BasedonslidefromStone第五十一页，共94页。2.2.2视觉通道(tōngdào)的特点视觉通道的类型将决定可视化不同的数据是可能采用的视觉通道定性的视觉通道，适合编码分类的数据信息(xìnxī)；例如，形状、颜色的色调或空间位置第五十二页，共94页。2.2.2视觉(shìjué)通道的特点定量或定序的视觉通道，适合编码有序的或数值型的数据信息；例如，直线长度(chángdù)、区域面积、空间体积、斜度、角度、颜色的饱和度和亮度第五十三页，共94页。2.2.2视觉通道(tōngdào)的特点分组的视觉通道，则适合将存在互相联系的分类的数据属性(shǔxìng)进行分组，从而表现数据的内在关联性。分组通常是指多个或多种标记的组合模式。辨认分组最基本的通道是接近性，根据格式塔原则，人类的感知系统可以自动地将互相接近的对象理解为属于同一组。第五十四页，共94页。表现力和有效性表现力和有效性，将指导可视化设计者如何挑选(tiāoxuǎn)合适的视觉通道，实现对数据信息完整而具有目的性的展现。表现力 视觉通道的表现力要求视觉通道准确编码数据包含的所有信息。即 视觉通道在对数据进行编码的时候，需要尽量忠于原始数据有效性 通道表现力符合属性的重要性第五十五页，共94页。视觉通道(tōngdào)的表现力判断标准精确性：用于衡量人类感知系统对于可视化的判断结果和原始数据的吻合程度可辨性：区分具有不同取值范围的视觉(shìjué)通道的两种或多种取值状态可分离性：视觉(shìjué)突出第五十六页，共94页。•对于可视化结果，人们更倾向于优先阅读标题、文本(wénběn)、标签。•尽可能将标题置于左上角，并使文字说明尽可能接近对应的可视化结果。结论(jiélùn)1第五十七页，共94页。观察(guānchá)物体的变化需要集中注意力在可视化中突出变化，以减轻认知(rènzhī)负担结论(jiélùn)尽可能地扩大视觉要素间的差异以使它们更加清晰。尽量少使用杂乱的纹理，它很容易将读者的注意力转移到纹理（所产生的大量边缘）上而忽略了视觉要素本身。

第五十八页，共94页。人类视觉系统观察的是变化，而不是绝对值，并且容易(róngyì)被边界吸引。在不同物体间使用高对比度使得(shǐde)物体更容易区分。结论(jiélùn)2第五十九页，共94页。•使用(shǐyòng)“亮度”产生对比优先于使用(shǐyòng)“色彩”对比(duìbǐ)效果第六十页，共94页。西班牙的分区失业率增长率情况(qíngkuàng)——使用亮度产生对比的优秀实例对比(duìbǐ)效果第六十一页，共94页。网格对于对比度的影响(yǐngxiǎng)。左图是更好的方案。对比(duìbǐ)效果第六十二页，共94页。一个没有对比度、效果不好(bùhǎo)的实例对比(duìbǐ)效果第六十三页，共94页。图样(túyàng)的实例，突出重点对比(duìbǐ)效果第六十四页，共94页。缺少(quēshǎo)对比/重点对比(duìbǐ)效果第六十五页，共94页。重点(zhòngdiǎn)突出，效果更好！对比(duìbǐ)效果第六十六页，共94页。•让用户的视线聚焦在可视化结果中最重要的部分。•提供给用户有层次的可视化结果，帮助用户找到正确的阅读(yuèdú)可视化结果的方法。结论(jiélùn)2第六十七页，共94页。视觉(shìjué)感知第六十八页，共94页。人脑先验地假设(jiǎshè)了这里有一个圆，其实：…第六十九页，共94页。 记忆在人类认知过程中起着至关重要的因素，但工作记忆容量(róngliàng)十分有限。

可视化可以作为(zuòwéi)帮助增强工作记忆的工具结论(jiélùn)1第七十页，共94页。扫

视！RonRensink2002•实际上，我们获取周围的完整影像所依靠的则是扫视（saccades），它并受不人的主动控制。

•依赖于眼球周期(zhōuqī)为20-100ms/次的移动，我们可以获得10-50FPS的影像。•但如果我们想将注意力集中在某一事物上，这通常会消耗200-600ms，才能集中注意力。第七十一页，共94页。眼动（Eyetracking）实验(shíyàn)受试者观察这一图表，而眼动跟踪(gēnzōng)设备则尝试找出人眼注意的焦点。第七十二页，共94页。图中每一个圈代表着一次聚焦。圈的大小表示人眼聚焦在上面(shàngmiɑn)的时间长短。颜色代表先后顺序（暖色调在前，冷色调在后）。第七十三页，共94页。多个(duōɡè)受试者的热力图第七十四页，共94页。饼图的中心(zhōngxīn)并不受注视第七十五页，共94页。视觉焦点集中在：中心(zhōngxīn)，标签，图例第七十六页，共94页。有多少(duōshǎo)黑点 交叉点上的黑色圆点在跳跃(tiàoyuè)变化移动视点(shìdiǎn)，看到的黑色斑点位置也随之变化第七十七页，共94页。对比(duìbǐ)第七十八页，共94页。Shepard’sRotatedTable第七十九页，共94页。人类视觉系统观察的是变化，而不是(bùshi)绝对值，并且容易被边界吸引。在不同物体间使用高对比度使得(shǐde)物体更容易区分。结论(jiélùn)我们的视觉系统对差异而非绝对值更加敏感，更容易被差异较大的边缘吸引。

第八十页，共94页。眼见(yǎnjiàn)不为实第八十一页，共94页。“不可能(kěnéng)的盒子”埃斯切爾的不可能的盒子：比利时艺术家马瑟·黑梅克，从荷兰平面造型艺术家M.C.的一幅画中吸取灵感，创造(chuàngzào)了一个不可能存在的盒子的实物模型。第八十二页，共94页。疯狂(fēngkuáng)的螺母你知道直钢棒是怎样神奇地穿过这两个看似乎成直角的螺帽孔的吗？两个螺帽实际是中空的，虽然它们看起来是凸面的，所以两个螺帽并不互相垂直(chuízhí)。螺帽被下方光源照到（一般光线应来自上方）