视觉与触觉媒体技术.ppt

第四章视觉与触觉媒体技术,计算机科学与技术系董华松,视觉心理学,1视觉的心理特征视觉是人类最重要的感知能力，通过视觉可以感知到外部世界的形状、大小、色彩、明暗、机理和运动等多方面的信息。虽然光的物理特性与心理知觉有关，但它们的关系并不是线性的。对光的色调和亮度的感觉不仅和它的频率和强度有关，而且还和它出现的背景有关，和同时出现的周围光有关。,视觉心理学,视觉心理学,2.视觉特性亮度亮度是人眼对光强度的感受。物体的亮度不仅跟目标的物理强度有关，而且与周围的背景有关。假定整个照明增大了，目标和环境的光强就按照比例增大了，两者之间的物理对比就维持不变。但当照明增强时，目标的亮度可能会亮一些，也可能保持不变，甚至看起来亮度减少一些。这些都取决于中心和周围之间的相对强度，也就是对比度。对图像的处理最重要的是亮度的差别。,视觉心理学,与声音相似，视觉上也有等亮曲线，反映了视觉在亮度上与波长的关系。在同一亮度感觉下，不同波长的光具有不同的光强。视觉也有掩蔽现象，在很亮的高光周围时难以看清的，道理和声音是类似的。,视觉心理学,视觉的时间特性建立视觉图像需要时间，而一旦建立起来之后，即使把图像对象拿走，这种反应也要维持一段时间。这是因为把光转变为神经电需要时间。正因为视网膜图像时逐渐消退的，所以视觉暂留可以存在十分之几秒。,视觉心理学,彩色表示颜色需要考虑三种心理属性：色调、亮度和饱和度。色调就是通常意义下的彩色，它随波长的变化而变化，反映颜色的基本特性。亮度是光作用于人眼所引起的明亮程度的感觉，与光强有关。饱和度是代表为了产生所感知到的彩色在白光中必须混入的纯单色光的相对数量，或者说是颜色的深浅程度。对同一色调的彩色光，饱和度越深颜色越鲜艳。色调和饱和度统称为色度。,视觉心理学,颜色是由三种原色光混合而成的。可见光的波长从380纳米到780纳米。不同波长呈现出不同颜色，可见光波长从长到短依次为红橙黄绿青蓝紫。只有单一波长成分的光称为单色光，含有两种以上波长成分的光称为复合光，所有可见光按照一定比例混合就是白色光。在辐射功率相同的条件下，不同波长的光不仅给人不同的颜色感觉，而且也给人不同的亮度感觉。人眼一般感到红光最暗，蓝光次之，而黄绿光最亮。研究表明，人眼对亮度信息敏感，而对颜色的敏感程度相对较弱。,颜色模式,灰度颜色模式RGB颜色模式(加色)CMYK颜色模式(减色)每对减色产生一种加色每对加色产生一种减色YUV颜色模式,中国人民大学信息技术基础教研室,10,灰度颜色模式,灰度颜色模式就是用0到255的不同灰度值来表示图像。0表示黑色，255表示白色。,中国人民大学信息技术基础教研室,11,RGB颜色模式,用红(R)、绿(G)、蓝(B)三原色的光学强度来表示一种颜色。这是最常见的位图编码方法，可直接用于屏幕显示。每种原色的强度表示范围为0255，或十六进制的00至FF。例如：黑色#000000白色#FFFFFF红色#FF0000绿色#00FF00蓝色#0000FF黄色#FFFF00青色#00FFFF洋红#FF00FF,中国人民大学信息技术基础教研室,12,CMYK颜色模式,CMYK模式以打印在纸上的油墨的光线吸收特性为基础。当白光照射到半透明油墨上时，某些可见光波长被吸收，而其它波长则被反射回眼睛。理论上，纯青色(C)、洋红(M)和黄色(Y)色素在合成后可以吸收所有光线并产生黑色。这些颜色因此称为减色。由于所有打印油墨都包含一些杂质，因此这三种油墨实际生成土灰色，必须与黑色(K)油墨合成才能生成真正的黑色（为避免与蓝色混淆，黑色用K而非B表示）。将这些油墨混合重现颜色的过程称为四色印刷。,中国人民大学信息技术基础教研室,13,YUV颜色模式,在现代彩色电视系统中，通常采用三管彩色摄像机或彩色CCD（点耦合器件）摄像机，它把摄得的彩色图像信号，经分色、分别放大校正得到RGB，再经过矩阵变换电路得到亮度信号Y、红色色差信号U、蓝色色差信号V，最后发送端将亮度和色差信号分别进行编码，用同一信道发送出去。彩色电视机恢复三个信号，重建色彩；而黑白电视机则只恢复亮度信号，显示黑白图像。这就是YUV颜色模式。,视觉心理学,在白色背景下，一般使用红黄蓝作为原色来混合其它颜色，这就是减基色合成彩色系统。在黑色背景下，一般使用红绿蓝作为基色来混合其它颜色，这就是加基色合成彩色系统。一般绘画时采用前者，电视中采用后者。,视觉心理学,注视点和视野范围人在观察视觉类媒体时的注视点在哪里？图像中黑白交界的部分，尤其是拐角处。如果是闭合图形，注视点往往向内侧移动。注视点容易集中在时隐时现运动变化的部分或者图像中特别不规则的地方。人眼的视野开阔，左右视角约为180度，上下约为60度。但视力好的部位仅限于2到3度，用于观察视觉媒体的细节。而在周边，则主要识别特征。但是需要注意，只有大的视野才有可能制造出临场感。,模拟视频原理,光栅扫描原理视频摄像机将图像转换为电信号，电信号是一维的，但图像是二维的，将二维图像转成为一维电信号是由光栅扫描的方法实现的。快速的扫描线从顶部开始，一行一行地向下扫描，直至显示器的最底部，然后再返回顶部的起点，重新开始扫描。这个过程产生的一个有序的图像信号集合，就组成了电视显示中的一幅图像，在此称为帧。连续不断的图像序列就形成了动态视频图像。,模拟视频原理,分辨率表现的是电视系统中重现场景细节的能力。水平扫描线所能分辨出的点数称为水平分辨率。一般来说，点数越小，线越细，分辨率就越高。一个系统的水平分辨率为400线，指在对应于图像高度的水平距离内能交替显示200条白线和200条黑线。相应地，一帧中垂直扫描的行数称为垂直分辨率。垂直分辨率和每帧中的扫描线有关，扫描线越多，分辨率就越高广播电视系统垂直的行数一般是525线（北美和日本）和625线（欧洲和中国）。,模拟视频原理,每一秒钟所扫描的帧数称为帧频，一般为25帧（PAL）或者30帧（NTSC）。由于是隔行扫描，所以垂直频率分别是每秒50帧和60帧。因此，人眼就不容易看到闪烁。宽高比是扫描的一个重要的参数。扫描行的长度与在图像垂直方向上的所有扫描行所跨过的距离之比，就成为宽高比。目前电视中的宽高比为4：3，新型电视的宽高比为16：9，有些电影系统的宽高比为2：1。,模拟视频原理,彩色视频加基系统是彩色视频系统的基础。彩色电视采用红绿蓝（RGB）作为三基色进行配色，产生出R、G、B三个输出信号，RGB信号可以分别传输，但是要配上相应的同步信号。在RGB系统中需要三根视频电缆互连，但是三个信号在同步关系方面相当复杂，所以大部分彩色电视不处理RGB，而是将RGB信号组合起来在一条电缆中传输，这就是复合信号。,模拟视频原理,现有的几种不同的复合信号有NTSC、PAL和SECAM。根据亮度/色度原理，任何彩色信号都可以分为亮度和色度。色度只要使用色差就可以表示颜色信号，而不必使用RGB三个完整的信号。将亮度和色度交错排列分别放到电缆上，就组成了复合信号。电视系统的三种制式采用的信号形式也不完全一样。NTSC的亮度信号称为Y，色度信号为I和Q，即YIQ方式。PAL制式和SECAM制式的亮度和色度与之相对应为YUV，它们的差别在于编码方式的不同。YUV、YIQ可以与RGB互换。RGB、YUV和YIQ等都被称为彩色空间。,模拟视频原理,视频设备按照用途不同，视频设备可以分为广播、专业和消费三个级别。广播级一般是大型的电视台和网络站使用，它的性能最好，用于大系统应用，价格昂贵；专业级一般用于教育界和工业界的小广播站，有较好的性能。消费级是家用设备，一般操作简单、性能可靠，一般价格是第一位的。具体的视频设备有如彩色摄影机、视频记录设备和视频监视设备。,视觉媒体数字化,1位图图像与数字视频对计算机来说，无论是文字或图形，还是图像或视频，在计算机上进行处理首先要数字化。所要处理的一幅画面，通过对每一个象素进行采样，并且按照颜色或者灰度进行量化，就可以得到图像的数字化结果。数字化的结果放在显示缓存区中，与显示器上的点一一对应，这就是位图图像。对视频按照时间进行数字化所得到的图像序列，就构成了数字视频序列。它同样与频率和量化的比特数有关。频率必须足够高，以跟上模拟信号流；量化的比特数越多，量化的值就越多，所能表示的颜色或灰度级数就越多。,视觉媒体数字化,在一幅图像的X轴上是一行的点数，在Y轴上是行数。X、Y的交叉点就是一个象素，每一个象素可以有若干比特来表示。按照标准间隔在时间轴上采样的图像组组成视频序列。所以可以说，图像是离散的视频，而视频是连续的图像。当进行再现时，被表示称数字形式的数据按格式和时间送上显示器，就又恢复了原先的形态。其它的视觉媒体如文字、图形等，在显示原理上都是以此为基础的，它们都是通过预先的编码表示出显示的形式，在再现时，在显示器上画出所要的图形或者文字。,视频媒体数字化,视频媒体数字化,Comparison:,宽度：271高度：300颜色：2大小：9.9KB,宽度：271高度：300颜色：4大小：19.8KB,Comparison:,宽度：271高度：300颜色：256大小：79.4KB,宽度：271高度：300颜色：真彩色大小：238.2KB,视觉媒体数字化,2图形图形(Graphics)：一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程及方法。因此被称之为矢量图形，一般直接称为图形。,视觉媒体数字化,矢量图形是以一组指令的形式存在的，这些指令描述一幅图中所包含的直线、圆、弧线、矩形的大小和形状，也可以用更为复杂的形式表示图像中曲面、光照、材质等效果。在计算机上显示一幅图像时，首先要解释这些指令，然后将它们转变成屏幕上显示的形状和颜色。图形的矢量化使得有可能对图中的各个部分分别进行控制。计算机可以对其中任何对象分别进行任意的变换：放大、缩小、旋转、变形、扭曲、移位、叠加等，并仍保持图形特性。,视觉媒体数字化,3符号与文字符号媒体：是某种抽象的结果。各种描述量、语言、数据、标识符、数值、字符等都是符号媒体。由于符号具有明显的结构性，大脑可以识别这种结构，进而可识别出由这一组符号所代表的信息。这种结构可以组成文本，即字符串；也可以组成数据组，如数据库中的一个元组，均可表达特定的信息。,视觉媒体数字化,符号媒体特点：符号媒体要知识的辅助才能使用，知识的辅助随着层次的升高而不断增强作用“ICANSPEAKENGLISH”如学英文时，开始只认识字母；学过英文单词后，认识到一个个单词；学习文法后，发现是一个句子符号媒体表达精度高符号媒体存储量小,视觉媒体数字化,文本媒体是用得最多的符号媒体形式。主要特点如下：文本是流结构形式：由具有上下文关系的字符串组成,它与字符的结构样式有关，与形式无关对文本的控制不影响媒体信息本来的表达文本显示的改变只是属性的改变，并不影响文本本身的含义对文本的处理应遵从文本内部的结构，如断词，接尾，分段，章节安排,视觉媒体的三维立体显示,1立体显示原理三维显示实际上具有两个含义:一个是指物体的三维图像在平面上的显示，特别是三维图形的显示，这是图形学的重点。另一个是指所显示的图像确确实实是立体的，是“浮”在空间中的，和我们所看的立体电影一样。这是讨论的重点。,视觉媒体的三维立体显示,视差（parallax）是投影到人眼视网膜上图像上两点间的水平距离，正是这个距离产生了视觉上的立体感。注视远处的物体时的视差与注视近处物体时的视差是不同的，因此所谓的立体感正是这个不同距离作用的结果。,视觉媒体的三维立体显示,视差,视觉媒体的三维立体显示,2视差决定立体视觉的是视差。视差的种类大致分为四种：零视差、正视差、负视差和发散视差。它们产生的立体感觉是不同的。零视差：当显示的左右眼图像之间没有缝隙时，视差为零，就称为零视差。,视觉媒体的三维立体显示,正视差：一旦计算机显示的立体图像对的视差大于0，我们就可以看到深度。正视差差值大于0且小于等于人眼之间的距离。负视差：当两眼的目光交叉时，就会产生负视差。这时，所观察的对象将会浮现在两眼与显示器之间的空间中。发散视差：视差的值比两眼之间的距离还要大。,视觉媒体的三维立体显示,3立体图像的产生（1）旋转法将一幅图像进行旋转以制造出视差效果。旋转的顺序是：将整个图像从左至右旋转4，以产生左眼图像将整个图像从右至左旋转4，以产生右眼图像执行透视投影显示图像使用旋转的方法产生出的立体图像对一些人来说并不适合，会引起不舒适感，显示立体图像时一般不采用这种方法。,视觉媒体的三维立体显示,（2）投影变换法投影变换法是模仿人眼观察物体时产生的视差，通过运算后投影到显示器上。在这种方法中，场景中的物体对象在建模之后，通过投影变换生成线框图，然后对该物体进行成像处理，生成左右眼的图像。标准的投影变换基于单视点的投影。在坐标系中，以视点为投影中心，将三维物体的点投影于显示器的投影平面上，便在该平面上产生三维物体的像。把投影中心的单点变换为双点，很容易构造出双眼的投影视图出来。,视觉媒体的三维立体显示,4立体图像的显示立体图像的显示方法有两种:一种方法是让一只眼睛看一个显示器，每个显示器只显示对应眼睛的图像，这样头脑中就产生了立体图像。另一种方法是在显示器上快速地显示两眼不同的图像，而观察者带上立体眼镜进行观察。由于眼镜中的液晶片与显示的图像同步地进行开关切换，使得在每一时刻只有一只眼睛能够看到对应的图像，只要速度足够快，由眼睛的暂留现象和大脑的作用，感觉到的就是立体的图像。,触觉媒体技术,触觉媒体概述,皮肤可以感觉环境的温度、湿度，也可感觉压力，身体可以感觉振动、运动、旋转等，这些都是触觉在起作用，都可以作为传递信息的媒体。事实上，触觉媒体就是环境媒体，它描述了该环境中的一切特征和参数。,触觉媒体概述,人体在信息交流过程中起的作用最大的是人的头部、手部和整体躯干。与外界环境的触觉交互主要包括位置跟踪、力量反馈等方面。对手部信息的处理包括手部的位置、手指的动作类型、手部的感觉、手部的力量反馈等。这些都要有特殊的设备和技术完成系统对手部信息的数字化和跟踪，并将它们与系统的控制和应用结合起来。这些设备和技术包括数据手套、压力传感手套、手部位置超声波跟踪器、力量反馈接口等。,对躯干的位置跟踪和反馈与手部和头部很类似，但它要反映人体的体势语言和外界对人体的力量反馈，如振动、倾覆、旋转等。这些设备包括数据服装、三维数据座舱、模拟器等。,简单指点设备与技术,1指点的任务指点的任务包括：选择定位定向路径数量操作,简单指点设备与技术,2指点设备指点设备分成直接指点设备和间接指点设备两类。前者直接使用特殊的指点设备或用手指点屏幕，后者则通过指点设备的间接动作对屏幕上的对象进行指点。直接指点设备包括：光笔、触摸屏及输入笔等。间接指点设备包括：鼠标、跟踪球、控制杆和图形板。这些设备不接触显示屏幕，所以使用时不会遮挡视线，也不易疲劳。,简单指点设备与技术,这些指点设备的输入都是在显示平面上的二维坐标空间中进行的，包括坐标改变的速度。除非经过特殊的变换，很难把它们向三维空间转换。现在又出现了一些新型的指点设备，例如脚用鼠标器、视线跟踪器、凝视检测控制器等。,位置跟踪,为了与系统交互，系统必须了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。系统将这些位置与运动的数据转变为特定的模式，对相应的动作进行表示。,1手指动作测量和数字化对手部的跟踪采用一种称为数据手套的工具。对手指的测量主要采用在手套的手指部位装上能够测量手指弯曲、移动的检测器。检测器的种类有光纤、测力板等。数据手套将接收到的数据送入计算机中，在计算机中被转换为相应的数字化格式。,位置跟踪,对手指动作的测量和数字化，实际上更关心的是手指的相对位置。拇指和食指、食指和其他手指等的相对动作包含了许多含义。识别这些相对的动作，采用的方法就是建立手指动作模式库。首先将各种手指的动作数据进行采集，进行规范化处理后建立起动作模式并存储起来。在使用时将实时采样得到的数据与库中的模式进行比较，就可以知道手指的动作。手指动作的数字化分辨率越高，模式就越复杂，对手指动作的解释就越丰富、越精确。,位置跟踪,2空间位置跟踪在数据手套上有一个定位的装置，这是用于进行手部位置跟踪的。手部的位置是指手部在空中的相对位置，所以还需要一个坐标原点。另外一种测量空间位置的装置称为Polhemus三维定位机构，它也是一种有六个自由度的空间位置传感器，可相对于某一固定位置的原点，得到目标