第讲媒体与认知上载课件

1、电子工程系电子信息科学与技术导引第八讲与认知信息认知与智能系统进电子信息科学与技术知识体系应用2内容目录TH wsj一、信息与二、人类感知与认知三、智能信息处理四、与认知相互作用五、认知应用一、信息与TH wsj1、信息的21世纪，是信息的世纪，随着互联网的渗透和延伸，人类已经侵润在信息的海洋之中。书信和邮件、文字和声音、图像和、和电视、数字和图表、信号和标识，所有这些载着大量的信息川流不息地在我们的生命过程中流 动着。4TH wsj信息与的关系原始：结绳计数、美丽的象形文字；还有：嘹亮的螺声号角、古老的烽火台。都在或传递着人们所需要表达的一种内容。人们希望表达的内容就是信息，而这些有着特定变

2、化形态或符号的结绳、象形文字、螺声号角、烽火台或者大鼓就是，简称。5TH wsj，也称为媒介，它们都源于英语Medium一词，复数形式为media。其含义，一方面，指的是信息传递的载体、中介物、工具或技术，另一方面也指信息的采组织。集、制作和的领域中的含义我们每天都在接触和使用的文本、语音、图像和视频等数字，也把它简称为。这些所承载的表达内容就是信息。6TH wsj2、领域中的数字信息处理技术中所指的“数字”，是电子化信息的、传输和表示的一种载体。在音、图像、领域，通常人们常说的文本、图形、语、三维图像，都被称为数字，简称。7TH wsj3、信息的获取信息获取方式的发展：Ø 人的感知

3、：视觉、听觉、触觉、嗅觉、Ø 数字、.：照相机、摄像机、Ø 探测成像等技术：主要以声、光、电、磁等作为探测导航息，综合利用各种传感器、计算机、航空航天、等先进技术，获取目标的图像数据及其他信8TH wsj不同信息的获取Ø 语音的获取：麦克风Ø 图像获取方法：照相机，摄像机，扫描仪http:/baby/yuer-youerqi-75990.html9TH wsj图像成像过程10TH wsj4、的形式（1）语音：一维(1D)MP3编码：MP3作为目前最为普及的音频压缩格式，有很多的便携式MP3器等。11TH wsj（2）图像：二维(2D)：bmp，JPEG，

4、JPEG200图像组数字图像的每一个元素都有一个特定的位置和幅值，这些元素称为图像元素或像素。12TH wsj彩色图像数据矩阵13TH wsj（3）MPEG,：时序列图像H.264,AVSISO专门成立了运动图像组MPEG，研究和开发运动图像和音频的编码格式。14TH wsj（4）立体图像：三维(3D)，具有x、y、z坐标,深度数据kinect从图像中提取三维信息，重构几何模型，何建模，即像。或通过三维几立体视觉图15TH wsj5、与传输（1）信息：信息，在处理中需要对其进行一般作为光盘，和U盘作为为解决海量要研究数据压缩，主要采用磁带，磁盘，设备。问题，需格式标准化，以及数据库技术等16T

5、H wsj（2）传输传输是指远距离传送。远距离传送主要需要解决占用带宽的问题。根据用途。格式，可进行多级传送，以对应不同17PDA用图像无线LAN用图像LAN用图像印刷用图像TH wsj6、的内容显示信息显示体现信息表达的属性，以及信息内容的特征常用的有文本、图形、图像、动画、声音、语音等。这些包含海量信息内容多，指同时、处理、编辑、的和展示两个或以上不同类型18TH wsj显示设备软拷贝方法：CRT显示器，液晶显示器(LCD)，薄膜晶体管液晶(TFTLCD)显示器，等离子显示器(PDP)，扬声器等。硬拷贝方法：主要有照相、打印、报纸等19CRT打印机PDPTH wsj途径利用报纸、电视、广播

6、、网络四大的，将文字、图像、动画、通过显示设备提供给受众。、语音等内容，20TH wsj上述所有，都是源于对人的生理结构和认知心理的研究基础；上述所有应用，都是基于对能处理；的智没有对人的认知研究，没有对信息的智能处理，难的应用会遇到困21内容目录TH wsj一、信息与二、人类感知与认知三、智能信息处理四、与认知相互作用五、认知应用二、人类感知与认知TH wsj，是指信息过程中从传者到受者之间，携带和传递信息的一切形式的工具与内容表明与受众人的认知密切相关表现形式是否容易被接受？设备和是 否合理？内容是否容易理解？23TH wsj虚拟现实：影视、Project Glass移动终端：iPad,2

7、4与认知关系之内涵人类的发展与文明的进步，主要表现在人类不断提高对自身和客观世界的认识，不断创造新的过程/web/engineering/devel opment/development.html25http:/.cn/pconline/0808/22/1395440_MG_1996.jpg从生物认知，到信息近20年来，随着神经科学的快速发展，使我们对人类大脑有了更深刻的了解视觉是人类获取信息的重要途径，也是人类对自身研 究认识最深刻的部分借助和参考生物视觉认知机理来发展和提高信息处理与认，边缘，DNN知计算能力是一种重要的算法设计表现形式内容自身机理认知种类模型建立对客观世界的认识设备载体2

8、6从认知到信息处理生物视觉感知的生理结构视网膜，初级视皮层，纹外皮层感受野特征检测器图from: ht/xuefo-51268.html同心圆感受野，简单/复杂感受野，纹外皮层DoG模型（SIFT特征）,Gabor特征27处理及应用人类感知特性TH wsj感知，包含感觉和知觉，是脑对直接作用于感官的事物的个别属性的反映，以及直接作用于感官的客观事物的整体在脑中的反映。认知，是把感觉获得的信息加以整合、解释、赋予语义的心理过程。感知是认知的基础和前提，认知由感觉接受信息变为知觉，再将知觉进行整合。包括注意、记忆、理解、推理。28 28TH wsj1、视觉感知特性人类信息的获取，80%主要来源于视

9、觉感知，而图像是视觉信息的重要载体人类通过视觉感知了解客观世界，但感知结果，会受人的感知特点影响了解人类视觉感知的特点是研究认知的基础29 29Tsinghua2、亮度适应和鉴别由于数字图像作为离散的亮点集显示，因此需要考虑人眼对不同亮度的鉴别能力Þ人眼适应光强度级别范围很宽，从夜视阈值到强闪光，约有1010量级/16.htm3l 0 30hthtt/news/2009-10-29/47718.htmlTsinghua但是，人眼不能同时在一个范围内工作。昼视觉范围10 6 ，比总适应范围要小亮度(1)人眼靠改变灵敏度，来调节不同范围内的鉴别夜视即亮度适应昼视夜视阈值31 31From

10、 Gonzalez bookTsinghua(2)感觉亮度不是简单的强度函数32 32From Gonzalez bookTsinghua3、视觉的空间和时间特性除亮度和颜色感觉特性外，视觉还具有空间和时间特性。(1) 视力空间上人眼分辨率物体细节的能力7.5mm1.5mm(1°)Landolt视力1.0兰特环视距5m照度500lx1.5mm33 33Tsinghua(2)视觉错觉34 34Tsinghua35 35Tsinghua(3)视觉的时间特性人眼视觉具有暂留特性1829年，比利时著名的家为了人眼耐光的限度，以及对物象滞留的时间，他曾一次长时间对着目失明。日光凝目而视，结果双

11、但他发现太阳的深深地印在了他的眼睛里。发现了“视觉滞留”的原理，即：当眼前的物体被移走后，该物体在视网膜上的物象不会立即消失，会继续短暂滞留一段时间。实验证明，物象滞留的时间一般为0.10.4秒。36 36Tsinghua人眼“视觉暂留”特性的应用电视就是利用了“视觉暂留”原理。胶片以每秒24格画面匀速转动，一系列静态画面就会因视觉暂留作用而造成一种连续的视觉印象，产生逼真的动感。37 37TH wsj3、人的认知系统的传感器（输入）运算器和记忆器（处理和）通信网络（传输）系统器（输出）环境虽然这个模型很像现代信息系统，但是把人的认知系统想象成计算机系统是很局限的！（比如计算机模型很难解释人的

12、顿悟）38TH wsj5、视觉认知的特点人们在认知景物时，常常注意和寻找其与它事物的相同与不同之处，根据使用目的进行分类。人脑的这种思维能力就别的能力。了模式和识从人的认知机理可知，人对物体的检测和识别，不只是与目标特征的学习有关，也与目标所处的背景特征与目标特征的差异性（或相似度）有关。39内容目录TH wsj一、信息与二、人类感知与认知三、智能信息处理四、与认知相互作用五、认知应用三、智能信息处理TH wsj，是指信息过程中从传者到受者之间，携带和传递信息的一切形式的工具。直接作用于受众信息通过通过于受众间接作用其效果取决于对又依赖于对的认知，而对的认知，的智能化处理41TH wsj1、认

13、知的问题“”中包含了丰富的信息内容。信息最本质的概念是客观事物的属性和特征，因此，与认知研究的，是研究通过对内容与形式间的有机，内容的智能化处理，认知其属性特征，经直接或间接作用，使受众达到认知的目的42TH wsj2、信息的本质是信号的集合中的信息是信号的集合，需要分析信号的特征，进而认知之内容信号的集合实例：语音：一维信号； 图像：二维信号：三维信号对信号进行分析，对信息进行处理，是知的基础认43TH wsj3、认知的智能信息处理所涉及的主要知识点如下：(1)析、信号的基本运算、信号时域分析、信号频域分叶变换(2)概率、数学期望、随量分布、链(3)离散信号分析、离散叶变换、数字滤波器(4)

14、图像语音增强、图像分割、边缘检测(5)计算机视觉、模式识别、目标识别、语音识别44TH wsj信号的基本运算、时域分析、信号频域分析、叶变换通过对各种信号处理，实现认知物理上： 信号是信息变化的形式数学上： 信号是一个或多个变量的函数形态上：信号表现为一种波形自变量：时间、位移、周期、频率、幅度、相位45TH wsj信号的分解Ø 随机信号的能谱分布及随机信号的参数概率分布。叶变换叶指出：任何周期函数都可以表示为不同频率的正弦、或余弦和的形式。46TH wsj信号的谱分析：二维离散叶变换47TH wsj图像增强、图像复原、图像分割、边缘检测通过对认知，获得高质图像增强目的是对图像进行处

15、理，以得到更好、更有用的图像。典型算法：直方图均衡化48原图像TH wsjFrom Gonzalez book3×3中值滤波49TH wsj图像复原通过对认知，获得高质消除图像模糊，对图像进行逆滤波。模糊：传感器内部噪声，摄像机未聚焦，物体与镜头之间的相对移动，等等。50TH wsj51TH wsj 图像分割与边缘检测通过对的处理，认知内容图像分割是数字图像处理中重要技术，将图像分为它的子区域，获得感目标Ø 工业检测中的零件识别Ø 医学诊断中的组织获取Ø 军事侦察与中的目标检测52TH wsjé¶f ùê¶

16、;x ú图像分割方法éGx ù_ú = ê¶f úÑf = êGêúëy ûêë ¶y úûØ 梯度算子与边缘检测对图像求导数可以检测图像中的边缘点53From Gonzalez bookTH wsj计算机视觉、模式识别、目标识别计算机视觉(CV)与模式识别(PR)研究如何使“看”懂事物，用像机和电脑代替人眼对目标进行识别，研究如何从图像中“认知”的学科。/3321/2005/04/21/782523123

17、./article/2010/0316/article_60976.htmlTH wsj模式识别，是指对表征事物现象的各种形式的信息，如语音、波形、图像、文字、生物传感器等信息进行处理和分析，以对事物进行描述、辨识、分 类和解释的过程。http:/a1_66_43_0 _gif.html55/hqgj/2011-09/12/content_13668637.htm人脸检测和识别TH wsj(-78°,52°)(-31°,-11°) (12°,-27°)(52°,11°)(0

18、°,2356°)TH wsj目标检测通过对的处理，认知内容运动目标检测：主要是把场景中运动的物体检测出来，通过背景建模图像差分阈值分割目标提取对应背景目标检测输入彩色图像57TH wsj车牌照识别Recognition results58Image内容目录TH wsj一、信息与二、人类感知与认知三、智能信息处理四、与认知相互作用五、认知应用与认知的相互作用Tsinghuan一方面，研究认知机理，通过信息智能处理，创造新的形式（新信息新表示形式）n 另一方面，以人类认知机理为基础的新创新，又可以为提高人类认知客观世界的能力提供有效的手段和工具，（新信息提高认知能力）研究符合人

19、类认知机理的设计更符合人类认知机理的新技术，是未来新技术所关注的焦点60TH wsj1、新技术可穿戴设备技术可穿戴设备实现对主体的信利用新息，增强主体的自我认知，是未来的新方向。2013年，是可穿戴设备元年，谷歌、三星、苹果、微软等都即将或已推出可穿戴设备。可穿戴设备 的增长潜力巨大，是下一个热门领域。61TH wsj谷歌眼镜，即Project Glass谷歌眼镜（Project Glass），是由谷歌公司于2012年4月发布的一款“新型”眼镜，它具有和智能一样的功能，可以通过声音拍照、通话和辨明方向，以及上网冲浪、处理文字信息和电子邮件等62TH wsj2，视觉暂留与技术物体在快速运动时，当

20、人眼所看到的影像消失后，人眼仍能继续保留其影像，约0.1-0.4秒左右的图像，这种现象被称为视觉暂留现象。人眼物体时，成像于视网膜上，并由视神经输入人脑，感觉到物体的像，但当物体移去时，视神经对物体的印象不 会立即消失，而要延续0.1-0.4秒秒的时间，人眼的这种性质被称为“眼睛的视觉暂留”。63Tsinghua视觉暂留（Persistence of vision）：是光对视网膜所产生的视觉，在光停止作用后，仍保留一段时间的现象。是由视神经的反应速度造成的，其时值约是十六分之一秒，对于不同频率的光有不同的暂留时间。比如：直视太阳数秒后，人眼将残留一个强光源的 影像。64Tsinghua通常的观

21、点：视觉暂留原理是人类史上的重要发明，借助了照相化学、光学、机械学、电子学等多门学科的知识和原理。胶片以每秒24格画面匀速转动，一系列静态画面就会因视觉暂留作用而造成连续的视觉印象65Tsinghua关于视觉暂留的讨论 幻觉，似动，暂留？如果的原理是视觉暂留的话，那么我们看到的应该是物体的负像，然后经过我们视觉暂留的反应之后才成为逼真的正像。但是谁都知道，我们看到 的画面是真真切切的正像画面，而且还是连续不断 的、运动的画面。那么，造成这种情况的原理是什么呢？恐怕还是需要进一步研究，探。66，电视已经走进我们的生活，但到底是我们人眼的什么机理使得我们可以从一幅一幅的静止图像中感觉到动的影像？T

22、singhua类似的，立体视觉与显示也是与认知相互作用的一个实例，因时间关系本次课堂不做详细介绍，感的同学可以阅读相关资料。立体视觉机理AA平面视觉：交于屏幕一点67立体视觉：交于三一点内容目录TH wsj一、信息与二、人类感知与认知三、智能信息处理四、与认知相互作用五、认知应用五、认知应用TH wsj通过对的智能处理，可认知内容、属性特征通过对设计、认知，可获得高质设计高质，可获效果显著，以及更好的认知认识事物本质69认知的应用领域Tsinghua与认知技术的应用领域非常广阔研究符合人类认知机理的技术，设计更符合人，是未来新类认知机理的新注的焦点技术所关包括：内容表现与设备技术20世纪80年

23、代是个人计算机的；90年代是网络和多；21世纪是虚拟现实的与认知70TH wsj1、军事和安全主要应用是在侦察方面。目标的检测，跟踪与识别军事领域制导军事侦察指纹识别模拟训练公共安全识别人脸检测71TH wsj侵入目标检测输入彩色图像对应背景检测结果Wronskian算法检测结果72TH wsj2、与环境保护Ø 遥感技术应用利用Ø 地质：平台，从空中远距离对地面进行观测勘探，地图绘制，GIS，河流分布73http:/wge_ghyuan/read/xinwentrendinfo.jsp?id=660TH wsjØ 环境：水质及大气污染海洋污染监测http:/2009/05/.shtml3、海洋与气象Ø 云图分析利用遥感技术，云图，通过对云图的分析，对大气，海洋环境进行监测74TH wsj4、工业与交通Ø 工业检查；Ø 机械手确定物体的位置，方向，状态，实现自动操作的无损探伤，表面