第1讲智能信息处理概述

1、智能信息处理概述智能信息处理概述 周亚同 Introduction on Intelligent Information Processing 主要内容主要内容 2 智能信息处理主要研究内容智能信息处理主要研究内容 4 智能信息处理仿真平台智能信息处理仿真平台( (含演示含演示) ) 5 智能信息处理应用实例智能信息处理应用实例( (含演示含演示) ) 3 相关研究学科相关研究学科( (机器学习与模式识别机器学习与模式识别) ) 1 智能信息处理基本概念智能信息处理基本概念 1 智能信息处理基本概念智能信息处理基本概念 数据数据（Data）：是客观事物属性、数量、位置及其相互关系等的抽 象表示

2、； 实例：“1314” 信息信息（Information）：是数据所表示的内在涵义； 知识知识（Knowledge）：是以多种方式把一个或多个信息关联在一起 的结构； 智力智力（Wisdom）：运用知识和经验判断和解决问题的能力； 智能智能（Intelligence）：知识集合与智力的综合称为智能。 智能可分为生物智能（生物智能（BI）和非生物智能非生物智能两种，非 生物智能包括人工智能人工智能(AI)和计算智能计算智能(CI)。 BI(Biological Intelligence)亦称自然智能(NI)。由于BI是人类 从自身的角度来阐述的，所以它表征人类智能活动的一些特 征。有目的性、综合

3、性和学习扩展性 。 AI是由非生物生命方法产生的智能，它总是和符号、逻辑、 规则、推理联系起来。 CI是由美国学者James Bezdek于1992年首先提出来的，它 是生物智能的计算模拟，即用计算机模拟和再现人类的某些 智能行为。 生物智能（生物智能（BI）、人工智能）、人工智能(AI)、计算智能、计算智能(CI)的区别的区别 智能ABC分层模式 2 智能信息处理主要研究内容智能信息处理主要研究内容 什么是智能信息处理什么是智能信息处理 智能信息处理就是模拟人或其它生物处理信息的行为，建 立处理复杂系统信息的理论、算法和系统的一些方法和技术。 智能信息处理的最大特点是不需要建立问题的精确描述

4、，非 常适合于处理那些因为难以建立有效的形式化模型，而用传统 方法难以解决、甚至无法解决的问题，特别是对不确定性系统 和不确定性现象等问题的处理具有独特优势。 智能信息处理是现代信息科学中发展最快且应用前景非常 广阔的一门崭新的重要学科，是信息科学当前热门的研究 焦点之一，在各个领域都取得了良好的应用效果； 智能信息处理主要研究内容智能信息处理主要研究内容 常见智能信息处理模型常见智能信息处理模型 人工神经网络人工神经网络 支持向量机、高斯过程模型支持向量机、高斯过程模型 混合模型、概率图模型、隐变量模型、显著度框架、 成分分析模型等 模糊数学与模糊智能模糊数学与模糊智能 智能信息处理主要研究

5、内容（续）智能信息处理主要研究内容（续） 遗传算法与进化计算遗传算法与进化计算 进化计算(EC) 遗传算法 GA 进化规划 EP 进化策略 ES 群智能算法 其他进化算法 蚁群算法 Ant Colony Optimization (ACO) 粒子群算法 Particle Swarm Optimization (PSO) 鱼群算法 Fish Swarm Optimization (FSO) 免疫算法(Immune Algorithm) ;克隆选择算法(Clonal Selection Algorithm) ；人工内分沁系统(Artificial Endocrine System) ；荷尔蒙算法(

6、Hormonal Algorithm) ；细菌趋药性 算法(Bacterial chemotaxis algorithm) ；DNA计算(DNA Calculation) ；膜计算(membrane computing) ，等等。 智能信息处理主要研究内容（续）智能信息处理主要研究内容（续） 混沌与分形混沌与分形 粗糙集粗糙集 量子计算量子计算 最早由IBM的科学家R. Landauer及C. Bennett于70年代提出，是对于一个或 多个量子比特 (qubit)或量子三元 (qutrit)以上进行操作，以达到具有量子特 性的演算功能。 混沌是现象的深化，而分形则是结构的深化。这两项发现使人

7、类对自然规 律和社会现象的认识发生了革命性的变革，提高到一个新的阶段。 是一种刻划不完整性和不确定性的数学工具 ，能有效地分析和处理不精确 、不一致、不完整等各种不完备信息，并从中发现隐含的知识，揭示潜在 的规律。主要包括属性约简和规则提取两个内容。 3 相关研究学科相关研究学科( (机器学习与模式识别机器学习与模式识别) ) 13 机器学习与模式识别机器学习与模式识别 q 直观地定义让机器拥有类似人类的学习能力； q 机器学习是人工智能的重要分支； q 模式识别可以看作是机器学习的特例。 人工智能人工智能 机器学习机器学习 模式模式 识别识别 q 如果在人工智能上有所突破，以至于机器能够学习

8、 ，那么它将价值10个微软。 B.Gates，2004 机器学习实例机器学习实例 x 例例1 1：判断 是“红心”还是“月亮” x 例例2 2：判断 是数字“6”还是数字“9” x x 机器学习实例机器学习实例( (续续) ) 例例3: 3: 判断人脸表情 七类表情 50100150200250 50 100 150 200 250 ？ 机器学习实例机器学习实例( (续续) ) 例例4: 4: 判断音乐风格 欢快音乐悲伤音乐 音乐片段（风格未知） ？ ？ 机器学习在日常生活中的应用机器学习在日常生活中的应用 例例1: 1: 手机的手写输入功能 例例2: 2: 笔记本电脑上的指纹识别器 例例3:

9、 3: 语音识别系统 大家下大家下 午好午好 机器学习可以在更广阔的领域得到应用机器学习可以在更广阔的领域得到应用 数据挖掘 图象检索 视频分析 移动通信 生物信息学 石油勘探 语音识别 智能机器人 目标跟踪 汉字识别 计算机视觉 金融数据分析 多通道用户界面 机器学习的理论基础机器学习的理论基础 机器学习的发展历史机器学习的发展历史 p起源: 上世纪50年代中叶 p 70年代中叶80年代中叶： 探索各种学习方法; p50年代中叶60年代中叶： 研究各种自适应系统； 代表作: Samuel的下棋程序 p60年代中叶70年代中叶： 模拟人类的概念学习过程; 代表作: Winston的结构学习系统

10、 机器学习的发展历史机器学习的发展历史( (续续) ) p90年代中叶当前： 分类器集成、海量样本学习、增 强学习、学习复杂随机模型、核机器学习等; 吸引了越来 越多的学者进行机器学习研究; p1980年,在卡内基-梅隆大学（CMU）: 召开了第一届机器学习国际研讨会,标志着机器学习研究 在全世界兴起。 p80年代中叶90年代中叶：主要研究人工神经网络; q50年代中叶80年代中叶： 探究各种学习策略； q80年代中叶90年代中叶： 人工神经网络独领风骚； q90年代中叶当前： 诸多研究热点； 机器学习的研究热点机器学习的研究热点 基于再生核的学习; 基于贝叶斯推理的学习; 海量样本学习; 半

11、监督学习;深度学习; 集成学习; 机器学习解决问题的流程机器学习解决问题的流程 样本采集预处理 构建 学习模型 用学习模型 判决或预测 结果解释 学习学以致用 机器学习研究领域细分机器学习研究领域细分 即人工神经网络 （ANN）学习 贝叶斯学习贝叶斯学习 贝叶斯贝叶斯 公式公式 DP|ww|DP wP 后验后验 似然似然 （样本信息）（样本信息） 先验先验 | | P DP PD P D ww w 贝叶斯贝叶斯 推理推理 q 与贝叶斯学习有紧密联系的一些概念： 贝叶斯决策 贝叶斯估计 q贝叶斯学习：基于贝叶斯推理的学习 贝叶斯学习的优点贝叶斯学习的优点 q 可以将先验知识融入学习过程 ； q

12、推理可以遵循事先定义的概率规则逐步实施； q 用概率表示不确定性，并允许学习方法输出置信度; q 可以得到与原学习方法对应的概率化版本。 统计学习统计学习 q基于有限观测样本，寻求样本与其目标值（targets）间 未知的依赖关系。 q 通俗地说: 从一些观测样本出发得出目前尚不能通过原 理分析得到的规律，再利用这些规律去分析客观现象，对 未来样本或无法观测的样本进行预测。 a c 2 H w b 1 H w 1 L 2 L D 学习模型1学习模型2 q 举例： q已知： 学习样本 及其相应的目标值 12 , N x xx 12 , , N t tt 使期望风险最小 ,RL t fPt d d

13、twx wxx q三类最基本的学习问题： 分类： ,0 , ,1 tfif L t f tfif x w x w x w 回归： 密度估计： 2 ,L t ftfx wx w ,ln,L PP x wx w 待研究系统 输入输出 输出 xt ,f x w 学习方法 统计学习欲解决的问题统计学习欲解决的问题 4 智能信息处理仿真平台智能信息处理仿真平台( (含演示含演示) ) 传统的智能信息处理仿真平台传统的智能信息处理仿真平台 Windows + MATLAB + WORD (4)如果从网上下载的程序需要Linux平台才能运行怎么办? (3)很多智能信息处理程序是用Python , Java,

14、 Fortran编写的. 面临的问题面临的问题: (1) Matlab仅用于仿真,难于真正用于工程计算场合. (2) WORD排版虽然直观,但排版效果并不满意(如公式),且难于移植. (5)能否做到仿真写作一体化; 能否方便地重现仿真过程? 工欲善其事工欲善其事,必先利其器必先利其器! Python语言学习资源语言学习资源 https:/ www.python-course.eu Python语言语言 是一种面向对象、解释型计算机程序设计语言。 它常被昵称为胶水语言，能够把用其他语言制作的各种 模块（尤其是C/C+）很轻松地联结在一起。常见的一 种应用情形是，使用

15、Python快速生成程序的原型（有时 甚至是程序的最终界面），然后对其中有特别要求的部 分，用更合适的语言改写。 /wiki/GFortranBinaries#MacOS Fortran语言语言 源自于“公式翻译”（英语：Formula Translation）的缩写， 是一种编程语言。它是世界上最早出现的计算机高级程序设 计语言，广泛应用于科学和工程计算领域。 编译器编译器gfortran查看命令查看命令: $ which gfortran 检查是否安装了gfortran $ gfortran v 查看gfortran的版本 编译器编译器gfortran编

16、译命令编译命令: 1、$ gfortran -o helloworld.o -c helloworld.for 生成目标文件.o $ gfortran -c helloworld.for (等价于上一句) 2、$ gfortran -o helloworld helloworld.o 生成可执行文件 http:/ dex.html 一种可以撰写跨平台应用程序的面向对象的程序设计语言。 具有卓越的通用性、高效性、平台移植性和安全性，广泛应 用于PC、数据中心、游戏控制台、科学超级计算机、移动电 话和互联网，同时拥有全球最大的开发者专业社群。 Java语言语言 常用命令常用命令： Javac aa

17、a.java 编译java源程序aaa Java aaa 执行aaa Appletviewer bbb*.htm 运行小运用程序 Linux操作系统操作系统 Linux公社：www.L Redhat、Fedora（rpm体系，企业环境） Debian、Ubuntu（deb体系，桌面环境） （有关Linux教程、编程、软件等的论坛） Linux是一套免费使用和自由传播的类Unix操作系统，是一个基 于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操 作系统。它能运行主要UNIX工具软件、应用程序和网络协议。 可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器 、视频游戏控制台

18、、台式计算机、大型机和超级计算机。 Scons编译工具编译工具 Scons是一个Python写的自动化构建工具，非常适合跨平台的项 目。从构建这个角度看，它跟GNU make是同一类工具，其集成功 能类似于autoconf/automake 。Scons也可看作是一个更简便、更可 靠、更高效的编译软件，它是用编程语言来实现编译。Windows下 也可安装Scons，它提供了一个Windows installer。 Scons学习资源：学习资源： 1、Scons 官网： / 2、Steven Knight： /doc/2

19、.3.0/HTML/scons-user/ Scons常用命令：常用命令： 1、$ scons 直接执行编译命令 2、$ scons c 清除编译命令生成的文件 3、$ scons -tree=all或status 编译时以树形结构展示 Latex排版工具排版工具 （1）MacTex /mactex/ （2）CTex （3）宏包下载： / Latex学习资源学习资源: 是一种基于tex的排版系统，由美国计算机学家莱斯利兰伯 特（Leslie Lamport）在20世纪80年代初期开发，能生成很多具 有书籍质量的印刷品。对于生成复杂表格和数学公式，这一点 表现得尤为突出。因此它非常适用于生成高印刷质量的科技和 数学类文档。 很多国外期刊只接受Latex排版的论文. Madagascar仿真软件仿真软件 软件网址软件网址 一款用于多维数字信号处理(尤其适合多维地震信号处理)的开源 软件.为使用者提供方便且强大的编程环境，能做到仿真写作一 体化; 能方便地重现仿真过程. 派遣研究生学习