关于人工智能

1 人工智能人工智能 artificial intelligence 是模拟与解释人类智能行为是模拟与解释人类智能行为 的学科 有两个相辅相成的任务 其一 的学科 有两个相辅相成的任务 其一 发展具有类似生物 人发展具有类似生物 人 类 智能行为的计算系统类 智能行为的计算系统 智能信息处理 或智能系统 并以 智能信息处理 或智能系统 并以 此来解决现实世界的困难问题 其二 此来解决现实世界的困难问题 其二 借助计算机模拟并解释生借助计算机模拟并解释生 物 人类 的智能行为物 人类 的智能行为 认知科学 尽管有 认知科学 尽管有些人些人将后者划归为将后者划归为 人工智能学科 但还有很多人将人工智能研究限制在前者的理论人工智能学科 但还有很多人将人工智能研究限制在前者的理论 和方法上 这样人工智能也就自然成为计算机科学的一个分支 和方法上 这样人工智能也就自然成为计算机科学的一个分支 人工智能作为一个新的术语出现在 20 世纪 50 年代 起初人们试图使 用这个术语来概括当时一类正在兴起的被称为 复杂信息处理 的新研究 其核心内容就是使用计算机处理符号 以及处理由符号表示的知识 使用 复杂 一词 是因为这类问题的研究者认为 当时对计算机功能普遍认 可的数值计算是 简单信息处理 而对符号信息的处理 才是计算机功 能的主要体现 这样 描述并解决计算机处理符号信息中存在的问题成为 核心任务 1956 年 在美国达特茅斯学院的讨论会上 鉴于年 在美国达特茅斯学院的讨论会上 鉴于 能能 够使用符号够使用符号 是智慧的最重要标志 麦卡锡 是智慧的最重要标志 麦卡锡 McCarthy 人工 人工 智能的先驱 建议将这类研究使用更为智能的先驱 建议将这类研究使用更为 引人注目引人注目 的术语的术语 人工智能 人工智能 这时 无论是人工智能学者还是社会期待这样一种背景 使 人工智能研究逐步扩展为模拟与解释人类的智能行为 当人们将人工智能的研究任务从 符号分析的复杂信息处理 推广为 模拟与解释人类的智能行为 之时 它就与 制造具有某种人类智慧的 聪明机器 的理想一致了 20 世纪 40 至 50 年代期 认知科学和 复杂信 息处理 仅是这个理想所涵盖的研究之一 与上述理想相关联的且对信息 科学技术有深刻影响的研究 至少应该包含下述三项结果 其一 对环境适应 1948 年 Wiener 提出控制论 强调智能表现为 对变化的外界环境的适应 关键是反馈 这个思想后被 Ashiby 发展为 以微分方程定性理论为基础的控制理论 基于此 Ashiby 写出了 大脑设 计 的著作 由于 人工智能 术语的使用与符号处理密切相关 因此 这个思想在以后人工智能的发展中并没有起到主导作用 直到 1991 年 Brooks 提出临场人工智能之时 这个思想才正式加入人工智能的研究 这 是后话了 其二 神经信息处理 鉴于智能行为来自神经活动的信息加工过程 根据神经科学的研究结果 建立智能模型是一个合理的选择 这类研究遵 循神经科学在 20 世纪 40 年代期间的两个重要研究结果 1 McCulloch 与 Pitts 的神经元信息加工方式的模型 2 Hebb 的学习机制 并据此建立神 经元信息加工的数学模型 以在计算机上表现智能行为 建立模型的方法 一般以统计学 优化 为基础 对计算而言 数值计算是其重要组成 2 其三 认知科学 相对于神经信息加工的智能研究 它不介意行为产 生的原因 模型一般以符号推理为基础 对以后人工智能有重要影响的研 究是 Turing 实验 即 一种判别机器具有智能的准则 其关心的是智能行 为的体现 而不考虑完成智能任务的机器是否与智能生物有相同 或类似 的组成结构 其开创性的研究是 1951 年 Shannon 设计的第一个计算机下 棋程序 它同时揭示了计算机进行非数值 符号 处理的可能性 在 模拟与解释人类智能行为 研究的半个世纪中 对环境适应 一直没能成为主流 除了 机器昆虫 外 在理论与方法上似乎并没有本 质上的突破 基于认知科学 复杂信息处理 与基于神经信息加工两种实现 智能行为的研究 则呈现出 三十年河东 三十年河西 之态势 它们交 替引领着这类研究 这样 对人工智能这个术语的内涵来说 就存在两种解释 其一 狭 义解释 人工智能是基于认知科学的复杂信息处理的理论与方法 这是人 工智能先驱的理想 其二 广义解释 在人造机器上实现智能行为的理论 与方法 这个解释将不仅涵盖了上述三类研究 当然也可以包含任何与这 个目标有关的理念 理论和方法 目前 人工智能的研究并不局限在狭义 解释上 这样 1956 年 Dartmonth 会议将 丢失 其作为 模拟与解释人 类智能行为 研究起点的 荣耀 而保留了 人工智能 这个已经影响 了半个世纪且还在影响今后信息科学发展的术语的发明权 自自 人工智能人工智能 术语提出至今 已经过去了半个世纪 尽管术语提出至今 已经过去了半个世纪 尽管 模拟与解释人类智能行为模拟与解释人类智能行为 还只是一种理想 甚至人们至今还还只是一种理想 甚至人们至今还 不能决定使用何种理念 理论和方法作为人工智能的基础 这就不能决定使用何种理念 理论和方法作为人工智能的基础 这就 是为什么在过去的半个世纪中 是为什么在过去的半个世纪中 不同的理念和方法交替主导这类不同的理念和方法交替主导这类 研究的原因 研究的原因 然而 通过对人工智能的研究 大大推动了计算机然而 通过对人工智能的研究 大大推动了计算机 科学和技术的发展却是不争的事实 科学和技术的发展却是不争的事实 在人工智能研究的历史上 最重要的争论是 智能行为是在人工智能研究的历史上 最重要的争论是 智能行为是采采 用结构的方法用结构的方法描述还是描述还是采用统计的方法采用统计的方法描述 这个争论延续至今 描述 这个争论延续至今 在这个学科发展的不同阶段 不同的主张引领不同时期的研究 在这个学科发展的不同阶段 不同的主张引领不同时期的研究 无论采用何种主张 依照人工智能先驱在基于符号分析的复无论采用何种主张 依照人工智能先驱在基于符号分析的复 杂信息处理的方式中 人工智能的研究大致存在三个基本任务 杂信息处理的方式中 人工智能的研究大致存在三个基本任务 表示 推理表示 推理 表示与推理是紧密联系的 和 表示与推理是紧密联系的 和学习学习 表示是描述实 表示是描述实 际问题的一个框架 或称为基 或称为编码方式 知识表示则际问题的一个框架 或称为基 或称为编码方式 知识表示则 是 在这个框架下 对某个具体问题为真的描述 即这个问题的是 在这个框架下 对某个具体问题为真的描述 即这个问题的 模型 推理是研究 在给定模型的条件下 有效判定一个新实例模型 推理是研究 在给定模型的条件下 有效判定一个新实例 的真假或解答的方法 学习是在确定一种表示的条件下 假设观的真假或解答的方法 学习是在确定一种表示的条件下 假设观 察数据或实例来自同一个实际问题 据此建立模型 知识表示 察数据或实例来自同一个实际问题 据此建立模型 知识表示 3 的方法 应该指出的是上述三个基本任务均与搜索方法有关 选的方法 应该指出的是上述三个基本任务均与搜索方法有关 选 择表示方式也同样需要搜索 因此搜索是人工智能重要的研究择表示方式也同样需要搜索 因此搜索是人工智能重要的研究 课题 特别是启发式搜索是人工智能的标志之一 课题 特别是启发式搜索是人工智能的标志之一 应该指出的是 在人工智能的不同发展阶段 对上述三个基应该指出的是 在人工智能的不同发展阶段 对上述三个基 本任务有着不同的侧重 当研究的主流强调统计时 表示与推理本任务有着不同的侧重 当研究的主流强调统计时 表示与推理 的研究几乎不会成为人们特别关注的问题 而在结构主导研究的的研究几乎不会成为人们特别关注的问题 而在结构主导研究的 时期 表示与推理将是不能回避的重要研究课题 时期 表示与推理将是不能回避的重要研究课题 为了更为清楚地说明这个事实 需要简单介绍人工智能的几个重要发 展阶段 我们将只介绍这些阶段起主导作用的研究 但是 由于研究的延 续性 其他研究不可能中断 只是未能成为主流罢了 在 20 世纪 50 年代之前 主流的研究是基于神经科学数学模型的方法 由于这类研究将模型表示为一类连续函数 即表示为确定的基函数 因此 关键是建立模型 一般就是从观察的样本集归纳出一个模型 这就是学习 推理就是计算基于这个函数的模型的过程 由于表示和推理过程相对简单 因此 这类研究一般不将表示和推理作为一个独立的研究课题 其研究的 主要内容是学习 Rosenblatt 的感知机是最具代表性的研究 其本质是一 类多变量最小二乘方法 但存在两个问题 其一 这个方法只能对线性问 题收敛 对非线性问题不收敛 其二 基于这个方法建立的模型不可解释 即 模型有效或失效只能通过统计检验来验证 这是招致以后传统人工智 能研究者批评的原因 然而 更为重要的是 在这个时期 由于人们对计 算机处理符号的需求 基于符号处理的智能系统的研究逐步成为主流 这 就是狭义的人工智能 从 20 世纪 50 年代末开始 到 80 年代中期近 30 年间 狭义人工智能 成为主流 它大致可分为两个阶段 到 60 年代末主要是人工智能基础的 奠基阶段 这个时期发展的理念 理论和方法 至今还是人工智能的基础 1969 年 Minsky 和 Papert 合写了 感知机 一书 表面上看 这本书是指 出了感知机算法存在的问题 但是 对人工智能来说 它是一个分水岭 正是这本书 使得基于符号处理的智能研究进入了 以知识为核心 的黄 金十年 人工智能的理念得到工业界与社会的认可 以知识采集和使用为 内容的知识工程研究成为人工智能研究的核心课题 人工智能发展的奠基阶段有着许多至今还影响着计算机科学发展的标 志性的研究结果 McCarthy 发表的符号处理语言原型 建立了人工智能符 号处理的计算基础 Simon 夫妇的心理学实验 表明人类的问题求解是一 个搜索的过程 其效率取决于启发式函数 Nilsson 的启发式搜索算法 A Robinson 的归结原理 推动了自动推理的发展 人工智能在这个时期 的研究 奠定了计算机符号处理的理论基础 4 在这期间 通过对知识表示的研究 使人们开始认识到知识类通过对知识表示的研究 使人们开始认识到知识类 型的重要性 陈述知识与过程知识是两类最重要的知识类型 基型的重要性 陈述知识与过程知识是两类最重要的知识类型 基 于符号的知识属于前者 后者则包含了所有不能陈述表示的知识 于符号的知识属于前者 后者则包含了所有不能陈述表示的知识 这样 基于数值计算的模型也就可以纳入人工智能的研究了 然这样 基于数值计算的模型也就可以纳入人工智能的研究了 然 而 在这个时期 表示与知识表示并没有严格区分 直到而 在这个时期 表示与知识表示并没有严格区分 直到 1984 年 温斯顿 年 温斯顿 Winsdon 再版他的著作 再版他的著作 人工智能 人工智能 Artificial Intelligence 时 才严格区分了这两个概念 前者成为一类框时 才严格区分了这两个概念 前者成为一类框 架 后者则是在给定的框架下 填入具体内容 架 后者则是在给定的框架下 填入具体内容 这个结论不仅对陈 述知识成立 对过程知识也同样成立 表示与知识表示是人工智能的表示与知识表示是人工智能的 基本问题之一 常用的表示方法有 逻辑表示法 产生式系统表基本问题之一 常用的表示方法有 逻辑表示法 产生式系统表 示法 语义网络表示法和框架表示法等 示法 语义网络表示法和框架表示法等 知识表示是指给定表示下 对某个问题的具体描述 对人工智能来说 这些具体内容是常识知识 或者限定具体应用领域的常识知识 称为经验 知识 常识知识是指人们直觉的 日常使用的那些非专业性知识 它们不 一定在任何情况下都正确 但是 由于这类知识往往使得问题求解时的搜 索空间大大减小 因此 对复杂问题的求解常起决定性的作用 例如 鸟 会飞 是常识知识 大多数鸟都会飞 但也有众多例外 如 鸵鸟不会飞 如何表示和使用常识 自然为人们所关注 为此 人工智能研究者试图 研究常识知识的本质 以发展一种刻画常识知识的一般性理论 由此 提 出多种方法 例如 非单调推理 定性推理等 它们从不同角度来表达常 识知识和处理常识知识 另外 对经验知识 则采用知识库方法 这就是 专家系统的基础 基于常识知识和经验知识的两种方法完全不同 基于常识知识和经验知识的两种方法完全不同 前者的困难显而易见 这几乎是一个难以完成的任务 后者的本前者的困难显而易见 这几乎是一个难以完成的任务 后者的本 质是穷举 尽管它将问题限制在某个特定领域 且允许不断地补质是穷举 尽管它将问题限制在某个特定领域 且允许不断地补 充知识 由于常识与经验知识的复杂性 使得单纯使用这个方法充知识 由于常识与经验知识的复杂性 使得单纯使用这个方法 也难以完成任务 也难以完成任务 推理是知识的使用过程 由于有多种知识表示方法 相应地有多种推 理方法 推理过程一般可分为演绎推理和非演绎推理 谓词逻辑是演绎推 理的基础 语义网络和框架表示下的继承性推理是非演绎性的 演绎推理 与定理证明有密切关系 同时 由于知识处理的需要 近几年来提出了多 种非演绎的推理方法 如连接机制推理 类比推理 基于案例的推理 反 绎推理和受限推理等 在演绎推理方面 我国学者也做出了令人瞩目的成 果 吴文俊教授提出的平面几何定理的机器证明方法 证明了大量相当困 难的平面几何定理 受到国际学术界的重视 被称为吴方法 吴方法的重 要性有两点 其一 在表示上 与基于逻辑的方法相比较 吴方法将问题 限制在可以表示为代数方程的范围 而不是逻辑表示那样普适 其二 在 5 推理上 吴方法是非线性代数方程的一种消元法 其意义已超过人工智能 的范畴 搜索是人工智能的一种问题求解方法 搜索策略决定着问题求解的一 个推理步中知识被使用的优先关系 可分为无信息导引的盲目搜索和利用 经验知识导引的启发式搜索 启发式知识常由启发式函数来表达 启发式 知识利用得越充分 求解问题的搜索空间就越小 典型的启发式搜索方法 有 A AO 算法等 整个整个 60 年代 人工智能的研究基本奠定了符号处理的理论年代 人工智能的研究基本奠定了符号处理的理论 与技术 进入与技术 进入 70 年代 人工智能的研究已为社会和工业界所认年代 人工智能的研究已为社会和工业界所认 可 人工智能进入了新阶段 即进入知识处理的时期 也可以称可 人工智能进入了新阶段 即进入知识处理的时期 也可以称 为专家系统或更为广泛的知识工程时期 为专家系统或更为广泛的知识工程时期 1970 年左右 费根鲍姆 年左右 费根鲍姆 Feigenbaum 研制了第一个专家 研制了第一个专家 系统系统 DENDRAL 用于化学分子结构分析 用于化学分子结构分析 1977 年 费根鲍姆年 费根鲍姆 将这方面的研究总结为知识工程 人们逐步认识到领域专家通过将这方面的研究总结为知识工程 人们逐步认识到领域专家通过 实践积累起来的知识的重要性 并总结出建造专家系统及开发环实践积累起来的知识的重要性 并总结出建造专家系统及开发环 境的一系列原则 这期间出现了数以千计的专家系统 涉及到众境的一系列原则 这期间出现了数以千计的专家系统 涉及到众 多应用领域 多应用领域 如医学 地质学 分子生物学 化学分析 自动程序设计 计算机辅助教育和智能控制等 这些成果使人们看到了人工智能研究的实 际意义 推动了整个人工智能的进一步研究 目前 专家系统的应用目前 专家系统的应用 已深入到各个领域 已深入到各个领域 与此同时 在广泛的应用过程中 人们也发现专家系统获取与此同时 在广泛的应用过程中 人们也发现专家系统获取 专家知识的困难性以及系统本身的脆弱性 这些弱点使得耗资巨专家知识的困难性以及系统本身的脆弱性 这些弱点使得耗资巨 大的大的 CYC 常识知识库计划 大百科全书计划 未取得预期效果 常识知识库计划 大百科全书计划 未取得预期效果 尽管如此 在研究专家系统期间发展的基本方法 例如 知识库尽管如此 在研究专家系统期间发展的基本方法 例如 知识库 方法与各种推理机等已成为各个应用领域不可缺少的技术 方法与各种推理机等已成为各个应用领域不可缺少的技术 1997 年 年 IBM 公司的公司的 深蓝深蓝 下棋系统打败了国际象棋大下棋系统打败了国际象棋大 师卡斯帕罗夫 这可能是机器第一次打败世界上超一流棋手的事师卡斯帕罗夫 这可能是机器第一次打败世界上超一流棋手的事 件 其使用的方法 主要是知识库和启发式搜索 这在某种程度件 其使用的方法 主要是知识库和启发式搜索 这在某种程度 上实现了图灵 上实现了图灵 Turing 的梦想 的梦想 人们为此争论机器是否具有了智能 富有想象力的舆论界和公众甚至担忧人类与机器的战争 然而 人工智能 学者却冷静地看待这个事件 尽管此时统计机器学习已成为人工智尽管此时统计机器学习已成为人工智 能的研究主流 但这个事件仍未能成为狭义人工智能 专家系统 能的研究主流 但这个事件仍未能成为狭义人工智能 专家系统 知识库 振兴的契机 知识库 振兴的契机 6 这个时期 尽管在机器学习研究方面也做出了大量努力 但这个时期 尽管在机器学习研究方面也做出了大量努力 但 由于处理的对象需要表示为符号形式 因此遇到两个困难 其一 由于处理的对象需要表示为符号形式 因此遇到两个困难 其一 离散化 符号化 其二 从符号数据集合归纳出的模型 一般离散化 符号化 其二 从符号数据集合归纳出的模型 一般 不具有外延性 泛化 即模型只对被观察到的实例为真 而不不具有外延性 泛化 即模型只对被观察到的实例为真 而不 能保证在同一个问题中未被观察到的实例为真 这是人工智能备能保证在同一个问题中未被观察到的实例为真 这是人工智能备 受批评的原因之一 受批评的原因之一 在这个时期 尽管基于感知机的研究并没有终止 但是 由于这个时 期人们更加关注计算机符号处理的广阔前景 以及诱人的发展计算机智能 的理想 因此 感知机类的研究转入模式识别 1985 年 鲁梅尔哈特 年 鲁梅尔哈特 Rumelhart 和麦克莱兰 和麦克莱兰 Meclelland 发展了 发展了 BP 网络学习算法 网络学习算法 这个算法使得明斯基 Minsky 在 感知机 一书中的提问 XOR 问题可以收敛 由此引 起轰动 感知机的研究被扩展为人工神经网络 在以后的研究中 人在以后的研究中 人 们为了与基于符号机制的智能相区分 将人工神经网络的研究称们为了与基于符号机制的智能相区分 将人工神经网络的研究称 为智能的连接机制 当时 这两种机制产生了激烈的交锋 争论为智能的连接机制 当时 这两种机制产生了激烈的交锋 争论 的本质是 智能行为应该采用结构描述方法还是统计描述方法 的本质是 智能行为应该采用结构描述方法还是统计描述方法 另外 在另外 在 20 世纪世纪 80 年代后期 计算机处理符号的目标已经年代后期 计算机处理符号的目标已经 完成 而单纯基于符号的理论与方法遇到障碍 这使得完成 而单纯基于符号的理论与方法遇到障碍 这使得 模拟与模拟与 解释人类智能行为解释人类智能行为 的研究呈现出百花齐放的态势 的研究呈现出百花齐放的态势 持 狭义人工 智能 的学者经过短暂抵抗之后 人工智能开始接受来自其他学科的人工智能开始接受来自其他学科的 思想和研究成果 由此出现了一些新的方法 例如 霍兰思想和研究成果 由此出现了一些新的方法 例如 霍兰 Holland 提出的基于自然选择的遗传进化模型 提出的基于自然选择的遗传进化模型 使用类似基因 结构的表示法来描述问题 利用类似生物遗传的方法来发现新的规则 Brooks 找回 Wiener 与 Ashiby 等对环境适应的控制论方法 使用机器昆虫 的行为展现智能 这是一种不使用符号表示的人工智能研究 也有人称其 为 临场人工智能 等等 这个时期 尽管人工智能遇到严重的困难 但还是出现了一系列至今 对计算科学有重要影响的研究结果 其中最为重要的是 1991 年 Minsky 出版了他的著作 思维的社会 Society of Mind 这本著作关于 智慧由一些小的独立功能单元组成 的建议 以及创造的新术语 Agent 已成为理论与应用研究者的宠儿 Agent 已成为计算机科学很多领 域广泛使用的概念 以后据此还发展成为知识表示的方法论 本体论 Ontology 在这个过渡期中 人工智能研究的在这个过渡期中 人工智能研究的 百花齐放百花齐放 恰恰反映了恰恰反映了 智能行为的复杂性 人们开始逐步相信 智能行为的研究需要考智能行为的复杂性 人们开始逐步相信 智能行为的研究需要考 7 虑完全不同的各个侧面 并需要采用不同方法来描述不同的侧面 虑完全不同的各个侧面 并需要采用不同方法来描述不同的侧面 终极理论是不存在的 这正是人工智能研究的进步 终极理论是不存在的 这正是人工智能研究的进步 人工智能下一步将由何种理念来引领 实际应用起到了重要的选择作 用 字符识别是人工智能与模式识别均关注的问题 包括线性感知机 句 法识别和各种不确定方法等 均未获得成功 但人工神经网络 主要是 BP 等可以求解非线性问题的方法 却取得了成功 这恰恰是一个重要的 推动力 加上数字网络正在推向社会 信息高速公路计划 面对令人恐 惧的海量数据 社会迫切需要一种从这类数据有效建立模型的技术 人们 自然进一步推想 这种方法在网络数据的分析与建模上也可以成功 这些 现实注定了在以后的 20 年中 人工智能转入以统计为基础的轨道 具体 地说 就是以统计为基础的学习理论与方法来引领 事实上 学习一直是人工智能的一个重要研究课题 对人工智能来说 所谓学习是指在一定的表示意义下获取新知识的过程 人类学习的方式多 种多样 发展不同学习方式的模型也成为人工智能的重要任务 在 BP 算法出现之前 人工智能关于学习的研究主要围绕两个方面的 问题展开 其一 构建知识库 即知识获取 其二 各种学习方式的研究 特别是各种基于符号的归纳学习 最具代表性的研究是 ID3 与 AQ11 前 者 基于信息熵和划分 由于这个学习机制可以最终表述为树结构 使得 它具有较高的计算效率 因此 至今它还是最重要的学习算法之一 后者 基于逻辑归纳 是一种纯粹的符号演算方法 以后出现的 reduct 理论可以 理解为这种学习机制的延伸 进入进入 20 世纪世纪 90 年代 统计机器学习逐步确定了主流地位 年代 统计机器学习逐步确定了主流地位 这时对人工智能十分重要的表示与推理的研究 由于基于优化的这时对人工智能十分重要的表示与推理的研究 由于基于优化的 学习算法大多数采用给定基函数 因此 其表示变得单一 且由学习算法大多数采用给定基函数 因此 其表示变得单一 且由 此导致推理成为计算模型函数的简单问题 从一般的统计机器学此导致推理成为计算模型函数的简单问题 从一般的统计机器学 习的角度来看 表示与推理的研究价值已不够明显 习的角度来看 表示与推理的研究价值已不够明显 统计机器学习在以后的 20 年间 研究大致也可以分为两个阶段 其 一 前 10 年 在概率近似正确 Probability Approximation Correct PAC 学习理论意义下 Vapnik 的支持向量机 Support Vector Machine SVM 其特点是 样本集合有限 优化算法线性 统计评价基于 PAC 其二 后 10 年 统计学家占据了主导地位 他们以发展大变量集合统计学为动力 期间 人工智能研究以学习占据主导地位 由于这次发展的推动力来自数 字网络 因此 泛化是必须考虑的问题 这样统计学在人工智能的这个发 展时期起了重要的作用 尽管算法的设计基础大多依赖统计学原理 但是 人工智能的研究者并没有忘记 智能 的含义 因此 在这个时期 发展 8 了大量不同的学习方式 这些方式大多来自对人类学习的研究 例如 流 形学习 主动学习 集成学习 多事例学习等 所谓 概率近似正确 PAC 是 1984 年出现的一项对以后的人工智 能发展有重要影响的研究 计算学习理论 这个理论的要点有三个 其 一 学习需要考虑概率 即对观察的某种平均 这与传统统计的动机是一 致的 单个的观察不是确定的 而大量观察的某种平均对给定的问题是确 定的 模型 其二 鉴于观察数据 实际问题 的复杂性与观察次数的有 限性 模型的正确性无需以概率 1 成立 这则是解决问题复杂性和观察有 限性的 无奈 之举 其三 学习算法的复杂性必须是多项式 这是对复 杂问题计算近似解答的条件 如果一个模型 是通过给定观察 使用复杂性为多项式的算法获得 并且在 1 概率下 为正常数 其误差小于正的常数 这个模型就 称为 PAC 可学习 相对这类 PAC 可学习 强可学习 派生出弱可学习 即 令 1 2 学习成功的概率大于 1 2 通俗地说 模型仅比随机 猜想稍好 Valiant 以后提出了一个 匪夷所思 的猜想 强可学习与弱可 学习等价吗 这个猜想在 1991 年被证明 并在以后的机器学习中成为一 类学习算法的设计基础 这个时期 这类研究分为两个不同的研究路线 其一 以 PAC 为基 础 强调学习过程可以基于有限样本 并使得对误差的分析以 1 概率 成立 这个路线的最重要的贡献是强调建立模型的算法应该在线性空间设 计 即 强调返回线性感知机 这是对 BP 算法设计的反叛 这个思想本 质是解决复杂性问题 由此导致至今还是重要的研究课题 核函数 另一个有趣的路线是遵循传统统计学理念 根据热力学的 系综 Ensemble 原理和神经科学的 集群 Ensemble 原理发展了现在称为 集成学习 Ensemble Learning 的方法 其本质是 对实际问题随机采 样并建立模型 采样次数进行多次 由此获得多个模型 然后 在这些模 型张成的空间上建立实际问题的模型 在统计学上证明 如果采样次数趋 于无穷 由此建立的模型的均方差与一次采样建立的模型的均方差相等 这就是已被广泛应用于各个不同领域的 Bootstrap 原理 与此同时 1991 年人们证明了弱可学习定理 由此发展了算法 Boosting 它与上述随机采 样的区别是 其一 它是对给定样本集合的采样 其二 下一次采样尽量 包含上一次采样建立的模型不能准确描述的样本 因此 Boosting 需要建 立在 PAC 基础上 基于 PAC 的学习最重要的研究结果是 最大边缘 Margin 算法 其 误差界依赖样本集合两个闭凸集之间的距离 Margin 即 距离越大 泛 化性能越好 为了以后的讨论 我们将列出这个不等式 loglog 2 2 2 l M R l c herr 9 其中 M 就是两个闭凸集的距离 即边缘 margin 如果这个数值越大 显 然 泛化能力越强 由于这个原理的几何解释十分清晰 由此设计的算法简单易懂 因此 被很多研究者所喜欢 事实上 在上个世纪最后十年间 机器学习的研究 主要是围绕 margin 和 boosting 换句话说 基于 PAC 的机器学习理念占 据了主流 尽管基于统计学理念的研究也在进行 但是其主要研究结果还 是限制在统计学的范围之内 进入新世纪之后 情况发生了很大的变化 基于 PAC 的机器学习研 究遇到了统计学家的挑战 始因是基于 PAC 估计的误差界过宽 至此 机器学习的基本理论研究与人工智能逐步分道扬镳 它逐步纳入统计学轨 道 统计学家的目标本质上是大变量集合的统计学 成千上万的变量 尽管人工智能关于机器学习的研究使用这些理论基础 但是 无论在目标 还是方法上 均与人工智能本身没有了太大的关系 与人工智能有关的机器学习研究一直没有中断 且成为机器学习研究 的另一个重要路线 即由于数据来自实际问题 一组数据对不同的问题具 有不同的解释 笼统地讲 这就是数据的语义问题 机器学习发展的另一 个路线就是根据数据的语义发展不同的学习方式 并将这些学习方式变换 为统计学的基本理论可以包容的问题 从而 使得问题可以使用统计学发 展的理论与方法求解 目前 统计机器学习遇到艰难的问题 数字网络 分子生物学和金融 等领域迫切需要解决大变量集合下海量数据的分析与处理问题 这个问题 的关键有两个 其一 大变量集合的统计学 其二 海量样本集合 后者 涉及快速算法 而前者就不仅是对计算机科学的挑战 而且更多地是对统 计学的挑战 其困难在于 由于空间巨大 使得将一个样本考虑为这个空 间上一个点的做法 永远无法获得足够多或足够充分的样本 最为致命的 是 由于涉及变量组合问题 因此 当我们知道样本不充分时 我们没有 有效方法来设计实验以获得 合适 样本 事实上 在事实上 在 20 世纪世纪 80 年代 统计机器学习发展的初期 研年代 统计机器学习发展的初期 研 究者就面临着一个选择 其一 如上所述的感知机方法 由此 究者就面临着一个选择 其一 如上所述的感知机方法 由此 发展了基于发展了基于 PAC 的统计机器学习 其二 马尔科夫 的统计机器学习 其二 马尔科夫 Markov 随机场和贝叶斯 随机场和贝叶斯 Bayes 网的概率图模型方法 后者试图在结 网的概率图模型方法 后者试图在结 构上引入不确定性的描述 而且它与以前人工智能研究者强调破构上引入不确定性的描述 而且它与以前人工智能研究者强调破 缺缺 排中律排中律 的那些不确定性方法有本质区别 例如 模糊方法 的那些不确定性方法有本质区别 例如 模糊方法 而考虑 而考虑 Bayes 方法 并使用基于方法 并使用基于 Gibbs 分布的分布的 Markov 随机场随机场 方法对其求解 方法对其求解 所谓 概率近似正确 PAC 是 1984 年出现的一种 计算学习理论 研 究 其对以后的人工智能发展有着重要影 响 这个理论的要点有三个 其一 学习 需要考虑概率 即对观察的某种平均 这 与传统统计的动机是一致的 单个的观察 不是确定的 而大量观察的某种平均对给 定的问题是确定的 模型 其二 鉴于 观察数据 实际问题 的复杂性与观察次 数的有限性 模型的正确性无需以概率 1 成立 也可以说 这是解决问题复杂性和 观察有限性的 无奈 之举 其三 学习 算法的复杂性必须是多项式 这是对复杂 问题计算近似解答的条件 10 当时 研究者选择了感知机路线 究其原因 有些似乎已经没有什么 意义 例如 人工智能死了 之类的说法 究其学术的原因之一 可能 是 Bayes 网均需要考虑先验的图结构 学习这个结构 即使在今天仍是 一个难题 而基于 PAC 的统计机器学习完全无须先验知识 因此 在当 时成为首选的方法 也在情理之中 当时的研究者 对先验知识的研究已 经感到厌烦 而学习结构又遇到困难 特别是字符识别的成功大大鼓舞了 无需先验知识的统计机器学习的发展 经过经过 20 年的研究 一方面 大变量集合统计学遇到根本的困年的研究 一方面 大变量集合统计学遇到根本的困 难 另一方面 网络 生物和金融等不同领域的迫切需求 使得难 另一方面 网络 生物和金融等不同领域的迫切需求 使得 人们不得不寻找更有效的方法 其要点就是返回到成熟的小变量人们不得不寻找更有效的方法 其要点就是返回到成熟的小变量 集合统计学 这就需要将统计的方法用于问题的局部 换言之 集合统计学 这就需要将统计的方法用于问题的局部 换言之 需要根据领域的特点将大变量集合的统计问题变换为不同的小变需要根据领域的特点将大变量集合的统计问题变换为不同的小变 量集合统计问题 然后将这些小集合合理拼接为整体 其可行性量集合统计问题 然后将这些小集合合理拼接为整体 其可行性 恰恰来自 在很多领域中大变量集合之变量间的关系恰恰来自 在很多领域中大变量集合之变量间的关系的的不对称性 不对称性 换言之 这些变量不是完全两两相关或完全两两无关 它们之中换言之 这些变量不是完全两两相关或完全两两无关 它们之中 有些变量间相互关联有些变量间又相互无关 这样 完全