机器学习与数据挖掘

1、1.1机器学习的概念心理学中的学习解释是指通过获得经验使行为持续变化的过程。 Simon认为，如果系统能通过执行某些过程来提高性能，那就是学习。 Minsky认为学习在人们的脑海中(心理中)是有用的变化。 Tom M. Mitchell在机器学习本书中学习到的定义是，关于某种任务t和性能度p，如果某计算机程序在t上p测得的性能按照经验e自我完善，我们就从经验e中学习这个计算机程序。 目前，很多关于机器学习的文献都认为学习是系统积累经验改善自己性能的过程。 1机器学习的概要，总之学习与经验有关学习可以改善系统性能学习是一个有反馈的信息处理和控制过程。 经验是在系统和环境的相互作用过程中产生的，经

2、验应该包含系统的输入、响应、效果等信息。 因此，经验的积累、性能的完善是通过重复这个过程而实现的。 1.2机器学习系统的基本模式，模式包括学习系统的四个基本组成部分。 环境和知识库是用某种知识表现的信息的集合，分别表示外界的信息源和系统具有的知识。 学习环节和执行环节代表两个过程。 学习环节处理环境提供的信息，改善知识库的明确知识。 执行环节利用知识库的知识来执行某个任务，把执行中得到的信息返还给学习环节。 1.2机器学习系统的基本模式，环境即使是系统的工作对象，也可以包括工作对象和外界条件。 例如在医疗系统中，环境是患者现在的症状、检查的数据、病历。 在模式识别中，环境是被认识的图形和场景。

3、 学习环节获得外部信息，并将这些信息与执行环节反馈的信息进行比较。 一般环境提供的信息水平与执行环节所需的信息水平之间存在差异，经过分析、整合、类比、归纳等思考过程，学习环节必须从这些差异中获取相关对象的知识，并记忆在知识库中。 1.2机器学习系统的基本模式，知识库用于保存在学习的一环中学到的知识。 影响学习系统设计的第二个因素是知识库的形式和内容。 知识库形式是知识表示的形式(一次谓词逻辑、生成式规则、框架、语义网络、类和对象、模糊集合、贝叶斯网络、脚本、进程等)。 选择知识表示方法需要考虑表现性、推论的困难性、修正性、扩展性等标准。 1.2机器学习系统的基本模式、执行环节是机器学习系统整体

4、的核心。 执行环节为了应对系统面临的现实问题，应用知识库学习的知识来解决问题，评价执行效果，将评价结果反馈给学习环节，系统进一步学习。 1.2机器学习系统的基本模型，1 .基于学习策略的分类机器学习、传授学习、模拟学习、归纳学习、解释的学习，1.3机器学习的分类、机器学习、机器学习(Rote Learning )也称为记忆学习，或者也称为背诵学习。 机器学习是记忆，积累新知识，根据需要检索积累的知识，不需要计算和推论。 机器学习模式：将系统的输入模式设为(X1，X2，Xn )，对应的输出模式设为(Y1，y2，Ym )。 存储每次输入和输出数据，形成输入和输出模式集合(X1、X2、Xn )、(Y

5、1、Y2、Ym )，并根据使用时提供的输入数据，直接搜索输出。 传授性学习、传授性学习也被称为指导性学习。的。 此时，环境提供的信息抽象，水平高，学习环节将这些信息转换为执行环节使用的低水平信息。传统的学习，计划建立一个在McCarthy 1958年接受建议的系统，该系统可以得到专家的建议，用于规划某个领域的行动。 20世纪70年代后期，接受专家的建议，开始了改善专家系统工作的研究。 1980-1981年Hayes Roth提出了自动接受建议的程序。 传授式学习，1 .向专家征求建议。 对专家的要求可能很简单。 也就是说，请专家给出一般的建议。 有时，对专家的要求很复杂，要让专家认识到知识库的

6、缺失，并提出修正方法。 有些系统被动，消极地等待专家的建议。 有些系统很积极，把专家的注意转向特定的问题。 2 .这通过将专家的建议改为内部表示，说明是知识表示问题。 内部显示必须包括所有建议的信息。 用自然语言提出时，解释过程应该包括自然语言理解。 传授式学习，3 .实用化是传授学习的信息转换过程，把抽象的建议转化为具体的知识。 实用化过程与自动编程很相似。 前者从建议中得到实用的规则，后者从程序说明中得到程序。 两者也有差异。 后者寻求完全正确的程序，强调程序的正确性。 前者往往使用弱的方法，不能保证完全正确。 实用化的过程有时会做探究性的假设和近似，只求合理性。 得到的假设必须经过验证和

7、修正。 传授式学习，4 .整合新知识加入知识库。 学习系统往往是非单调的系统，新知识加入知识库时，需要检查和保证知识的兼容性。 5 .评价实用化过程中获得的新知识的只有假说，需要经过验证和修正，进行评价。 在评价中发现问题的时候，有必要进行标题分析和知识库的修正。 实用化是整个学习过程的核心。 模拟学习、模拟学习是以获得新概念和新技术的方式，把这些新概念和类似于新技术的已知知识转换成适合新情况的形式。 模拟学习的第一步是从记忆中找到类似的概念和技术，第二步是把它转换成新的形式用于新的情况。 比如人的学习方式之一，首先老师给学生解例题(先例)，然后给学生留下练习题。 学生寻找例题和练习问题的对应

8、关系，利用解决例题的知识来解决练习问题。 学生一般总结原理，供以后使用。 这种模拟学习方式是人类常用的。 归纳学习、归纳学习的定义(1)归纳(induction )是人类扩大认识能力的重要方法，是从个别到一般，从部分到整体的推论行为。 (2)归纳推论应用归纳方法，从充分的具体事例中归纳一般的知识，提取事物的一般规律，这是从个别到一般的推论。 (3)归纳学习(induction learning )是使用归纳推论学习的方法。 根据归纳学习的教师指导的有无，可以将其分为实例学习和观察和发现学习。 前者是有领导的学习，后者是没有领导的学习。 归纳学习、样本学习(Learning From Examp

9、les )也被称为样本学习，从样本学习。 实例学习是典型的归纳学习，是现在成熟的学习方法之一。 事例学习可以从环境中得到某个概念的事例，事例由老师准备，根据需要分为正例和负例，学习系统根据这些事例进行归纳推论，得到关于这个概念的一般规则(知识)。 提供给系统的实施例通常是非常具体的低水平信息，该系统可以总结通过学习过程总结的高水平的信息，即总结规则(知识)，并使用所学习的知识来指导今后的执行行为。 归纳学习，实例学习，比如，我们以动物组为例，学习系统中的哪个动物是“马”，哪个动物不同，例子足够多的情况下，学习系统一般提出关于“马”的概念模型，使自己能够识别马，可以把马与其他动物区别开来Simo

10、n和Lea 1974年提出了实例学习的两种空间模式：例子空间和规则空间、归纳学习、观察和发现学习又称为描述性摘要，其目标是确定规律和理论的一般描述，描绘观察集，指定一种对象的性质。 观察发现学习分为观察学习和机器发现。 前者用于分簇事例，形成概念描述，后者用于发现规律，制定规律和规则。 归纳学习、观察和发现学习概念聚类概念聚类是观察学习的人观察周围的东西，比较各种物体的特性，分为动物、植物和非生物，并给它们各自的种类定义。 像这样将观察到的东西分成几个种类，确立相应概念的过程就是概念聚类。 学习发现学习从系统的初期知识和观察的数据中学习数学、物理和化学等概念和规律。 这也使用了归纳推论，但因为

11、在学习过程中除了初期知识以外，没有指导者，所以也是没有指导者的归纳学习。基于解释的学习、基于解释的学习(ExplanationBased Learning ) :使用相关领域知识和训练实例，学习某个目标概念，最终得到该目标概念的一般描述(形式化表示的一般知识)。 基于解释的学习，提出基于解释学习的动因： (1)人们总是可以从观察和执行的单一事例中得到一般的概念和规则，(2)归纳学习是人经常使用的学习方法，但归纳方法在学习中，用领域知识分析判断事例的属性，仅通过事例间的比较来提取共性，因此推论的基于解释学习在学习过程中运用领域知识分析实例，解释避免类似问题的发生。 (3)根据解释学习只需要1、2

12、个事例，所以可以期待学习的效率化。 2 .基于学习方式的分类(1)教师学习(监督学习):输入数据中有教师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，以学习结果为函数。 (2)无教师学习(非监督学习):向数据输入无教师信号，采用聚类方法，把学习结果作为类别。 典型的无教师学习包括发现学习、聚类、竞争学习等。 (3)强化学习(强化学习):以环境反馈(奖/罚信号)为输入，以统计和动态计划技术为指导的学习方法。 3 .基于数据格式的分类(1)结构化学习：以结构化数据为输入，以数值计算和符号导出为方法。 典型的结构化学习包括神经网络学习、统计学习、决策树学习、规则学习。 (2

13、)非结构化学习：以非结构化数据为输入，典型的非结构化学习有模拟学习、案例学习、解释学习、文本挖掘、图像挖掘、Web挖掘等。 4、基于学习目标的分类(1)概念学习：学习的目标和结果是概念，或者是为了获得概念的学习。 典型的概念学习有实例性的学习。 (2)规则学习：学习的目标和结果是规则，或者是为了获得规则的学习。 典型的规则学习有决策树学习。 (3)函数学习：学习的目标和结果是规则，或者是为了得到函数的学习。 典型的函数学习有神经网络学习。 (4)班级学习：学习的目标和结果是对象班级，或者是为了获得班级的学习。 典型的班级学习有聚类分析。 (5)贝叶斯网络学习：学习的目标和结果是贝叶斯网络，或者

14、是为了获得贝叶斯网络的学习。 分为结构学习和参数学习。 2知识发现和数据挖掘、数据挖掘是从大量、不完整、有噪声、模糊、随机实际应用数据中提取隐藏在其中的、人们事先不知道的、但潜在有用的信息和知识的过程。 相似的概念称为知识发现。知识发现使用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后隐藏的知识，这称为数据库的知识发现。 的双曲馀弦值。 数据挖掘： a KDD进程，数据挖掘- coreofknowledgediscoveryprocess (数据挖掘知识挖掘的核心)， 数据清洗数据集成、数据库、数据仓库、知识、与任务相关的数据、seek-relevant data任务相

15、关的数据数据挖掘数据挖掘Pattern Evaluation模式评价：、 理解应用领域并建立目标数据集：数据的组织和预处理： (它可能占全过程60%的工作量)数据削减和转换选择数据挖掘的功能选择挖掘算法数据挖掘：感兴趣的模式评估和知识是操作发现数据挖掘功能和数据挖掘任务有两种：第一种是描述性挖掘任务：刻划数据库数据的一般特性第二种是预测挖掘任务，推测当前数据并进行预测。 概念/类的说明：特征和区别，概念/类的说明(class/concept description ) :以摘要、简洁、正确的方式描述各类和概念。 数据特征(data characterization ) :目标类数据的一般特征和

16、特性的摘要。 其中，数据特征的输出形式为饼图、条形图、曲线、多维数据立方体、多维表等。 数据划分：将目标类对象的一般特性与一个或多个比较类对象的一般特性进行比较。 相关分析，(1)定义：相关分析：发现了一个关联规则，表示在特定数据集上“属性-值”频繁出现的条件。 (2)实例age(x，20.29 )索引(x，20.29k)buys(x，CD _ player ) 支持=2%，confidece=60%，diaperbeer0.5%，75%，分类和预测，(1)。使用结构模型(或函数)描述分类或概念，区分，预测类型标志未知的对象类。 (2)分类模型的导出方式分类规则(IF-THEN )、决策树、数学公式、神经网络等。 (1)定义集群(clustering ) :汇总类似的数据，形成新类别并进行分析。 (2)集群和分组原则“最大化集群内的相似性，最小化集群间的相似性”对象的集群(集群)的形成方法，某个集群内的对象具有高相似性，不太类似于其他集群内的对象。 形成的每个群集可以看作是可以导出规则的对象类. 2020年7月1日星期三，建立了一个分类器，用于对数据挖掘