《工业大数据与人工智能》 课件 第三章概述

工业大数据与人工智能2024年8月15日HFUT主编：汪萌1汇报人：徐娟2第三章

机器学习基础

典型机器学习算法强化学习可信人工智能常用机器学习框架面向特定任务的机器学习深度学习3典型机器学习算法114机器学习算法基础

5机器学习算法基础

6线性模型

线性模型（LinearModel）是一种用来预测结果的简单方法，它通过对属性的线性组合来建立预测函数。

线性模型简单易懂并有良好的可解释性，同时包含着机器学习中重要的基本思想。它直观地展现了各因素在预测过程中的影响力大小。例如若在预测设备产量问题中学得“

”，就可以用来预测设备在不同工作时间和年龄下的产量，帮助工厂进行生产计划和设备维护安排。7决策树算法决策树通过把数据样本分配到某个叶子结点来确定数据集中样本所属的分类。决策树由决策结点、分支和叶子结点组成：1.决策结点表示在样本的一个属性上进行的划分。2.分支表示对于决策结点进行划分的输出。3.叶结点代表经过分支到达的类。

从决策树根结点出发，自顶向下移动，在每个决策结点都会进行次划分，通过划分的结果将样本进行分类，导致不同的分支，最后到达个叶子结点，这个过程就是利用决策树进行分类的过程。8决策树算法

建立决策树时，选择哪个属性作为分类依据是关键的一步。根据不同的目标函数，决策树的构建主要有以下三种算法：1.ID3(IterativeDichotomiser3)：信息增益：ID3通过计算信息增益来选择分类属性。信息增益越大，表示这个属性更能有效地将数据分类。倾向取值多的属性：由于取值多的属性更容易使数据纯度更高，其信息增益也更大。但这种方式可能导致过度拟合，生成庞大但深度较浅的决策树，这在实际应用中是不合理的。2.C4.5：信息增益率：C4.5是ID3的改进版，它使用信息增益率来选择分类属性，避免了ID3中偏向取值多的属性的问题。剪枝处理：C4.5通过剪枝技术来减少树的复杂度，避免过度拟合，使得模型更具通用性。9决策树算法3.CART(ClassificationandRegressionTree)：基尼指数：CART使用基尼指数来选择分类属性。基尼指数越小，表示数据集的纯度越高。二元分割：与ID3和C4.5不同，CART生成的决策树每个节点都是二元分割，这意味着每次分割只会将数据集分成两部分。分类与回归：CART不仅可以用于分类任务，也可以用于回归任务。它通过最小化基尼指数（或其他目标函数）来选择最佳分割点。10支持向量机

支持向量机（SupportVectorMachine，SVM）属于有监督学习模型，主要用于解决数据分类问题。

通常SVM用于二元分类问题，对于多元分类可将其分解为多个二元分类问题，再进行分类。SVM的主要思想：(1)支持向量机在高维或无限维空间中构造超平面或超平面集合，将原有限维空间映射到维数高得多的空间中，在该空间中进行分离可能会更容易。(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。11集成学习集成学习（EnsembleLearning）是一种通过结合多个学习器来完成学习任务的方法。这种方法通常能够超越单一模型的表现，显著提升泛化能力。集成学习的核心理念：集合多个模型的智慧，共同优化预测的准确度与韧性。集成学习有两种主要类型：同质集成和异质集成。个体学习器通常由一个现有的学习算法从训练数据产生，同质集成中的个体学习器都属于同一种类型，比如全部由决策树或神经网络构成，这些基础单元又被称作“基学习器”（BaseLearner），相应的学习算法称为“基学习算法”（BaseLearningAlgorithm）。这种集成方法的典型代表是Bagging和Boosting。异质集成中的个体学习器则可以是不同类型的，例如既包含决策树又包含神经网络，常称为“组件学习器"（ComponentLearner）。这种集成方法的典型代表是随机森林。随机森林（RandomForest）是异质集成的一个典型代表，展示了如何整合多种模型，实现更高级别的预测效能。12聚类算法

聚类算法是“无监督学习”（UnsupervisedLearning）的重要分支，“无监督学习"中的特点在于其处理的数据样本并不附带标记信息。该类算法的根本目标是将一组未被分类的数据集分割成多个子群体，这些子群体被称为“簇”。在理想的聚类结果中，每个簇内部的数据点表现出高度的相似性，而不同簇之间的数据点则呈现出较低的相似度，以此实现数据的有效分群。但是，聚类算法只是能自动形成簇结构，簇所对应的概念需对于算法来说依然是未知的，这需要使用者来命名。

K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。13维数灾难维数灾难（CurseofDimensionality）是指在高维空间中面临的数据分布变得稀疏、距离计算变得困难、数据点间距离差异性减小等问题，进而影响了数据分析、模式识别、机器学习等领域的效率和准确性。降维可以缓解这些问题，降维是将高维数据转换为低维数据的过程，同时尽可能保留数据的主要信息。常用的方法有：主成分分析（PCA）：通过线性变换将数据投影到一个新的坐标系中，选择前几个主成分（这些主成分解释了数据中最大方差）作为新的特征表示。线性判别分析（LDA）：通过寻找能够最大化类间差异和最小化类内差异的投影方向来减少维度，主要用于分类问题。t-SNE和UMAP：用于非线性降维，通过将数据投影到二维或三维空间，特别适用于数据可视化。14深度学习1215神经网络

人工神经网络主要由大量的神经元以及它们之间的有向连接构成。有三个重要影响因素：

神经元的激活规则：主要是指神经元输入到输出之间的映射关系，一般为非线性函数。

网络的拓扑结构：不同神经元之间的连接关系。

学习算法：通过训练数据来学习神经网络的参数。

人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。16卷积神经网络

卷积神经网络（ConvolutionalNeuralNetworks，CNN）是一种专门设计用于处理具有局部相关性和空间结构的数据的深度学习模型，在图像识别、视频分析和语音识别等领域表现出色。CNN的核心特点在于其利用卷积操作来提取输入数据（如图像）的特征，而不是传统的全连接神经网络中的矩阵乘法。17循环神经网络循环神经网络（RNN）通过使用带自反馈的神经元，能够处理任意长度的序列，比前馈神经网络更加符合生物神经网络的结构，已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。

在RNN中，信息不仅沿着网络的层级流动，而且在网络的循环结构中沿时间维度传递，即每个时间步（Timestep）的输出不仅取决于当前时刻的输入，还依赖于过去时刻的状态。

RNN的特点是其内部包含一个循环单元，该单元在处理序列数据时能够维持一个内部状态（HiddenState），并在处理序列中的每一个元素时更新这个状态。这个状态就像是网络的记忆，能够捕捉到先前输入的信息，并将其用于后续时刻的计算。因此，RNN擅长于捕捉时间域上的局部和长期依赖关系，可以灵活地处理不同长度的序列数据，包括处理长度可变的序列输入。例如，RNN可以用于文本生成，其中过去的词汇会影响接下来预测的词汇；也可以用于语音识别，其中连续的音频片段共同决定了最终的识别结果。18循环神经网络状态更新：19生成对抗网络生成对抗网络（GenerativeAdversarialNetworks，GAN）是由IanGoodfellow等人在2014年提出的一种深度学习框架，特别适用于无监督学习中的生成任务。GAN的基础理念源自博弈论中的二人零和博弈概念，由两个核心部分组成：用于根据某些输入生成对象的生成网络，以及紧接生成网络的用于判断生成对象真实与否的判别网络。在训练过程中，这两个网络形成了一种动态博弈关系，生成器的目标是生成越来越真实的样本，以欺骗判别器；判别器则极力区分真实数据与生成器生成的伪造数据。在每一轮迭代中，会先固定生成器的参数并更新判别器的参数以提高其区分能力，然后固定判别器的参数，更新生成器的参数使其生成的样本更难被判别器识别为伪造数据。20生成对抗网络21强化学习1322强化学习概念

强化学习（ReinforcementLearning）是一种机器学习方法，强化学习的基本思想是通过智能体（Agent）与环境（Environment）的交互来学习如何做出决策以达到最大化累积奖励的目标。

奖励函数是强化学习中的重要组成部分，它根据智能体的动作和环境的状态给出奖励或惩罚。动作集合描述了所有可能的动作，智能体会不断尝试不同的行为，并根据环境反馈的奖励信号（RewardSignal）调整自己的行为策略。23不同强化学习算法之间的关系24可信人工智能1425可信人工智能的几个方面人工智能的应用不断深入改变生产生活，成为了信息基础设施的重要组成部分。但在人工智能推动社会发展和提高工作效率的同时，也暴露出一些风险隐患。因此，发展可信人工智能已成当务之急。所谓可信人工智能，是指能够在法律、伦理和社会规范框架内运作，同时能够赢得用户和公众信任的人工智能系统，这需要抵抗多个方面的风险。安全风险：深度学习算法可能存在设计缺陷，易受外部攻击，例如对抗样本攻击可以误导模型做出错误的决策。隐私风险：在大规模数据驱动的人工智能应用中，数据的采集、存储和使用过程中，如果不加以适当管理，很容易造成个人隐私的泄露。公平风险：人工智能系统在学习和决策过程中可能复制并放大社会偏见，导致不公平的对待某些人群。可解释风险：复杂的深度学习模型往往被视为“黑箱”，其决策过程难以被人理解，这不仅影响公众对人工智能的信任，也制约了其在监管严格的行业中的应用。26可信人工智能框架27面向特定任务的机器学习1528面向特定任务的机器学习

工业人工智能在现代工业系统中广泛发挥作用，在诸多细分应用场景都有其运用，极大地提升了生产效率、产品质量和资源利用率。参考美国国家标准与技术研究院（NIST）对智能制造的划分标准，工业智能应用场景可以按产品、生产、商业三个维度来划分，这三个维度指向三类问题：第一类是对产品库存、成本的计算管理，这类问题机理清晰、经验主导、计算需求相对较低，一般用专家系统来解决。第二类是生产中的流程优化、故障检测，需要对数据进行统计分析但不需要推理，这类问题则引入机器学习技术。第三类是对市场需求、商业风险的预测推理，这类问题计算复杂度高但是其问题原理或是不同对象间的关系相对清晰，一般使用深度学习和知识图谱技术来解决。29常用机器学习框架1130常用机器学习框架机器学习框架是用于构建、训练、评估和部署各种机器学习模型的工具集。1.TensorFlow：特点：TensorFlow是一个开源的深度学习框架，支持从研究到生产的全流程。它使用数据流图的方式来表示计算任务，可以在不同的硬件（如CPU、GPU、TPU）上高效运行。TensorFlow不仅适用于构建深度学习模型，还可以用于机器学习和数据处理任务。它拥有丰富的工具和库，支持分布式计算、模型部署和优化，是业界广泛使用的框架之一。生态系统：TensorFlow拥有庞大的生态系统，包括Keras、TensorBoard（可视化工具）、TensorFlowLite（移动端优化）、TensorFlowServing（模型部署）等组件，使开发者能够快速构建、训练、优化和部署模型。31常用机器学习框架2.PyTorch：特点：PyTorch以动态计算图和易用性著称。与TensorFlow的静态计算图不同，PyTorch采用动态计算图机制，使得开发者能够更灵活地调试和调整模型。PyTorch还集成了大量的神经网络模块，支持自动微分和GPU加速，非常适合研究人员和开发者快速进行实验和模型迭代。应用：PyTorch在研究领域和学术界非常流行，许多前沿的深度学习研究都基于PyTorch进行开发。此外，PyTorch也逐渐在工业界获得广泛应用，特别是在需要快速迭代和试验的场景中。32