化工智能制造概论 课件 第3章 机器学习在智能化工中的应用

化工智能制造概论第三章机器学习在智能化工中的应用第三章机器学习在智能化工中的应用智能化工202323.1机器学习概述3.2监督式与无监督学习3.3决策树方法3.4支持向量机3.5人工神经网络3.6贝叶斯神经网络应用示例：反应溶剂与聚合物设计3.1 机器学习概述智能化工20233机器学习（MachineLearning）从有限的观测数据中学习得到一般性的规律，并利用这些规律对未知数据进行预测的方法海量数据：万维网、财务交互、用户交互、传感器和物联网化工中有了广泛的应用：化工流程的数字建模、优化故障诊断有机合成材料设计……3.1 机器学习概述智能化工20234

机器学习基本流程3.1 机器学习概述智能化工20235

神经网络3.1 机器学习概述智能化工20236

3.1 机器学习概述智能化工20237

3.1 机器学习概述智能化工20238

3.1 机器学习概述智能化工20239

3.1 机器学习概述智能化工202310

FunctionGradient3.2监督式与无监督学习智能化工202311监督式学习（SupervisedLearning）：机器学习的目标是建模样本的特征x和标签y之间的关系：y=f(x;θ)或p(y|x;θ)分类问题、回归问题非监督式学习（UnsupervisedLearning）：从不包含目标标签的训练样本中自动学习到一些有价值的信息聚类、概率密度估计、特征学习、降维强化学习（ReinforcementLearning）：智能体（Agent，即机器）在和环境的交互中不断学习并调整策略，以取得最大化的期望总回报3.3决策树方法智能化工202312决策树（DecisionTree）是基于树结构来进行决策的，是人类在面临决策问题时一种很自然的处理机制应用于故障检测与诊断、有机反应的逆合成分析、化工投资与过程设计及生产中的决策问题等叶结点对应决策结果（由多数值确定）其他内部结点对应一个属性测试引例（二分类问题）Y：milespergallon（goodorbad）X：7维3.3决策树方法智能化工202313引例：较小规模的决策树3.3决策树方法智能化工202314引例：较大规模的决策树3.3决策树方法智能化工202315引例：完整的决策树3.3决策树方法智能化工202316决策树算法：输入：样本集D={(x1,y1),(x2,y2),⋯,(xm,ym)}

属性集A={a1,a2,⋯,ad}过程：函数TreeGenerate(D,A)1:生成结点node；2:ifD中样本全属于同一类别Cthen3:将node标记为C类叶结点；return4:endif5:ifA=ΦORD中样本在A上取值相同then6:将node标记为叶结点，其类别标记为D中样本数最多的类；return7:endif8:从A中选择最优划分属性a*；9:fora*的每一个值a*vdo10:为node生成一个分支；令Dv表示D中在a*上取值为a*v的样本子集；11:ifDv为空

then12:将分支结点标记为叶结点，其类别标记为D中样本最多的类；return13:else14:以TreeGenerate(Dv,A\{a*})为分支结点15:endif16:endfor输出：以node为根结点的一颗决策树3.3.1划分选择智能化工202317

3.3.1划分选择智能化工202318

3.3.1划分选择智能化工202319

形状不提供更多信息3.3.1划分选择智能化工202320

选择颜色进行分支3.3.2剪枝智能化工202321过拟合（overfitting）FunctionGradient3.3.2剪枝智能化工202322过拟合（overfitting）决策树示例3.3.2剪枝智能化工202323过拟合（overfitting）决策树示例完整树学习到了噪声训练集正确率:100%测试集正确率低（测试为62%）简单树训练集正确率约:75%测试集正确率约:75%3.3.2剪枝智能化工202324分割为训练集与测试集基本策略预剪枝（pre-pruning）决策树生成过程中，对每个结点在划分前先进行估计优点：减少了决策树的训练时间开销缺点：给预剪枝决策树带来了欠拟合的风险后剪枝（post-pruning）先从训练集生成一颗完整的决策树，然后自底向上地对非叶结点进行考察优点：欠拟合风险很小，泛化性能往往优于预剪枝决策树缺点：训练时间较长3.3.4多变量决策树智能化工202325连续值处理连续属性离散化缺失值处理利用有缺失属性值的训练样例来进行学习多变量决策树决策树所形成的分类边界有一个明显的特点：轴平行（axis-parallel）非叶结点不再是仅对某个属性，而是对属性的线性组合进行测试3.3.5药物合成中有机分子购买必要性的预测智能化工202326完整树3.3.5药物合成中有机分子购买必要性的预测智能化工202327剪枝结果3.4支持向量机智能化工202328支持向量机（SupportVectorMachine）3.4支持向量机智能化工202329支持向量机（SupportVectorMachine）有监督的机器学习算法，常用于分类和回归问题。在化工领域中，支持向量机常被用于研究分子构效关系、工艺流程模拟等问题超平面（Hyperplane）一些数据，若能用线、面或超平面将它们分成几个类别，那么这些线、面或超平面可以统称为超平面n维数据集，其超平面是n维欧几里德空间的n–1维子空间最优的分割？3.4支持向量机间隔（Margin）：数据点到分割超平面的距离。当间隔越大，分割超平面对数据的局限性或噪声的“容忍”能力越大，当面对新的数据样本的时候，使用这个分割超平面得到的分类结果就越可靠。支持向量（SupportVectors）离分割超平面最近的点303.4支持向量机最简单的SVM：最大化间隔的线性分割器基本原理的数学表达？以简单的二维平面分析313.4支持向量机

32WW’X=1W’X=0W’X=-1

W’X=b3.4支持向量机

33

3.4支持向量机

34

3.4支持向量机35不可线性分割的情况软间隔：允许少部分分类错误核函数：映射到高维空间，在高维空间做线性分类3.4支持向量机36

3.4支持向量机37

3.4支持向量机38核函数法（Kernelfunction）引例

3.4支持向量机39核函数法（Kernelfunction）引例3.4支持向量机40

名称表达式参数线性核

多项式核高斯核拉普拉斯核Sigmoid核3.4支持向量机多分类情况N类问题：建立N个2分类SVMClass1vs其他Class2vs其他…ClassNvs其他选择使点在+区间内离边界线最远的分类算例413.4支持向量机总结基本概念超平面、支持向量、间隔决定最优的分割平面是优化问题不可线性分割的情况软间隔核函数N分类问题423.5人工神经网络智能化工202343人脑1百亿神经元每个神经元可与上千个神经元相连（突触）人工神经网络模拟人脑神经网络而设计的一种数学模型不同节点之间的连接被赋予不同的权重每个权重代表一个节点对另一个节点的影响来自其它节点的信息根据权重统计信息，并传递到一个激活函数中可应用于分类及回归问题出色的非线性拟合能力以及高通量推演效率化工领域应用预测分子性质、流体力学建模过程模拟、安全控制、……3.5人工神经网络智能化工202344

3.5人工神经网络智能化工202345

3.5人工神经网络智能化工202346

3.5人工神经网络智能化工202347

3.5人工神经网络智能化工202348激活函数阶跃函数LinearThresholdUnit(LTU)与、或、非关系3.5人工神经网络智能化工202349

3.5人工神经网络智能化工202350非线性感知机的局限性决策边界仍为线性无法表达异或等关系导致了第一次AI之冬解决之道多层神经网络3.5人工神经网络智能化工202351多层神经网络增加隐藏层（HiddenLayer）理论上，只要神经元（即节点）数目足够多，则不需很多层单隐层：可代表任何连续函数双隐层：可代表非连续函数实际中，交叉验证确定层数3.5人工神经网络智能化工202352K-类型分类器使用K个输出节点，每个节点代表一类，训练中y标签变为一个K维向量，只有一个维度值=1，其他=0；预测过程：选择输出值最大的单元作为预测结果（softmax归一化）3.5人工神经网络智能化工202353K-类型分类器3.5人工神经网络智能化工202354

3.5人工神经网络智能化工202355

3.5人工神经网络智能化工202356

jh

3.5人工神经网络智能化工202357

cj

3.5人工神经网络58终止条件？一定循环次数测试集误差上升局部最优情况多起始点、模拟退火、随机梯度下降其他重要调整选项学习速率：参数选取非常影响收敛避免误差发散：使用“惯性项”制衡梯度下降批量计算（Batchsize批量大小）Epoch：完整的数据集通过了神经网络正逆向传播过程一个有2000个训练样本的数据集。将2000个样本分成大小为500的batch，那么完成一个epoch需要4个iteration。3.5人工神经网络59神经网络结构前馈网络前面介绍，另包括卷积神经网络等记忆网络（反馈网络）不仅接收其它层神经元的信息，也接收当前层的历史信息记忆网络中的神经元具有记忆功能包括玻尔兹曼机、循环神经网络等图网络很多数据以图结构的形式表示，比如分子结构、社交网络、知识图谱等图网络是以图结构数据为基础而构建的神经网络，每个节点都由一个或一组神经元构成节点之间的连接可以是无向的，也可以是有向的每个节点可以接收来自相邻节点或自身的信息如图注意力网络、图卷积网络、消息传递神经网络等3.5人工神经网络60/neural-network-zoo/神经网络结构：其他神经网络（深度学习）3.6贝叶斯神经网络61贝叶斯神经网络（BayesianNetwork）提供了一种方便的框架结构来表示因果关系相比于标准的神经网络模型，贝叶斯神经网络模型优化的是模型的概率分布这一特性使其在预测化工产品性质等目标时可考虑不确定性问题，具有更强的鲁棒性与稳定性，广泛应用：传感器数据融合生产监视和警报金融风险管理、投资组合分配、保险生态系统建模3.6.1概率及贝叶斯定理62

3.6.1概率及贝叶斯定理63

3.6.1概率及贝叶斯定理64

分析、记录所有联合概率占用资源太多！3.6.1概率及贝叶斯定理65

3.6.1概率及贝叶斯定理66另一个例子（部分变量独立分布）：B：工厂制冷剂储备不足E：发生地震A：预警系统报警假设B、E独立分布可用6个数确定联合概率分布分项列表需7个数更多变量，可节约更多资源3.6.1概率及贝叶斯定理67另一个例子（部分变量独立分布）：引入贝叶斯网络BEAP(B,~E,~A)?P(~E|A)

3.6.2贝叶斯网络结构68节点：对应一个随机变量有向边：对应直接因果关系非根节点：含条件概率表（CPT）BEACPTJMAB：工厂制冷剂储备不足E：发生地震A：预警系统报警J：反应系统自动关闭M：车间工人联系车间主任3.6.2贝叶斯网络结构69构成贝叶斯网络步骤第一步：找到关键的随机变量B：工厂制冷剂储备不足E：发生地震A：预警系统报警J：反应系统自动关闭M：车间工人联系车间主任3.6.2贝叶斯网络结构70构成贝叶斯网络步骤第一步：找到关键的随机变量第二步：根据因果关系形成有向边有向无环图（DirectedAcylicGraph）B：工厂制冷剂储备不足E：发生地震A：预警系统报警J：反应系统自动关闭M：车间工人联系车间主任3.6.2贝叶斯网络结构71构成贝叶斯网络步骤第一步：找到关键的随机变量第二步：根据因果关系形成有向边第三步：加入条件概率表3.6.2贝叶斯网络结构72典型贝叶斯网络的结构组成Head-to-headTail-to-tailHead-to-tail马儿科夫链（Markovchain）分别具