化学信息学（第四版）课件 第七章数据分析方法

第七章数据分析方法化学信息学引言数据分析方法化学信息学中的数据处理与机器学习大纲

数据分析在化学中的意义机器学习概述与常用数据库机器学习过程无监督学习vs有监督学习决策树化学计量学与多元统计分析模式识别方法

人工神经网络数据分析在化学研究中的意义化学实验产生大量数据数据蕴含化合物组成、结构、性质等信息数据间内在关系比数据本身更具意义机器学习方法助力预测模型构建数据偏见数据记录的不完整数据质量的不一致数据标准化与规范数据存贮与管理数据处理数据关联性分析数据可视化分析小数据分析机器模型学习的解释性难点与挑战常用数据分析方法分类机器学习在化学中常用的数据库机器学习人工智能的分支使计算机自动学习和理解数据实现自主决策与预测机器学习过程选择数据集→划分为训练集和检验集训练集：用于系统学习检验集：用于评估预测能力无监督学习vs有监督学习无监督：未标记数据、自动发现隐藏模式、聚类/降维有监督：已标记数据、输入-输出映射、分类/预测无监督学习目标：有效的数据表达常见方法：Kohonen网络、概念聚类应用：识别数据类别、降低维度有监督学习核心：输入数据与目标输出建立联系误差计算与最小化常用方法：决策树、遗传算法、BP神经网络决策树定义：预测模型，对象属性与值的映射三种节点：决策节点（矩形）、机会节点（圆形）、终结节点（三角形）典型算法：ID3、C4.5、CART生成三步骤：特征选择→决策树生成→剪枝过拟合与剪枝策略（预剪枝/后剪枝）机器学习在化学中的应用实例

第二节化学计量学定义：数学、统计学、计算机技术处理化学数据两大应用方向：优化实验方法（参数优化、实验设计、信号处理）获取有用信息（统计处理、模式识别）多元统计分析概述受多种指标共同作用和影响的现象大量存在。受多种指标（随机变量）共同作用和影响的现象大量存在。多元统计分析是运用数理统计方法来研究解决多指标问题的理论和方法。多元统计分析的用途进行数值分类，构造分类模式3变量之间相依性分析1构造预测模型，进行预报控制2简化系统结构，探讨系统内核4多元统计分析概述相关分析函数关系vs相关关系三种相关类型：正相关、负相关、无相关Pearson相关系数公式展示多元线性回归（MLR）模型一般形式：Y=β₀+β₁X₁+...+βₘXₘ+ε两个步骤：最小二乘法求参数估计值模型质量评价与假设检验决定系数r²的意义（0≤r²≤1）回归预测与置信区间主成分分析（PCA）是将多个指标化为少数几个综合指标的一种统计分析方法，

即通过降维技术把多个变量化为几个少数主成分的方法。基本思想：将原来众多具有一定相关性的指标，重新组合成一组新的相互无关的综合指标来代替原来指标。数学处理：就是将原来p个指标作线性组合，作为新的指标。

偏最小二乘（PLS）成分提取的初始化：从自变量数据中提取第一主成分，同时考虑该主成分与因变量的相关性。利用提取的第一主成分与因变量进行回归分析迭代提取成分：基于上一步得到的残差，偏最小二乘法继续从剩余的自变量数据中提取第二主成分，同样考虑其与残差因变量的相关性构建回归模型：使用提取的成分作为新的自变量，对因变量进行多元线性回归，得到最终的预测模型。模式识别概述分类：有监督、无监督、显示方法常见算法：k-NN、PLS-DA、SIMCA、CCA、SVM、Bayes聚类分析聚类分析法(ClusterAnalysis)是研究“物以类聚”的一种现代统计分析方法，在众多的领域中，都需要采用聚类分析作分类研究。（1）最短距离法（single）（2）最长距离法（complete）（3）中间距离法（median）（4）类平均法（average）（5）重心法（centroid）（6）离差平方和法（Ward）神经网络

neuralnetworksaremassivelyparallelinterconnectednetworks ofsimple(usuallyadaptive)elementsandtheirhierarchical organizationswhichareintendedtointeractwiththeobjectsof therealworldinthesamewayasbiologicalnervoussystemsdo

[T.Kohonen,NN88]M-P神经元模型[McCullochandPitts,1943]神经网络是