智能控制翻译

1、智能控制导论大作业学号： 021151*姓名： *任课教师 : 吴 *目录一、说明 ,I. 文章出处 ,二、论文翻译 ,I. 摘要 ,II. 引言 ,III. 背景信息 ,IV. 神经网络整体结构 ,V. 神经网络的整体的标定中的应用VI. 总结 ,三、课程与论文关系 ,四、智能导论课程总结 ,、说明本次大作业针对“ Improved Calibration of Near-Infrared Spectra by Using Ensembles of Neural Network Models ”文章进行翻译。这篇文章摘自IEEESENSORS JOURNAL, VOL. 10, NO. 3,

2、 MARCH 2010。作者是 Abhisek Ukil, Member, IEEE, Jakob Bernasconi, Hubert Braendle, Henry Buijs, and Sacha Bonenfant。、论文翻译利用神经网络模型整体对近红外光谱校正改进摘要:红外（ IR）或近红外（ NIR）光谱技术是用来识别一种混合物或来分析材料的组成的方 法。NIR 光谱的校准是指利用光谱的多变量描述来预测各组分的浓度。建立一个校正模型， 最先进的软件主要使用 线性回归技术 。对于非线性校正问题， 基于神经网络的模型已经被证 明是一个有意义的选择。在本文中，我们提出了一个新的基于神经网

3、络的扩展传统的方法， 利用神经网络模型整体。 个别神经网络是从重采样与引导或 交叉验证技术 训练信息数据中获 得。在一个现实的校准实施例中得到的结果表明， 该集合为基础的方法， 会产生一个比传统 的回归方法更显著更精确和鲁棒性强的校准模型。关键词：自举，校准，计量学，交叉验证，傅立叶变换，近红外（NIR），近红外光谱仪，神经网络，光谱。I. 引言 :红外（IR ）或近红外 （NIR）光谱技术是用来识别一种混合物或来分析材料的组成的方 法。这是通过学习物质与红外光间相互作用而完成的。红外 / 近红外光谱是指红外光的吸收 为波长的函数。在红外光谱中，考虑的频率范围通常是 14000和 10厘米分之

4、一。注意，所 施加的频率刻度是波数（以厘米倒数为单位） ，而不是波长 （以微米为单位） 。该材料在不同 频率下的吸收测定中的百分比。 “化学计量学”是数学和统计方法的应用，以化学数据的分 析，例如，多元校正，信号处理 / 调节，模式识别，实验设计等。在化学计量学， 校准是通过使用光谱多变量描述符来预测不同成分的浓度来实现。 在本 文中，我们提出并分析采用基于神经网络的校正模型整体。 整体的个别型通过重新取样与引 导或交叉验证技术的原始训练数据的实现。 该集成模型被示为导致显著改善预测精度和鲁棒 性，当与常规的校准方法相比。在本文的其余部分安排如下。 在第二节中， 提供有关工作的背景信息。 这包

5、括使用的光 谱仪，数据采样， 目前最先进的校准方法和基于神经网络的校准模型的信息。 第三节介绍了 利用神经网络整体的概念。 神经网络模型的集成应用校准的目的的一个例子是在第四节和第 五节总结了我们的结论。II. 背景信息：A. 仪器 在这项研究中，傅立叶变换近红外光谱仪，型号ABBF TLA2000-160， FTPA2000-160，从 ABB分析（ BOME）M，魁北克，加拿大被使用。B. 数据集和样品光谱 在本研究中使用的数据是一组 493 个样本的清洗液， 主要是用来从计算机芯片的硅表面上去 除微粒。该溶液具有两个化学成分，以下简称为组件1或 C 1和组分 2或 C 2。部件 1的浓度

6、是在大约的范围从 0到 3，并且该组件 2 从 0至 7，其余成分为水。 这样的解决方 案以不同浓度的组分 1和 2的光谱收集在不同温度下， 并用前面提到的光谱仪。 样品光谱的 测定在单光束方式，然后转化成相对于一个参考光谱的相对吸收光谱。这显示在图 1图 1. 样品的光谱采集从图 1，可以看出，下面 5000 厘米 -1区域不能使用，因为它是低于检测器的截止限制，并且-1 -1 5000-7200 厘米 -1 之间的区域经常被水饱和。通常，我们使用了范围 7600 和 11000 厘米 -1 之 间，其中光谱不是太嘈杂，而吸光率低于1。采集后，其光谱基线被校正，和用于整个实验的相应的 493

7、 光谱示于图 2。图 2.493 本研究中使用的光谱基线校正C. 校准计量学发现从频谱， 导致在材料的组合物所期望的信息模型参数的过程称为校准。 在化学计量 学，校准是通过使用光谱多变量描述符来预测各组分的浓度来实现。 在化学计量校准的顺序 的步骤示于下图。光谱先经过预处理的标准技术，如多元散射校正，基线校 正,Savitzsky-Golay 平滑等，以补偿由于不同类型的仪器变化，改变在实验室条件下，改 变了探针， 等等。在此之后，修正的光谱变换成特征矢量与数据点的数量减少。使用诸如简 单的波长选择（如技术，选择每一个这是通过n 次波数），偏最小二乘（ PLS），主成分分析（PCA）等数据减少

8、是必要的，以避免校正模型，这将导致不好结果的过度拟合。之后的预 处理和数据还原步骤， 回归模型是使用频谱特征向量和从实验室试验所测量的化学物浓度建 立。相应的校准模型可以是线性的（例如，线性回归）或非线性（如神经网络） 。图 3. 在近红外光谱的校准的典型步骤图 4. 一个多层感知器的基本结构D. 校正的神经网络为基础的模式人工神经网络 （ ANN，或者 NNS）是由生物神经系统的启发， 并包含简单的处理单元 （人 工神经元）且由加权连接互连。主要使用结构是一个多层前馈网络（多层感知器） ，即在节 点（神经元）被布置在多个层（输入层，隐含层，输出层）和信息流是唯一的相邻层，见图 4。一种人工神

9、经元是一个非常简单的处理单元。它可以计算其输入的加权和，并把它传递 通过一个非线性传递函数来产生输出信号。在主要使用的传递函数是所谓的“S 形”或“挤压”作用，压缩一个无限大的输入范围是有限的输出范围。神经网络可以被“ 训练 ”，以解决难以通过常规的计算机算法来解决问题。训练是指连 接权重的调整， 基于多个训练实例是由指定的输入和相应的目标输出。 训练是一个渐进的过 程，其中一个训练样本的每个演示文稿后， 进行权重调整， 以减少网络和目标输出之间的差 异。流行的学习算法是梯度下降（例如，误差反向传播） ，赫布学习，径向基函数的调整等。 虽然目前的最先进的校准软件主要依靠线性回归， 神经网络越来

10、越多地用于化学计量校准的 目的， 特别是当光谱和组分浓度之间的关系被怀疑是非线性的。例如，讨论了利用人工神经网络作为可能的候选人的近红外光谱数据的多元校正。 Geladi 用 PLS和 ANN建立校正模型， 并 Duponchel 利用人工神经网络用于近红外光谱仪的标准化。 Benoudjit 比较了不同的非线 性技术和人工神经网络识别为基础的方法是一个很有前途的技术为化学计量校准。 Kohonen 神经网络已用于校准的问题在吸收光谱由海顿和古达克采用基于神经网络技术的标准化和 质谱仪实验室间的校准。对于神经网络的应用程序的校验问题的其他例子由布里尔顿引用。我们目前工作的动机，超越了利用神经网

11、络的近红外光谱仪的校准。为了提高基于 ANN 的校准方法的精度和鲁棒性， 我们建议使用一个的整体的神经网络模型。 在本文的其余部分， 相应的方法将被引入讨论，最后施加到所述数据集中的第 -B 。III. 神经网络整体结构A 预测模型的组合非线性校正模型， 如神经网络， 有许多比传统的线性回归模型的优势。 神经网络的弱点， 就是相应的学习算法只能保证收敛到最近的局部最优。 不同的初始权重， 例如， 可能会因此 导致不同的校准模式。 另一方面， 可以变成以神经网络为基础的校准方法的另一个优点。众所周知， 不同的预测模式的组合可以导致预测精度大幅度提高。此外， 相应的集合预测也比单一模型的预测更强劲

12、。在这里，我们限制我们的讨论，以最简单的组合（即算术平均）n个人预测。使用一些代数，我们可以证明下面的有趣的关系：其中: 也被称为“ 模糊 ”，并代表该个体的预测的方差。 方程表明， 该集合的预测误差总是比单独预测的平均预测误差小。 我们还看到， 在准确 的增益与个人的预测（前提是他们的平均预测误差不按比例增长）之间的分歧日益增大。神经网络特别适合于产生不同的单独的预测模型。 我们可以， 例如， 改变网络的体系结 构（例如， 隐藏单元的数量）或简单地使用不同的初始权值或训练样本的不同子集。在我们 的分析中， 我们主要用来引导和交叉验证， 以产生不同的神经网络的校正模型的整体。 这两 种技术进行

13、了简要简要说明。B. 自举 个体神经网络的训练与不同的训练集是从训练样本集随机选择的样本生成。 因此，所有 的训练集的样本数与原来的训练集相同， 但在每一组中， 一些样品发生丢失而一些发生几次 丢失。 最初开发估计的统计估计的抽样分布。 从有限的数据， 自举技术在无数的工程领域得 以应用。C. 交叉验证整体 在神经网络的 “交叉验证整体” ，从现有的一套产生不同的训练集留出一个给定数量的训练样本 样品。该训练集对个体校正模型，因此，所有的组成 样品，并且它们应 优选被选择，使得它们具有最小的重叠。D. 置信区间的估计 可以证明，预测的标准偏差，即模糊的平方根可以用于构造置信区间的集合预报 :其

14、中 取决于所需的 置信水平 。必须指出的是， 这些置信区间仅反映了模型的不确定性， 对于一组给定的训练样本并且 不包括出现的。例如，从测量误差，并从不同的测量条件下预测的不确定性。标准差之间的相关性 和预测误差 呈现从一个简单的测试一些说明性的结果与 数据的数量有限（ 20培训和 60 的测试样品，从数据集，在所述取第 -B）。结果示于图 5， 其指的是 10 线性回归模型的整体对于组分1（基于频谱的前六个主要部件和在该测量是在温度）。个别线性回归模型对应不同的自举训练集。图 5. 置信区间来自对光谱数据校准的一个简单的集成模型，图 1 表明， 20 个训练样本图2显示 60个测试样品从 Da

15、taSet 中提到的第 II-B置信区间，如图所示，已按确定（ ）。在训练集合中，只有一个测得的 C 1-C 值是不可靠区间内。在测试组，然而，我们观察到 1260 的样品的量，测得的 C 1- 值落在置 信区间之外。IV. 神经网络的整体的标定中的应用 在本节中，我们使用基于神经网络的校正模型整体这一概念中描述的示例数据集的优势 来进行仿真演示。对于第一组测试结果，我们开始了训练组包括27 个样品，从现有的 493样品，即随机选择的，我们有 466 样本作为测试数据。在每次迭代中，我们再加入30 个随机选择的样本训练集。 对于特征矢量的结构， 我们使用 PLS和 PCA与 5 的系数。要生成

16、整体的个别型号， 我们采用自举（ 70 引导模式）或交叉验证（离开了样本的20）。采用的神经网络模型有十隐层节点。为了防止过度拟合，早期停药（最多 20 个训练迭代）使用。此外，为了克服 与局部极小的问题，每一个模型被训练 10 次不同的初始权重，和被选择的模型的最佳训练 集的性能。这产生比平均十个训练运行较好的效果。我们还比较了对国家的最先进的使用 GRAMS软件方法的结果。A.分析对于不同的测试， 我们使用 PLS和基于 PCA的特征向量的五个系数。 我们认为与任一自 举或交叉验证训练集（交叉验证总称为随机留出的样品的20）中生成的 70 NN模型整体。为了便于比较，我们也用单 NN模型（

17、 PLS与特征向量）表示了训练结果，同一组训练样本 的均方根误差值的测试样品与输入样本的不同方法的数目绘于图， 并总结于表格。 在 MATLAB 神经网络工具箱被用于分析。图 6. 测试设置均方根误差为组件 1 对训练样本的数量：不同方法的比较。图 7. 测试设置均方根误差为组分2 对训练样本的数量：不同方法的比较。但是应当指出，在图中和表中，后缀5 中“ PLS5”和“ PCA5”表示的系数的数目，如 5PLS或 PCA系数。另外，在本申请中，没有 PLS 回归被卷入。 PLS因素进行了通过使用频谱 的预测的光谱本身（不涉及任何浓度），这是类似于 PCA 用作数据还原步骤。对于 GRAMS

18、结果，最佳的测试被认为是计算出来的软件。 这涉及通常的交叉验证法来确定用于构建训练 集的模型， 从而产生最佳的测试精度的因素（潜变量）的最佳数目。这就是为什么因素没有 具体的数目，提及用于 GRAMS结果，这是对于不同的试验样品的不同结果。我们注意到，相同的训练集和测试集分别在所有不同的方法中使用， 也就是说， 我们一直跟踪哪些样品加在 每个迭代步骤，并一直使用同一组样本的不同方法。B. 讨论从图和表中， 显而易见的是， 引导和交叉验证的训练样本， 即利用神经网络模型整体通 常导致更好的精度来预测未知测试样品的浓度比线性回归或传统的单神经网络方法。特别 是，我们可以提出如下意见。1. 对于组件

19、 1，我们看到， 随着五 PLS 系数特征向量， 引导或交叉验证始终产生了良好的效 果。测试集精度的不同的方法来接近，当我们有一个相当大数量的训练样本（例如，267 的训练和测试 226个样本）的。使用 5 PCA系数和 70 自举 NN-模型的特征矢量，我们实现了最 好的结果。2. 传统的神经网络为基础的方法，而不涉及整体的概念，产生比GRAMS较好的效果。这证实了神经网络的传统用法校准为引用的文献。然而，应用的NN-模型整体 导致了显著进一步提高预测精度。3. 一个有趣的方面是，随着基于神经网络模型的整体，必要的训练样本的数量达到一个特 定的测试集精度水平大大降低。从表中我们可以看到，使用

20、PLS5 和引导或交叉验证，我们达到约 0.39 与 57 个训练样本测试集均方根误差， 同时利用 GRAMS，?我们需要大约 177 样本， 以达到同样的精度，并用一个神经网络模型，我们需要约 87 个样本。相较于 GRAMS和?单神 经网络的方法，我们因此获得 120 和 30 个样本，分别与整体为基础的方法。在分析工业， 实现特定的精度与校准样本数少是相当大的兴趣，因为这降低了实验室测试的数量，从而建 立模型的成本，参见图 3.4. 内集合方法，我们不要求达到测试精度时要有显著差异。因此，无论是引导和交叉验证 技术似乎同样适用于生成校正模型的适当的整体。5. 对于组分 2，我们可以看到，

21、 自举或交叉验证整体与特征向量由五个 PLS 系数产生的所有 训练集大小的最好效果。6. 此外，在组件 2 的情况下，以整体为基础的方法需要更少的训练样本，以达到给定的测 试集精度比基于单个模型的方法。从表二中，我们可以看到，使用PLS5 和引导或交叉验证，我们实现了约 0.87 有 117 个训练样本测试集均方根误差，而与单个神经网络模型，我们需 要大约 147 个样本。 我们永远无法达到如此低的均方根误差。 我们已经取得的最佳值是 0.97 与 267 样品。7. 最后，我们观察到的集合方法似乎导致更强大的校正模型比单神经网络方法，其中的预 测精度可能有很大差别的不同的训练运行。这示于表中

22、，在这里我们比较NN-模型（特征向量，由 5 PLS或 PCA系数，分别）整体的单个神经网络模型和测试集的精确度。对于单 NN-模型，我们观察与 PLS和基于 PCA的特征向量得到的结果之间存在较大的差异，而对于集合 方法，结果非常相似。这表明集合方法是多向的预处理方法的选择较不敏感比基于单个神经 网络模型的方法。V. 总结在化学计量学， NIR 光谱仪的校准是通过使用光谱多变量描述符来预测不同组分的浓度 来实现。 采用了多种用于预处理和特征向量的施工方法， 但主要依赖于线性回归技术。 然而， 经常光谱和组分浓度之间的关系是非线性的。因此， 神经网络被称为万能非线性函数逼近， 已被用来作为非线

23、性回归为基础的校准模型。 神经网络的弱点就是相应的学习算法只能保证 收敛到最近的局部最优。在本文中， 我们提出了一种新的基于神经网络的校准方法的扩展。 我们提出并讨论了使 用基于神经网络的模型重新取样可用校准样品， 例如， 使用自举或交叉验证技术所产生的一 种整体。 所提出的方法被应用到一组测量的近红外光谱的不同浓度的双组分的清洗液。 以该 整体为基础的方法对未知测试样本呈显著， 更强大的预测精度， 与最先进的软件或与传统神 经网络为基础的方法的模型进行比较。特别令人感兴趣的是观察，集合方法效果比较显著。 实现了预先设定的准确度水平所需的校准样本的数目。三、课程与论文关系在文章中， 用蓝色标注

24、的关键词句，是我们智能专业非常熟悉的词句，这篇论文本身与电子信息方向关系并不大， 但是却与智能专业息息相关。 文章是以物理化学为基础， 为了达到更好的光谱技术， 并制造更优良的产品，人工神经网络被其改良并应用。人工神经网络算法模型在这篇文章中巧妙的被结合利用，文章用到了化学物理实验设计。为了更清楚的分析数据，后期处理同样用到了 matlab 的仿真技术。在这篇文献中， 为了建立一个校正模型， 并针对于非线性校正问题， 文章采用神经网络 的模型， 并提出了一个新的基于神经网络的扩展传统的方法， 利用神经网络模型整体。 个别 神经网络是从重采样与引导或交叉验证技术训练信息数据中获得该集合为基础的方

25、法， 产 生一个比传统的回归方法更显著更精确和鲁棒性强的校准模型。在我们智能控制导论课程中，我们学了神经网络基础，典型神经网络，高级神经网络， 神经网络控制。神经网络的研究基础包括：生物学基础、认识科学基础、理论基础(数学、非线性动力 学等) 以及实现的物质基础。人工神经网络是对生物神经系统的某种抽象、简化与模拟。具体人工神经网络是由许多并行互连的相同神经元模型组成。 一个神经网络的神经元模型和结 构，描述了一个网络如何将输入矢量转化为输出矢量的过程。该过程实质是一个计算过程。 也就是说，人工神经网络的实质体现了网络输入和输出之间的一种函数关系。神经网络结构和工作机理基本上是以人脑的组织结构和

26、活动规律为背景的，它反映了 脑的某些基本特征， 但并不是要对人脑部分的真正实现， 可以说它是某种抽象、 简化或模仿。 如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，实现对复杂信息的处理和存储，并表现出各种优越特性 ,这种结构就是人工神 经网络，在不引起混淆的情况下，统称为神经网络。按学习时是否需要外部指导信息， 可将 学习分为三种类型，即有导师学习、无导师学习、强化学习。四、智能导论课程总结智能控制导论课上我们接触了模糊控制， 神经网络， 遗传算法， 专家控制， 博弈控制等。 这些都是和智能专业息息相关的问题及算法。模糊控制以模糊集合、模糊语言变量

27、、模糊推理为其理论基础 , 以先验知识和专家经验 作为控制规则。其基本思想是用机器模拟人对系统的控制, 就是在被控对象的模糊模型的基础上运用模糊控制器近似推理等手段 , 实现系统控制。在实现模糊控制时主要考虑模糊变量 的隶属度函数的确定 , 以及控制规则的制定二者缺一不可。专家控制是将专家系统的理论技术与控制理论技术相结合,仿效专家的经验 , 实现对系统控制的一种智能控制。 主体由知识库和推理机构组成 , 通过对知识的获取与组织 , 按某种策 略适时选用恰当的规则进行推理 , 以实现对控制对象的控制。专家控制可以灵活地选取控制 率,灵活性高 ;可通过调整控制器的参数 ,适应对象特性及环境的变化 ,适应性好 ;通过专家规 则, 系统可以在非线性、大偏差的情况下可靠地工作, 鲁棒性强。智能 CAD是指通过运用专家系统、 人工神经网络等人工智能技术使在作业过程中具有某种程度人工智能的CAD系统。专家系统 (EXPERT SYSTEM是)一个能在某个特定领域内，用人类专家的知识、经验和能力 去解决该领域中复杂困难问题的计算机程序系统。 它不同于通常的问题求解系统， 其基本思 想是使计算机的工作过程