神经网络模型预测控制器

精品文档 1欢迎下载 神经网络模型预测控制器 摘要 本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中 控制规则用 一个神经网络函数逼近器来表示 该网络是通过最小化一个与控制相关的代价函数来训练 的 本文提出的方法可以用于构造任意结构的控制器 如减速优化控制器和分散控制器 关键字 模型预测控制 神经网络 非线性控制 1 介绍 由于非线性控制问题的复杂性 通常用逼近方法来获得近似解 在本文中 提出了一种广 泛应用的方法即模型预测控制 MPC 这可用于解决在线优化问题 另一种方法是函数逼 近器 如人工神经网络 这可用于离线的优化控制规则 在模型预测控制中 控制信号取决于在每个采样时刻时的想要在线最小化的代价函数 它 已经广泛地应用于受限的多变量系统和非线性过程等工业控制中 3 11 22 MPC 方法一个 潜在的弱点是优化问题必须能严格地按要求推算 尤其是在非线性系统中 模型预测控制 已经广泛地应用于线性 MPC 问题中 5 但为了减小在线计算时的计算量 该部分的计算为 离线 一个非常强大的函数逼近器为神经网络 它能很好地用于表示非线性模型或控制器 如文 献 4 13 14 基于模型跟踪控制的方法已经普遍地应用在神经网络控制 这种方法的一个 局限性是它不适合于不稳定地逆系统 基此本文研究了基于优化控制技术的方法 许多基于神经网络的方法已经提出了应用在优化控制问题方面 该优化控制的目标是最小 化一个与控制相关的代价函数 一个方法是用一个神经网络来逼近与优化控制问题相关联 的动态程式方程的解 6 一个更直接地方法是模仿 MPC 方法 用通过最小化预测代价函数 来训练神经网络控制器 为了达到精确的 MPC 技术 用神经网络来逼近模型预测控制策略 且通过离线计算 1 7 9 19 用一个交替且更直接的方法即直接最小化代价函数训练网络 控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略 这种方法目前已有 许多版本 Parisini 20 和 Zoppoli 24 等人研究了随机优化控制问题 其中控制器作为 神经网络逼近器的输入输出的一个函数 Seong 和 Widrow 23 研究了一个初始状态为随机 分配的优化控制问题 控制器为反馈状态 用一个神经网络来表示 在以上的研究中 应 用了一个随机逼近器算法来训练网络 Al dajani 2 和 Nayeri 等人 15 提出了一种相似的 方法 即用最速下降法来训练神经网络控制器 在许多应用中 设计一个控制器都涉及到一个特殊的结构 对于复杂的系统如减速控制器 或分散控制系统 都需要许多输入与输出 在模型预测控制中 模型是用于预测系统未来 的运动轨迹 优化控制信号是系统模型的系统的函数 因此 模型预测控制不能用于定结 构控制问题 不同的是 基于神经网络函数逼近器的控制器可以应用于优化定结构控制问 题 在本文中 主要研究的是应用于非线性优化控制问题的结构受限的 MPC 类型 20 2 24 23 15 控制规则用神经网络逼近器表示 最小化一个与控制相关的代价函数来 离线训练神经网络 通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计 分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的 通过一个数 据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较 2 问题表述 考虑一个离散非线性控制系统 精品文档 2欢迎下载 其中为控制器的输出 为输入 为状态矢量 控制 目标是保持输出接近参考轨迹 一般地控制目标是通过最小化代价函数来实现的 同时约束条件为 其中为 k 时刻预测状态和输出的函数 这里 由将来的输入 组成 为输入增量 在方程 2 中 Q 和 R 输入与输出权值矩阵 为非负终止条件 根据动态编程的优化原则 6 必须最小化代价函数 2 当终止条件 为在 K N 时刻时的无穷小 得出当时的无穷优化控制问题 的解 同样就能得到有穷优化问题 对于非线性系统 优化控制问题一般无闭式解 因此 本文研究强力和不最理想的方法 在模型预测控制 MPC 中 控制信号的确定是通过在每个采样时刻输入序列为时 最小化代价函数 2 只有优化输入序列的第一个元素 u k 作为系统的输入 在下一个 采样时刻 k 1 新的优化问题是对于给定的优化控制问题而言的 在这种方法中 终止条 件可以看作是一个当时刻 K N 趋于无穷时最小化代价函数的逼近器 但实际上更多 的是用于保证闭环的稳定性 模型预测控制方法有一个非线性的缺点 且需要通过在每个 采样时刻得到受约束的优化问题 同时需要通过在线计算来实现 精品文档 3欢迎下载 为了减小模型预测控制的计算量 本文提出了一种精确 MPC 方法 在这种方法中 计算的 部分是离线进行的 对于非线性系统 优化的 MPC 方法应该由离线计算进行映射 且用一 个函数逼近器表示 更准确地 控制策略是通过最小化代价函数 2 定义控制信号 或等 于它的增量 其中作为计算代价函 数 2 中的 对于任意 最小化代价函数 2 来评估方程 6 从而 通过离线训练来获得函数逼近器作为优化策略 尽管这种方法非常有用 但仍然存在一些 限制 因为 MPC 策略是基于信息来计算预测输出 这种不能很好的表示阶次递 减或定结构的控制器 另外 计算还要求产生训练的数据非常广泛 这些每个训练数据点 都需要一个 MPC 优化问题的解 3 神经网络优化控制器 在本节中 研究了构成第 2 节所述的控制问题的一个神经网络模型预测控制器的问题 这 里我们采样一个训练数据集作为直接训练代价函数 2 的控制器 而没有计算优化 MPC 控 制信号的离线优化问题 控制器表示如下 其中为神经网络函数逼近器 I k 为 k 时刻控制器的有效信号 W 为逼 近器参数 即神经网络权值 假设状态信息 如 I k 时 控制器 7 可以看作是优化 MPC 策略 6 的 函数近似 在本文中尽管研究的是这个方法 但控制器并没有完全受到状态信息的限制 而是把 I k 当成由许多输入 u k i 与输出 y k i 的过去值组成 并将其作为参考 信号的设定值 这种方法可以构成高阶系统的较为复杂的控制器 I k 值的 不同选取方法将在第四节通过例子讲述 Remark 1 为了降低控制器的复杂性 控制器的结构可以利用映射函数来确定 例如 假 设信息 I k 为 一个分布式控制器为 控制器的结构为 精品文档 4欢迎下载 为了用控制规则 7 即最小化代价函数 2 来确定控制器的参数 W 需要知道训练数据 利用控制策略 7 系统的更新如下所示 用训练数据定义联想代价函数 逼近器 7 的训练 最小化优化问题的平方为 约束条件为 训练问题可以通过梯度算法来最小化优化问题的平方 如 LM 算法 从方程 11 可以得到 代价函数的梯度为 其中 精品文档 5欢迎下载 其中为神经网络输出关于网络参数的偏导数 它取决于网络的结构 可以根据下式得到 Remark 2 代价函数 11 用于训练神经网络控制器 与模型预测控制中代价函数类似 本文提出的 控制器可以作为精确的模型预测控制器 注意到 对于一个给定的控制器的复杂性 计算 量取决于优化控制器的参数 W 而不是控制器的长度 N 因此可以比模型预测控制能更灵活 地用控制器的长度 从而被优化的参数也能成比例地增加 4 仿真例子 在本节中 用例子仿真来说明第 3 节中所讲的神经网络模型预测控制器 在所有例子中 控制规则 7 用一个前馈神经网络来表示 该网络含有一层隐含层 用双曲正切函数作为 激活函数 这种网络可以以任意精度逼近所有连续非线性函数 12 I k 作为输入 为输出 训练算法为 LM 算法 21 用来解决非线性最小二乘问题 12 利用 matlab 的优化工具箱中的常规函数 lsqnonlin 来计算 在所有的例子中 优化范围 N 为足够大 这样对于闭环系统就能达到平衡 因此 用一个 零终止条件作为代价函数 11 例 1 在本例中 我们仿真一个 pH 中和过程 10 18 17 1 在文献 1 中 应用了一个神经网络 来逼近优化 MPC 策略的过程 这个过程可以用非线性微分方程来表示 该过程的表达式如 下式所示 17 1 精品文档 6欢迎下载 式中 输出 y k 由 pH 值控制 u k 为输入流量 用于控制 系统还有确定性扰动 d k 相互独立的随机白躁声扰动 v k 和 n k 分别用 Rv 和 Rn 表示 采样时间为 0 2 分钟 时延为 L 5 系统矩阵表示为输出的函数 如下所示 状态参数表达式为 其中这些系统参数的函数表达式在文献 1 中已有研究 根据方程 17 预测输出根据下式确定 其中状态参数根据 Kalman 滤波原理得到 精品文档 7欢迎下载 其中 K k 为 Kalman 滤波增益 优化控制策略为预测状态的函数 参考轨迹为 i 1 N 假设参考轨迹由参考模型给出 式中为设定值 为阶跃响应 控制策略为在 k L 时刻时预测系统状态 参考模型的状态 设定值等的函数 控制器 7 的信息 I k 为 参数的选取根据文献 1 代价函数 11 中的权值为 Q 1 R 1 白躁声变量 用于 Kalman 滤波方程 19 中 参考模型 20 为 一个二阶系统 增益为 1 一对极点 均为 0 9 由于非线性系统的动态特性 为了在整个操作过程中获得优化控制器的精确特性 需要大 量的数据集 与非线性系统辨识相比较 仍需要长的训练集 16 训练数据 9 用于训练 控制器 包括轨迹跟踪和扰动抑制 将输出 pH 的范围控制在 因此训练数 据有两种类型 对于轨迹跟踪 训练数据由以下构成 初始状态作为稳定状态响应 设定值的改变 八个相等的初始 pH 值 14 个设定值 给定的 14 个参考轨迹 代价函数 11 的控制范围设定为 N 150 这个足够使新的设定到 达参考模型 20 所定义的参考轨迹 对于扰动抑制 训练数据由以下构成 常量设定值 参考信号 初始状态对稳定状态的响应 同样有 14 个不同的常量设定值 用于轨迹跟踪 且有 28 精品文档 8欢迎下载 个初始状态 在这种情况下 控制范围为 N 25 步 这就使系统能达到设定值的一个初始偏 值 初始状态和参考轨迹的总数为 M 42 训练集中的每个元素包括了 N 个数据点 总的数 据点数为 2800 根据一个独立的测试数据集来选取优化网络的大小 测试数据有 36 组 2400 个数据点 均 是均相同的方法产生训练数据 6 个范围在的初始 pH 值以及 6 个范围 在的设定值 为了找出一个最小测试数据集 网络的大小不同 训练的结 果如表 1 所示 当网络中含有 11 个隐含节点时 测试数据中的代价函数为最小 而当增加 网络大小时该值不会减小 因此 以下仿真中网络的结构为 11 这个结果与 1 中一致 即当用于逼近 MPC 策略时网络的大小也为 11 同时 表 1 也表明 了用一个非线性 MPC 的结果 MPC 策略的预测和控制范围为 N 20 步 为了避免局部收敛特性 需要用不同初始点来优化网络的权值 在本例中没有遇到局部最 优化值的问题 一般来说 网络权值在第 400 500 代时就已收敛 所需要的代数与优化 MPC 策略中神经网络的代数相同 1 且用相同的数据点 然而 当对每一代的轨迹 10 和联想代价 11 进行评估时 用于训练的计算量将比直接逼近要重 从另一个方面说 直接逼近方法在每个数据进行优化 MPC 控制时所需要的计算量 大体上比以前要重 应用神经网络控制器和优化 MPC 策略得到的闭环响应如果图 1 所示 图 2 表明了当有一个 可测量的白躁声时的响应 注意到图 1 和图 2 的设定值是在每个训练数据处 都是不同的 为了测试神经网络控制器的性能 在达到一个新的稳定之前改变设定值 响 应如图 3 所示 表明了神经网络控制器的性能很好 图 4 为阶跃扰动 d k 在不同稳定值 pH 处的响应 阶跃变化在时刻 k 75 处从 10 到 11 变 化然后又在时刻 k 325 变回 10 在仿真中可测躁声的表示一样 注意到扰动 d k 对于控 制器是未知的 神经网络控制器不能用阶跃扰动来训练 稳定状态偏移量的限制根据条件 来确定 1 仿真结果表明神经网络控制器对于不同类型的扰动都能达到一个近似优化控制的性能 同 时注意到神经网络控制器在每段采样数据中仅仅需要 238 步 这比模型预测控制的平均操 作步骤要少 0 1 这个结构与文献 1 中一致 精品文档 9欢迎下载 精品文档 10欢迎下载 精品文档 11欢迎下载 例 2 在这个例子中 同时对集中型和分散型神经网络模型预测控制器进行了仿真 仿真的对象 为一个多层非等温连续水箱反应器 8 过程包括反应物 A 期望的产物 B 同样还有产物 C 和 D 反应器的模型用四个微分方程表示 其中分别为 A 和 B 的浓度 为反应器的温度 为冷却剂的温度 原 精品文档 12欢迎下载 料 A 的浓度为 原料流的温度为 反应器的体积为 为原料的流速 为吸收的热量的速度 反应系数根据 Arrhenius 方程确定 模型参数的数值如表 2 所示 控制的目标是操作原料的流速和吸热的速度来控制浓度和反应器温度 浓度 和反应器温度可以通过检测得到 原料的浓度和原料温度作为扰动 分别 为 5 1mol l 130 原料流速的范围为 吸热的 速度的范围为 用一个欧拉近似值形式的离散系统表示法来对模型 22 进行离散化 采样时间为 20s 控制器的输出为 输入为 将分散型和集中型的神经网络控制器应用在反应器系统中 训练的数据用例 1 中的方式模 拟产生 输出和设定值的范围为 对于轨迹跟踪 初始状态作为稳定状态与输出和设定值的响 应 四个相等的空间值作为被选取的每个输出的范围 对于每个初始稳定状态 选取 8 个 设定值 精品文档 13欢迎下载 剔除落在范围外的数据 这样就有 84 个初始状态 预测范围的长度设为 N 60 步 对于扰 动抑制 训练数据由如下构成 参考信号 初始状态对稳定状 态 的响应 用四个相等的空间值作为 设定值 这样可以得到 64 个初始状态 预测范围的长度为 N 25 因此训练集中初始状态 的总数为 M 148 训练数据点总数为 6640 测试数据集包括四个设定的在 0 85 与 0 95 之 间变化 如图 5 7 所示 网络的大小与例子一样 精品文档 14欢迎下载 神经网络控制器作为过去输出 y k i 输入增量 参考模型 20 的状态 当前设定值的函数 被辨识参考模型的输出作为一阶系统 且有单位增益和一个 位于 0 8 的极点 在集中控制器中 控制器方程如下所示 式中 这样的变化就不会很明显 以多变量系统为例 神经网络控制器的训练比例 1 中 SISO 系统的要复杂 实际上 神经网 络权值的优化可能会陷入局部最优值 为了避免这点 在优化的开始时用随机初始值 在多变量系统中 权值幅值的选择对神经网络的训练有着明显的影响 基于相同权值的优 化模型预测控制器对于所有输出都能获得好的控制性能 对于输入也是如此 对于一个神 经网络控制器的代价函数的权值集都可以通过第 3 节中的方法得到好的训练 如图 5 所示 显示了一个用优化 MPC 策略得到的闭环响应 最优神经网络逼近器中的代价函数的权值矩 阵如下式如示 从上式可以看出第一个输出对代价函数的贡献比第二个输出要小 通常主要控制第 二个输出 而第一个输出则较少控制 从而可以得到第一个输出的权值应为递增的 输入 的分析与此类似 基于权值矩阵的控制器如下 对于这些权值 每个输出 输入 对于代价函数的贡献都是相同的 当用方程 24 的控制器输入数据为测试数据时所得到的最优性能的神经网络的隐含层均 精品文档 15欢迎下载 含有 4 个神经元 权值为 78 训练数据的代价值为 2336 而测试数据的代价为 128 3 同时 优化模型预测控制器的训练代价为 1719 而测试代价为 125 8 神经网络控制器响应和模 型预测控制的测试数据序列如图 6 所示 注意到系统有逆响应特性 而且给定的控制也有 逆响应 一个优化的分散神经网络控制器是这样设计的 对于化学反应器 通常都用分散控制器 原料流量 u1 为产量 y1 的函数 热交换率 u2 为温度 y2 的函数 因此分散神经网络控制器 由下的的独立控制器组成 其中每个独立的控制器又由下式表示 式中 当增大