非线性最优控制简介

解决最优控制问题最大的难点在于HJB方程的求解，只有当系统模型是低阶线性模型时，才有可能给出具有显式表达式的最优控制解。在实际系统里，乃至自然界中，几乎绝大多数系统都是非线性的系统，想得到具有显式表达式的控制量几乎不可能，这就需要借助计算机，以及选择合适的最优的数值解法，以得到最优解。一般的，最优控制问题的求解方法为数值算法。极大值原理和动态规划从理论方面研究了最优控制所应遵循的方程和条件，而最优控制的数值算法则是从计算方面来确定最优控制量的具体方法和步骤。

评价最优控制数值算法优劣的三个主要方面是算法的收敛性、计算复杂性以及数值稳定性。算法的收敛性是保证计算过程能达到正确结果的前提。算法的计算复杂性也尤其重要，这对实时控制具有特别重要的意义。一个好的算法应使计算量和存储量尽可能小，以便能由尽可能简单的计算机来实现计算。好的算法还应具有较好的数值稳定性，即计算的结果对初始数据和运算过程的误差不能过于敏感，同时具有处理病态问题的能力。典型的最优控制数值算法包括:求解由极大值原理导出的微分或差分方程的两点边值问题的各种算法，对动态规划中的贝尔曼方程进行数值求解_的算法，求解线性二次型最优控制问题的黎卡提方程的各种算法，处理控制或状态受约束问题的惩罚函数法，在控制策略的函数空间中利用搜索寻优或梯度寻优技术和牛顿一拉夫森方法等直接求解非线性系统最优控制问题的算法等。其中，针对非线性系统的开环最优控制问题和线性二次型最优控制问题展开的数值算法研究尤多。

非线性最优控制最优问题间接求解法

在间接法中，我们依靠最小值原理和其它一些必要条件得到一个两点边值问题，然后通过数值求解该问题得到相应的最优轨迹。在几种基于打靶法求解两点边值问题的方法中，多重打靶法是最引人瞩目的。而其它的一些间接数值求解法，比如伴随方程的向前一向后积分法、函数空间梯度法等，在过去的几年中应用并不十分广泛。间接法的主要优点是解的精度高，同时方法保证了求解满足最优条件。然而间接法常常会遇到比较严重的解的收敛性问题。如果在求解中，没有关于系统初始值的一个好的选取，或是没有关于约束和非约束下系统运动轨迹的先验知识，收敛过程可能需要花费很长的计算时间，甚至可能根本无法找到最优解。

非线性最优控制最优问题直接求解法

在直接法中，连续性的最优控制问题通过参数化的过程被转化为了一个有限维的优化问题。转化后的问题可以通过一些已有的比较成熟的约束优化算法进行数值求解。相对于间接法而言，直接法无需考虑最优化条件，而是直接求解问题本身。直接法不易受到收敛问题的影响，但估计的精度不如间接法。最优的必要条件不是直接满足的，而且伴随量的估计精度有时也会很差。现在比较常用的几种直接求解方法包括最优参数控制法，有限差分方法，配点法，微分包含方法和伪谱方法。在最优参数控制法中，控制量被单独参数化，同时数值积分方法被用来求解微分方程;在有限差分方法中，原微分方程和边界条件被近似为有限差分方程组:在配点法中，状态量和控制量同时被参数化，在各个节点处，局部分段多项式被用来近似微分方程;微分包含方法只是将状态量参数化，并使用由速端曲线定义的状态变化率;在伪谱方法中，通过全局多项式将状态量和控制量同时参数化，积分方程和微分方程通过求积法被近似。配点法和伪谱方法的一个重要的特点就是伴随量的相合估计。

目前，较为流行的近似最优控制求解方法主要有以下几类：

非线性最优控制幂级数展开法

幂级数展开方法通过一个幂级数来构造控制律，得到序列形式的近似最优解，或者将系统中的非线性项以幂级数形式分解，或者通过引进一个临时变量并围绕它展开。

将上式代入HJB方程求得级数近似解，也可利用Adomian分解将非线性项进行分解。由此寻求非线性HJB方程级数的近似解。

非线性最优控制Galcrkin逐次逼近方法

由动态规划得到的一般性偏微分HJB方引入一个迭代过程来求解一般非线性HJB方程的一个近似解序列

非线性最优控制广义正交多项式级数展开法

其主要思想是将最优控制问题中的状态变量，控制输入，性能指标和各个参数分别用广义正交多项式展开，利用广义正交多项式的积分、乘积运算阵

将描述系统的微分方程转化为一系列的代数方程X=MU N。然后，得到TU=V，当T非奇异时，由U=T^-1V得到的控制律是一个多项式级数解u(t)=θ(t)U。该方法将最优控制问题转化为代数极值问题，从而避免了求解时变非线性Riccati方程

非线性最优控制有限差分和有限元方法

经典的有限差分和有限元方法可以用来近似求解非线性HJB方程近年来，这类方法用来近似求取非线性HJB方程的粘性解。

非线性最优控制状态相关Riccati方程方法

这种方法适用的模型是仿射非线性系统。通过极大值原理假设最优控制律具有如下形式。

其中P(x)为下式所述里卡提方程的解

这样，问题的关键归结于近似求解P(x)。状态相关里卡提方程方法通过在P(x)中引入灵敏度参数变量ε，在ε=o邻域内将P(x)展为幂级数

通过比较幂级数同次项系数将状态相关里卡提方程分解为一组矩阵微分方程序列，由此求得其近似解状态相关里卡提方程方法所设计的近似最优控制律是一种级数形式的状态反馈控制律

非线性最优控制Riccati方程近似序列法

该方法对非线性系统构造线性时变序列以及相应的线性二次型时变性能指标，得到线性时变序列的最优反馈控制序列

此方法计算量较大，但是当系统的维数不是很大时，较里卡提方程近似序列方法具有很快的收敛速度，并表现出很好的鲁棒性。

非线性最优控制逐次逼近法

该方法是针对非线性的一次项和高次项可分离的一类非线性系统进行近似最优控制问题的求解，给出了一种逐次逼近的近似求解方法该方法针对由极大值原理导致的两点边值问题，构造近似的等价序列将其转化为一组线性非齐次两点边值问题序列，通过迭代求解一系列的向量微分方程，包括状态向量方程序列和共态向量方程序列，得到原非线性系统近似最优控制问题的解该方法被广泛应用到各类非线性系统，其最大优点是在迭代过程中每次计算的不是矩阵微分或代数方程，而是向量微分或代数方程，计算量大大减少，而且实时性很高。

20世纪60年代初，由于空间技术的迅猛发展和计算机的广泛应用，使得动态系统的优化理论得到了迅速发展，形成了最优控制这一重要的学科分支。最优控制是现代控制理论的一个重要组成部分。最优控制问题大都是从具体工程实践中归纳和提炼出来的，随着最优控制理论的不断完善，其在航空、航天、工业过程控制、经济管理与决策以及人口控制等领域得到了成功的应用，并取得了显著的成就。

最优控制是使被控系统的性能指标实现最优化的一种综合策略，可概括为，对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制策略，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。最优控制问题广泛存在实际的生产中，可以说最优控制问题无处不在。例如，对于吊车系统的吊运控制问题，希望在吊运过程中，摆角越小越好，同时吊运时间越短越好;对于机械臂系统的控制问题，期望机械臂系统的跟踪误差越小越好;对于行星着陆器的动力下降段的控制问题，期望对参考轨迹的跟踪效果好以及燃料消耗最少。

为了解决最优控制问题，必须建立描述受控运动过程的运动方程，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。系统的运动状态受到运动方程的约束，而控制函数只能在允许的范围内选取。因此，从数学上看，确定最优控制问题可以表述为：在运动方程和允许控制范围的约束下，对以控制函数和运动状态为变量的性能指标函数（称为泛函）求取极值（极大值或极小值）。解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划。

对于非线性系统，其最优控制的解一般是不存在的再加上非线性系统的复杂性和多样性，这方面的研究成果还很少，尚待解决的问题还很多，本文对非线性最优控制理论现有研究成果对比进行了详细的阐述，并对其优缺点进行了客观的对比，为非线性最优控制理论的进一步研究提供参考。

近年来，最优控制理论的研究，无论在深度和广度上，都有了很大的发展，已成为系统与控制领域最热门的研究课题之一，取得了许多研究成果同时，也在与其他控制理论相互渗透，出现了许多新的最优控制方式，形成了更为实用的学科分支例如鲁棒最优控制、随机最优控制、分布参数系统的最优控制、大系统的次优控制网、离散系统的最优控制及最优滑模变结构控制nxi等而对于非线性系统，其最优控制求解相当困难，需要求解非线性HJB方程或非线性两点边值问题，除简单情祝外，这两个问题都无法得到解析。因此，许多学者都致力于寻求近似的求解方法，通过近似解得到近似的最优控，即次优控制。

非线性最优控制线性最优控制

线性最优控制（linear optimal control）最优控制问题的实质是要找出允许的控制作用（规律），使得动态系统（受控对象）从初始状态转移到某种要求的终端状态，并且保证某种要求的性能指标达到最小（大）。线性最优控制是特指那类受控对象为线性时不变系统的最优控制。

线性最优控制是最优控制的一个特殊类。在线性最优控制中，受控制的装置假设为线性的，而控制器，即产生最优控制作用的装置也限于是线性的。这就是说，控制器输出即最优控制是与输人线性相关，而输人则是对装置进行测量而产生的量。当然，人们一定会问，为什么要特别地研究线性最优控制，而不直接研究最优控制呢？这里可以提出一些理由。例如，工程上许多实际装置在其附加控制器之前是线性的，而 且线性控制器在技术上是最易实现的，且它往往能满足需要。

非线性最优控制区别

线性和非线性最优控制理论之间既有相似之处更有重大区别。当系统为线性的时候，它的解可以由转移函数表出，特别是在定常情况下，转移函数有具体表达式，这就为我们的分析提供了十分便和之处。另一方面，在最大值原理基础上获得的Hamilton函数关于控制的偏导呈现相对简单的形式，往往可以求出最优反馈率，从而完全解决最优控制问题。非线性的情况则复杂得多，对它的研究也不够彻底，许多方面还有待进一步深入。这个领域的研究有一个十分明显的特点，那就是多种数学理论和方法的综合运用，包括非线性泛函分析、代数、和微分几何方法等等。

线性最优控制所要求的计算机程序往往可以用于非线性最优控制问题。

幂级数展开方法要求系统关于状态向量X解析，才能够进行展开，这在实际工程应用中是不现实的Galcrkin逐次逼近法的收敛性过于依赖系统的初值，收敛性在很多情祝下是无法保证的广义正交多项式级数展开法和有限差分、有限元方法都是采用不同的数学工具来解决近似求解非线性系统的最优控制问题，但这两种方法的计算收敛性不好，所需的巨大计算量也使得它们离工程实际应用有很大一段距离状态相关里卡提方程适用于一类仿射非线性系统里卡提方程近似序列方法同样适用于一类仿射非线性系统，当处理高维系统时，其计算量将很大而逐次逼近法，从计算复杂度看，是对向量迭代，得到的最优控制律是由精确的线性反馈项和非线性补偿项组成，将最优控制的求解转化为非线性补偿向量序列的求极限过程，大大减少了计算量，容易被实际工程所应用简言之，逐次逼近法通过较为简单的计算设计得到系统的近似最优控制律，具有计算量少，易于工程实现的优点，有很好的工程应用前景然而，逐次逼近法的缺点在于其对外部扰动和系统内部参数摄动以及未建模动态敏感，因此提高最优控制的鲁棒性是非常必要的。2100433B

最优控制理论最优控制理论在电力系统励磁控制中的应用

随着现代控制理论及其实际应用的不断发展，运用现代控制理论进行电力系统运行性能的最优化控制的研究工作有了迅速的发展，对如何按最优化的方法设计多参量的励磁调节器也取得了很大进展。

（1）基于非线性最优和PID技术的综合励磁调节器

对于非线性系统的同步发电机而言，当它偏离系统工作点或系统发生较大扰动时，如果仍然采用基于PID技术的电力系统稳定器，就会出现误差。为此，可以将其用基于非线性最优控制技术的励磁调节器。但是，非线性最优控制调节器存在着对电压控制能力较弱的缺点，所以用一种能够将非线性最优励磁调节器和PID技术的电力系统稳定器有机结合的新型励磁调节器的设计原理。

此综合励磁调节器是利用非线性最优控制理论的研究成果，其在非线性的励磁控制中采用了精确线性化的数学方法，不存在平衡点线性化后的舍入误差，因此该控制的数学模型在理论上对发电机的所有运行点都是精确的；同时针对非线性的励磁控制调压能力较弱的特点，又增加了PID环节，使其具有较强的电压调节特性此装置在小机组试验中取得非常好的实验效果，在平衡点附近运行和偏离平衡点较多时都具有很好的调节特性。

（2）自适应最优励磁控制器

将自适应控制理论与最优控制理论相结合，通过多变量参数辨识、最优反馈系数计算和控制算法运算三个环节，可以实现同步发电机励磁的自适应最优控制。

此发电机自适应最优励磁方案，通过采用由带可变遗忘因子的最小二乘算法构成的多变量实时辨识器，使系统状态方程的系数矩阵A和B中的元素值随系统运行工况的变化而变化，再经过最优反馈系数计算，实现了同步电机的自适应最优励磁控制。

虽然使用线性最优控制理论求取反馈系数，但由于状态方程的系数矩阵中的元素值随系统运行工况的变化而变化，因而控制作用体现了电力系统的非线性特性，本质上是一种非线性控制。

数字仿真试验结果表明，该励磁控制系统能够自动跟踪系统运行工作状况，在线辨识不断变化的系统参数，使控制作用始终处于最优状态。从而改善了控制系统的动态品质，可以提高电力系统运行的稳定性。

（3）基于神经网络逆系统方法的非线性励磁控制

神经网络逆系统方法将神经网络对非线性函数逼近学习能力和逆系统方法的线性化能力相结合，构造出物理可实现的神经网络逆系统，从而实现了对被控系统的大范围线性化，能够在无需系统参数的情况下构造出伪线性复合系统，从而将非线性系统的控制问题转化为线性系的控制问题。

在大干扰情况下，神经网络逆系统方法的控制器暂态时间很短，超调量很小，有效地改善了系统的暂态响应品质，提高了电力系统的稳定性，此控制器还具有很好的鲁棒性能。另外，神经网络逆系统方法无需知道原系统的数学模型以及参数，，也不需要测量被控系统的状态量，仅需要知道被控系统可逆及输入输出微分方程的阶数，且结构简单，易于工程实现。

（4）基于灰色预测控制算法的最优励磁控制

预测控制是一种计算机算法，它采用多步预测的方式增加了反映过程未来变化趋势的信息量，因而能克服不确定性因素和复杂变化的影响。灰色预测控制是预测控制的一个分支，它需建立灰微分方程，能较好地对系统作全面的分析。应用GM(1，N)对发电机的功率偏差、转速偏差、电压偏差序列值进行建模，经全面分析后求出各状态量的预测值，同时根据最优控制理论求出以预测值为状态变量的被控励磁控制系统的最优反馈增益，从而得出具有预测信息的最优励磁控制量。

灰色预测控制理论中灰色建模和“超前控制”的思想较好地弥补了线性最优控制理论中精确线性化和“事后控制”对单机无穷大系统的仿真结果表明，此励磁控制具有响应速度快、准确度高的特点，使电力系统在大小扰动下均能表现出较好的动态特性。

最优控制理论最优控制在控制领域中的应用

目前研究最优控制理论最活跃的领域有神经网络优化、模拟退火算法、趋化性算法、遗传算法、鲁棒控制、预测控制、混沌优化控制以及稳态递阶控制等。

（1）Hopfield 神经网络优化

人工神经网络设计一般基于专家的经验和实践。应用最广泛的是误差反向传播神经网络，简称BP网络，是一种具有3层或3层以上的阶层型神经网络。根据神经网络理论，网络总是朝着能量函数递减的方向运动，并最后到达系统的平衡点。也就是说:Hopfield能量函数的极小点就是系统稳定的平衡点，只要得到系统的平衡点即得到能量函数的极小点。如果把全局优化理论运用到控制系统中，则控制系统的目标函数最终到达的正是所希望的最小点。

（2）模拟退火算法

1983年，Kirkpatrick与其合作者提出了模拟退火(SA)的方法，它是求解单目标多变量最优化问题的一项Monte-Caula技术。该法是一种物理过程的人工模拟，它基于液体结晶或金属的退火过程。液体和金属物体在加热至一定温度后，它们所有的分子、原子在状态空间D中自由运动。随着温度的下降，这些分子、原子逐渐停留在不同的状态。当温度降到相当低时，这些分子、原子则重新以一定的结构排列，形成了一个全部由有序排列的原子构成的晶体结构。模拟退火法已广泛应用于生产调度、神经网络训练、图像处理等方面。

（3）趋化性算法

趋化性算法(CA)是模拟细菌生长过程中的趋光性原理而提出的一种随机优化方法。它的特点是结构简单、使用方便。在搜索过程中，CA只向使解的性能变好的方向搜索，能否跳出局部极小点依赖于方差的大小，其全局搜索能力比模拟退火方法和遗传算法差，但局部搜索能力较强，收敛速度较快。

（4）遗传算法

遗传算法(GA)是一种模拟自然选择和遗传的随机搜索算法，是模拟自然界中按“优胜劣汰”法则进行进化过程的一种高度并行、随机和自适应的优化算法。它将问题的求解表示成“染色体”的适者生存过程，通过“染色体”群的一代代不断进化，包括复制、交叉和变异等操作，最终收敛于“最适应环境”的个体，从而求得问题的最优解或满意解。GA是一种通用的优化算法，其编码技术和遗传操作比较简单，优化不受限制型条件的约束，而其2个最显著特点则是隐含并行性和全局解空间搜索。随着计算机技术的发展，GA愈来愈得到人们的重视，并在机器学习、模式识别、图像处理、神经网络、优化控制、组合优化、VLSI设计、遗传学等领域得到了成功应用。

（5）鲁棒控制

鲁棒控制是针对不确定性系统的控制系统的设计方法，其理论主要研究的问题是不确定性系统的描述方法、鲁棒控制系统的分析和设计方法以及鲁棒控制理论的应用领域。鲁棒控制理论发展的最突出的标志之一是H∞控制。H∞控制从本质上可以说是频域内的最优控制理论。鲁棒控制与最优控制结合解决许多如线性二次型控制、电机调速、跟踪控制、采样控制、离散系统的镇定、扰动抑制等实际问题。

（6）预测控制

预测控制又称为基于模型的控制，是一类新型计算机优化控制算法，其本质特征是预测模型，滚动优化和反馈校正。滚动优化反复在线进行，不同时刻优化性能指标的时间区域及绝对形式均不同。这种滚动优化能对系统因多种因素而引起的不确定性进行及时弥补，始终把新的优化建立在实际的基础之上，使控制系统保持实际上的最优。

（7）混沌优化控制

混沌是一种普遍的非线性现象，是指在确定性非线性系统中不需附加任何随机因素亦可出现类似随机的行为，但存在精致的内在规律性。混沌运动具有随机性、遍历性、规律性等特点。混沌运动的基本特征是运动轨道的不稳定性，表现为对初值的敏感依赖性或对小扰动的极端敏感性。混沌运动在一定的范围内按其自身的规律不重复地遍历所有状态，这种遍历性可被用来进行优化搜索且能避免陷入局部极小。因此，混沌优化技术已成为一种新兴的搜索优化技术。

（8）稳态递阶控制

递阶控制是一种计算机在线稳态优化的控制结构，其指导思想是将一大系统分解为若干个互相关联的子系统，即把大系统的最优控制问题分解为各子系统的问题。在各个子系统之上设置一协调器，判断所得的子系统求解子问题结果是否适合整个大系统的最优控制，若否，则指示各子系统修改子问题并重新计算。通过协调器的相互迭代求解即可得到最优解。

最优控制理论最优控制理论在其他领域的应用

最优控制理论在管理科学方面的应用已取得了很多极有价值的应用成果。其中代表性的是美国学者S.P.塞申和G.L.汤普生所著的《最优化管理》一书 。书中概述了最优控制理论在金融中的最优投资、生产与库存、推销、机器设备的保养与更换等问题的应用;在经济方面的应用主要是根据宏观经济相互依赖关系的计量经济模型提供经济预测，解释经济问题的动态行为。朱道立编著的《大系统优化理论与应用》中运用最优控制理论建立经济模型，用GRG算法来解释经济问题，形成经济学科中的经济最优控制 。许多专家在研究动态最优稳定性经济政策中也论证了最优控制在经济方面的突出作用。在自然资源和人口方面可以应用最优控制理论来分配不可再生资源和可再生资源。此外，最优控制在人才分配方面的应用也有研究报道。

这方面的开创性工作主要是由贝尔曼（R.E.Bellman）提出的动态规划和庞特里亚金等人提出的最大值原理。这方面的先期工作应该追溯到维纳（N.Wiener）等人奠基的控制论（Cybernetics）。1948年维纳发表了题为《控制论—关于动物和机器中控制与通讯的科学》的论文，第一次科学的提出了信息、反馈和控制的概念，为最优控制理论的诞生和发展奠定了基础。

最优控制理论所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。这类问题广泛存在于技术领域或社会问题中。

例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少，选择一个温度的调节规律和相应的原料配比使化工反应过程的产量最多，制定一项最合理的人口政策使人口发展过程中老化指数、抚养指数和劳动力指数等为最优等，都是一些典型的最优控制问题。最优控制理论是50年代中期在空间技术的推动下开始形成和发展起来的。苏联学者Л.С.庞特里亚金1958年提出的极大值原理和美国学者R.贝尔曼1956年提出的动态规划，对最优控制理论的形成和发展起了重要的作用。线性系统在二次型性能指标下的最优控制问题则是R.E.卡尔曼在60年代初提出和解决的。