解决最优控制问题最大的难点在于HJB方程的求解，只有当系统模型是低阶线性模型时，才有可能给出具有显式表达式的最优控制解。在实际系统里，乃至自然界中，几乎绝大多数系统都是非线性的系统，想得到具有显式表达式的控制量几乎不可能，这就需要借助计算机，以及选择合适的最优的数值解法，以得到最优解。一般的，最优控制问题的求解方法为数值算法。极大值原理和动态规划从理论方面研究了最优控制所应遵循的方程和条件，而最优控制的数值算法则是从计算方面来确定最优控制量的具体方法和步骤。
评价最优控制数值算法优劣的三个主要方面是算法的收敛性、计算复杂性以及数值稳定性。算法的收敛性是保证计算过程能达到正确结果的前提。算法的计算复杂性也尤其重要，这对实时控制具有特别重要的意义。一个好的算法应使计算量和存储量尽可能小，以便能由尽可能简单的计算机来实现计算。好的算法还应具有较好的数值稳定性，即计算的结果对初始数据和运算过程的误差不能过于敏感，同时具有处理病态问题的能力。典型的最优控制数值算法包括:求解由极大值原理导出的微分或差分方程的两点边值问题的各种算法，对动态规划中的贝尔曼方程进行数值求解_的算法，求解线性二次型最优控制问题的黎卡提方程的各种算法，处理控制或状态受约束问题的惩罚函数法，在控制策略的函数空间中利用搜索寻优或梯度寻优技术和牛顿一拉夫森方法等直接求解非线性系统最优控制问题的算法等。其中，针对非线性系统的开环最优控制问题和线性二次型最优控制问题展开的数值算法研究尤多。
在间接法中，我们依靠最小值原理和其它一些必要条件得到一个两点边值问题，然后通过数值求解该问题得到相应的最优轨迹。在几种基于打靶法求解两点边值问题的方法中，多重打靶法是最引人瞩目的。而其它的一些间接数值求解法，比如伴随方程的向前一向后积分法、函数空间梯度法等，在过去的几年中应用并不十分广泛。间接法的主要优点是解的精度高，同时方法保证了求解满足最优条件。然而间接法常常会遇到比较严重的解的收敛性问题。如果在求解中，没有关于系统初始值的一个好的选取，或是没有关于约束和非约束下系统运动轨迹的先验知识，收敛过程可能需要花费很长的计算时间，甚至可能根本无法找到最优解。
在直接法中，连续性的最优控制问题通过参数化的过程被转化为了一个有限维的优化问题。转化后的问题可以通过一些已有的比较成熟的约束优化算法进行数值求解。相对于间接法而言，直接法无需考虑最优化条件，而是直接求解问题本身。直接法不易受到收敛问题的影响，但估计的精度不如间接法。最优的必要条件不是直接满足的，而且伴随量的估计精度有时也会很差。现在比较常用的几种直接求解方法包括最优参数控制法，有限差分方法，配点法，微分包含方法和伪谱方法。在最优参数控制法中，控制量被单独参数化，同时数值积分方法被用来求解微分方程;在有限差分方法中，原微分方程和边界条件被近似为有限差分方程组:在配点法中，状态量和控制量同时被参数化，在各个节点处，局部分段多项式被用来近似微分方程;微分包含方法只是将状态量参数化，并使用由速端曲线定义的状态变化率;在伪谱方法中，通过全局多项式将状态量和控制量同时参数化，积分方程和微分方程通过求积法被近似。配点法和伪谱方法的一个重要的特点就是伴随量的相合估计。
