动态规划

动态规划(dynamic programming)

动态规划: 动态规划概述

动态规划(dynamic programming)是运筹学的一个分支，是求解决策过程(decision process)最优化的数学方法。20世纪50年代初美国数学家R.E.Bellman等人在研究多阶段决策过程(multistep decision process)的优化问题时，提出了著名的最优化原理(principle of optimality)，把多阶段过程转化为一系列单阶段问题逐个求解，创立了解决这类过程优化问题的新方法——动态规划。

在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。因此各个阶段决策的选取不能任意确定，它依赖于当前面临的状态，又影响以后的发展。当各个阶段决策确定后，就组成一个决策序列，因而也就确定了整个过程的一条活动路线。这种把一个问题看做是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问题称为多阶段决策最优化问题。每个阶段中，都求出本阶段的各个初始状态到过程终点的最短路径和最短距离，当逆序倒推到过程起点时，便得到了全过程的最短路径及最短距离，同时附带得到了一组最优结果。

动态规划: 动态规划算法基本思想

动态规划算法通常用于求解具有某种最优性质的问题。在这类问题中，可能会有许多可行解。每一个解都对应于一个值，我们希望找到具有最优值的解。动态规划算法与分治法类似，其基本思想也是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。与分治法不同的是，适合于用动态规划求解的问题，经分解得到子问题往往不是互相独立的。

若用分治法来解这类问题，则分解得到的子问题数目太多，有些子问题被重复计算了很多次。如果我们能够保存已解决的子问题的答案，而在需要时再找出已求得的答案，这样就可以避免大量的重复计算，节省时间。我们可以用一个表来记录所有已解的子问题的答案。不管该子问题以后是否被用到，只要它被计算过，就将其结果填入表中。这就是动态规划法的基本思路。具体的动态规划算法多种多样，但它们具有相同的填表格式。

动态规划: 动态规划算法基本结构

多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化问题的方法为动态规划方法。

动态规划程序设计是对解最优化问题的一种途径、一种方法，而不是一种特殊算法。不象前面所述的那些搜索或数值计算那样，具有一个标准的数学表达式和明确清晰的解题方法。动态规划程序设计往往是针对一种最优化问题，由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的设计方法对不同的问题，有各具特色的解题方法，而不存在一种万能的动态规划，可以解决各类最优化问题。因此在学习时，除了要对基本概念和方法正确理解外，必须具体问题具体分析处理，以丰富的想象力去建立模型，用创造性的技巧去求解。根据上例分析和动态规划的基本概念，可以得到动态规划的基本模型如下：

• (1)确定问题的决策对象。
• (2)对决策过程划分阶段。
• (3)对各阶段确定状态变量。
• (4)根据状态变量确定费用函数和目标函数。
• (5)建立各阶段状态变量的转移过程，确定状态转移方程。

动态规划: 动态规划适用条件

任何思想方法都有一定的局限性，超出了特定条件，它就失去了作用。同样，动态规划也并不是万能的。适用动态规划的问题必须满足最优化原理和无后效性。

• 1.最优化原理（最优子结构性质）
  • 最优化原理可这样阐述：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。简而言之，一个最优化策略的子策略总是最优的。一个问题满足最优化原理又称其具有最优子结构性质。
• 2.无后向性
  • 将各阶段按照一定的次序排列好之后，对于某个给定的阶段状态，它以前各阶段的状态无法直接影响它未来的决策，而只能通过当前的这个状态。换句话说，每个状态都是过去历史的一个完整总结。这就是无后向性，又称为无后效性。
• 3.子问题的重叠性
  • 动态规划将原来具有指数级复杂度的搜索算法改进成了具有多项式时间的算法。其中的关键在于解决冗余，这是动态规划算法的根本目的。

动态规划实质上是一种以空间换时间的技术，它在实现的过程中，不得不存储产生过程中的各种状态，所以它的空间复杂度要大于其它的算法。

动态规划: 动态规划应用

在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。例如最短路线、库存管理、资源分配、设备更新、排序、装载等问题，用动态规划方法比用其它方法求解更为方便。

动态规划应用的历史事件

• 1956年，C·庞特里雅金提出了最优控制的极大值原理，1957年R·贝尔曼创立了动态规划方法，这些方法首先提出了用目标函数指标来设计控制系统的思想，并能解诀非线性和时变系统的设计问题。
• 1969年,Merton对在完全市场中,服票价格过程服从扩散过程,股票无红利,投资者也无非资本利得且效用函数为常数相对风险厌恶、常数绝对风险厌恶等严格条件下,将动态规划方法运用于最优投资与消费选择策略的求解,给出了连续时间下两类资产的最优投资与消费问题的解决办法。
• 1969,1971年,Merton最早将动态规划方法运用到最优投资与消费问题的求解,以后的许多学者都运用了此方法。
• 1973年,Johnson等人把动态规划方法和模拟技术结合起来使用,确定联台运用系统的工程规模取得了成功。
• 1974年HuPpe产,采用动态规划方法来规划气田的生产。
• 1982年,曾赛星、李寿声采用动态规划方法确定内蒙古河套灌区各种作物的灌水定额及灌水次数。
• 1988年黄强把模糊动态规划方法用于求解水电站水库长期优化调度问题，较随机动态规划法简便，计算速度快。
• 1989年，曾赛星、李寿声等针对内蒙古河套灌区永联试区的具体情况，运用大系统分解协调方法建立了灌区优化灌溉制度及地面水、地下水联合运用的谱系模型，模型中第一层子系统优化采用动态规划方法确定各种作物的灌溉制度。
• 1989年,曾树星等在内蒙古河套地区水资源优化调度中,采用动态规划方法确定各种作物的灌水定额及灌水次数。
• 1991年，林学钛等人在对河南平顶山市地表水与地下水的联合管理研究中，运用动态规划方法对白龟山水库进行了优化调度。