（概率论与数理统计专业论文）有限阶段mdp推广及其在投资中的应用.pdf

有限阶段m d p 推广及其在投资中的应用 论文题目 专业 硕生 指导教师 有限阶段m d p 推广及其在投资中的应用 概率论与数理统计 冯文鹏 郭先平教授 摘要 m d p 是马尔科夫决策过程的荚文简称。本文研究了有限阶段凇p 的推广及 其在投资决策过程中的应用。全文主要有四大部分构成。首先介绍了有限阶段马 尔科夫决策模型，有限除段姗p 费用滋数非负情况下最傀方程和最侥策略存在 条件；接下来，我稍把有限阶段洒p 费蔗函数尊受可测谤形推广至费用潞数无 界但可控情况，并给出了最优方程和最优策略存在的条件和算法。接着我们介绍 了投资决策过程，依据其与马尔辩夫决策孛故糟像性，建立金融马謇辩夫决策 过程模型。本模型是在m a n f e ds c h a l 在“m a r k o vd e c i s i o np r o c e s s e 8i n 缸a n c ea n d d y 珏a 赫eo p t i o 躺，( 见马尔科夫手麓翁王一4 豁) 中所建立的模型基础上进行了改进，转 移概率丞数由离散函数推广至一般情况，行动空阍由有限集推广至紧致集，露标 函数有只有最后阶段推广所有阶段。最后，我们给出了几个应用实例，以期能够更 好酶说赛我镧所建立昀模型。 关键词：马尔科失决策过程；投资决策；金融市场；马尔科失策略 第1 页 有限阶段m d p 推广及其在投资中的应用 第2 章离散时间马尔科夫决策过程 在开始本章前，首先对本章中的记号做出说明。我们用劈( x ) 表示b o r e l 空 间x 上的小代数。当我们说集合或者函数可测均指b o r e l 可测。如果x 和y 均 为弱羹空阕，一个在给定y 时在x 上的隧机核是一个函数p ( 。| ) ，其满足：对于 任意给定的秒y ，p ( l ) 是x 上的概率测度，且对于给定的b 留) ，p ( b1 ) 是y 上的可测函数。所有的在给定y 时x 上的随机核的集合记为沪| y ) 此 外，我们用大写字母表示集合，相应的小写字母表示具体的某一个元素或者随机 变量。 2 1离散时间马尔科夫决策模型 定义2 1 1 一个马尔科夫决策模型是一个五元组 ( x ，a ， 盖( 劣) | 露x ，q ，c )( 2 王) 其中 以膳是一个b 8 剜集，称为状态空间，魄x 称为状态。 例a 是一个历俄集，称为控制集或者行动集。 例集族 a ( z ) | 鬈x 中，a 倒是f 耋的非空可测子集。a 俐表示当系统处 于状态g 是，决策者多能够采取的所有行动的集合。集合 k ：一 ( 。，8 ) l 髫x ，8ga ( 。) ( 2 。2 ) 是一个x a 的可测子集，我们称为状态行动集。 俐q 是在给定k 时，x 上的随机核，即对于b 彩( 茹) 争任意的( 茹，穗) k ， 有 q ( 嚣iz ，n ) ：一p ( bl 茹，a )( 2 。3 ) 称q 为转移法则。 例c _ 酞是一个可测函数，称为费用函数。 在应罔申，有时候矮报酬函数您哪嚣要更切合实际。 在下面的章节中，我们假定上面的马尔科夫决策模型已经给定。 上述决策模型代表了一类发生在时刻毛= o ，l ，随枧控制系统。我们用 觑和舰分别表示在时刻t 系统的状态和所采取的行动。在t 时刻，如果系统状态 善= 髫x 和镪= 8 么( 露) ，那么两件事将会发生： ( i ) 将会有一个费用c ( x ，a ) 发生； 第5 页 中山大学研究生院学使论文 ( i i ) 系统将会转移到下个状态茹件1 ，它们遵从( 2 3 ) 式所定义的转移法则q ，具 体来讲， q ( bl 致n ) ：= p ( z 蚌l 廖l 观= 露，吼= 口) ，口cx( 2 4 ) 模型参考文献王op a g e l 冬2 0 ) 系统一旦转移到下一个状态，新的行动将会采取，过程将会重复以上过程，系 统如此重复进行下去，直到过程的结束。( i ) 和( i i ) 是马尔科夫决策模型的主要 特征。由上面可知报酬爱数c 和转移法则q 只依赖于系统的状态和当前采取的行 动a 。 另钋，要使模型有意义，需要行动集a ( x ) 非空。为了保证行动集非空，除 了要求k 可测外，我们还需要如下假设： 假设一在聪存在可测函数，：x a ，使得，( 髫) a ( 搿) ，比x 。所有这样 的函数的集合，我们用嚣表示。 对于一般的马尔科夫决策模型，假设的充分条件可以由可测选择定理( 后 吾章节中给出) 给出。然而，如果x 是可列集并且拥有离散的拓扑，那么任何函 数，：x a 都是可测的。所以，在我们所研究的模型中，如果x 是可列集，那 么假设显示成立。 在模型给寇情况下，对亡= o ，l ，用避来表示到时刻t 的所有可能的历史， 那么 编滓? ( 2 5 ) 孟k ：= 磷x = 五己一1 ，n 其中k 如( 2 2 ) 式中所定义。v 甄，我们称其为到时刻t 的历史。是一个向 量， ：= ( 铷，铂，魏l ，瓯一l ，髫) ，( 2 。6 ) 其中( 戤，啦) k ，i = o ，t 一1 ，祝x 显然，对于任意的t ，皿是玩的一个子 集。瓦定义如下： 百t ：= ( xxa ) 。x = ( x a ) 面一1 ，亡= o ，1 ，( 2 7 ) 玩：= x 。 定义2 1 2 一个随机控制策略，麓称为策略，是一个序列箨= 仇，妻= o ，l ， ， 其中他是在给定岛情况下在控制集a 上的随机核，且满疋 所有7 r 的集合 弼( 么( 鬈) | ) = l ，甄，丢一0 ，王，( 2 。8 ) 第6 页 有限阶段m d p 推广及其在投资中的应用 通常7 r 一 饥) 用行动序列吼来表示，吼如定义( 2 1 1 ) 所定义，口t 是行动集 a 上的随机变量。对于给定，锨的概率分布为恐( 1 ) + 鬣设q ，萝) 是霹溅空闽，英串样本空闻q ：辫露= x 矗严，是其上楣应 的卅代数。q 中的元素是形如卅一( 跏，a o ，茁l ，n l ，) ，其中执x ，毗a 假设嚣一 是任意策略，v 是一个锓意黔在x 上的概率测度( 称为初始分 布) ，豳c i o n s c m n l l c 熊定理知，存在一个唯一的在，莎) 概率测度并，焉( 朋) = 1 进而，对于所以的艿窝x ) ，g 留似) ，和鼹，亡一o ，王，： 碍( z o 曰) 一秽( 廖) 男她s | 堍) 一鼹秽| ) 焉0 坤l bl ，毗) = q ( 露l 魏，魄) 定义2 王。3 随机过程，莎，露， 魏 ) 称为离散对闻马几科失决策过程。 j 口及其参考文献) ( 2 9 ) ( 2 。差g ( 2 1 1 ) 阻文献 注( 2 1 0 ) 式子是一个马尔科夫条件，值是一般情况下，状态 貌 不舆有马 尔科夫性质。但是只要我们对，r 进行一些限制，状态 貌 不就有马尔科夫性质。 下面一节将会徽详缀的介绍。 为了把模型转化为一个最优控制问题，需要引进一个判断标准，我们把它称 势一个踺标丞数。髫标爱数定义魏下： 。7 ( 7 r ，茹) ：= = 暖 ：c ( 搿t ，口t ) 】( 2 1 2 ) t 一8 其中联表示在采取策略，r 一 锄 和拥有初始状态铷= 茹时的期望。此时，最优 闻题就转化为了使函数耍一氐( 嚣，葚) 在鼗上，对所有的x 最小溺题如果一 个策略矿满足： 如( 7 r + ，嘏) = 鳟如( 7 r ，o ) ，坛x 。 ( 2 1 3 ) j 1 我鳃就称矿为鬣优策略，上式的最夺费用 西( 茹) ：一取( 筇，嚣) ，比x( 2 。王婶 为最优问题的价值函数。 在( 2 王2 ) 是中韵n 表示系统所要经历的阶段，n 可以是有限的也可以是茺 限的。当一时，模型称茺无限阶段马尔科夫决策模型。当n 有限时我们称 其为有限阶段马尔科夫决策模型。在一般的模型中，我们都假定目标函数是绘定 酶。 第7 页 中山大学研究生院学位论文 2 2 马尔科夫性质和马躯科夫策略 定义2 。2 王所有的在矽( alx ) 土的随机核，且满匙妒翟p ) | ) 一薹，魄x 的 集合记为圣，砸 表示所有可测函数，：x 叫a ，且满足：，( 。) a ( z ) ，z x 的集 合。，联瑟称为选择函数。 据定义，显然有fc 西 定义2 2 。2 策略霄= 砚) 称为 ( a ) 随机马尔科失策略，如果存在一个随机核序列 忱) ，其中仇西，满足： 璁( | ) = 饿( | 魏) 氓琶，墓= o ，王，；( 2 。王5 ) ( b ) 随机平稳马尔科夫策略，如果存在一个随机核妒西，满足 死( | ) = 汐( l 轨) 锨t 琶，毒= o ，l ，；( 2 王6 ) 我们用疆定艇和h 髂分别表示随机马尔科失策略和随机平稳马尔科失策 略的集合。显然有i i r scn r 肘c 马尔科夫性质在马尔科夫决策模型的个重要性质，即使在随机决策中也拥 有相当的地位，下面我们给出马尔科夫性和马尔科夫过程的定义。 定义2 2 3 如果 兄 是给定的在汐伍lx ) 的随机核序列， 纨) 是取值与x 上 的随机过程，别称其为菲奇次的马尔科夫过程，如暴满足： 对于b 尉( x ) ，和拉仍j ，有 p ( 虢+ l 君| 驹，譬l ，虢) = p ( 瓣l 器| 筑) = 怒( 露l 骆) ( 2 。圭印 上式申的做半部分，称为马尔科失性质。如果上式中鼠如果与时间t 无关，是一 个露，我们称其为齐次的马尔科夫过程。 下面让我们再次考虑上节末尾所提到的，要使状态 观具有马尔科夫性质， 需要我们对万进行一些限制的闻题。下面命题将给逝答案。 命题2 1 假设甜是任意的初始分布，如果7 r = 仇 是一个随机马尔科夫策略，则 魏 是一个非齐次马尔科夫过程，其转移核国( | 。，张) 为：靖于嚣留) 和 t = o ，l ， 焉( 嚣蚌l 君| 翔，) = 嚣1 b | z 。，茹t ) 龇8 ) = q ( b | 觑，忱) 如果暴万= 蛾) 是一个随机平稳马尔科失策略，我们祢 锄 为时齐性马尔抖夫 过程。其转移核为 q ，访 。 证明见文献1 0 第2 0 页 第8 页 中山大学研究生院学位论文 假设二在给定的马尔科夫决策模型中，u ：x r 是给定的可测函数，使得 ， 让+ ( z ) ：。鹚 c ( 叩) + 止让( 剪) q ( 匆i 钟) ，z x ( 3 6 ) 是可测的，而且存在一个选择函数，f 使得，( z ) a ( z ) 且使心+ ( z ) 取得最小值， 即 ， u + ( z ) ：= c ( z ，) + u ( 可) q ( 咖lz ，) ，。x ( 3 7 ) - ，x 如果上面假设成立，( 3 6 ) 式中的i n f 就可以写为m i n 。 在大部分应用问题中，上面的假设可以直接验证。然而，从理论的角度来讲， 我们希望能找出一般的条件使得上面假设成立。下面将给出几个条件( 本节所给 条件参考文献1 0 1 条件一： ( a ) 对于所有的z x ，行动集合a ( z ) 都是紧致集； ( b ) 价值函数c 使得c ( z ，) 在a ( x ) 上下半连续； ( c ) 函数口7 ( z ，o ) ：= 厶 ( y ) q ( 妇lz ，o ) 在k 上面满足下列条件之一： ( c 1 ) 口( z ，) 在a ( x ) 上面下半连续，且v 是x 上任意连续有界函数； ( c 2 ) z ，( z ，) 在a ( x ) 上面下半连续，且v 是x 上任意可测有界函数。 条件二： ( a ) 对于所有的z x ，行动集合a ( z ) 都是紧致集，复合函数z _ a ( z ) 是上半连 续的； ( b ) 价值函数c 是下半连续且下有界； ( c ) 转移法则q 满足下列条件之一： ( c 1 ) 弱连续，即满足：在x 上任意的连续有界函数v ，t ，7 ( z ，n ) _ j r 口( 可) q ( 咖 z ，口) 是连续的且在k 上有界； ( c 2 ) 强连续，即满足：在x 上任意的可测有界函数v ，u ( z ，口) ：= j ru ( 可) q ( 咖 z ，o ) 是连续的且在k 上有界； 条件三： ( a ) 价值函数c 是下半连续的，有下界且在k 是下紧的( i 止c o m p a c t ) ，即对于任 意z x 和r r ，集合 口a ( z ) i 口( z ，口) r ) ； ( b ) 转移法则q 满足下列条件之一： 第1 0 页 中山大学研究生院学位论文 是紧致集，假设就可以得到。 事实上，c 是下紧的，那么 穗a ie ( 款8 ) r 是紧致集合。由于毯o ， 那么集合dc 8 a ( 茹) lc ( z ，8 ) 蕊，) 又韵于的d 是闭集，那么d 是紧集。所以 乱7 在k 上是下紧的。所以假设一成立。在条件三( a ，b 2 ) 情况，证明相似。口 第1 2 员 中山大学研究生院学位论文 ( d ) 厶u ( 可) q ( 咖iz ，) 在a ( x ) 上连续，其中口( z ) 是x 上面的任意连续函数。 下面我们证明在上述条件下，最优策略存在。首先我们证明目标函数有意义。 引理4 2 在上述条件下， 霹( ic ( 五，a ) i i 凰= z ) 矿m ( z ) ，v 亡 l ，2 ，)( 4 5 ) 证明：只要证明 五署( ic ( j ，t ，a t ) _ ，0 = z ) 。m ( z ) ，vt 1 ，2 ，) ( 4 6 ) 首先我们来看 霹( 1c ( 五，a ) l i 托一1 = z ，a 一1 = 口) 磁( m ( 咒) l 托一1 = z ，a l = o ) = 订( 可) q ( d 可lz ，o ) ( 4 7 ) jx m ) 对于露( 1c ( 五，a ) l i 弱= z ) ，我们有： e 丌( 1c ( 咒，a ) i i 凰= z ) = e 丌( e 丌( 1c ( 托，a ) l l 凰= z ，山= o ) ) = e 丌( e 丌( 矿( c ( ，a ) i 托一12 观，a 一1 2 口t ) ) ) ( 4 8 ) e 丌( e 霄( p m ( z t - 1 ) ) ) e 丌( 卢。m ( z ) lj ，0 = z ) = m ( z ) 口 引理4 3 在条件四成立的条件下，则( ) 以( 。) 是可测函数且有意义；( 2 ) 最优策 略存在。 证明： ( 1 ) 要使每个五( z ) 可测且有意义，需要以( z ) ，可测且在随机核q ( 咖lz ，o ) 意 义下，积分有意义。 当t = n 时，l 如( z ) i = ic ( z ) i 1 4 ) ，z ) ：一e 仃【c ( 搿) i 婉一z 】= c ) 特别有： ，( 7 r ，。) = 岛( 7 r ，z ) 为了证明该定理，我们将证明魄x 和一0 ， 如果霄一霄，买l l 特别的，当专= o 时， 瓯( 霄+ ，茁) 嚣也( z ) ( 4 1 5 ) ( 4 1 6 ) ( 4 1 7 ) j ( 霄，舅) 如( 茁) ，j ( 7 r + ，茹) = 而( 茹) ，地 ( 4 1 8 ) 满足( 4 4 ) 下面用归纳法证明( 4 1 6 ) 和( 4 1 7 ) 式。 当t = n 时，由( 4 4 ) 和( 4 1 4 ) 可知 蚀( 鬈) = 如( 鬈) = 鲫( 茹) 所以( 4 1 6 ) 和( 4 1 7 ) 成立。假设t = n + l ，有 ( 4 1 c 麓+ l ( 万，茹) 五十l ( 茹) ，妇x ( 莲2 0 ) 第1 6 页 有限阶段m d p 推广及其在投资中的应用 _j_oooo一 变化过程 玩) 定义为： 岛：一( 王r 1 ) ( 王) ，王嚣，其中玩= l 。6 ) 投资者在购买债券或者储蓄之前，往往知道 既) ，因而，债券的价格变化过 程 玩 应是一个确定性过程。如果鼠俸为初始条件给定，则利率可以有 ( 5 6 ) 式计算的到。 上面的债券与我们在第一节中所提到的的一次还本付息债券不同，该债券是 按照市场利率计息的，也是现在市场上比较流行的一种。事实上，一次还本付息 债券时其一种特殊形式。研究上述债券更具有代表性。 l d 种有价证券麴，d ，表示是d 支股票，每支股票的价格变化都是随机的。d 支股票的变化过程我们用一个d 维随机过程 鼠，o n 篓 来表示，其中岛是 确定，即投资者在初始时刻知道这d 支股票的价格。畿( 1 后矗) 是的第k 个变量，表示第k 支股票在时刻n 的价格，我们假定畿o 在时刻n ，投资者可以得到有关d 支股票所有市场信息，包括股票的价格我 们用磊来表示在时刻n 所知道的市场信息，厶是定义在概率空闻( q ，p ) ，取值子 空间磊，o 扎。由于在初始时刻投资者已经得到了市场的信息，所以= i o 应该是一个给定的常值，那么髓= i o 。 对于任意的向量变化过程磊，我们定义增量磊：= 磊一磊一1 此外，对于任 意的毒，e r d ，我们用，。来表示f ，e 的内积。 下面我们就雩| 进带贴现的股票价格过程文一( 禹，魂) ，定义为： ，q 知 磁：= 挚，奄= o ，d ，绍一l ，。 ( 5 。7 ) 相对风险过程 翰= ( 硪，碟) ，1sn ，定义为： l 十壮l + 老一击哪+ 镨， 其中 蓑，王托是 & ，。鬟弦，的回报过程剥我们有 建一建( 1 十磷) = 诺( 1 + r 2 ) ( 1 十磷) ( 5 。8 ) ( 5 9 ) 由于投赘者能够观察到鼠和醌，很自然的，我们假设：如果历史岛，厶 已经知道，则岛和也已经知道。为了使其满足马尔科夫性，我们假定是 关于厶一l ，厶的函数，记为磁燃绺( 磊一l ，磊) ，鳓是在磊一l 磊上露的函数。 在每一时刻n ，投资者都将获得市场信息厶一t 和得到他带贴现的投资组合 的价值酝。这时他将决定在时刻( n ，n + l l 投资在第k 支股票的资金镌，或= 鍪 表示在时间段( n ，n + 1 1 所持有的第k 支股票数豳，= ( 旌，磁) 表示在时刻 n 投资者分配在各种股票上韵资金，n 他一( 如，积) 表示在时间段( n ，n + 1 】所持 第2 3 页 巾山大学研究生院学位论文 佛k 十塾蓑慨1 0 ) 罨2 箕篇一艇蝼帮 溉埘 垛：堕壤磐型 _ d 叫 霹：罨薹警。爨 罨l ，是司，酩薹， 戳2 巍= ( 1 巍) ( 羔) 魏一董一愿f 磉l ，& 一l ，一l ，撬 溉圭霉 5 。3 金熬，马拳辩夫决策模型 证券投瓷决策和马尔科夫决策模型有惊人的相似性，我们只需燮做适当的假 设，就可尧涯羚投资决策转德我 j 所熟悉的萼承稀夫决蘩摸鍪。 假设三，矗一，对于o ，1 ， 现在登赛土各量都在推行毒场经济。帮场经济一今主婺豁蒋缝就是毒场上鹣 各类信息都集中体现在价格的变化上面，我们研究的股票市场也遵循这规律， 所以假设是合理的。 第2 骧页 中山大学研究生院学位论文 对于一一1 ，一2 ，0 ， 蜊茹，s ) ) = 嬲睡+ 二s 确妇磁嘞问，或蝴 ( 唧 当z = 肛j 时， 瓜一t ( ( 舢) ) 2a 嚣鬈，。) 陋十六s 旧( d ( 秒，u ) i ( z ，s ) ，。) 】 = a 嚣p 忡+ 帮m 仲一篙繁嘲】 绶8 ) 2 a 篇固 2 z + 高务【o q ) 一r 8 】 口夕当一g ) r s 时 显然当8 = 口时，如一l 取得最大值纸那么瓜一1 = 0 矗一l = 2 茹带入求氐_ 2 ，从j 矽式可以看虫，计算如一2 是只是积分项 变为原来的2 倍，其它的没有改变，所以瓜一2 一。且如一2 = 3 茹。以此类推 五= o ，磊= ( 一班b ，所以最优策略霄= 鹣，o 此种情况包含两种情况，也可以对现实问题给予一定的解释。一种矽 钐但是0 一垡) r s ， 既上涨的概率与下跌的概率之差不足以弥补投资于股票的资本的时间价值，此时 理蛀的投资者无疑将会投资债券。 例当0 一口) r s 时，当。一业芝芝时候系统取得最大值后1 嚣，其中 2 + 等等 ( 6 - 9 ) 所以 氛一l ：坐三坚( 6 圭。) 此时我们把七1 茹代入到( 疗7 ) 式，就会遇到情况一中所遇到的情况。因此有 = 箜笋，最优策略霄= 詈，堑芝坚 。事实上，这是另外一种极隈情况，当投资 者知道自己在股票上投资所要获利的概率犬于投资资本的时间价值时，显然会一 盏持有股票，髭至结束。 例6 o 2 下面我们来看一个比较接近实际的例子。 现在我们还是有两释有价证券，一种债券争一只股票，现在我钔在这两种之 问投资，现在我们知道如下数据债券的年利率n d 夙所以日利率r 近似的等于 疗。拶班掰和绉射股票9 7 年芏8 月嚣到芏碧月7 目的一些数据如下：陕元毋殳) 第2 8 页 中山大学研究生院学位论文 图6 1i b m 股票9 7 年1 0 月2 8 到1 2 月7 曰对数股价变化图 矾，观8 如下： 8 8 ii s 8 5 3 2 28 0 2 5 i 2 3 趱8 0 2 6 8 8 6 io 0 3 i 2 3 3 0 2 o 。 ) 0 3 0 ，? 5 2 i o 0 8 ， 9 3 4 0 6 8一o o i 6 5 6 毒6 6 3 - 8 e i 5 5 ，i 6 5 毒6 一o 。o i 8 3 8 9 i 8o 0 1 s 3 4 ii 2 4 一o 。0 2 毒2 8 2 3 毒3o 。0 2 5 5 毒4 1 s o 。0 2 s 6 0 ii 9 0 0 2 3 6 li 9o 0 2 3 晷 ，；ll o 0 1 9 5 1 2 8 l 毒 - o 0 1 3 3 4 0 6 o 0 0 9 1 3 3 i 9 6 o 0 1 6 2 毒5 8 l o 。o o ，7 2 1 8 9 9 一o 0 2 3 3 5 s 6 i 3 8 o 毒0 3 8 5 5 3 8 o 。0 2 i 8 6 2一o 0 0 2 2 8 0 5 e 3 o 0 2 5 0 9 6 3 2- o o i 6 2