（技术经济及管理专业论文）基于博弈学习理论的发电商报价策略研究.pdf

华北电力大学硕士论文 摘要 本文首先系统地阐述了博弈学习理论的相关内容，在博弈学习理论中的学习机制模 型的基础上，建立了发电商报价策略决策，以及相关学习模型。并通过对市场中发电商 报价策略和市场长期价格走势的算例分析，揭示了市场需求、发电商学习能力和初始信 念、最高最低限价对发电商报价策略及市场价格走势的影响。算例分析表明：随着市场 需求的增加，发电商的报价会整体走商，从而抬高市场整体价格水平；当市场需求与市 场供给比例达到约0 6 时，发电商的报价将会达到非常高的水平。最高限价有抑制电价 走高的作用显著；而最低限价对发电商的报价影响不明显，其主要作用就是对发电商的 报价进行一定的引导。电力市场运行初期，受到信息、风险和有限理性等因素的制约， 发电商的报价显现出较明显的非理性，但发电商具有“学习”能力，以及跟随其竞争对 手报价的行为策略。市场监管部门应该从交易规则层面上对发电商的报价进行引导和制 约。 关键词：博弈学习理论，发电商，学习模型，进化稳定策略 a b s t r a c t i n t r o d u c i n gt h ec o n t e n t so fl e a r n i n gt h e o r yo fg a m ef i r s t l y ，t h e na p p l y i n gt h e t h o u g h ta n dt h ep r i n c i p l eo fl e a r n i n gt h e o r yo fg a m e ，e s t a b l i s h e st h eg e n c o s b i d d i n g a n dl e a r n i n gm o d e l t h r o u g ha n a l y z i n go ft h ep r o c e s so f g e n c o s b i d d i n ga n dt h ep r i c e t r e n di nt h ep o w e rm a r k e t ，g i v e st h ee h e e to fs o m el h c t o 卜恤a “冲td e m a n d s ，g e n c o s l e a r n i n ga b i l i 蚵a n do r i g i h a ls t a t e ，p r i c ec a pa n dp r i c eb o t t o mc l o s e l yr e l a t eb e t w e e nt h e m a r k e td e m a n da n dp r i c ec a po nt h eg e n e o s b i d d i n gs t r a t e g ya n dt h ep r i c et r e n di nt h e p o w e rm a r k e t d a t aa n a l y s i ss h o w st h a tt h es t r a t e g i e so fg e n c o s b i d i n ga n dm a r k e t p r i c eg o e sh i g ha st h ei n c r e a s eo fm a r k e td e m a n d a n dt h eg e n c o s b i d i n gg o e st os 0h i g h w h e nt h er a t i oo fm a r k e td e m a n da n dm a r k e ts u p p l yb ea b o u t0 6 ：t h ec o n c l u s i o na l s o s h o w st h a tt h ep r i c ec a pr e s t r a i n st h eh i g hp r i c ea v a i l a b l ya n dt h ee f f e c to fp r i c eb o t t o m o ng e n c o s b i d i n gi su c o n s p i c u o u s i nt h ei n i t i a ls t a g e so fp o w e rm a r k e t , i n f o r m a t i o n ， r i s ka n db o u n d e dr a t i o n a lr e s t r i c tt h eg e n c o s b i d i n ga c t i o n ，b u tt h eb o u n d e dr a t i o n a l g e n c o s h a v el e a r n i n ga b i f i t ya n dt h ef o l l o w i n gb i d d i n gs t r a t e g y t h er e g u l a t o ro ft h e p o w e rm a r k e ts h o u l di n d u c ta n dr e s t r i c tt h eg e n c o s b i d i n gb e h a v ef o r ma s p e c to f m a r k e tt r a d er u l e l e iy a n g ( t e c h n i q u ee c o n o m i c sa n dm a n a g e m e n t ) d i r e c t e db yp r o f c h u n j i el i k e yw o r d s ：l e a r n i n gt h e o r yo fg a m e , g e n e o s ，l e a r n i n gm o d e l ，e v o l u t i o ns t a b l e s t r a t e g y 华北电力大学硕士论文 摘要 本文首先系统地阐述了博弈学习理论的相关内容，在博弈学习理论中的学习机制模 型的基础上，建立了发电商报价策略决策，以及相关学习模型。并通过对市场中发电商 报价策略和市场长期价格走势的算例分析，揭示了市场需求、发电商学习能力和初始信 念、最高最低限价对发电商报价策略及市场价格走势的影响。算例分析表明：随着市场 需求的增加，发电商的报价会整体走商，从而抬高市场整体价格水平；当市场需求与市 场供给比例达到约0 6 时，发电商的报价将会达到非常高的水平。最高限价有抑制电价 走高的作用显著；而最低限价对发电商的报价影响不明显，其主要作用就是对发电商的 报价进行一定的引导。电力市场运行初期，受到信息、风险和有限理性等因素的制约， 发电商的报价显现出较明显的非理性，但发电商具有“学习”能力，以及跟随其竞争对 手报价的行为策略。市场监管部门应该从交易规则层面上对发电商的报价进行引导和制 约。 关键词：博弈学习理论，发电商，学习模型，进化稳定策略 a b s t r a c t i n t r o d u c i n gt h ec o n t e n t so fl e a r n i n gt h e o r yo fg a m ef i r s t l y ，t h e na p p l y i n gt h e t h o u g h ta n dt h ep r i n c i p l eo fl e a r n i n gt h e o r yo fg a m e ，e s t a b l i s h e st h eg e n c o s b i d d i n g a n dl e a r n i n gm o d e l t h r o u g ha n a l y z i n go ft h ep r o c e s so fg e n c o s b i d d i n ga n dt h ep r i c e t r e n di nt h ep o w e rm a r k e t ，g i v e st h ee h e e to fs o m el h c t o 卜恤a “冲td e m a n d s ，g e n c o s l e a r n i n ga b i l i 蚵a n do r i g i h a ls t a t e ，p r i c ec a pa n dp r i c eb o t t o mc l o s e l yr e l a t eb e t w e e nt h e m a r k e td e m a n da n dp r i c ec a po nt h eg e n e o s b i d d i n gs t r a t e g ya n dt h ep r i c et r e n di nt h e p o w e rm a r k e t d a t aa n a l y s i ss h o w st h a tt h es t r a t e g i e so fg e n c o s b i d i n ga n dm a r k e t p r i c eg o e sh i g ha st h ei n c r e a s eo fm a r k e td e m a n d a n dt h eg e n c o s b i d i n gg o e st os 0h i g h w h e nt h er a t i oo fm a r k e td e m a n da n dm a r k e ts u p p l yb ea b o u t0 6 ：t h ec o n c l u s i o na l s o s h o w st h a tt h ep r i c ec a pr e s t r a i n st h eh i g hp r i c ea v a i l a b l ya n dt h ee f f e c to fp r i c eb o t t o m o ng e n c o s b i d i n gi su c o n s p i c u o u s i nt h ei n i t i a ls t a g e so fp o w e rm a r k e t , i n f o r m a t i o n ， r i s ka n db o u n d e dr a t i o n a lr e s t r i c tt h eg e n c o s b i d i n ga c t i o n ，b u tt h eb o u n d e dr a t i o n a l g e n c o s h a v el e a r n i n ga b i f i t ya n dt h ef o l l o w i n gb i d d i n gs t r a t e g y t h er e g u l a t o ro ft h e p o w e rm a r k e ts h o u l di n d u c ta n dr e s t r i c tt h eg e n c o s b i d i n gb e h a v ef o r ma s p e c to f m a r k e tt r a d er u l e l e iy a n g ( t e c h n i q u ee c o n o m i c sa n dm a n a g e m e n t ) d i r e c t e db yp r o f c h u n j i el i k e yw o r d s ：l e a r n i n gt h e o r yo fg a m e , g e n e o s ，l e a r n i n gm o d e l ，e v o l u t i o ns t a b l e s t r a t e g y 华北电力大学硕七论文 声明 本人郑重声明：此处所提交的硕士学位论文基于博弈学习理论的发电商报价策略 研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取 得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： ， 日期：沙口6 、 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 日期： 导师签 日期鲨生；r 华北电力大学硕士论文 1 1 论文研究的背景和意义 第一章 引言 2 0 世纪8 0 年初，随着电力产业发展的进步成熟，电力产业逐渐由卖方市场向买 方市场转变。政府对电力产业投资使其财政负担过于沉重，开始鼓励民间办电。电力投 资趋于多元化，独立发电商出现了，这对纵向一体化国家垄断经营的产业组织结构形成 了巨大冲击。但是，这样一种纵向一体化的垄断国有企业与独立发电商同时并存的组织 结构并不能有效地形成电力产业内部的竞争，只是增加了发电侧的投资主体，而独立发 电商根本无法与纵向一体化的国有电力企业进行公平的竞争。这样的制度安排弗没有从 根本上触动垄断格局，实质上还是纵向一体化的形式。严格地讲，这一阶段只能算作是 电力产业从纵向一体化垄断结构向横、纵拆分的市场竞争结构演进的一种过渡。 从9 0 年代开始，许多国家对电力产业进行了较为彻底的重组与改革，中国也不例 外。2 0 0 2 年3 月，随着电力体制改革方案的正式批准，政府对我国的电力产业进行 了一次较为彻底的、强制性的制度安排。打破了我国电力产业几十年来的行业和行政双 重垄断的产业格局。原国家电力公司撤销，其所属资产被分解到1 l 家独立的公司，从 发电侧来看，形成了5 大发电集团寡头垄断竟争的格局。 我国现阶段电力产业的组织结构发生了很大的变化：从产业的纵向来看，政府将电 力产业的发、输、配、售进行了某些环节上的分离，通过国家法律或政策的形式将具有 竞争性质的发电和售电环节与具有自然垄断属性的输配环节进行了拆分，形成了具有不 同功能和业务的电力市场主体。从各生产环节的横向来看，政府对发电侧进行了重组， 将原来垄断的发电企业进行拆分，在发电侧形成了寡头垄断竞争的市场格局；输配电环 节由于其固有的自然垄断属性，仍然维持原来的垄断结构；而售电侧由于不具有垄断属 性，被认为是可以进行市场竞争的，电力产业结构重组的后一阶段将形成售电侧竞争的 结构。从竞争规模来看，这一阶段电力产业竞争型结构是以庞大的市场为基础的，这个 市场可能是区域性的，可能是全国性的；市场规模的扩大也推动了电力产业竞争结构的 形成。 随着电力市场化改革的进行，电能也相应的变成了可交易的商品，在新的市场环境 下，具有竞争特质的发电环节无疑变数更大。发电厂商更加注重自身利益，而对电网的 安全运行、可靠性供电关注程度在不断下降。厂网分开后，发电计划的安排等因素引起 的发电商与电网公司的利益冲突日益激化。发电商的市场行为，特别是报价行为成为市 场中关注的焦点，也成为了影响一个电力市场成败的重要因素。而发电商的报价行为又 与电力市场中的交易规则联系紧密，交易制度的设计对改革成败是至关重要。什么样的 华北电力大学硕士论文 交易制度才能引导发电商进行较为理性的报价从而使监管部门对发电商的报价实施有 效的监管，促进发电市场的有效竞争? 显然，做好我国电力市场中发电商行为的研究是十分必要的。同时，什么样的交易 规则和交易制度能引导发电商的市场竞争行为也需要进一步的思考。本文写作的初衷正 是要解决这些问题。本论文对寡头垄断竞争格局下的发电市场中，发电商的短期报价行 为和市场的长期价格走势进行分析和研究，并将交易规则和发电商报价行为相联系，揭 示两者之间的相互作用，得出一些有益的政策建议。采用的研究方法是博弈学习理论。 1 2 国内外研究综述 随着世界各国电力工业市场化改革的深入，发电商市场行为及策略的研究成为热 点，而研究发电商行为的方法主要集中子博弈论。 文献【l 】在研究了不完全信息条件下电力联营体的最优拍卖机制基础上，建立了电力 联营体最优拍卖机制的理论模型。文献【2 】提出了基于猜测供给函数模型的发电公司 a g e n t 模型，并构造了重复博弈电力市场的m u l i t - a g e n t ( 多代理) 模型。该模型可以用于 分析和预测重复博弈的不完全信息电力市场环境下各发电公司潜在的市场力。文献【3 】 基于报价中标概率信念函数，建立了一种新的发电商决策模型。利用该决策模型构建的 m u l t i - a g e n t 电力市场模拟方法，可以对电力市场进行定量和定性的分析。文献【4 】采用 博弈论的方法分析了独立发电商的机组利润、出清电量与报价策略系数之间的关系，得 出了单机机组的最优报价策略和在报价越界时的优化调整方法。文献 5 】研究了合适的竟 价曲线应具备的特征。文献 6 】建立了最优竞标策略的数学模型，给出了最优竞标反应函 数。并提出不同市场信息条件下发电商的具体竟标方案。文献【7 】用博弈论中的一级密封 拍卖模型，对“单一购买者+ 差价和约”模式的电力市场中的发电商的报价行为进行了理 论分析，并预测市场未来的走势情况。文献 8 1 1 9 1 对电力市场中应用的拍卖模型进行的 系统的讨论。文献【1 0 】运用双方叫价拍卖的贝叶斯博弈模型研究了供求双方叫价达成均 衡的博弈模型。 文献1 1 1 应用博弈论，以完全竞争市场下的均衡发电量和均衡电价为基准，分别比 较了按c o u m o t 模型、s t a c k e l b e r g 模型和f o r c h h e i m e r 模型模拟寡头竞争电力市场情 况下的电力公司所拥有的市场力，并且分析生产成本、市场中的电力需求弹性、市场中 作为领导者的电力公司数量以及容量限制对市场力的影响。文献【1 2 】对发电商的申报价 格与其收益之间的关系进行了分析。同时提出了一个判断发电商市场价格垄断力的方 法。文献 1 3 】针对基于博弈论的降低市场力的策略进行了探讨，提出了基于博弈论的降低 市场力模型，并通过该模型对差价和约进行了分析。 文献 1 4 1 设计了一个模拟的电力市场环境，运用纳什均衡理论，对不同类型发电商 华北电力大学硕士论文 的报价策略进行了研究，得出了一些有价值的结论。文献 1 5 1 6 1 1 7 1 1 1 8 1 基于博弈的经 典模型：古诺模型和伯川德模型，通过经济学实验，详细研究了市场信息与市场行为主 体的策略选择之间的关系，认为不同类型信息的公开对市场主体竞争有着不同的影响。 文献【1 9 】采用进化博弈论的思想对电力市场发电报价过程进行了建模和求解，通过 算例对模型进行了论证，反映出市场响应及发电商报价的动态过程。文献 2 0 】介绍进化 博弈理论的基本思想，并以发电商竞价为例说明了进化博弈理论在电力市场中的应用思 路。文献 2 1 】在文献 2 0 】的基础上，分析发电商竞价策略的自发演进过程，并做出政府 必须对电力市场进行调控、制定合理竞价规则等政策建议。文献 2 2 】运用进化博弈的分 析方法研究了不同市场供求情况下发电商竞价上网的行为。文献 2 3 成功的将博弈学习 理论中的最优反应动态机制运用于单一买方的电力市场中，描述了在多时段竞价的日前 市场和小时前市场中，发电商通过对前一期报价及报价结果的学习，对本期报价进行最 优反应动态调整的过程。并对这一过程进行的实际的数据模拟。 文献 2 4 】根据电力市场的特点，提出一种新的博弈模型来模拟发电商的策略行为，推 导了该模型的纳什均衡解。最后通过算例比较了该模型与现有模型均衡解的区别，并分析 了电力需求弹性和发电容量约束等因素对市场均衡状态的影响。文献【2 5 】【2 6 】 2 7 】对电力 市场中不同的竞价结算方式进行了比较研究，并分析了在不同结算方式下发电商的报价 策略。文献【2 8 】【2 9 】 3 0 】系统的研究了分时竞价和分段竞价机制中发电市场主体的行为。 纵观国内外学者运用博弈理论对发电商行为及策略的研究，主要有以下几个方向： 运用博弈论来模拟分析电力市场中交易者的经济行为；应用博弈理论对电力市场中发电 商的市场力行为进行分析；采用实验经济学的方法对发电商的掇价行为迸行实验模拟； 应用进化博弈理论中的复制动态机理对发电商群体的报价行为进行研究；对完全竞争市 场结构、垄断竞争市场结构、寡头垄断市场不同市场结构下的发电商的行为分别进行博 弈分析；在不同的交易结算方式下研究发电商的报价策略。 1 3 问题的提出及本文的特点 总的看来，研究发电商市场行为的方法大多采用传统的博弈理论，着重对单个发电 商的短期市场行为进行分析。而对于发电商群体报价行为以及市场价格长期走势的研究 较少，方法上也较为单一。传统博弈理论的分析在行为主体理性及市场信息方面有“完 全的”和“充分的”严格要求，使得分析模型与实际情况产生了较大差异，而且缺乏对主 体行为的动态描述和市场走势的长期预测。 近年来，博弈学习理论的应用已经延伸到了电力市场等众多领域。国外出现了采用 博弈学习理论中的模型( 最优模仿，试错学习，均值模仿) 进行市场模拟和实验经济学 方面的研究的文献；国内也出现了为数不多的应用复制动态机制( 博弈学习理论中的基 本模型之一) 对发电商报价进行分析的相关文献。该理论在假设前提( 有限理性，信息 华北电力大学硕士论文 有限) 的现实性和长期预测能力等方面相对于传统博弈理论都具有优势，这正好弥补了 传统博弈理论在这些方面的不足。 本文应用博弈学习理论的思想及相关模型对发电市场中发电商报价行为进行分析， 在研究发电商单期报价策略的同时，深入探索发电商整体的长期报价走势。并将市场交 易规则与发电商行为联系起来考虑，对两者间的相互作用进行定量分析，同时考虑市场 信息的变化对发电商市场行为的影响。以定量分析为基础，对发电市场的监管做出一些 有益的政策建议。本文的创新之处在于j 应用博弈学习理论的思想构建了分析发电商报 价行为的学习模型，采用该模型对发电商短期报价策略和市场价格的长期走势情况进行 了定量的分析，在定量分析时将市场交易规则考虑了进去。 第一章是文章的引言部分，介绍本文的基本思路和框架；第二章主要介绍博弈学习 理论以及相关的模型( 最优反应动态模型和复制动态模型) ；第三章通过学习机制的阐 述，分析了发电商的学习行为和学习过程，为第四章模型的建立打下基础；第四章在第 二章和第三章的基础上，建立了发电商报价的决策和学习模型，还重点分析了发电商报 价的中标概率函数，在学习模型的基础上描述了发电商报价的学习过程；第五章通过具 体的算例分析，研究了市场需求、前期报价、学习能力、最高最低限价对发电商短期报 价和长期价格走势的影响，以定量分析为基础，提出有益的政策建议；第六章是本文的 结论。 华北电力大学硕上论文 第二章博弈学习理论及相关模型 2 1 博弈学习理论综述 大多数传统博弈理论的研究主要集中于讨论博弈均衡，尤其是纳什均衡及其完美。 在此领域的研究取得了极大的成就，并有力的推动了博弈理论在经济学理论研究中的应 用。但是，由诺贝尔经济学奖获得者开创的博弈理论研究并没有因此而终结。博弈理论 还存在着许多有待进一步深入探索的问题。其中之一就是：什么时候和为什么人们可以 预期博弈的结果将是博弈均衡之一? 传统博弈论理论认为，均衡是博弈规则、参与者的 理性以及参与者的收益函数都是共同知识的情况下，由参与者的分析和反省所得出的结 果。而博弈学习理论( d r e wf u d e n b e r g & d a v i dk l e v i n e ，1 9 9 8 ) 则认为，不论是概念 上还是实验上，传统博弈理论都存在许多问题： 第一，当有多重均衡时，存在一个主要的概念性问题：在缺少参与者如何预期同一 均衡解释的情况下，博弈结果并不需要符合任何均衡。当参与者利用一种共同选择过程 ( 学习机制) 来调整他们的期望时，这是可能的。传统博弈理论不能解释的是，这样一 种过程是怎样成为共同知识的。 第二，运用于许多博弈的关于准确收益的共同知识假设和博弈参与者理性假设是有 问题的。放松这个共同知识的假设将使采用传统博弈理论得出的结果发生巨大的变化。 第三，均衡理论并不能很好的解释大多数博弈实验前面的环节，尽管它对其后面的 环节解释得较好。均衡理论要实现从非均衡向均衡结果转变是困难的。 f u d e n b e r g 和l e v i n e 在博弈学习理论一书中认为“均衡是作为不完全理性的参 与者寻求最优化的长期过程的结果”，这就是博弈学习理论的基本分析框架，即参 与者的有限理性，共同知识的有限性，博弈过程的动态调整性，均衡的长期性和稳定性 这也是博弈学习理论区别于传统博奔理论的几个重要特征。 2 2 博弈学习理论与传统博弈理论之比较 2 2 1 参与者的有限理性和共同知识的有限性 从其理论的假设前提看，博弈学习理论对参与者有限理性的假设充分考虑到博弈参 与者获取信息的非完全性，及其认知能力和推理能力的有限性。更加的接近现实是有限 理性假设优于完全理性假设的最佳体现，也是博弈学习理论对传统博弈理论的一大改 进。 5 - 华北电力大学硕士论文 传统经济学博弈中，理性是指一种行为方式，具体地说即是经济中参与人对其所处 世界的各种状态及不同状态对自己支付的影响情况都具有完全信息，并且在既定的条件 下每个参与人都具有选择使自己获得最大效用或最大利润的能力。生产者在给定技术和 资源下能找到一个可获得最大利润的最优生产方案；消费者在既定的预算约束下能找到 一个可获得最大效用盼消费方式。完全理性包括理性意识、分析推理能力、识别判断能 力、记忆能力和准确行为能力等多方面的完美性要求，其中任何一方面不完美就是有限 理性。 由于完全理性假设对行为主体能力的要求过高，在解决实际问题时遇到许多的障 碍，博弈学习理论放弃了完全理性对行为主体的完美要求，认为参与人的知识水平是有 限的、推理能力是有限的、信息收集及处理能力是有限的，经济主体由于受到理性的约 束而其行为是幼稚的，其决策不是通过迅速的最优化计算得到，而是需要经历一个适应 性的调整过程，在此过程中其决策受到经济主体所处的社会环境、过去的经验、日常惯 例及其他人相似情形下的行为选择等随机因素的影响。 另外，博弈学习理论对参与者掌握的共同知识的完备性要求不高。和传统博弈中的 不完全信息博弈一样，强调博弈参与者在做出策略选择时对其他参与者的信息( 成本， 报价等) 不是完全了解的。也就是说博弈参与者的有些信息是所有参与者的共同知识， 而有些信息则只有参与者自己知道。共同知识的有限性使博弈学习理论更加的贴近现实 世界。 2 2 2 研究对象的复杂性 从研究对象来看，博弈学习理论所研究的参与者更为丰富一些，除了个体参与者之 外，还研究参与者群体内部和群体之间的策略调整和相互影响作用。 传统博弈的研究对象是参与者个体，讨论的是参与者个体的行为及其相互影响。在 其他参与者行为选择给定情况下考察某一特定个体行为的最优化。博弈学习理论则是在 各群体、个体之间的行为相互影响且同一群体的个体间进行重复博弈的假设基础上，以 参与者群体及群体中的个体为对象，研究个体之间、群体、群体之间三个层面上的策略 动态调整过程。 2 2 3 博弈过程的动态调整性 博弈学习理论和传统博弈理论都有动态的概念，但二者动态概念的实质有较大的区 别。传统博弈理论在动态博弈中所说的动态实质上是博弈方做出策略选择有先后次序之 分而构成的动态。在动态博弈中，先行动的博弈方预期到自己的行动会传递自己的信息 给后行动一方，且先行动的博弈方在给定的预期( 后行动方的行为) 的前提下选择自 华北电力大学硕士论文 己的策略，然后，后行动一方通过观察到先行动一方的行为后再做出最优的反应策略。 这种行动在时间上的非同步性就是传统博弈中的动态概念。 而博弈学习理论中强调的动态是群体行为达到均衡的调整过程。将群体的调整过程 看作是一个动态系统达到均衡的过程，认为均衡是均衡过程的函数，可将影响均衡的因 素纳入博弈学习理论的分析框架。且达到均衡的调整机制较多，有的和传统博弈理论一 样，动态过程中必须考虑博弈各方行为的相互影响，如最优反应动态机制；有的无须考 虑自己的行为对对手产生的影响，搏弈的各方并没有特定的博弈对手，如复制动态机制。 2 2 4 均衡的长期性和稳定性 首先，博弈学习理论与传统博弈理论研究均衡的侧重点不同。传统博弈理论中核心 的问题是找出博弈的均衡解，其方法是通过给定其他参与者的策略以确定某一参与人的 最优策略，从而用剔除的方法得到博弈的均衡解。博弈学习理论分析问题的核心不是找 到均衡解，而是达到进化稳定均衡的动态过程。主要利用动态方法研究群体达到均衡的 行为调整过程。它强调个体在给定信息下并不一定选择最优化行为，而是通过学习、模 仿等动态调整过程做出决策。它着重强调对动态过程的分析，而不是所得的结果。其均 衡结果依赖于博弈的历史、各博弈方的初始状态及博弈所处的社会环境，且受到均衡过 程的影响。 其次，博弈学习理论和传统博弈理论分析中达到均衡的过程不同。传统博弈理论认 为参与者能对信息的任何变化做出迅速的反应，且是最优的反应，因此经济系统常处于 均衡的状态，从均衡到不均衡，从一个均衡到另一个均衡都不需要时间，或是瞬间完成 的。博弈学习理论强调经济变迁的动态过程，认为参与人对信息变化不能做出迅速而准 确的最优反应，均衡的达到需要时间，且是均衡过程的函数。均衡是暂时的或是不可能 的，非均衡是常态和现实，经济系统只是向着均衡靠拢。这一点反应了博弈学习理论中 均衡的长期性。 第三，在均衡概念上，传统博弈理论核心的均衡概念是纳什均衡；而博弈学习理论 中的均衡概念是进化稳定策略( 且它是进化，模仿和学习过程的函数) 。且进化稳定策 略在某些情况下就是纳什均衡或其精炼。它既要是均衡，又要能“抗干扰”，也就是要求 均衡稳定。 2 3 博弈学习理论的基本模型 在博弈学习理论中，有两个基本的，也是非常重要的动态调整过程模型。它们是： 最优反应动态模型和复制动态模型。 华北电力大学硕士论文 2 3 1 最优反应动态模型 首先介绍少数有快速学习能力的有限理性搏弈参与者之间的反复博弈的策略调整 模型。这种分析框架适用于参与者具有较快学习能力( 虽然在复杂局面下准确判断分析 和运用预见性的能力稍差，但它们对不同策略的结果做出比较正确的事后评估，并能相 应调整策略) 的博弈。因此给定前期的经验( 博弈结果) ，每个博弈参与者本期能找到 和采取针对前期其他参与者( 全部或邻近的部分参与者) 策略的最优反应策略。最适合 描述这种理性层次博弈方的策略调整的动态机制，就是所谓的“最优反应动态”( b e s t r e s p o n s ed y n a m i c s ) 。 根据d r e wf u d e n b e r g 和d a v i dk l e v i n e 的理论，假设有个每种参与者类型连续的 群体，并且令状态变量研是i 类参与者采取的策略的频率分布。即，o ；t ( s ，) 是采取策略s 。 的i 类参与者的一部分。在离散时间段t ，如果群体旯的一部分随机的选择是对其对手当 前行动的最优反应，群体的其余部分继续他们当前的行动，那么，部分最优反应动态为： a ，t + 1 = ( 1 - 旯) 研+ 2 b r ，( g ) = 研+ 五( b r i ( 锚) 一研) ( 2 1 ) 在此，每个b r ；是从该参与者的最优反应中进行选择的一种( 非连续) 函数。 上述方程就是少数有快速学习能力的有限理性博弈参与者之间的最优反应动态过 程的一般化数学描述。基于上述思想，n a t h a nl a r s o n 和d a v i ds a l a n t 构建了发电商价格 调整的随机最优反应动态模型，模型是基于这样的思想每一个发电商趋向于根据竞 争对手价格选择的历史模式来调整它们的价格策略。假设h ：为发电商i 在t 时刻报价的 概率分布。设万( p ，h ) 为发电商报价p 时的期望收益。那么，发电商根据下面的方程调熬 它们的报价： h ：= ( t 一；t ) h l 。+ 2 9 ： ( 2 2 ) 每一个发电商报价的概率分布是它前一期报价概率分布h ；和修正项g ：的加权平均。 修正相即为发电商i 对竞争对手报价策略的最优反应。竞争对手前一期获得的收益越高， 修正相相应的权重就越大。 每一个报价期之后，发电商对它竞争对手本期豹报价概率分布有一定的了解。发电 商根据对手的报价概率分布计算自己对该报价的最优反应。 2 32 复制动态模型 最优反应动态模型在少数参与者之间反复博弈的分析框架中，讨论了具有较快学习 8 - 华北电力大学硕士论文 速度的有限理性的参与者的策略调整和策略稳定性。而学习速度较慢的参与者组成的大 群体成员的随机配对反复博弈的策略调整机制可以通过复制动态模型来进行分析。在复 制动态分析框架中，主要有单群体对称博弈的复制动态模型和多群体非对称博弈的复制 动态模型。这里，我们只介绍多群体非对称博弈的复制动态模型，因为单群体模型只是 多群体模型的一个特例。 在重复动态博弈中，假定所有的参与者均采用纯策略，有n 个不同的群体参与博弈。 制( k 汛新秸惭躲价貅帐臌锵潮鹨籼躺州( s ) 2 器为 在t 阶段第i 个群体中采用纯策略s 的参与者的群体比例向量，由它组成了t 阶段第i 个群 体中参与者的状态变量( 反应各参与者策略选择的集合) g ( s ) ，u ：( s ) 为t 阶段第i 个群 体中采用纯策略s 的参与者的期望效用，豇。g ( s ) u ：( s ) 。 假设每个群体中参与者通常采取某种纯策略，并将长期坚持下去，且选择纯策略s 的 参与者状态变量的变化率与它在博弈中的所得成正比。则有下面的连续时间动态模型： 旦粤：研( s ) 【u 焖一】( 2 1 3 ) 将这个方程称作复制动态方程。该方程近期已被应用于分析电力市场中发电商的报 价行为。根据复制动态模型，可以建立发电商报价博弈的动态调整方程如下： 在一个区域电力市场中，存在k 个发电商群体( 不同的发电商群体由不同类型的发 电商组成，如寡头发电商、小型发电商等) ，j 0 = 1 2 ，k ) 表示第j 个群体。设x ? 为第j 个 发电商群体中选择第i 个报价策略的发电商数占该发电商群体总数的百分比；x ，表示发 电商群体j 在某报价时段t 所处的状态( 它是x ? 的一个集合) ，x 1 表示第j 个发电商群体 以外的其他发电商群体在某报价时段t 所处的状态；s ? 表示发电商群体j 中单个发电商 的第i 个报价策略；x 表示所有发电商的报价策略组合，f ( s ，x ) 表示所有发电商报价策略 组合为x 时，发电商群体j 中单个发电商选择策略s i 时所能得到的期望得益；f ( x j ，x - j ) 表 示发电商群体j 的平均得益。 采用既定报价策略发电商的比例的变化率与选择该报价策略的发电商在群体中所 占的比例成正比，与该发电商选择报价策略的期望得益大于群体平均褥益的程度成正 比。因此可以建立如下发电商群体报价博弈的复制动态方程： 华北电力大学硕士论文 警= i f ( s 沁) 一f ( x j , x j ) x ： 2 4 博弈学习理论的均衡概念_ j 荭化稳定策略( e s s ) ( 2 4 ) 进化稳定策略是由m a y n a r ds m i t ha n dp r i c e ( 1 9 7 3 ) 及m a y n a r ds m i t h ( 1 9 7 4 ) 在研究 生态演化问题时提出来的，其直观思想是：如果一个群体( 原群体) 的行为模式能够消 除任何小的突变群体，那么这种行为模式一定能够获得比突变群体高的支付，随着时问 的演化突变者群体最后会从原群体中消失，原群体所选择的策略就是进化稳定策略。系 统选择进化稳定策略时所处的状态即是进化稳定状态，此时的均衡就是进化稳定均衡。 用于经济分析，就是说一个群体中选择某一策略的某些个体所获得的支付比选择突变策 略的某些个体高，并能够对选择突变策略的某些个体产生影响，那么进化的结果将是那 些选择突变策略的个体最终会改变策略而选择该策略，这一策略就是进化稳定策略( 因 为人类可以通过学习、模仿等来改变自己所选择的策略) 。 下面给出进化稳定策略的数学定义： s 是群体在博弈g 中最初选择的策略组合，盯( 0 口1 ) 为群体中选择任一突变 策略s ( s s ) 的个体在群体中所占的比例，( 1 仃) 就是选择策略s 的个体在群体中所占的 比例。如果满足不等式 u ( s ，( 1 一盯) s + o r s 7 ) u ( s ，( 1 一盯) s + 0 8 ) ( 2 - 5 ) 则称s 是博弈g 的一个“进化稳定策略”( e s s ) 。 其中，u o 是群体中选择策略s 或策略s 的个体的得益。( 1 一仃) s + 盯s 表示群体所处 的状态，即群体中选择进化稳定策略s 和选择突变策略s 的分布情况。 某一策略是进化稳定策略必定满足下面两个条件：( 1 ) 在群体中选择某个策略的个 体 例稳定不变，即仃的数值不发生变化；( 2 ) 该稳定状态必须对微小的扰动具有稳健 性。就是说如果由于某种因素使得系统偏离进化稳定状态，那么系统会自动恢复到原来 状态。 当群体处于进化稳定状态时，除非有来自外部的强大的冲击，否则群体就不会偏离 进化稳定状态。进化稳定策略考察的是系统落于该均衡的吸引域范围之内的动态性质， 而落于吸引域范围之外是不考虑的，所以说它只能够描述系统的局部动态性质。 当然，进化稳定策略在运用中是有很多的缺陷的。理论家们也从下面几个方面对其 进行了深入的研究和拓展。包括：非对称群体中的进化稳定策略概念，进化稳定策略 在有限群体上的拓展，随机因素影响下进化稳定策略的拓展，进化稳定策略与动态的结 合等几个方面。关于这些拓展研究的情况在文献【3 1 】中都有介绍，这里不再另作说明。 。l o 华北电力大学硕士论文 2 5 博弈学习理论在发电商市场行为方面的应用 博弈学习理论兴起于上世纪八十年代的西方，近两年国外已经将其应用领域延伸到 了电力市场等众多领域，如采用博弈学习理论中的模型( 最优模仿，试错学习，均值模 仿) 进行市场模拟【1 4 【1 5 】和实验经济学【1 6 方面的研究；国内也出现了一些应用复制动 态机制( 博弈学习理论中的基本模型之一) 对发电商报价进行分析的相关文献 1 9 2 0 ， 还有一部分通过代理模型分析发电商的学习行为的文献【2 】【3 】。这些研究成果充分说明 了博弈学习理论应用于发电商市场行为研究具有广阔的前景。 那么，为什么博弈学习理论适合用于发电商市场行为的研究呢? 首先，博弈学习理 论研究具有有限理性的行为主体，并且对不同类型的主体都可进行分析，如个体，单一 群体，以及多群体等。而在发电市场中，发电商由于受到自身能力和环境、信息等因素 的限制，它们的决策具有相当大的偶然性，发电商正是在有限理性的情况下做出市场决 策的；而且，发电市场上发电商的类型很多，有大型的寡头发电集团、小型发电企业及 独立发电商等等。博弈学习理论不仅可以用于发电商个体行为的分析研究，还可以对不 同类型的发电商群体进行分析。其次，发电商在市场决策时常常面对的是未知的市场环 境，市场信息也不是很充分，博弈学习理论恰恰是在有限的信息条件下分析问题的，这 样的分析更接近现实的发电商行为和发电市场的情况。第三，博弈学习理论强调对过程 的研究和对主体行为长期趋势的研究，这有益于我们对发电商行为分析的同时，更加深 入的把握发电商长期的市场行为和市场长期的走势情况。 总之，博弈学习理论在假设前提( 有限理性，信息有限) 的现实性和长期预测能力 等方面相对于传统博弈理论都具有优势，这正好弥补了传统博弈理论在这些方面的不 足。 华北电力大学硕士论文 第三章发电商报价的基本学习机制 本章在前一章博弈学习理论基本模型的基础上，建立了发电商报价的四种学习机制 模型，分别是：最优反应动态调整机制，试错学习调整机制，最优模仿调整机制和均值 模仿调整机制。通过这四个机制模型，本文将对发电商报价的学习行为做一个全面的分 析，也为下一章发电商报价决策和学习模型的建立做准备。 3 1 最优反应动态调整机制( b e s tr e piyd y n a mic ) 设p ：为发电商i 在t 时刻的报价，n ：( p ) 为报价p ：时的期望利润。每一个报价期之后， 发电商对它竞争对手本期的报价信息有一定的了解。根据所了解的信息对自己的报价进 行调整( 具体地说，它是根据自己上一期的报价情况的修正以及所掌握的对手的报价信 息对本期的报价做出选择的。信息的掌握情况会影响发电商报价调整的方式，关于信息 对发电商报价策略的影响我们将在下面的章节进行讨论) 。设艿为t 时段发电商进行的报 价调整( 降低或提高报价) 。调整机制是这样的发电商i 将其前期报价得出对 应的利润，( p ) ；然后，发电商将进行试错性报价调整，即假设其他发电商的报价策略 不变的条件下，自己对其报价进行调整，并测算出报价调整后所对应的利润：( p ) ；将 该利润与未调整报价前的利润n ，( p ) 进行比较，如果调整使利润增加，发电商就进行报 价调整，即本期调整后的报价p + 占；如果调整使利润没有增加，甚至减少，它将 不进行报价调整。进行报价调整的条件是n ：( p ) n ? 1 ( p ) ，可以将这一调整过程表达为： 萨舞蕊篓 海， 可以通过下面的示意图3 1 来反映发电商报价策略调整的过程，这也就是我们所说 的发电商报价的“学习机制”( 其中，p ? 是初始报价，p ：是试错性调整报价) 。 华北电力大学硕士论文 图3 1 ：最优反应动态调整过程 这样