已阅读5页,还剩69页未读, 继续免费阅读
(计算机应用技术专业论文)基于dfl的多agent学习模型研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
睡 一d h 。的多a g e n t 学习模型州究摘舞 基于d f l 的多a g e n t 学习模型研究 中文摘要 a g e n t 学习是近年来广泛受到人们关注的热点问题之一。针对a g e n t 学习过程中,a g e n t 本身属性以及环境所存在的动态模糊性特点,本文基 于动态模糊逻辑( d f l ) ,给出了一种多a g e n t 学习模型,包括a g e n t 心智 模型、a g e n t 的心智状态及其相关公理、a g e n t 的工作原理、即时回报的单 a g e n t 学习算法、基于d f l 的q l e a r n i n g 算法、多a g e n t 学习算法等,并 j 4 - 这些算法用于解决实际问题,实现了基于d f l 的纸牌游戏系统。 由此可以看出,本文的特色主要体现在如下几个方面: ( 1 ) 提出了基于d f l 的a g e n t 心智状态模型,为研究a g e n t 学习模 型及算法奠定了基础; ( 2 ) 提出了基于d f l 的单a g e n t 和多a g e n t 学习模型算法,进一步 丰富和发展了a g e n t 学习的基本内容; ( 3 ) 实现了多a g e n t 学习算法在纸牌游戏中的应用。 当然,这些工作还很初步,还有许多方面需要进一步研究:如学习 算法的优化,模型在具体领域的应用等。 关键词:a g e n t 学习;多a g e n t 系统;动态模糊逻辑 作者:谢丽萍 指导教师:李凡长教授 垒! 竺! ! ! ! 坠! ! 竺! ! ! ! 坠坚! 婪:矍! ! ! ! ! ! ! ! 受g 竺! 塑! ! 塑! ! 塑旦! ! r e s e a r c ho nt h em u l t i a g e n tl e a r n i n gm o d e l b a s e do nd f l a b s t r a c t a g e n tl e a r n i n gi so n eo ft h eh o t t e s tp r o b o l e si nr e c e n ty e a r s t h i st h e s i s p r e s e n t e dam u l t i 。a g e n tl e a r n i n gm o d e lb a s e do nd y n a m i cf u z z yl o g i c ( d f l ) b e c a u s eo ft h ed y n a m i cf u z z yc h a r a c t e r i s t i c so ft h ea g e n t sp r o p e r t i e sa n dt h e e n v i r o n m e n td u r i n gt h ep r o c e s so f t h ea g e n tl e a r n i n g t h i sm o d e li n c l u d e dt h e a g e n ti n t e l l i g e n c em o d e l ,t h ea g e n ti n t e l l i g e n c es t a t e sa n dt h e i ra x i o m s ,t h e a g e n tw o r k i n gt h e o r i e s ,s i n g l e - a g e n tl e a r n i n ga l g r i t h i n s ,m u l t i a g e n tl e a r n i n g a l g r i t h m s ,a n ds oo n i ta l s oa p p l i e dt h e s ea l g r i t h m st ot h ea c t u a lp r o b l e m s a n da c h i e v e dt h ec a r d sg a m eb a s e do nd f l t h e r e f o r e ,t h em a i nc h a r a c t e r i s t i c so f t h i st h e s i sa r e : ( 1 ) a d v a n c ea na g e n ti n t e l l i g e n c em o d e lb a s e do nd f la n dt h i sm o d e li s t h eb a s eo f r e s e a r c h i n ga g e n tl e a r n i n g ; ( 2 ) a d v a n c et h es i n g l e a g e n tl e a r n i n ga l g o r i t h m sa n dt h e m u l t i a g e n t l e a r n i n ga l g o r i t h m sb a s e do nd f l ,e n r i c ha n dd e v e l o pt h eb a s i cc o n t e n to f a g e n tl e a r n i n gf u r t h e r ; ( 3 ) g i v ea ne x a m p l es y s t e m :ac a r d sg a m e o fc o u r s e ,a l lt h ew o r ki st e n t i v ea n dm u c ho ft h e mn e e da d v a n c e d r e s e a r c h f o re x a m p l e ,t h el e a r n i n ga l g o r i t h m sc a nb ei m p r o v e d ,a n dw en e e d a p p l yt h em u l t i a g e n tl e a r n i n gm o d e lt om o r ef i e l d s ,a n ds oo i l k e yw o r d s :a g e n tl e a r n i n g ,m u l t i a g e n ts y s t e m ,d y n a m i cf u z z yl o g i c w r i t t e nb yx i el i p i n g s u p e r v i s e db yl if a n z h a n g n x9 5 6 7 0 5 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明:所提交的学位论文是本人在导师的指导下,独立进行研究工 作所取得的成果。除文中已经注明引用的内容外,本论文不含其他个人或集体已 经发表或撰写过的研究成果,也不含为获得苏州大学或其它教育机构的学位证书 而使用过的材料。对本文的研究作出重要贡献的个人和集体,均已在文中以明确 方式标明。本人承担本声明的法律责任。 研究生签名:蚴同期:。丑2 6 生皇。 学位淦文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学沦文合作部、 中困社科院文献信息情报c i 心有权保留本人所送交学位论文的复印件和电子文 档,叫。以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外,允许论文被查阅和借阅,可以 公布( 包括刊登) 论文的全部或部分内容。论文的公靠( 包括刊登) 授权苏州大 学学位办办理。 日期: 6 中j 口 矍! ! ! 竺兰坚! ! ! 堂型堡些型壅! ! 二重 第一章引言 1 1a g e n t 学习综述 a g e n t 学习是指a g e n t 能够通过学习的方法增长知识和能力,即a g e n t 本身的知识库得到扩充,能力得到增强或者更加适用于用户习惯和兴趣 等。 1 1 1a g e n t 学习方法策略分类 目前a g e n t 学习的方法策略有很多,如:死记硬背式学习( r o t e l e a r n i n g ) ,指导学习( l e a r n i n gf r o m i n s t r u c t i o n sa n db ya d v i c et a k i n g ) , 通过例子学习或归纳学习( l e a r n i n gf r o me x a m p l e s ,o r i n d u c t i v e l e a r n i n g ) ,类比学习( l e a r n i n gb ya n a l o g y ) ,通过观察与发现学习 ( l e a m i n gb yo b s e r v a t i o na n dd i s c o v e r y ) ,基于案例学习( c a s e b a s e d l e a m i n g ) ,基于解释学习( e x p l a n a t i o n - b a s e dl e a r n i n g ) ,竞争字刊 ( c o m p l e t i n gl e a r n i n g ) ,合作学习( c o o p e r a t i n gl e a r n i n g ) ,博弈学习 ( g a m e t h e o r e t i cl e a r n i n g ) ,适应学习( a d a p t i v el e a r n i n g ,将神经网络 与遗传学习算法相结合,通过对各种事物进行适应性调整,使神经网络 趋于稳定) 及强化学习( r e i n f o r c e m e n tl e a r n i n g ) 等。 1 1 2 a g e n t 学习的特点 a g e n t 是一个能够进行自我学习的智能体。它具有以下特点: ( 1 ) 自制性。a g e n t 的自制性指的是a g e n t 在学习过程中,不需要 外界干扰,能够对自己的学习行为进行自我控制。 ( 2 ) 反应性。a g e n t 的反应性指的是a g e n t 在学习过程中,对外界 发生的些变化能做出自己适当的反应。 ( 3 ) 推理性。a g e n t 的推理性指的是a g e n t 能够根据自己当前掌握 皋f d f l 的多a g e n t 学习模型研究 的知识,即当前知识库的已有信息,根据自己的能力值加以推理,得到 新的知识并加以存储。 ( 4 ) 学习性。a g e n t 的学习性指的是a g e n t 就如同一个有意识的人, 对周围所发生的事情能通过由不知到知的过程进行学习,并将学习结果 存放到知识库。等下次再碰到相似情况,a g e n t 可以直接从知识库中调出 应对策略。 a g e n t 所具有的这些特点,使得a g e n t 技术被广泛应用于各个领域。 例如游戏【l 一2 、邮件路由选择 3 1 、口语对话系统 4 】以及机器人足球【5 】等。 1 1 3a g e n t 学习的研究现状 ( 1 ) 国外在单a g e n t 学习研究方面 2 0 0 4 年英特尔发布的o p e n m l 软件开发工具就是一个典型的单a g e n t 学习实例。该工具使计算机开发人员搭建的系统能够从应用中“学习”, 即利用以往的数据来提高准确度和易用性。该工具可以让计算机通过计 算过去曾经发生过的事件的频率估算其再次发生的可能性。o p e n m l 是 基于“贝叶斯( b a y e s i a n ) ”数学定理,主要理念是:通过研究某一事件 曾经发生的频率可以计算其未来发生的概率。o p e n m l 一个很有趣的应 用举例为:英特尔研究人员用它来帮助创建音频视频语音识别系统,支 持计算机用摄像机探测说话者的面部并跟踪其嘴型的运动。学习“读唇 ( r e a dl i p s ) ”有助于提高语音识别的准确性,特别是在机场、商店和其 他喧闹的环境中 6 】。 南加利福尼亚大学的a d e 项目是面向教育的以问题求解为中心的 自适应学习系统。美国s t a n f o r d 大学的“f a b ”a d a p t i v ew e bp a g e r e c o m m e n d a t i o ns e r v i c e 主要提供对用户进行网页信息推荐服务。这些都 是a g e n t 学习技术在个性化方面的使用,即界面a g e n t 技术。 l i r e nc h e n & k a t i as y c a r a 研制的w e b m a t e 是一个典型的学习a g e n t 的例子。w e b m a t e 能够根据用户的兴趣自动提取网上新闻等资源,还能 够满足用户检索领域相关资源等需求。 摧十d f l 的多a g e n t 学习模型研究 第一章 ( 2 ) 国外在多a g e n t 学习研究方面 g t e 的i l s 系统 s i l v e r , 1 9 9 0 将异构的学习a g e n t ( 归纳,基于搜索 和基于知识的a g e n t ) 通过一个集中控制器集成在一起,通过集中控制器, a g e n t 相互之间进行评判。 m a l e 系统使用一交互板( 类似于黑板) 协作不同的学习a g e n t 。 ( 3 ) 国内在单a g e n t 学习研究方面 南京大学的高阳、李宁等深入的对强化学习进行分析,提出了在 a o d e 上采用b d i 模型和强化学习共同指导a g e n t 的学习方法;另外还 有规划规则的激励学习偏差研究,克服了强化学习的缺点,提高了学习 效率。 苏州大学李凡长教授领导的机器学习研究小组,在a g e n t 学习理论 方面也取做了不少工作,如基于d f l 的a g e n t 自主学习模型 7 、自动推 理平台 8 等。 ( 4 ) 国内在多a g e n t 学习研究方面 黄国锐等提出的情感主体系统,是利用遗传、神经和内分泌系统所 构造的。在该系统中,黄国瑞等提出了用情感进行行为学习的新方法。 李凡长教授领导的研究小组也取得了一定的成绩,如基于d f l 的 a g e n t 问题求解系统、组合数学学习系统等。 1 2 问题的提出 上述的a g e n t 学习系统都是实时环境下的a g e n t 学习系统。由于a g e n t 学习过程中需要对大量的状态空间进行搜索学习,尽管在不同程度上都 增加了其他机制来加快其学习速度,提高其学习效率。但是,我们应该 认识到,不论是a g e n t 本身的一些状态属性,还是它所处的环境,都是具 有动态模糊性的。归纳起来,我们可以把a g e n t 学习主要分为以下四种 类型:( 1 ) a g e n t 本身属性以及它所处的环境都不具有动态模糊性; ( 2 ) a g e n t 本身属性不具有动态模糊性,其所处的环境具有动态模糊性; ( 3 ) a g e n t 本身属性具有动态模糊性,但其所处的环境不具有动态模糊性; 第一章 皋十d f l 的多a g e a t 学习模型研究 ( 4 ) a g e n t 本身属性以及它所处的环境都具有动态模糊性。这些动态模糊性 是阻碍a g e n t 学习速度进一步加快,学习效率进一步提高的关键问题。 当前的研究一般都停留在静态环境的学习上,没有考虑到环境的动 态模糊性 9 1 0 。有些是考虑到了实际环境的非确定性,即模糊性,如在 t e s a u r o ( 1 9 9 5 ) 的i n 洋双陆棋对弈程序= 0 1 1 1 1 ,输出的动作具有固有的概率 性;文献 1 2 】则是另一则在模糊控制下的学习。而有些研究也考虑到了环 境的动态性,即环境是发展变化的,比如在文献【1 3 】考虑的是动态环境下 的学习,它主要致力于研究直接强化技术,以及通过它们与适当的控制 方法关联起来后来讨论它们的主要作用。 但是,不管是客观世界还是主观世界,都是一个动态模糊的世界。 因此,我们选择由李凡长教授等人于1 9 9 6 年首次提出的动态模糊逻辑 ( d y n a m i cf u z z yl o g i c ) 1 4 来研究a g e n t 的学习问题,提出了基于d f l ( d y n a m i cf u z z yl o g i c ) 的多a g e n t 学习模型,试图在这方面做一些探索。 1 3 内容安排 综上所述,本文的研究内容主要分为以下几章: 第一章为引言,主要对a g e n t 学习的分类、特点和研究现状等进行了 介绍。 第二章介绍了构建多a g e n t 系统的理论工具:动态模糊逻辑。 第三章介绍了基于d f l 的a g e n t 心智模型、心智状态的相关公理和 工作原理等。 第四章介绍了基于d f l 的单a g e n t 学习算法,包括即时单a g e n t 学习 算法和基于d f l 的q 1 e a r n i n g 算法。 第五章介绍了基于d f l 的多a g e n t 学习算法,包括合作型的和竞争 型的多a g e n t 学习模型算法。 第六章介绍了基于d f l 的多a g e n t 学习模型的应用研究。 第七章总结了本文内容,并对下一步工作给予了展望。 砖f - d f l 的多a g e n t 学习模型l l 究 第二章理论工具动态模糊逻辑 逻辑是人类学习的理论基础,人类在现实生活中自觉或不自觉地使 用着各种各样的逻辑。在a g e n t 学习系统中,a g e n t 的思维过程非常复杂, 其原因就在于动态模糊性的存在。动态模糊性导致了学习过程中信息的 不完全性,信息的不完全性又导致了信息的非单调性,而信息的非单调 性又导致了思维的不确定性。因此,有必要引入一个强有力的能够解决 思维过程动态模糊性问题的理论工具来解决这个问题。动态模糊逻辑 ( d f l ) 具有较强的动态模糊信息的表达能力。当前,动态模糊逻辑在数 据库 1 5 2 0 ,数值化推n 2 1 2 4 ,a g e n t 社会行为和非社会行为的协调 2 5 等领域已取得了一定的研究进展。本文将其引入,以此为基础来构造a g e n t 学习系统。 。 2 1 动态模糊( o f ) 布尔量 一般布尔量( b o o l e a n v a r i a b l e ) 有两个值,即“真”和“假”。所谓 动态模糊逻辑布尔量( d y n a m i cf u z z yb o o l e a nv a r i a b l e ) ( 也称d f 逻辑量) 就是那些用于表示动态模糊问题( d y n a m i cf u z z yp r o b l e m ) 的真假值的 量。关于d f 布尔量可以有许多表示形式,这里仅列出三种表示形式。 2 1 1d f 数布尔量 d f 数布尔量( n u m b e rb o o l e a nv a r i a b l e ) 是 0 ,1 】 _ ,寸】中的布尔量。 “0 ”表示假,若表示成6 或石则表示d f 假;“l ”表示真,若表示成i 或 t 则表示d f 真;用大于“0 ”小于“1 ”的数表示d f 真与假之间的布尔 量。侈t j o h ( 0 7 ,0 7 ) 表示实数0 7 有两种趋向,它可以向“0 ”这个方向 发展,也可以向“1 ”这个方向发展。 摧十d f l 的多a g e n t 学习模型研究 2 1 2d f 区间布尔量 定必2 :! 设( 口,a ) 和( 6 ,6 ) 是满足( o ,0 ) ( 口,a ) ( 6 ,6 ) ( 1 ,1 ) 的任意d f 数( d y n a m i cf u z z yn u m b e r ) ,( p ,p ) 是满足( o ,0 ) ( p ,p ) ( 1 ,1 ) 的任意d f 数,则称 ( 口,口) ,( 6 ,6 ) 为区间布尔量( i n t e r v a lb o o l e a nv a r i a b l e ) 。 区间布尔量 ( a ,口) ,( 6 ,6 ) 表示真值落在( 口,a ) 和( 6 ,b ) 之间。d f 区间布 尔量 ( 口,口) ,( 6 ,6 ) 】“p ,p ) 语义上表示真值在【( 口,口) ,( 6 ,6 ) 】之间的可能性用 ( p ,p ) 来刻画。 2 1 3d f 语言值布尔量 用自然语言来描述真假的程度是一种最直观的方法。在此所谓“真 假的程度”,其实就是用一组自然语言的词汇来表示,如不妨用词组 t v = 最真,非常真,很真,相当真, 来形容“真假的程度”。这些 词汇在不同的自然语言中虽然有不同的表示方法,期间的界限有时也很 难分清楚,但其意义又都可以正确理解,不会引起误会。 2 2d i = 命题逻辑公式 2 2 1d f 命题的基本概念 现实生活中,常会有如下的句子。 ( 1 ) 雨后变晴。 ( 2 ) 她几乎和她母亲一样漂亮。 在这些句子中,“几乎一样漂亮”,“变睛”,都具有动态模糊性 ( c h a r a c t e ro fd y n a m i cf u z z y ) 。 定塞2 星一个具有动态模糊性的陈述句称为d f l 命题( d y n a m i c f u z z yl o g i cp r o p o s i t i o n ) 。用大写字母a ,b ,c ,表示。对于一个d f 命题,一般没有绝对的真假,只能问它的d f 真假度( d y n a m i cf u z z yt r u e o rf a l s ed e g r e e ) 如何。 皋十d f l 的多a g e n t 学习模型研究 第一章 定墓21 3 度量个d f 命题真假用d f 数( 石,石) o ,1 】【卜,j 来表示, 称为该命题的真假度,常用小写字母( 石,孬) ,( 6 ,b ) ,( 石,弓) ,表示。 ,定义趔一个d f 命题的变量可以看成在闭区间 o ,1 - ,叫上取值 的变量,称为d f 命题变量,常用小写字母表示。 对d f 变量( ;,;) ,( 歹,歹) o ,1 】 扣,斗 规定如下运算:( 注:( x ,x ) = x o r x , m a x ( x ,z ) 垒x ,m i n ( x ,x ) 垒x ) ( 1 ) 否定( n e g a t i o n ) “一”。 侈0 如:( x ,x ) 的否定记为( x ,石) ,a ( x ,x ) 垒( ( 1 一x ) ,( 1 - x ) ) ; ( 2 ) 析取( d i s j u n c t i o n ) “v ”。 一 例如:( x ,x ) 与( y ,y ) 的析取式为:( x ,x ) v ( ) ,y ) 垒m a x ( ( x ,x ) ,( y ,y ) ) ; ( 3 ) 合取( c o n j u n c t i o n ) “a ”。 侈0 如:( x ,x ) 与( ) ,y ) 的合取式为:( x ,x ) a ( y ,y ) 垒m i n ( ( x ,z ) ,( y ,y ) ) ; ( 4 ) 条件( c o n d i t i o n ) “_ ”。 侈0 女口:( x ,x ) ( y ,y ) 亡,( x ,x ) v ( y ,y ) a _ m a x ( ( x ,x ) ,( y ,y ) ) ; ( 5 ) 双条件( b i c o n d i t i o n ) “”。 例如:( x ,x ) h ( _ y ,y ) 亨( ( x ,x ) 手( y ,y ) ) a ( ( y ,y ) 手( x ,石) ) 专事( ( x ,x ) v ( ) ,y ) ) a ( ( y ,y ) v ( x ,x ) ) 亨m i n ( m a x ( ( x ,x ) ,( ) ,y ) ) ,m a x ( ( y ,y ) ,( x ,x ) ) ) 。 设( 元,孟) j p ,( 歹,d q 是任意两个d f 命题,则( 舅,冤) 尸,( 冤,i ) p v ( 歹,d q , ( 舅,2 ) p - 9 ( 歹,y ) q 是d f 命题。 庭墓至:量d f 命题逻辑运算公式( d y n a m i cf u z z yc a l c u l u sl o g i c f o r m a t i o n ) 可定义为: ( 1 ) 单个d f 命题变元本身是一个合式公式。 ( 2 ) 如果( x ,x ) p 是一个合式公式,那么( x ,x ) p 也是合式公式。 ( 3 ) 如果( x ,x ) p 和( y ,y ) q 是合式公式,那么 ( x ,x ) pv ( y ,y ) q ,( x ,x ) pa ( y ,y ) q , ( x ,x ) p 争( _ y ,y ) q ,( x ,x ) p 七( y ,y ) q 都是合式公式。 基十d f l 的多a g e n t 学习模型研究 ( 4 ) 当且仅当有限次地应用( 1 ) ( 2 ) ( 3 ) 所得到的命题变元联结 词和括号的符号串是合式公式。 d f l 的主要公式有: ( 1 ) 幂等律( i d e m p o t e n tl a w ) ( x ,x ) av ( x ,x ) a = ( x ,x ) a ( x ,x ) a 八( x ,x ) a = ( x ,x ) a ( 2 ) 交换律( l a wo f c o m m u t a t i o n ) ( x ,x ) av ( y ,y ) b = ( y ,y ) bv ( x ,x ) a ( x ,x ) a ( y ,y ) b = ( y ,y ) b ( _ ) c ,x ) a ( 3 ) 结合律( l a wo f a s s o c i a t i o n ) ( 工,x ) av ( ( 弘y ) b v ( c ,c ) c ) = ( ( x ,x ) a v ( j ,y ) b ) v ( c ,c ) c ( x ,x ) a ( ( y ,y ) b ( c ,c ) c ) = ( ( x ,x ) a a ( y ,y ) b ) ( c ,c ) c ( 4 ) 哩9 媲( a b s o r p t i o n l a w ) ( x ,x ) av ( ( y ,y ) b 八( x ,x ) 4 ) = ( x ,x ) a ( x ,x ) a ( ( y ,y ) bv ( x ,x ) a ) = ( x ,x ) a ( 5 ) 德:糜摁定建( d e m o r g a n r u l e ) ( z ,x ) aa ( y ,y ) b = ( x ,x ) av ( y ,y ) b ( z ,x ) a v ( y ,y ) b = ( x ,x ) a a ( y ,y ) b ( 6 ) 赏数运篡焦( o p e r a t i o n a lr u l eo f c o n s t a n t ) a vx ,x ) a = a a ( x ,x ) a = ( x ,x ) a 定必至:夤设p 为d f l 公式,若对p 中的所有变量赋值后有 r ( p ) 乏( 口,口) ,( a ,a ) 0 , 1 一,+ 】 则称d f l 公式尸为( 口,口) 恒真公式。 t1 特别当及p ) ( i 1 ,去) 时,称上面的公式p 为d f 恒真公式。若对p 中 所含变量的一切赋值都有酗) ( 去,去) ,则称公式p 为d f 恒假公式。 壮十d f l 的多a g e n t 学习模型研究 第二耄 2 2 2d f 命题公式的范式 我们把变量( 冤,i ) 及( 冤,i ) 叫字( 用l 表示) ,而把字的析取式 l 1vl 2vl 3v vl ,叫做子句( c l a u s e ) ,记为c ;字的合取 l l l 2 l 3a a l ,叫做字组( w o r d g r o u p ) ,记为妒。 :庭翼2 :! ( 1 ) 子句c 为d f 真的充分必要条件是包含变量对( ( 王,i ) ,i 两) 。 ( 2 ) 字组妒为d f 假的充分必要条件是包含变量对( ( 孟,i ) ,耳历) 。 【证明】:( 1 ) 若c 含有变量时,由于它具有形式: c = l lv l 2 v 厶v v 上m , 所以: t ( c ) = m a x ( r ( 三,) ) i m m a x ( r ( ( 曼,i ) ,( i ,冤) ) l n i g m !( 拍 即子句c 为d f 真。 反之,若c 为d f 真,却不含任何变量对( ( 舅,孟) ,( 舅,孟) ) ,由于c 具有 形式: c = l lv l 2 v l 3v v 三。 所以如果对于一切厶分别赋予这样的真值,使 t ( l ,) ( 妻,i 1 ) ,f :1 ,2 ,3 ,聊 这时必有 ; r ( c ) = m a x ( t ( l ,) ) i ( i ,- ) 二二 它与假设相矛盾,所以p 必定包含变量对:( ( 冤,j i ) ,( i ,孟) ) 。 定篡墨:2 若d f 公式( d y n a m i cf u z z yf o r m a t i o n ) f 表示字组 仍,i = 1 , 2 ,3 ,p 的析取公式,即: 厂= 妒lv 妒2v v 妒口 则称该公式为的析取范式( d i s j u n c t i o nn o r m a lf o r m ) 。 若d f 公式厂表示子旬的合取式,即: 厂= c la c 2a c p 则称该公式为厂的合取范式( c o n j u n c t i o nn o r m a lf o r m ) 。 定理2 星析取范式p = 妒。v 仍v v 是必假的充分必要条件为:所 有字组以为d f 假。 合取范式q = c , c : a c ,是d f 真的充分必要条件为:所有子句 c 为d f 真。 举十d f l 的多a g e n t 学习模型研究 2 3d f 代数操作 动态模糊数据( 口,口) 实际包含了三个数据:a ,a 和历,其中 a r i g h t ,即 a 。= a k 上妒,a 2 = a := d o w n ,a 3 = a ;= r i g h t 。由此,得到该a g e n t 的策 略库如右图3 6 所示。 在a g e n t 学习过程中,随着学习的深入,如果发现当前策略库不是最 优的( 即发现了比当前更优的策略) ,则进行回朔,并删除旧的策略,添 加新的。 庭翼3 :假如当前考虑的策略为跏,= 钟,髯,钟) ,在学习过程 中,发现存在一个策略跏,= 卅一,趔z ,群) 更优于跚,删除跚,不影 响a g e n t 的正确学习( 即尽可能找到最优的解决路径) 。 【证明】:因为a g e n t 学习过程对策略的选择遵循一定的规则,既然存 在了跚优于勋,就能证明跏,不是最优解决方案,所以删除它不会对 a g e n t 学习带来影响。 r ( r e w a r d ) :环境奖赏值。a g e n t 对环境采取动作后,环境会对其 产生一个奖赏值,该奖赏值可正,也可负。如果a g e n t 采取一个动作后, 环境返回一个正的奖赏值,那么下次a g e n t 产生这个动作的趋势将会加 强;否则,会减弱。由环境奖赏值的定义可知,a g e n t 的每个动作都对应 于一个环境奖赏值,所以a g e n t 在进行第f 步学习时的环境奖赏值可以写 成如下形式( 鬲,焉) = ( 硝,耐) ,( 砰,砰) ,( 掣,秽) ) ,假设当时可选的动作 有州个。则当a g e n t 学习到第以步时它的环境奖赏值集合可写成 ( r ,r ) = ( r ,r i ) ,( 恐,r 2 ) ,( r ,r ) ) 。 撼十d f l 的多a g e n t 学习模型研究 第三章 所以其环境奖赏值库的结构和算法如下图3 7 和算法3 6 所示 f l f ( 辟,尉) f ( 砰,砰) z ( 掣,掣) f + 1 纂遮:骚境装赏僮庭鳆夏麴 判断当前策略是否继续 能继续,则添加当前环境奖赏值序列至环 境奖赏值库 不能继续,则回朔到上一步学习,并且将 本步环境奖赏值库中的环境奖赏值信息 删除 结束 图3 7 环境奖赏值结构 - - b r f ( b e l i e fr e v i s i o nf u n c t i o n ) 信念修正函数。随着a g e n t 所处环境 的变化,其状态也在不断变化,从而导致了a g e n t 的信念需要不断进行修 正。信念修正函数为:b r f :( b tb ,) ( 墨,置) 一( b i + l , b ) 。 一a c f ( a c t i o nc h o i c ef u n c t i o n ) 动作选择函数。a g e n t 每次采取一个 动作,都是根据其信念、能力、意向以及其所处的环境来决定的。所以 动作选择函数为:a c f :( e ,e ) ( 互,石,) ( i ,i ) ( i ,i ) - - + a ,。 - - i r f ( i n t e n t i o nr e v i s i o nf u n c t i o n ) 意向修正函数。随着a g e n t 所处环 境的变化,其状态也在不断变化,从而导致了它的意向要不断进行修正。 信念修正函数为:玎:( i ,i ) ( 互,i ) 专( i ,0 。) 。 - - s t f ( s t a t et r a n s i t i o nf u n c t i o n ) 状态转换函数。它是动作集合a 与状 态集合s 的笛卡儿积到状态集合的映射函数。即有: s t f :qx ( 瓦,i ) ( i + 。,i + 。) 。 3 2 基于d f l 的a g e n t 心智状态的相关公理 ( 1 ) 信念 = = = = - = := - 公理3 1 1b ( 只,( x ,x ) ) = 曰( 只,( _ ,一) ) 垒翼曼1 28 ( 只,( x n ,x “) ) a b ( 只,( x ,2 ,戈,2 ) ) = b ( 只,( x ,l ,x ,1 ) ( x i 2x ,2 ) ) 第三章 基于d f l 的多a g e n t 学习模型研究 公理辎b ( 只,( i ,i ) ) v b ( 只,( 磊,i ) ) = b ( 只,( i ,i ) v ( i ,磊) ) ( 2 ) 能力 = = :_ = :“= = 一 垒理3 :4c ( m ,( 戈,z ) ) = c ( t ,( x ,x ,) ) 公理越c ( m ,( 再,i ) ) c ( m 。,( i ,i ) ) = c ( m ,( i ,i ) ( 聂,i ) ) 公理曼:c ( m ,( x n ,t 1 ) ) vc ( m ,( x j 2 x ,2 ) ) = c ( m 。,( x 舭t 1 ) v ( x m x ,2 ) ) ( 3 ) 意向 公理曼:2 ,( s t y ,( x ,x 棚= ,。( s t y ,( x ? ,x 瑚 公堡3 :曼 ,( 黝,( x 。,x 1 ) ) a ,( 跏,( x 2 , x 2 ) ) = i , ( s t y i ,x l , x 1 ) a ( x l x 2 ) ) 公理3 :窆 ,( s t y j ,( x n x 1 ) ) v ( 观,( x 2 , z ? 2 ) ) = i i ( s t y ,x 1 , x 1 ) v ( x e , x ? 2 ) ) ( 4 ) a g e n t 心智状态的“相生相克”原理 单个a g e n t 各个心智状态之间,a g e n t 与a g e n t 之间存在着相生相克关 系。这里我们讨论的是a g e n t 各个心智状态之间的相生相克关系。相生, 是指a g e n t 心智状态之间相互促进的意思。相克,是指a g e n t 心智状态之 间相互制约的意思。 a g e n t 的所有心智状态之间不是相互独立的,而是相互联系、相互制 约着的 。从 彳矿:( 巨,巨) x ( t ,t ) ( i ,i ) ( 互,置) - - 口f 和 _ s 矿:a ,( i ,i ,) 专( 瓦小i 川) 两个映射关系可以看出,动作a 。和状态( i ,j ,) 之间存在着关系。这种关系不是单纯的相生或相克关系,如果动作a 导 致了状态( 互,i ) 朝着靠近目标状态的方向发展,那q 对( 瓦,置) 就是一种促 进作用;反过来,就是制约作用了。当然,在一定状态( 置,i 。) 下,信念( 瓦,瓦) 、 能力( c ,c f ) 、意向( t ,t ) 等因素共同决定了a g e n t 的动作。因此,a g e n t 各个 属性之间都存在着一定的相生相克关系。 3 3 基于d f l 的a g e n t 工作原理 有了上述的结构模型,下面就可以对其主要的工作原理进行讨论。 基于d f l 的a g e n t 主要可以分为反应层、学习层和思考层。反应层主要 原 。、州a 鲥g e ;h n t 是处于一个不断变化发展的环境中的实体,它的工作原理主要 囊橐鬈蓑鬈淼茹一荆撼知 ( 2 ) 感知层再结合信念以及以前行为层的结果进1 3 帮1 “州瑟刘7 1 1 ” 缆黧嚣二盏鬣熵它脚以及学翡 2 慧翟篇? 鼻嚣蒹晶豢茹淼 的学习结果,决定采取什么行动,并将执仃到1 9 1 7 绷不心“4 。 颧毫i 黧孺嚣脚荆撇 ( 4 ) 学习层根据行为层传来的动作返回结果以及枷划胨刚” 萱翌,+ 慧纂翥蠹耋霎誓譬篙誓写嚣的合作信息,以及策略库的 ( 5 ) 规划层根据学习层的学习结果和合作层酮名。旧百恩缈从”“” 1lllllll 熊三, 基于d f l 的多a g e n t 学习模型研究 策略,对a g e n t 的下步学习进行规划,并把规划结果传送给学习层和合作 层,同时更新相应的策略库。 ( 6 ) 合作层根据规划层的规划结果以及意向库的当前意向,决定如何和 其他a g e n t 进行学习,同时更新相应的意向库。 3 4 本章小结 本章提出了一个基于d f l 的a g e n t 心智模型,该模型是进一步研究 单a g e n t 学习,以及多a g e n t 学习系统的基础。在该模型的基础上,给出 了a g e n t 的心智状态的相关公理以及a g e n t 的工作原理等。 基十d f l 的多a g e n t 学习模型研究 第删章 第四章基于d f l 的单a g e n t 学习算法 在前一章中,我们给出了基于d f l 的a g e n t 心智模型结构,本章将 在该模型的基础之上具体讨论单a g e n t 的学习算法。 4 1a g e n t 的学习任务 在具体讨论a g e n t 学习算法之前,首先需要知道什么是a g e n t 的学习 任务。a g e n t 的学习任务是学习一个策略石:s j a ,即在当前状态s 选择 下一步动作,并且具有回报值r 。 在这里,我们有: 定塞垒! ! 通过遵循一个任意策略丌,从任意状态s ,开始获得的累积值 v ”( s j ) 为: ( 4 1 ) 其中折算因子7 为一个介于0 和l 之间的常量。如果y 为0 ,得到的 就是即时回报了。如果接近1 ,则未来回报相对于即时回报有更大的重要 程度。本章将从最简单的即时回报学习入手,首先给出基于d f l 的即时 回报单a g e n t 学习算法 3 1 1 。 4 2 基于d f l 的即时回报单a g e n t 学习算法 定塞垒! 至设( i ,j ) 为a g e n t 的状态( i ,可) 的集合,a 是a g e n t 的动作a ,的 集合,( r ,r ) 是a g e n t 所获得的环境奖赏值( 页,夏,) 的集合。假设在时刻t , a g e n t 处于状态( ,j ,) ,且它可采取的动作q = 口j ,口? ,a t “) ,肌1 。则a g e n t 的学习是这样一个过程:a g e n t 通过采用不同的动作口:( 1 i m ) ,得到不 同的环境奖赏值( 一,) ( 1 i 历) ,从而得到环境奖赏值集合 ( “r ,) = ( l ,) ,( 1 ,1 ) ,( t ) ) ,然后从( ;,一r ,) 中选取最大奖赏值 ( 1 ,尹) ( 1 m a x m ) ,相应的可以得到其对应动作口,( 1 m a x 聊) ,从而 第p q 章 基于d f l 的多a g e n t 学习模型研究 a ,:口? 一,( 页,夏,) :( 乒,) ,a g e n t 的状态也从( 否,) 转换到( i 。,i 。) 。 所以a g e n t 的学习形式化表示为:( 页,页,) :( 。,3 , - 1 ) a ,一( i ,i ,) 。 即时回报的a g e n t 学习是最简单的a g e n t 学习算法。它无需考虑a g e n t 的后续动作对当前a g e n t 学习
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年安全管理人员安全教育培训试题及答案
- 2023年煤矿井下电气备考押题二卷合一带答案41
- (2025)0-6岁儿童健康管理服务规范培训试题及参考答案
- (新)保密知识竞赛试题(附答案)
- (中级社工师)综合能力试题及答案
- 2025 年食安员管理员考试题库及答案
- (2025年)辅警考试真题及答案
- (完整版)船员安全培训试题(含答案)
- 26年初级注册安全工程师《建筑施工安全》真题及答案解析
- 20261029-052016-人教版三年级体育下册单元测试卷全套(含答案)
- 北京市朝阳区2026-2027学年度第一学期期中质量检测高三英语试卷(含答案)
- 2026山东省防疫安全协管员招聘考试(畜牧兽医)历年参考题库含答案详解
- 2026健康管理师考试理论知识真题及答案
- 2025 含聚谷氨酸有机水溶肥料在马铃薯种植中的应用技术规程
- 2026-2027学年清华附中九年级上册化学期中真题卷
- 2026年四川省成都市技能人才评价考评员考试题库(附答案)
- 正大集团人才评估行测题目
- 离散数学 (第七版) 课件 第二部分 集合论
- FMEA风险评估分析表实战培训
- 2025年进出口银行人员招聘笔试考试试题及答案详解
- 光伏组件拆除方案
评论
0/150
提交评论