（管理科学与工程专业论文）多Agent合作中的信任模型和策略选择研究.pdf

摘要 摘要 科学技术不断进步和经济全球化的持续发展，促进了电子商务、供应链管理、 虚拟企业等新的商务组织和管理形式的出现和发展。合作是商务过程的关键问 题。当用多智能体系统来实现供应链、虚拟企业、电子商务、商务谈判等商务系 统时，这些系统内的合作问题即转化为智能体间的合作。每个智能体的能力千差 万别，在合作中如何能尽量与适合合作的智能体进行合作，而拒绝或减少与不适 合合作的智能体进行合作将是影响合作的一个非常重要的问题。在人类社会的合 作中起着很重要作用的信任机制，被很多学者认为是解决上述问题的一个非常重 要的机制。合作是双向受益的，在多智能体合作中，合作发出者通过信任关系找 到了可以合作的目标智能体，双方智能体都有权以最大化自身效用的原则来判断 是否进行合作。 论文的主要研究工作包括以下2 个方面： ( 1 ) 建立了新的基于能力一可靠性的信任模型。相对于现有模型，本文注重从 能力信任值和可靠性信任值两方面来判断一个智能体是否适合合作。每个智能体 所拥有的能力种类不尽相同，能力水平也不一样，因此本文选择从三个子方面( 成 功率信任、质量信任和时间效率信任) 来评估智能体的能力信任。能力水平高的 智能体也不一定就是可靠的，故而用可靠性信任值来评估对一个智能体的信赖程 度。可靠性属性包括三个子信任值：完成任务的信任、道德信任和推荐诚实度信 任。在信任模型的基础之上，结合关系网模型，阐述了如何寻找合作伙伴，并给 出了应用算例。本信任模型可以准确的了解其他智能体的特点，解决了如何获得 推荐者的推荐信息问题、如何计算推荐者可信度、避免恶意推荐、防止欺骗，从 而促进合作。 ( 2 ) 将真实社会的策略选择机制引入到多智能体合作过程中。通过信任关系 找到目标智能体只是合作过程的开始阶段，合作双方都有权从更好的保护自身利 益角度出发，再次通过策略选择来判断是否与对方进行合作。本文通过一个博弈 实验，分析了多智能体博弈中具有代表性的策略，根据每个策略的平均收益判断 出策略的好坏，为智能体博弈策略的设计提供了一定参考价值。 关键字：智能体合作；信任模型；策略选择 a b s t r a c t a b s t r a c t p r o g r e s so fs c i e n t i f i ct e c h n o l o g i c a la n de c o n o m i cg l o b a l i z a t i o nh a sp r o m o t e d e - c o m m e r c e , s u p p l yc h a i nm a n a g e m e n t ，v i r t u a le n t e r p r i s e ，s u c ha sn e wf o r m so f b u s i n e s so r g a n i z a t i o na n dm a n a g e m e n t se m e r g e n c ea n dd e v e l o p m e n t c o o p e r a t i o ni s t h ek e yi s s u eo fb u s i n e s sp r o c e s s w h e nu s i n gm u l t i a g e n ts y s t e mt oi m p l e m e n ts u c h b u s i n e s s s y s t e m s ，t h e s ec o o p e r a t i o n o fb u s i n e s s s y s t e m i sc o n v e r t e di n t o m u l t i - a g e n t a g e n tc o o p e r a t i o n t h ea b i l i t yo fe a c ha g e n td i f f e ri nh o wt oc o o p e r a t ea s m u c ha sp o s s i b l ef o rc o o p e r a t i o nw i t ht h ec o o p e r a t i o no ft h ea g e n tt or e f u s eo r r e d u c ec o - o p e r a t i o na n dn o ts u i t a b l ef o rt h ea g e n tt oc o o p e r a t ec o o p e r a t i o nw i l lb et h e i m p a c to fav e r yi m p o r t a n ti s s u e c o o p e r a t i o ni nh u m a ns o c i e t yp l a y sav e r y i m p o r t a n tr o l e i nt h et r u s tm e c h a n i s mi sc o n s i d e r e db ym a n ys c h o l a r st oa d d r e s st h e s e p r o b l e m s av e r y i m p o r t a n tm e c h a n i s m c o o p e r a t i o ni sat w o w a yb e n e f i ti n m u l t i a g e n tc o o p e r a t i o i l ，a n dc o o p e r a t i o nt h r o u g ht h ei s s u eo fr e l a t i o n so ft r u s tc a n w o r kt o g e t h e rt of i n dt h eg o a lo ft h ea g e n t ，t a r g e ta g e n ta l s oh a v et h er i g h tt o m a x i m i z et h ee f f e c t i v e n e s so ft h e i ro w nt od e t e r m i n ew h e t h e ro rn o tt oa c c e p tt h e p r i n c i p l eo fc o o p e r a t i o n t h em a i nr e s e a r c hi n c l u d e da sf o l l o w i n g ： ( 1 ) t h ee s t a b l i s h m e n to f t h en e wc a p a c i t yb a s e do na b i l i t y - r e l i a b i l i t yt r u s tm o d e l c o m p a r e dt oe x i s t r a gm o d e l s ，t h i sa r t i c l ef o c u s e so nb u i l d i n gv a l u eo nb o t ha b i l i t y a n dr e l i a b i l i t yt od e t e r m i n et h es u i t a b i l i t yo fac o o p e r a t i v ea g e n t e a c ha g e n th a s d i f f e r e n ta b i l i t ya tv a r i o u sl e v e l ，s ot h i sa r t i c l ec h o o s e st h r e es u b a r e a s ( t h es u c c e s s r a t eo ft r u s t ，q u a l i t yt r u s ta n dt i m ee f f i c i e n c yt r u s t ) t oa s s e s st h ea g e n t sa b i l i t yt ot r u s t h i g hl e v e lo fa g e n ti sn o tn e c e s s a r i l yr e l i a b l e ，m e ya r ej u d g e db yr e l i a b i l i t y t h e r e l i a b i l i t yt r u s tc o n s i s t so ft h r e es u b - v a l u e s ：t h et r u s tv l a u et oc o m p l e t et h et a s k ，e t h i c s h o n e s t yt r u s ta n dr e c o m m e n d a t i o nt r u s t b a s e do nac o m b i n a t i o no fn e t w o r km o d e l ， w ei n t r o d u c eh o wt of i n dp a r t n e r s a n da p p l i c a t i o ne x a m p l e sa r eg i v e n t h et r u s t m o d e lc a nb ea c c u r a t eu n d e r s t a n d i n go ft h ec h a r a c t e r i s t i c so ft h eo t h e ra g e n t ，e f f e c t i v e i np r e v e n t i n gf r a u d ，a n dp r o m o t i n gc o o p e r a t i o n ( 2 ) t h i sp a p e rt a k e st h er e a ls t r a t e g yc h o i c eo fs o c i a ln e t w o r ki n t ot h em u l t i a g e n t c o o p e r a t i o np r o c e s s f i n d i n gp a r t n e r st h r o u g ht r u s tm o d e li st h eb e g i n n i n go ft h e p r o c e s so fc o o p e r a t i o n ，b o t hp a r t i e sh a v et h er i g h tt od e t e r m i n ew h e t h e rt oc o o p e r a t e f u r t h e ri no r d e rt ob e a e rp r o t e c tt h e i ro w n i n t e r e s t s t h r o u g hag a m ee x p e r i m e n t a l ，w e a n a l y s i sr e p r e s e n t a t i v es t r a t e g i e si nm u l t i - a g e n tg a m e ，a c c o r d i n gt ot h ea v e r a g ep a y o f f o fe a c hs t r a t e g yt od e t e r m i n eg o o do rb a ds t r a t e g y w ep r o v i d er e f e r e n c ev a l u ef o rt h e d e s i g no fa g e n tg a m es t r a t e g y k e yw o r d sa g e n tc o o p e r a t i o n ；t r u s tm o d e l ；s t r a t e r yc h o i c e i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 躲杜啉掣 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：垒鱼堇导师签名： 第l 章绪论 第1 章绪论 1 1 课题的研究背景和意义 1 1 1 选题背景 进入2 0 世纪9 0 年代以来，由于科学技术不断进步和经济的持续发展，全球 化和全球市场的形成，企业间的竞争日益激烈，使得整个市场需求的不确定性大 为增加，企业面临的竞争环境越来越复杂，从而产生了电子商务、供应链管理、 虚拟企业等新的商务组织和管理形式。 它们的实施需要信息技术的支持，企业或客户地域上的分散性要求软件具有 分布性，企业所面临的复杂环境又要求系统具有智能性。供应链中的供应商、生 产厂商、电子商务中的客户和企业、虚拟企业中的各个成员企业、以及商务谈判 中的各个谈判方等等，它们都是具有自主功能的实体，其行为很难用数学公式来 描述。因此，这些软件系统都较难用传统技术有效构建，但这些商务实体都可以 抽象为分布式人工智能领域的智能体( a g e n t ) ，应用多智能体( m u l t i a g e n t ) 技 术来实现，这时，这些商务系统即变为多智能体系统【l 】( m u l t i a g e n ts y s t e m ， m a s ) 。 产生于分布式人工智能( d a i ) 领域的a g e n t 技术，是一种新型计算模型。 a g e n t 是一个计算机系统，有代表用户或者其所有者独立动作的能力1 2 】。n i c h o l a s n e g r q ) o n t e 博士认为【3 】：a g e n t 技术的发展代表第三次计算机革命的到来，第三 次浪潮所处的环境是计算机、通讯以及基于知识的智能体所组成的一个有机融合 的环境。现在，a g e n t 从d a i 领域中拓展开来，并与许多其他领域相互借鉴和融 合，在许多不同于最初d a i 应用的领域得到了更为广泛的应用领域，如个人助 手、信息检索、电子商务、工作流管理等。 人们在研究人类智能行为中发现：人类绝大多数的活动都涉及由多个人构成 的社会团体。大型复杂问题的求解需要多个专业人员或组织协作完成。人最重要 的和最多的智能是在由多个个体构成的社会中进行各种活动时体现出来的。“协 作 、“竞争、“谈判 等行为是人类智能行为的主要表现形式。如果说智能体只 对人的智能进行了模拟，那么它还远远不能达到对人类进行模拟的目的，而另一 种基于智能体的技术多智能体系统在这方面拥有更为广阔的前景。 多智能体技术的优势就是通过智能体之间的合作与分工，完成单个智能体所 不能完成的任务或以更小的代价，更高的效率完成任务。与单个智能体相比，它 具有如下特点：每个成员智能体仅拥有不完全的信息和问题求解能力( 因而其观 北京丁业大学管理学硕十学位论文 点是有限的) ，不存在全局控制，数据是分散或分布的，计算过程是异步、并发 或并行的。 合作是商务过程的关键问题。当用多智能体系统来实现供应链、虚拟企业、 电子商务、商务谈判等商务系统时，这些系统内的合作问题即转化为多智能体之 间的合作。 每个智能体的能力千差万别，在合作中如何能尽量与适合合作的智能体进行 合作，而拒绝或减少与不适合合作的智能体进行合作将是影响合作的一个非常重 要的问题。现实世界中不同的智能体分别代表着不同的利益实体，每个智能体的 目标都是实现自己所代表实体的利益。所以智能体为了完成任务，实现利益的最 大化，不可避免的会在合作过程中出现各种各样的欺骗。 在人类社会的合作中起着很重要作用的信任机制，被很多学者认为是解决智 能体合作过程中所遇到的这些问题的一个非常重要的机制【4 】。智能体通过总结与 其他智能体的合作经验逐渐确定不同智能体在不同方面的可以信任程度。在以后 的合作过程中选择值得信任的智能体作为合作伙伴进行合作，减少或拒绝与不信 任的智能体进行合作。这样可以大大提高智能体合作的成功率，进而可以大大提 高智能体完成任务的能力。 合作是一个双向受益的问题。在多智能体合作中，合作发出者通过信任关系 找到了可以合作的目标智能体，并不代表合作就已经成功，目标智能体也有权选 择是否预期合作。例如，当目标智能体发现合作发出者曾经以高额利益引诱其他 智能体与其合作，合作完成之后并没有兑现承诺。由于存在这样的风险，因此目 标智能体也要考虑是否答应和其合作。 因此本文的研究内容定位于合作中的两个方面：如何通过信任关系寻找合作 者和找到合作者之后，双方如何根据策略选择来判断是否合作。 1 1 2 选题意义 智能体技术是一个迅速发展的研究领域，而其中关于多智能体合作机制的研 究是核心问题之一，它研究如何将多个智能体组织为一个群体并使各个智能体有 效地进行合作，从而产生总体解决问题的能力。 智能体合作过程中的信任问题是一项非常复杂的问题。它的目标是通过智能 体个体的信任机制以及整个智能体社会的信任机制，促进智能体之间的相互信 任，在合作过程中更好的选择合作伙伴，从而能更好的进行合作，更好的共同完 成任务，提高整个多智能体系统的效率。 可见如果能在智能体之间建立一种信任关系，将能大大促进智能体之间的合 作，提高单个智能体及智能体系统完成任务的能力，从而推动多智能体系统在多 个领域的应用和发展，因此有着十分巨大的研究意义和应用价值。 第1 章绪论 目前对于多智能体合作的研究主要集中于通过何种方法寻找到可以合作的 人，对于找到伙伴之后的智能体行为并没有太多的研究。多智能体系统是对人类 社会的模拟【5 1 。仿照人类社会的合作过程，如何寻找合作伙伴只是合作的开始阶 段。本文参考人类社会的合作机制，将人类社会的合作策略引入多智能体系统中， 拓展了智能体系统合作的研究思路。 1 2 国内外研究现状 1 2 1 智能体合作的国内外研究现状 智能体技术既可以模拟人类的合作，也可以支持人类的合作。而多智能体是 由分布在网络上的多个智能体松散藕合而成的大型复杂系统，多智能体技术就是 通过这多个智能体之间的合作与分工，用以解决由单一智能体的能力和知识所不 能处理的复杂问题【6 j 。 目前对多智能体合作的研究主要包括理论与应用两方面：理论研究包括，社 会规范的生成机制【7 捌、合作结构【8 邶】、合作产生的过程1 m 1 1 1 、合作的分类【1 2 1 、合 作的进化【1 3 】、协商【1 4 】、联盟【4 】、多a g e n t 合作中的欺骗与信任【1 每18 1 、计算机支持 的协同工作【1 7 】( c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k ，c s c w ) 等方面，应用研 究包括信息采集中的合作【1 8 】、电子拍卖中的合作【1 9 】、移动智能体的合作【2 0 】等方 面。 现在很多多智能体系统为了简化系统的复杂性都把智能体假定为善良诚实 的不存在故意欺诈的。但是在实际应用中，这些假定都是不成立的。要想更好的 促进智能体进行合作，必须有一些机制来解决上述这些问题。信任管理就是这方 面的一个努力。 当前对信任的研究主要分为两大类：一类是基于凭证的信任( 客观信任) ， 一类是基于经验的信任( 主观信任) 。 使用安全策略和安全凭证建立，实体间授权的信任关系的技术称为基于凭证 的信任管理【2 1 1 。基于凭证的信任使用一种精确的理性的方式来描述和处理复杂的 信任关系，其信任的推理方式：安全凭证集是否能够证明请求满足本地策略集。 可以包括以下三部分：( 1 ) 描述和表达安全策略和安全凭证；( 2 ) 设计策略一致性 证明验证算法；( 3 ) 划分信任管理引擎和应用系统之间的职能。当前，使用策略 和安全凭证的实体间自动信任协商技术 2 2 - 2 5 】也归属为此类。当前几个典型的信任 管理系统有p o l i c ym a k e r 2 6 1 ，k e y n o t e 2 7 1 ，r e f e r e e 2 8 1 和r o l e b a s e d t r u s t m a n a g e m e n t 2 9 1 。 本文的关注的是基于经验的信任模型研究。 北京t 业人学管理学硕十学位论文 1 2 2 信任模型的国内外研究现状 信任模型从信任的概念出发，对信任内容和信任程度进行划分。该类信是非 理性的，是一种经验的体现，不仅要有具体的内容，还应有程度的划分。 这些信任评估模型大多建立在数学的基础上对智能体信任值的定量计算。信 任模型涉及如何对智能体具体信任值的问题，即信任机制。在经验不足的情况下， 如何得到推荐信息，即获取推荐信息的问题。对推荐信息的处理问题，包括计算 推荐者的可信度等问题。 信任模型从网络架构上可以分为集中式信任模型和分布式信任模型。现在对 于多智能体系统的研究主要是开放式的。分布式信任模型大多模拟人类社会的信 任建立方式，所有实体间的关系是对等自治的，没有中心控制实体，不再存在一 个中心实体负责收集信任评价信息和提供每一实体的信誉信息，通过实体之间的 交互以及推荐信任的传播实现信任的评估，具体的信任评估由实体自身实现。 根据分布式信任模型中信任信息来源的范围不同又可分为局部和全局两类 信任模型。 1 2 2 1 基于局部推荐的分布式信任模型 在这类模型中，实体通过询问有限的其他实体( 推荐者) 以获取一个实体的 信誉度，一般采取简单的局部广播的手段，其获取的实体信誉度往往是局部的和 片面的，对同一实体的可信度，不同的观察者可能会得出不同的判断。 目前针对基于局部推荐的分布式信任模型的主要研究工作有： ( 1 ) 基于概率的局部信任模型。b e t h 等人【3 0 】采用b a y e s i a n 公式对实体的信任 相关经验进行了建模，提出了对实体间信任度进行定量研究的b e t h 模型。 b e t h 模型对直接信任和间接信任加以区分。在开放网络中，一个实体通常 需要其它实体的推荐，推荐实体可以看作a u t h e n t i c a t i o ns e r v e r s ( a s ) 。该信任 模型解决了对a s 可信度估算的问题，它引入形式化的方法表示信任关系，对信 任关系赋值，并可以从现有的关系中推导和合并信任值。但是b e t h 模型仅采用 肯定经验度量直接信任关系，造成了信任信息的不完整；同时在推荐信任综合计 算过程中，仅采用求算术平均值的方法，无法有效地消除恶意推荐所带来的影响 1 3 1 1 o ( 2 ) a b d u l r a h m a n 模型。与基于概率的局部信任模型不同，a b d u l r a h m a n 等 人认为【3 2 】，尽管从直观上看，信任度可表示为一种概率的度量，但问题在于概率 值只有以定义明确的可重复试验为基础才有意义，因而不适于处理日常的实际经 验。并且，基于概率的模型仅仅考虑了观察本身，没有考虑观察者。此外，概率 本质上是传递的，而信任只具有弱传递性。a b d u l r a h m a n 模型将信任划分为4 级，分别累计不同级别的事务经验，并以此为基础进行信任的评价和推理。 第1 覃绪论 a b d u l r a h m a l l 模型的不足之处在于其信任的表示和推理方法比较复杂，缺乏直 观意义。 ( 3 ) 基于主观逻辑的信任模型。j q k s a n g 3 3 1 等人将行为的结果( 成功或失败) 作为经验，根据二项事件( b i n a r ye v e n t ) 后验概率服从b e t a 分布的思想，提出 了基于主观逻辑( s u b j e c t i v el o g i c ) 的信任模型来解决信任的推导和综合计算。 ( 4 ) 基于模糊理论的局部信任模型。有些学者注意到了信任的不确定性和模 糊性，采用模糊理论来描述和度量信任关系【3 4 。3 5 】。比较典型的工作有唐文等人提 出的基于模糊集合理论的主观信任评估模型。 1 2 2 2 基于全局推荐的分布式信任模型 全局信任模型依靠所有实体之间的消息交换获得实体的信任信息，并在此基 础上进行信任计算，希望在网络中建立一致的全局信任视图。s t a n f o r d 的 e i g e n r e p 3 6 】是目前已知的一种典型全局信任模型，该信任模型在信任问题研究领 域具有重要的指导意义，成为大部分研究工作的参考标准。 e i g e n r e p 的核心思想是：当实体i 需要了解任意实体k 的全局信誉度时，首 先从k 的事务实体( 曾经与k 发生过交互的实内) 获知实体k 的信誉度信息，然 后根据这些事务实体自身的局部可信度( 从i 的角度看来) 综合出k 的全局信誉 度。 也有一些学者考虑将全局信任计算和局部信任计算结合的方式【3 7 】，通过赋予 不同权重的方式表达实体对直接经验和全局观点的不同依赖程度。这种方式在计 算结果和反映实体的主观性方面优于单纯的局部和全局计算方式，但是也存在和 全局信任观点同样的通信负载过大和观点不一致的问题。y u 和s i n g h 的信任模型 采用f 3 8 】了类似的方法，但他们假设所有的反馈都是真实的，导致无法解释联合攻 击的问题；s c h i l l o 等人为智能体引入了称为利他主义程度( d e g r e eo fa l t r u i s m ) 的属性，与信任值相结合，推理证人的可信赖程度【3 9 1 ；d m r e p 也采用【删了局部 信任和全局信任相结合的信任计算方式，但是其实体之间存储的数据具有相关 性，并不是完全意义的。 国内学者也在这些方面做过很多研究工作。王平等人针对【4 l 】信任的动态性处 理这一问题，提出一种基于多主体系统的信任模型来处理电子商务环境中智能体 之间的信任关系。与现有的信任模型相比，该模型能自主处理智能体间的欺诈信 息，同时在估价智能体的信任关系时引入了时间退化因子。模拟试验表明，时间 退化因子和信任的精确度即信心的引入，能更加有效地评估智能体之间的信任关 系。邢茂林提出【2 l 】了一个适应动态策略行为的信任机制：处理推荐者的欺诈行为， 尤其策略性欺诈行为的方法；结合凭证和经验提出基于信任的安全模型，同时对 信任验证模块进行分层验证，以支持隐含信息的推理。主要包括基于时间段动态 信任机制和如何处理不准确的推荐信息。 北京丁业大学管理学硕十学位论文 姜学明【4 】提出一种定量的信任模型。通过这种方法智能体可以快速的了解不 同的智能体的特点。陆萍萍【4 2 】针对现行多智能体系统信任管理中存在的问题，结 合f i r e 模型和y u 等人的声誉模型的优点，提出了一种基于d s 理论的信任模 型f i r e + 。f i r e + 采用矩阵的表示方式记录单个议题的评估信息，有效的增加了 信任度计算的信息量；利用证据理论及其组合规则，在考虑推荐者是否具有欺诈 性的基础上综合计算目标智能体关于单个议题的信任度。另外，模型引入了信息 量计算议题的权重，给出了目标智能体整体信任度的计算方法。 赵书良，蒋国瑞1 4 3 】等人提出了了一种m a s 环境下基于信用和关系网的智能 体信任体系，给出了模型的构建方法及相关的量化公式。该信任体系可以使系统 中的推荐信任和直接信任等同看待，能抑制恶意推荐、协同作弊这些干扰现象， 能促进关系网的凝聚性，简化智能体合作伙伴的选取，从而促进系统中智能体间 的合作。 谭猛，吴开到删等人在对相关信任模型研究的基础上，提出了一个基于多智 能体的信任模型，该模型采用在每个管理域设置多个智能体，每个实体和多个智 能体关联的方式来管理网格环境中实体间的信任关系。试验和分析结果表明，与 其它基于声誉的信任模型相比，这种模型不但缩短了交易响应时间，而且提高了 作业成功率，从而能更加有效地解决网格环境中存在的安全问题。 当前的信任模型一定程度上解决了一些相关的问题，如提出了相关的信任机 制，处理推荐者恶意信息的方法等。然而，面临着一些挑战： ( 1 ) 本地信息的存储和信任的计算复杂性问题。智能体为计算实体的信任时， 需要记录一些先前的交互经验，这样交互经验往往需要很大的存储空间，并由此 引起信任计算量问题。 ( 2 ) 如何获得推荐者的推荐信息的问题。在信任评估时，智能体往往需要其他 推荐者的一些信息。推荐信任的获取方式极其重要，它涉及到推荐信息获得量的 多少和系统开销。 ( 3 ) 如何计算推荐者可信度的问题。一些推荐者推荐的信息往往是不准确的， 因此智能体在利用推荐信息计算信任时往往需要区别各推荐者的可信度。尤其对 一些陌生的实体计算推荐可信度等。 ( 4 ) 如何处理推荐者的策略行为的问题。一些推荐者为了给同盟的利益会采用 一些策略的推荐行为。表现为推荐者得到较高推荐可信度后，改变起诚实的推荐 行为，给出恶意的推荐往往是不容易发现。 ( 5 ) 如何处理联盟欺骗的问题。若干智能体组成的一个联盟，在合作过程中， 通过一致的方式向对方提供信息，采取行动达到欺骗对方的目的。由于收到许多 一致的评价，智能体通常很难辨别信息的真伪。这样便达到了欺骗对方的目的， 从而使整个联盟内的所有成员都有获益的机会。 此外，考虑这样一种情况，两个智能体，都完成过三件任务，两件成功件 第1 章绪论 失败，但两个实体所完成的任务能力并不一样，一个实体能够更快速更好的解决 任务，而另一个相对较差。那么从现有的信任评估模型中无法体现两个实体在处 理任务能力上的区别，而从完成任务和失败的次数计算，两个实体拥有一样的信 任值。 1 2 3 策略选择的国内外研究现状 为了进行关于合作的研究，1 9 8 4 年美国密西根大学的罗伯特艾克斯罗德 ( r o b e r ta x e l o r d ) 4 5 】组织了一场“囚徒困境 博弈模型的计算机比赛，比赛的 思路很简单：所有想参加这个计算机竞赛的人都扮演“囚徒困境”游戏中一个囚 犯的角色。他们把自己的策略编入计算机程序，然后将程序分成不同组，开始“囚 徒困境”游戏。他们每个人都要在合作与背叛之间做出选择。最后得到结果，n 叮 ( 一报还一报) 策略是最好的。 此后的研究集中在多人重复博弈下的策略选择【4 9 1 。张四海【删针对由于技术 进步导致的新形势博弈，提出了1 1 人随机重复博弈概念( n s d d ) ，针对n s i p d 设计了一种博弈策略的计算机竞赛，并研究了策略选择问题。采用随机匹配选择 两个局中人进行囚徒困境博弈，且每个人的策略历史可以被所有人知道。试验结 果表明在次博弈环境下的t f t 策略和背叛策略都不是最优策略。 多智能体系统是对人类社会的模拟。在人类社会中广泛存在的策略选择问 题，却始终未引进多智能体系统。如何充实拓展多智能体系统合作的研究内容， 也是当今学者需要努力的方向。 1 3 本文研究内容 1 3 1 本文的工作及创新点 本文针对多智能体合作中的信任问题和策略选择进行了研究。本论文以大量 的分析和总结工作为基础，以多智能体合作完成任务为场景提出了一个基于能力 可靠性的智能体信任模型和基于博弈分析的策略选择研究，具体包括以下工作： ( 1 ) 建立了新的基于能力一可靠性的信任模型。从信任的定义和当前信任研究 存在的问题出发，仿照人类社会的信任机制，提出了一个能力可靠性信任模型。 相对于现有模型，本文注重从能力信任值和可靠性信任值两方面来判断一个智能 体是否适合合作。每个智能体所拥有的能力种类不尽相同，能力水平也不一样， 因此本文选择从三个子方面( 成功率信任、质量信任和时间效率信任) 来评估智 能体的能力信任。能力水平高的智能体也不一定就是可靠的，因此本文选择用可 北京t 业大学管理学硕l ：学位论文 靠性信任值来评估对一个智能体的信赖，可靠性属性包括三个子信任值：完成任 务的信任、道德信任和推荐诚实度信任。完成任务的信任用来判断该智能体总体 使用能力的水平，道德信任用来判断智能体是否愿意帮助其他智能体，推荐诚实 度信任用来判断智能体是否诚实地推荐其他智能体给需要合作的智能体。在信任 模型的基础之上，结合关系网模型，阐述了如何寻找合作伙伴。并给出了应用算 例。本信任模型可以更准确的了解其他智能体的特点，解决了如何获得推荐者的 推荐信息问题、如何计算推荐者可信度、避免恶意推荐、防止欺骗，从而促进合 作。 ( 2 ) 将真实社会的策略选择机制引入到多智能体合作过程中。通过第3 章给 出的合作过程寻找到目标智能体只是合作过程的开始阶段，合作双方都有权再判 断是否进行合作，目的是为了更好的保护自身利益。通过一个博弈实验，分析了 多智能体博弈中具有代表性的策略，根据每个策略的平均收益判断出策略的好 坏。为智能体博弈策略的设计提供了一定参考价值。 本文的创新点主要是：第一、模仿人类社会的信任机制，设计了多智能体合 作中的能力可靠性信任评估模型，能够准确的找到合作伙伴；第二、引入策略 选择机制，通过实验分析，找出了多智能体博弈中表现最好的策略，为今后多智 能体博弈的研究提供了参考。 1 3 2 本文的研究路线图 本文共分为五个章节，第一章节为绪论，包括选题背景和意义、国内外研究 现状、本文研究内容；第二章节为相关理论研究，包括a g e n t 合作中信任的相关 理论，具体有a g e n t 及多a g e n t 系统的概念和属性、信任的概念、信任的来源、 信任的分类和信任模型，策略选择的相关理论分析了艾克斯罗德重复博弈实验； 第三章为基于能力可靠性的信任模型，从现有信任模型比较研究的基础上，建 立了新模型，并给出了具体计算公式，结合关系网模型阐述了如何通过信任关系 寻找合作伙伴，并给出应用算例；第四章为a g e n t 合作中的策略选择分析，通过 一个博弈实验，研究了多智能体博弈中的几种常见策略，为设计智能体博弈的策 略提供了一定参考价值。 研究线路图请见图1 1 。 第1 章绪论 图1 - 1 研究思路 f i g u r e1 - 1r e s e a r c hf r a m e w o r ko f p a p e r 9 第2 章相关理论 第2 章相关理论 2 1a g e n t 合作中信任的相关理论 2 1 1a g e n t 及多a g e n t 系统 2 1 1 1a g e n t 的定义和属性 a g e n t 在许多领域都有应用，例如分布式人工智能、计算机、经济学、复杂 性研究、社会心理学、博弈论等领域。每个领域都对a g e n t 有属于该领域的定义， 本文所研究的a g e n t 是计算机领域的软件a g e n t 【5 1 1 。软件a g e n t 是指能在特定的 环境下无须人工干预和监督而自主完成任务的计算实体，在这一过程中，它还可 能与其他a g e n t 进行必要的交互。国内人工智能文献中对a g e n t 的翻译或称呼有 智能体、主体、智能a g e n t 等，本文中统一翻译为智能体。 w o o l d r i d g e 和j e n n i n g s 5 2 1 在总结了前人在主体领域的一些工作后，认为可以 从狭义和广义两个方面去理解智能体的特性。 从广义的角度来看几乎所有被称为智能体的软件或者硬件系统都具有以下 特性：自治性( a u t o n o m y ) 、社会能力( s o c i a la b i l i t y ) 或称可通信性 ( c o m m u n i c a b i l i t y ) 、反应能力( r e a c t i v i t y ) 、自发行为( p r o a c t i v e n e s s ) 。 从狭义角度出发，认为除了上述这些特性以外，还应该具有一些人类的特性。 例如知识、信念、意图、承诺等心智状态。 ( 1 ) 自治性( a u t o n o m y ) 自治性是智能体最基本的特性。智能体运行时不直接由人或者其他东西控 制，能对它们自己的行为和内部状态有一定的控制权。智能体一旦被初始化后， 无需用户直接干预，可以独立执行。智能体控制着自己的外部行为和内部状态， 它可以被授权去做决定，完成一些重要的事情，例如代替用户买卖商品、进行金 融交易。 ( 2 ) 社会能力( s o c i a la b i l i t y ) 或称可通信性( c o m m u n i c a b i l i t y ) 社会能力是指主体能够通过主体通信语言( 智能体c o m m u n i c a t i 0 1 1l a n g u a g e ) 与其他主体进行信息交换。 ( 3 ) 反应能力( r e a c t i v i t y ) 反应能力是指智能体对环境的感知和影响。无论是生存在现实世界中的主体 ( 如机器人、i n t e m e t 上的通讯主体、用户界面主体等) 还是存在于虚拟世界中 北京t 业大学管理学硕士学位论文 的主体( 如交互游戏中的主体) ，它们都应该可以感知它们所处的环境，能对环 境发生的改变及时做出响应，并过自身的行为改变环境。当智能体遇到例外情况 时，可以及时的采取措施。 ( 4 ) 自发行为( p r o a c t i v e n e s s ) 或称为能动性 传统的应用程序是被动的由用户来运行的，并且只能机械的完成用户的指 令；而主体的行为应该是主动的，或者说自发的。为达到目标，智能体不是等着 接受指令要求做什么，而是事先有计划。智能体能探测到适合客户目标的有利场 景，通知客户这个场景出现的时机。也就是说，智能体不仅能对所处环境做出响 应，也能主动的实施面向目标的行为，这种特性称为能动性。具有能动性的智能 体可以根据目标，决定如何满足要求，并采取相应的行动。智能体所有的行动都 应该符合这个目标。 ( 5 ) 学习性和自适应能力 主体可以根据过去的经验积累知识，并且修改其行为以适应新的环境。智能 体这种对时间上的适应性成为学习性。主体在其生命周期期间，会不断学习新的 知识，掌握新的技能( 能力) ，为外界提供更多更有效的服务。主体的生存过程 是一个不断发展、完善的过程，它通过自适应模块不断调整自我，以在适当的时 候，当环境需要时有能力扮演新的角色。 ( 6 ) 移动性 移动性是指智能体有能力从一个地方移动到另一个地方而保持其内部状态 不变。正在运行中的智能体状态可以被存储然后传送到其他主机上，在那里智能 体状态被恢复并且继续从暂停的地方开始执行。 2 1 1 2 多a g e n t 系统的定义和属性 所谓多智能体系纠5 3 】( m u l t i a g e n ts y s t e m ， m a s ) 是指由多个相互作用、 相互联系的多智能组成的一个较为松散的多智能联邦，这些多智能成员之间相互 协同、相互服务，共同完成一个任务，其协作求解能力超过了单个智能体。 多智能体系统是一个松散耦合的智能体网络，这些智能体通过交互、协作进 行问题求解( 所解问题一般是单个智能体能力或知识所不及的) 。其中的每一个 智能体都是自主的，它们可以由不同的设计方法和语言开发而成的，因而可能是 完全异质的。多智能体系统具有如下特征：( 1 ) 每个智能体拥有解决问题的不完 全的信息或能力；( 2 ) 没有系统全局控制；( 3 ) 数据是分散的；( 4 ) 计算是异步的。 2 1 2 信任的概念 随着以智能体为基础的电子商务、推荐系统、个人助手等系统的出现，智能 体系统需要在一个开放的异构的环境下，同各种信息资源打交道。决定未来的基 于智能体的系统能否成功的几个关键因素之一就是基于主体的系统能否在不同 第2 章相关理论 的角色背景下在相当长的一段时间内同其他基于主体的系统以及人类进行交互。 未来的基于主体的系统将存在于一个社会环境下，为了解决不同的问题在不同的 关系中扮演着各种各样的角色。 从人工智能的观点来看，在一个开放的多智能体系统中，智能体之间在进行 任务分配和进行合作以前评估对方的信任水平是有必要的。对于需要与其他智能 体合作的智能体来说，能够选定可以信赖的合作伙伴是一项非常重要的事情。例 如，值得信赖的合作智能体可以提供准确的有价值的信息；可以在对方遇到困难 的时候提供及时的帮助，而所有这些都能提高智能体完成任务的能力。 与人类社会相似，在多智能体系统这个领域中不同的学者对信任也都有不同 的定义，不过在这两个领域中关于信任的定义是非常相似的。在学术界比较被广 泛接受的一个定义是m a r s h 驯下的。他认为“信任( 或不信任) 是一个智能体评 价其他智能体或智能体团体实际行为的主观可能性程度，评价在对该行为进行监 控( 或根本不可能监控该行为) 之前和与该行为对其自身行为产生影响的情况下 进行。另外一个比较著名的关于信任定义是c a s t e l f f a n c h i t ”】给出的。他从另外 一个角度对信任进行了定义。他认为信任是“委托的精神相对物 ，而且他认为 只有具有信念和目标的智能体才能有信任这种行为。这两个学者都通过正规模型 建立信任的度量。m a r s h 的模型是一个简单的数学模型，而c a s t e l f r a n c h i 的模型 是一个基于逻辑的模型。除去上面提到的两位学者，在多智能体系统领域还有很 多学者从不同的角度和不同的方面定义了信任模型。 从这些定义中我们可以总结出信任的几个重要特征： ( 1 ) 主观性，不同的个体对同一事物的看法会受个体喜好等因素影响而有所 不同； ( 2 ) 可能性预期，信任的程度可表示为对事件发生概率的可能性估计； ( 3 ) 内容相关，信任是对事物的每一个方面( 如完成一项任务的能力) 而言 的； ( 4 ) 信任是不对称的。信任是两个智能体之间的一个函数：t r u s t ( a ，b ) ，a 和b 是任意两个智能体。( a ，b ) 是一个有序对。t r u s t ( a ，b ) 表示a 对b 的 信任值。t r u s t ( b ，a ) 表示b 对a 的信任值。t r u s t (