（管理科学与工程专业论文）具有学习机制的适应性自动谈判系统研究.pdf

摘要 摘要 随着电子商务服务和软件技术的快速发展，具有一定独立性、智能性、可移 动性的a g e n t 以及由其组成的多a g e n t 系统被广泛地用于模拟、优化、实现电子 商务活动中的自动谈判。本文在深入学习自动谈判协议、谈判策略、效用函数和 模糊逻辑的基础上，提出了一种一对一多属性综合式模糊推理适应性自动谈判模 型，用于解决现存自动谈判系统中主观估计对手偏好信息，忽略对手报价历史， 不能响应谈判环境变化，不具有主动学习能力的问题。 在理论上，本文利用模糊逻辑理论构建电子商务协商模型和协商策略，用9 条i f - t h e n 模糊规则分别给出连续款项和离散款项的模糊推理策略，针对协商过 程中的协商策略，提出了基于时间和基于对手行为的让步策略。模型通过比较对 手报价的效用与用模糊规则新产生的报价的效用的大小，辅助谈判参与方做出接 受报价，给出反报价，结束谈判的决定。为了使模型具有学习机制，模型运用贝 叶斯学习方法，分析对手报价历史，寻找高效率的信息沟通规律，逐步获得对手 偏好信息；引入遗传算法对模糊规则参数进行编码，通过基本的遗传操作实现优 化模糊推理系统的目的。 在方法上，引入多a g e n t 技术实现交易谈判机制，并在s w a r m 平台上对提 出的模型进行仿真。为了评估不同谈判策略的谈判效果和时间消耗程度，本文对 谈判双方分别采用不同的谈判策略进行仿真实验。仿真结果表明，本文提出的模 糊推理自动谈判系统能根据谈判环境的变化，动态调整让步幅度，生成合理提议； 模型通过综合运用模糊推理技术和机器学习方法，完善了智能体的学习与推理能 力，这对提高电子商务系统整体效率具有一定意义。 关键词自动谈判；模糊推理；贝叶斯学习；遗传算法 a b s t r a c t a b s t r a c t w i t hr a p i dd e v e l o p m e n to fe - c o n l m e r c es e r v i c ea n ds o f t w a r et e c h n o l o g y , a g e n t w i t hc e r t a i ni n d e p e n d e n c e ，i n t e l l i g e n c e ，m o b i l i t ya n dm u l t i - a g e n ts y s t e mf i l ew i d e l y a p p l i e dt os i m u l a t i o ni na u t o m a t e dn e g o t i a t i o n w bb u i l do ns t u d yo fa u t o m a t i c n e g o t i a t i o np r o t o c o l ，n e g o t i a t i o ns t r a t e g y , u t i l i t yf u n c t i o na n df u z z yl o g i c t h e nw e p r o p o s eao n e t o o n em u l t i a t t r i b u t ew i n w i nf u z z yi n f e r e n c ea u t o m a t i cn e g o t i a t i o n m o d e l i no r d e rt os o l v ep r o b l e m st h a te s t i m a t i n gr i v a l s p r e f e r e n c ei n f o r m a t i o n s u b j e c t i v e l y , i g n o r i n gr i v a l s b i dh i s t o r y , n o tr e s p o n d i n gt ot h ec h a n g ee n v i r o n m e n t a n dn o tt a k i n gt h ei n i t i a t i v et ol e a r n i nt h e o r y , w eu s ef u z z yl o g i ct h e o r yt ob u i l dn e g o t i a t i o nm o d e la n de m p l o yn i n e i f - t h e nf u z z yr u l e st op r e s e n tf u z z yi n f e r e n c es t r a t e g yf o rs e q u e n c ei s s u ea n dd i s c r e t e i s s u e w ba l s op r o p o s ec o n c e s s i o ns t r a t e g yb a s e do nt h et i m ea n dt h eo p p o n e n t s b e h a v i o r c o m p a r i n gt h eo f f e ro fo p p o n e n tw i t ht h a tg e n e r a t e db yf u z z yr e a s o n i n g s y s t e m ，t h i ss y s t e mh e l p sn e g o t i a t i o np a r t i c i p a n t st om a k ed e c i s i o no fw h e t h e rt o a c c e p to rr e j e c tt h eo f f e r w eu s eb a y e s i a nl e a r n i n gm e t h o dt oa n a l y z er i v a l sb i d h i s t o r y , f i n de 伍c i e n ti n f o r m a t i o nc o m m u n i c a t i o nr u l ea n dt h e no b t a i nt h eo p p o n e n t s p r e f e r e n c ei n f o r m a t i o ng r a d u a l l y w ea l s oa d o p tg e n e t i ca l g o r i t h mt oe n c o d et h e p a r a m e t e r so ff u z z yr u l e sa n du s e b a s i cg e n e t i co p e r a t o r st oo p t i m i z ef u z z yi n f e r e n c e s y s t e m i nm e t h o d ，w ea p p l ym u l t i - a g e n tt e c h n o l o g yt o i m p l e m e n tn e g o t i a t i o n m e c h a n i s ma n ds i m u l a t em o d e lo nt h es w a r mp l a t f o r m i no r d e rt oa s s e s st h ee f f e c t a n dt i m ec o n s u m p t i o no fd i f f e r e n tn e g o t i a t i o ns t r a t e g i e s ，w es i m u l a t en e g o t i a t i o n b e h a v i o r si nd i f f e r e n ts t r a t e g i e sf o rt h eb u y e ra g e n ta n dt h es e l l e ra g e n t t h e s i m u l a t i o nr e s u l ts h o w st h a tt h ef u z z yi n f e r e n c es y s t e mw ep r o p o s ec a nc h o o s e a p p r o p r i a t en e g o t i a t i n gs t r a t e g yd y n a m i c a l l y i na c c o r d a n c ew i me n v i r o n m e n t a l c h a n g e ，a n dt h e ng e n e r a t er e a s o n a b l ep r o p o s a l t h r o u g hi n t e g r a t e df u z z yi n f e r e n c e t e c h n i q u e sa n dm a c h i n el e a r n i n gm e t h o d s ，t h es y s t e mh a si m p r o v e dt h el e a r n i n ga n d r e a s o n i n ga b i l i t yo fa g e n t t h a ti sac e r t a i ns i g n i f i c a n c et oi n c r e a s et h ee f f i c i e n c yo f t h eo v e r a l lo fe - c o m m e r c es y s t e m k e yw o r d s ：b a y e s i a nl e a r n i n g ；f u z z yl o g i c ；g e n e t i ca l g o r i t h m s ( g a ) ；a u t o m a t i c n e g o t i a t i o n i i l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：燃日期：塑监垒旦! ，日 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：巡导师签名： 盘乏萋 日期：型仝璺乡且旧 第1 章绪论 。第1 章绪论 1 1 选题的背景和意义 互联网以蓬勃发展的速度席卷全球，电子商务的虚拟商业行为正改变着我们 的交易方式和经济活动。电子商务的本质在于降低信息成本，包括销售成本、采 购成本等，它对传统经济的冲击，在于改变和缩短了传统的产业链，重塑了其交 易规则和程序【l 】。电子商务使得企业可以在更广阔的市场空间中寻求更多的合作 伙伴和更大的产品市场，电子商务的虚拟环境又使得企业的经营和运作可以突破 传统的商务模式，在一种更为灵活、便捷的方式下进行，从而提高企业的运作效 率，节约企业的运行成本。同时，电子商务也给广大消费者带来了巨大的便利和 实惠，使得消费者有了更多可选择的商品，节省了消费者的时间、精力和金钱， 并且能够更好地满足消费者的个性化需求，从而获得更大的产品、服务性价比。 电子商务已经显示出了强大的活力，相信随着网络的进一步普及和软件技术向更 高层次的发展，电子商务将在现实生活中越来越重要。 商务谈判是商务活动中商品交易的重要组成部分。它可以被定义为：为达成 商品交易协议，谈判双方或者多方谈判的过程 2 1 。传统的商务谈判活动主要是以 “人 为主体。人们基于一定的利益对特定的内容进行协商、谈判，最后达成各方 均满意的谈判协议。随着电子商务的发展与全球化，企业间的交易将占主导地位， 商务谈判也将愈加频繁，谈判的复杂性也不断提高，而且需要人们能够更快地对 市场上的变化做出反应。传统的以人为主体的谈判达成协议的周期长，谈判成本 高，对环境变化反应速度慢，在电子市场中容易失去商机，它已经不能很好地适 应全球电子商务市场发展的需要。因此，为了适应电子商务活动的需要，要求人 们能够充分地利用各种信息资源，更快、更有效地进行商务谈判。 然而，传统的人工谈判是一件非常消耗人力、物力以及时间的事情。在目标 对立的前提下所有的谈判参与方都试图最大化自己的利益，只要参与的一方不做 出让步，谈判都很难达成一致协议。其次，谈判需要熟练的战术。现实世界的很 多谈判问题都是由多个款项、复杂的谈判空间组成，普通的商人进行有效的谈判 是比较困难的。面对复杂的谈判问题，即使是非常有经验的谈判专家也很难在众 多可供选择的解决方案中选择最优的方案。因此，传统的谈判活动中经常出现“把 钱留在谈判桌上的情况”【3 。5 】。另外，谈判要求所有的参与者聚集在一起进行面对 面的谈判。尽管借助互联网人们能进行视频会议，但当谈判的参与方来自不同的 时区时，“坐”在一起谈判便很不现实。 北京t 业人学管理学硕l j 学化论文 从上世纪8 0 年代末开始，国内外的学者将信息、通讯、人工智能、博弈论 等理论与技术从不同的角度、不同程度上进行了研究，开辟了谈判支持这一新的 研究领域。目前，支持谈判的应用系统主要涉及谈判支持系统( n e g o t i a t i o ns u p p o r t s y s t e m s ：n s s ) 、拍卖系统( a u c t i o n ) 和自动谈判系统( a u t o m a t e dn e g o t i a t i o n s y s t e m s ：a n s ) t 6 】【7 】。 谈判支持系统主要应用运筹学、对策论、决策论、行为科学、计算机技术、 信息技术、人机工程等多方面的技术理论和方法为谈判者提供分析问题、解决问 题的工具，主要目的是提高谈判效果、促使谈判成功【8 。0 1 。自2 0 世纪8 0 年代后 期出现n s s 至今，国内外许多学者都从不同角度对n s s 进行了大量的研究， 并且开发出了相应的n s s 系统软件，如c a p 、d e c i s i o n m a k e r 、n e g o 、 d e c i s i o nc o n f e r e n c i n g 、m e d i a t o r 、r u n e 、p e r s u a d e r 、i n s p i r e 等【l l 】【1 2 1 。这些系统的主要用户是专家，由专家作为系统和谈判者之间的媒介， 辅助谈判者使用系统进行决策。由于大部分系统只支持谈判中的某一方或支持调 停仲裁人，因此不能为实际复杂的谈判项目提供动态分析和全面的过程支持。 拍卖可以看作是一种谈判；经济学家普遍认为拍卖是解决“一对多”议价问题 的有效方法。美国密西根大学开发的a u c t i o n b o t 商品拍卖代理人系统。系统利 用一个应用程序界面让使用者( 买卖双方) 建立各自的软件代理人，并让这些软件 代理人在a u c t i o n b o t 电子商场中进行竞价。用户通过选择不同的参数来选择不 同的拍卖类型，买卖双方根据所选拍卖类型的多边分布协议来投标。拍卖由于其 过程简单，且容易实现自动化和有效竞争，近年来在互联网上取得了非常成功的 应用。但拍卖是严格的分布式、赢输型的，并且只适用于部分商品的买卖，因 此拍卖也不能完全满足电子商务的要求。 自动谈判系统( a u t o m a t e dn e g o t i a t i o ns y s t e m ：a n s ) 是利用计算机程序部分替 代人类进行谈判的系统，主要目的是提高谈判效率、降低成本【1 3 】【1 4 】。自动谈判 系统的实现主要依靠a g e n t 技术。关于a g e n t 目前还没有统一的定义，根据a g e n t 应用场合的不同，a g e n t 曾被翻译为“代理”“智能代理”“智能体主体”“智能主 体”“智能自主体”“智体”等。所谓m u l t i - a g e n t 系统，是由多个可计算的a g e n t 组 成的集合，其中每个a g e n t 是单个物理或者抽象的实体，可作用于自身和环境， 并与其他a g e n t 通信。各个a g e n t 之间的活动是自治和独立的，其行为和意图不 受其他a g e n t 限制，它们之间通过竞争、谈判、协作等手段来共同完成系统设定 的目标。利用谈判a g e n t 在一定程度上代替人同其他谈判方( 谈判a g e n t 或人) 谈判的自动谈判系统与人工谈判相比具有以下优势： ( 1 ) 人工谈判费时费力，要求谈判者随时在线。许多情况下，由于人工谈 判的成本太大，对于小额交易进行谈判是不合算的。自动谈判通过谈判a g e n t 能高效的实现谈判过程，大大拓展了谈判的应用范围。 第1 币绪论 ( 2 ) 自动谈判可以避免谈判过程受到情感因素和人为因素的干扰。 ( 3 ) 谈判a g e n t 能够不断获取代理人的偏好知识( 属性权重、约束条件等) ， 充分利用领域知识( 市场状况、库存情况等) 和对方偏好知识，成为领域谈判专家， 来完成复杂的谈判过程，达到比人工谈判更好的结剁1 5 】。 所以，人们广泛的认为在处理组合、复杂的谈判问题时自动谈判比人工谈判 更为有效。谈判通常被分为两类：分布式谈判和综合式谈判。在分布式谈判中。 各谈判方存在着对立的利益关系。一方的获益必定意味着另一方的损失。一方要 尽可能的最小化自己的损失，而另一方要最大化自己的收益。这种谈判也被称为 “赢输谈判”。而在综合式谈判中，双方所关注的谈判目标各不相同，在利益上并 不发生冲突。因此，通过谈判，能够找到一个令双方都满意的协议。综合式谈判 也被称为“赢赢谈判”。按谈判参与者数量的不同，谈判活动可以分为：一对一 谈判、一对多谈判、多对多谈判。谈判问题的属性也会多于_ 个，例如对于消费 者来说价格并不是唯一的决定性因素。消费者可能会关心其他相关的因素，比如 商品质量和配送时间等。 本文研究的是一对一多属性综合式自动谈判的谈判协议，谈判策略和谈判模 型，使得自动谈判系统朝着充分自动化、智能化、实用化的方向迈进，它是谈判 理论和模糊逻辑理论、m u l t i a g e n t 技术等理论与技术的交叉与渗透。论文研究 具有重要的理论意义和广阔的应用前景。 1 2 国内外研究现状 1 2 1自动谈判系统研究现状 近几年，国外对电子商务环境下自动谈判系统的研究十分重视。麻省理工学 院的t e t e a - t e t e 项目，采用谈判理论研究自动谈判系统；加州大学伯克利分校 f i s h e r 研究中心的o f f o r 项目对面向电子市场的自动谈判系统进行了研究；斯 坦福的k b e m ( k n o w l e d g eb a s e de l e c t r o n i cm a r k e t ) 项目，研究电子市场环境下， 采用基于知识的技术，自动化处理供应商和销售商之间的谈判与协作；伦敦大学 的a d e p t 项目对自动谈判机理进行了研究；另外，惠普b r i s t o l 实验室对自动谈 判系统也非常重视。 国内有很多机构也展开了在电子商务环境下自动谈判的研究： k m s i m 1 5 】提出的市场驱动模型，列举了一些影响a g e n t 谈判的外部因素， 并从理论上分析和证明了这些因素会影响交易的结果，但是它没有说明这些环境 因素在具体的谈判中怎么计算和怎么应用到谈判策略中。 清华大学石纯一【1 6 】教授领导的d a i 研究小组以非协作类应用( 双边统筹谈判) 北京t 业大学管理学硕十学位论文 为背景，采用对策论的方法建立了静态与动态的谈判模型，提出了一揽子方案法、 折中优化方案法、分阶段谈判法、选送算法和吸收算法。另外，他们针对目前基 于对策论的多a g e n t 协调研究中存在的完备知识假设和单遇假设等缺陷，提出了 一种多a g e n t 多遇交互模型和四种多遇学习方法，并分析了收敛性，各a g e n t 通 过使用这些学习方法，在没有通讯和知识不完备的情形下建立对方效用模型，从 而使他们的行为逐步趋于n a s h 平衡，以实现协调，并且还研制了一个面向分布 式篇章理解的多智能体交互测试床( t u m i t ) ，分别对四种学习方法进行了实验分 析。 综合国内外对自动谈判系统的研究，主要涉及两个方面的内容，即：谈判协 议( n e g o t i a t i o np r o t o c o l s ) 和谈判策略( n e g o t i a t i o ns t r a t e g i e s ) 。其中谈判协议 ( n e g o t i a t i o np r o t o c 0 1 ) 和谈判策略( n e g o t i a t i o ns t r a t e g i e s ) ，这两者共同构成了自动 谈判系统的谈判机制( n e g o t i a t i o nm e c h a n i s m ) 。 任何谈判都要受到谈判协议的限制。谈判协议是管理谈判过程各项规则的集 合，可以理解为谈判的“游戏规则”，它可以使谈判各方解决冲突、达成协议。目 前广泛采用的自动谈判协议有：拍卖协议、讨价还价协议、合同网协议、基于论 据的协议等。谈判策略描述a g e n t 在进行谈判过程中采取的序列行动( 建议或反 应) ，从对手的角度观察就是该a g e n t 的谈判历史。谈判进行时，双方可针对尚 无共识的提议进行妥协，在策略的运用下，直到达成共识或取消交易为止。对于 一个谈判a g e n t 来说它的谈判策略就是决定谈判过程中采取什么样的行动来与 对方达成一致，并满足其评价函数最大化，简单的说就是如何提出反报价。有别 于传统的密集开会与繁琐的文件往返，自动谈判通过网络来传输报价信息，在无 法面对面的状况下，传统谈判好手常用的“察言观色”或“特殊直觉”等技巧几乎已 无法适用。许多学者认为策略就是谈判者如何根据一定的原则在谈判中报出一系 列的方案。在模型中，一种策略就是一个按着某一标准计算谈判问题值的函数， 策略的原则、标准不同，策略函数也就不同。通常以时间、资源以及对方的报价 行为为标准。另外，不少文章根据参数的不同将策略进一步细分，如让步型、强 硬型等。m i c h a e lw b o l d r i d g e 和n i c h o l a sr j e i l n i n 寸1 7 j 等人最早提出了以时间为标 准的确定谈判策略的方法，根据调整与时间有关的参数将策略分为强硬型和让步 型，而且被许多系统所采用。p e y m a nf a r a t i n 1 8 j 提出以时间、资源、以及以往的 报价和反报价为标准的策略。r a j i v t ”j 在以时间为标准的基础上认为谈判中有两 种策略：让步策略( c o n c e s s i o ns t r a t e g i e s ) 和问题解决策略( p r o b l e ms o l v i n g s t r a t e g i e s ) 。其中让步策略又分为三种，即急躁型、节俭型和折中型。问题解决策 略有两种方式：对优先权低的问题做较大让步，对优先权高的做较小的让步。以 上这些方法都没有充分利用a g e n t 具有学习能力的特点。 第l 章绪论 1 2 2 具有学习机制的适应性自动谈判系统研究现状 为了提高自动谈判系统的效率、优化谈判过程，近几年越来越多的学者采用 人工智能技术，如贝叶斯学习，基于案例推理【，遗传算法，人工免疫算法，强化 学习，q 学习算法，开发出了能适应谈判环境变化的适应性自动谈判系统。这些 a g e n t 能采用不同的谈判策略来改变他们的偏好和谈判方法，提高了谈判的质量。 z e n g 和s y c a r a 2 0 】提出一个用贝叶斯学习a g e n t 预留价格的b a z a a r 谈判模型。 这是一个基于连续决策过程的谈判模型，目的在于支持a g e n t 在线谈判过程中的 学习。b a z z a r 支持贝叶斯学习，使得a g e n t 能够在交互过程中对知识进行更新， 从而选择收益较大的策略。b a z z a r 模型中的学习是对静态环境下a g e n t 谈判过程 的学习，由于缺少不同环境状态间的关联信息，该模型不适于动态环境中的谈判 问题。j i a nl i 和y u a n d ac a o 2 l 】对谈判系统的学习范围进行了扩展，用贝叶斯来 学习双边多问题谈判中款项的权重和预留价格。t d n g u y e n 和n r j e n n i n g s 等人 提出的并行谈判的模型瞄- 2 6 ，采用以时间为标准的策略，并按照参数的不同，具 体分为强硬型、折中型和让步型策略，同时加入了a g e n t 的学习机制将对手a g e n t 进行分类并按照贝叶斯学习方法来选择具体采用哪种策略。 案例推理技术【2 1 7 】【2 8 】是通过访问案例库中过去同类问题( 源案例) 的求解从而 获得当前问题( 目标案例) 解决方案的一种重要推理方法。它能有效地解决知识表 达困难或者无法表达的领域问题，而且它充分模仿人类的思维方式，高速准确地 分析所要解决的具体问题，非常适用于需要重新和大部分借鉴以往经验的情况。 用案例推理技术学习的难点是实例库的构建以及相似谈判实例的检索。 o l i v e r 2 9 】首先把遗传算法用于自动谈判领域。在o l i v e r 的实验中，策略是由 一系列的报价组成，这些报价被代表报价总效用值的门限分割开。报价与谈判中 的款项相对应，每一个报价都有一个确定的效用值。策略集合就是一个策略种群。 遗传算法的目的是从一代策略种群发展下一代的策略种群，最后得到很好的策 略。系统首先随机的产生第一代种群，应用遗传操作如变异、交叉操作产生新的 个体，经过一代一代的进化最后得到比较好的个体，在进化的过程中实现了学习 的效果。这个方法的缺陷是不能根据对手让步行为的改变修改相应的战术。换句 话说如果对手做出很少的让步时，我们应该改变我们的让步幅度。r k r o v i ，a g - f a e s s e r 和w p r a c h t 1 0 】开发了一个基于遗传算法的谈判a g e n t ，该谈判a g e n t 能 够模拟在双边谈判领域中动态让步匹配行为。在该模型中谈判a g e n t 的可行报价 是由一代染色体种群所表示，系统选择当代种群中适应度最高的染色体作为试探 性的解决方案。该谈判模型的主要缺陷是利用主观估计得到的谈判对手的效用函 数来计算染色体的适应度和评估对手的反报价。并且，谈判a g e n t 不具有学习对 手偏好的能力，从而也不能根据对手的行为调节自己的策略。r a y m o n d 3 0 】用遗 北京t 业人学管理学坝l j 学位论文 传算法学习有效的规则从而支持谈判的进程。一个染色体表示谈判的一个规则， 染色体( 规则) 的适应度由该规则促成谈判达成一致的次数来决定。系统为了确定 谈判是否达成一致，通常假设每个谈判者的预留价格等偏好信息是可知的。因此， 这个方法也面临关于谈判空间完美信息假设的问题。n m a t o s ，c s i e r r a 和 n r j e n n i n g s 3 1 提出了一个依赖战术和策略决定a g e n t 行为的谈判模型，在该模 型中用基因表示谈判战术中涉及的参数，通过基本的遗传操作逐步学习给定谈判 条件下的最优谈判战术。尽管该理论分析能帮助识别最优的谈判参数，但是由于 该模型建立在关于谈判参与者完美信息假设的前提下，所以文章提出的谈判模型 也不适合建立实际的谈判系统。z r e n 3 2 】通过在适应度函数中引入反映自己报 酬，对手的部分偏好( 上一次的报价) 和时间压力三个重要指标来响应谈判的时 间压力并学习对手变化的偏好，但是该系统计算很繁杂。据论证，在相同条件约 束下，用遗传算法模型得到的稳定的结果能与博弈论模型得到的均衡解相匹配 3 3 1 m o 王海【6 】根据人工免疫算法的特点和谈判问题的具体要求，把谈判策略作为抗 体，把对手的报价作为抗原，并且依据综合满意度来评价抗原。根据免疫系统的 基本原理，谈判a g e n t 通过最大化抗体与抗原的亲和力以及自身对抗体的综合满 意度，为谈判双方提供更为满意的谈判结果，为自动谈判系统的研究提供一种新 的解决思路。 q 学习算法【3 5 】是求解信息不完全马尔可夫决策问题的一种有效的强化学习 方法，李一军【3 6 】利用模拟退火机制优化q 学习的探测策略，同时结合b o l t z m a n n 机制接收策略，将q 学习与规则设计相结合，实现人在谈判过程中对a g e n t 的 控制。j e l l 一h s i a n gc h e n 3 7 】结合遗传算法和q 学习，提出了一种新的t t p 算法 ( t r u s t e dt h i r dp a r t y ) ，这种算法能够部分地避免遗传算法的不充分性问题。汪 勇【3 8 】设计了基于a g e n t 的多问题并行谈判模型，模型中采用遗传算法，给出了问 题实数编码和权重调整公式。 为了响应对手的让步行为，适应变化的谈判环境，田喜平【3 9 】【柏1 将让步度和 信誉度引入到重复谈判中，通过采用信誉度记录谈判对手对自己让步进行补偿的 程度，从而得到提议生成函数和评价提议函数，在谈判过程中不仅考虑到商家的 让步度，同时还考虑到商家的信誉度，使得重复谈判能够形成长期稳定的效用。 s mk m 4 1 1 1 4 2 】和李立新 4 3 】在自动谈判中引入了基于市场驱动的谈判方法，根据时 间压力、谈判者完成交易的愿望、交易机会和竞争状况等用户主观因素和客观环 境因素来制定谈判策略，既满足了用户的要求，又适应了变化的市场环境【“4 6 1 。 但模型缺乏有效的学习机制，如刑、俐、a 似在影响m 时应该各占多少比例 才能达到更好的谈判结果，引入怎样的学习对手行为的方法才能更快地赢得谈 判。 第l 章绪论 谈判人的偏好的获得是谈判模型中研究的重点，也是研究的难点。谈判过程 涉及到很多不确定性因素，如谈判目标的约束、对谈判解的评价等，不确定因素 的存在也增加了谈判过程建模的难度 4 7 捌】。以上系统在处理谈判问题时，要么假 设谈判空间是共同知识，要么忽略时间压力，要么不能学习对手的偏好信息，要 么没有考虑交易的历史情况，要么不能处理在谈判过程中不完整、不确定的交易 信息，或者在谈判时只能随机或固定地改变自己的报价，缺乏灵活性，要么计算 很繁琐。此外，谈判a g e n t 的目标偏好和对谈判解的评价通常是一个模糊概念 【5 2 硼。建立在自然语言基础之上的模糊逻辑具有处理不确定性和模糊性的强大能 力，模糊逻辑理论能利用不完整，不确定信息做出推理决策。近来很多人把模糊 数学引入到自动谈判领域1 s 6 - 6 1 1 。 李海晨【6 2 】应用模糊数学理论建立了谈判论据及谈判解接受度数学模型。采用 约束放松的方法对谈判模型进行求解，该模型能合理描述谈判过程中的不确定因 素和谈判论据。 林政权【6 3 】用模糊偏好体系理论为多目标决策问题设计了一个基于a g e n t 技 术的、互惠的、双方可以接受的谈判系统。系统用模糊规则表示谈判的战术，根 据各款项重要水平的隶属函数得到各规则的计算结果，然后综合各条规则的计算 结果得到合适的推论。系统通过学习对方的报价历史从而近似估计对手的谈判偏 好结构，但是该系统的学习机制过于简单，并且模糊推理规则不能响应对手的偏 好变化和策略变化，也不能响应时间压力。 目前的自动谈判模型尚无一种模型能够对人类交易行为所涉及的所有主要 因素都进行模拟。现有的谈判模型在设计原理和谈判机制上都存在这样或那样的 不足，概括地说，主要存在以下几个方面的问题【6 4 】【6 5 1 1 6 6 ： ( 1 ) 大多数现有谈判模型通常都只涉及了谈判中的很少一部分因素，如谈判 的价格因素，没有对涉及的参数作综合的评价，这样的模型具有很大的片面性， 只能按固定的流程与机制工作，难以广泛地应用到实际的电子商务交易中去，也 无法适应实际商务活动的快速变化和新增的各种需求，其结果往往也只能作为参 考之用。 ( 2 ) 不具有主动学习能力。面向商品的自动谈判模型基本不支持学习的功 能，k a s b a h 模型完全没有学习能力，仅仅依赖有限的几种预置的策略进行谈 判，虽然基于经验学习的自动谈判模型和多因素学习和交易模型提出了学习的概 念，但这种学习，都只是一种局部范围的被动学习，学习的内容比较单一，一般 都是对以往的谈判经验的考虑，而且仅仅限于本用户或本交易平台，这些模型都 无法体现a g e n t 的主动性，a g e n t 无法主动地对相关资源进行学习，更无法从失 败中学习。 ( 3 ) 有些模型的前提条件过于苛刻，强调a g e n t 具有无限的计算能力，在 北京t q p 人学管理学顾十学位论文 现有的软硬件条件下，根本无法实现。 ( 4 ) 所有现有模型仅仅把谈判作为一个独立的功能平台来运行，忽略了与 整个系统的资源有效连接和资源共享。如此一来，这样的封闭系统无法与电子商 务平台上的其它功能模块集成，更谈不上与网络环境中其它相似电子商务平台的 集成了。自动谈判本身只能依据一些预定义的信息标准来提供有限的信息共享， 同时，由于对系统资源的考虑不足，电子商务平台的内部工作流程和各个电子商 务平台间的资源无法有效的整合，使得整个企业供应链和自动谈判完全脱节。而 且，由于资源的片面性，所有商品信息和客户信息都按照一定的格式和标准存储 在谈判数据库中，而与这些数据的真正来源，如企业产品库、客户关系库分离， 这将导致系统的实时性降低。 ( 5 ) 现有的谈判模型无法体现用户的个性化因素，缺乏对用户的信念、心 智状况及承诺水平等进行模拟的机制，很难使用户有效的参与到整个自动谈判的 过程中，模型的结果自然也就难以体现用户的需求。 总之，目前电子商务自谈判的主要问题是智能不足，因此有必要研究根据谈 判环境变化，动态改变让步幅度、生成合理提议的智能化谈判智能体；通过综合 运用模糊推理技术和机器学习方法，完善智能体的学习与推理能力，这对提高电 子商务系统整体效率具有一定意义。 1 3 本文研究内容 本文在深入学习自动谈判协议、谈判策略、模糊逻辑的基础上，提出了一种 一对一多属性综合式模糊推理自动谈判模型，用来解决谈判中的如下问题： ( 1 ) 谈判采取什么协议，即根据谈判必须遵守的规则确定谈判的开始、报 价的评估、结束； ( 2 ) 采取何种学习机制获取谈判对手的偏好信息，如对手各款项的权重， 对手的谈判策略； ( 3 ) 采用什么样的报价策略来产生反报价。 本文提出的基于模糊推理的适应性自动谈判系统通过使用模糊推理技术支 持在不确定信息情况下的多问题自动谈判。模型利用模糊i f - t h e n 规则表示谈判 策略。为了适应变化的谈判环境，模型在模糊规则中引入对手连续报价的变化幅 度和对手款项的权重，采用时间依赖策略和行为依赖策略确定让步幅度，并结合 模糊规则产生新的报价。模型通过比较对手报价的效用与用模糊规则新产生的报 价的效用的大小，辅助谈判参与方做出接受报价，给出反报价，结束谈判的决定。 为了使模型具有学习机制，模型运用贝叶学习方法，分析对手报价历史，寻找高 效率的信息沟通规律，逐步获得对手偏好信息；引入遗传算法对模糊规则参数进 第l 蕈绪论 行编码，通过基本的遗传操作实现优化模糊推理系统的目的。文章的最后将建立 一个基于模糊规则的双边多款项自动谈判原型系统，在这个原型系统中，将对本 文提出的基于模糊规则的报价策略进行验证，并通过大量的实验研究不同谈判策 略的谈判效果。 1 4 本文结构 论文首先介绍了自动谈判的基本理论，包括自动谈判定义、效用函数、谈判 决策过程、谈判协议、谈判策略。在此基础上给出了一个基于模糊规则推理的自 动谈判模型，同时根据款项的性质分别给出了连续款项的模糊推理规则和离散款 项的模糊推理规则，以及新报价的产生机制。 然后对论文中使用的学习机制进行了深入研究，讨论了贝叶斯学习对手款项 权重的具体操作步骤，遗传算法的基本流程、算法的设计和实现的具体细节。 论文在对谈判框架构建的前提条件进行假设和界定后，利用a g e n t 技术设计 了前面提出的电子商务自动谈判模型，并在s w a r m 平台进行了仿真实验，通过 大量的实验，研究不同谈判策略的谈判效果，为实际的谈判环境提供可靠建议。 最后总结了本课题的全部研究工作并对课题深入开展所需的进一步工作提 出设想与展望。 北京t 、i k 人学管理学硕f ：学位论文 第2 章自动谈判理论 谈判是人类交往活动中一种非常广泛和普遍的社会现象。在诸多涉及不同领 域的谈判中，如经济领域的谈判，特别是商务谈判，在社会生活中扮演着越来越 重要的角色，已成为现代社会不可缺少、无法替代的组成部分。在复杂的社会活 动过程中，传统的人为谈判过程耗费时间长，并且无法判定最佳的谈判结果，还 由于受限于文化、自我意识、情绪或自尊等因素影响，使得人为谈判总是充满着 太多变数，还影响最后对谈判结果的预期效益。t u 等人曾指出【d 7 】【6 8 】，谈判可被 认为是所有参与谈判者共同搜寻最佳结果的过程。但由于谈判空间( n e g o t i a t i o n s p a c e ) 较大，因而造成人们无法在有限时间内准确地找出最好的谈判结果。随着 电子商务技术的快速发展，基于a g e n t 的自动谈判已成为实际需要，现有许多相 关工作从不同角度对谈判和自动谈判以及多a g e n t 谈判进行了研究。 2 1自动谈判的定义 本文着重讨论的是电子商务环境下涉及交易过程中的自动谈判问题。不同的 研究人员根据各自的理解和研究兴趣对谈判概念给出了不同的描述【6 9 】 7 0 】： 提出合同网( c o n t r a c tn e t ) 的s m i t h 和d a v i s 认为“谈判是有兴趣的各方交换信 息并达成妥协一致的过程”，并认为谈判是对问题求解者进行有效任务匹配的组 织原理。 p r u i t t s 给出了基于社会心理学的解释“谈判是双方或多方做出联合决定的过 程。各方首先交换不一致意见，然后通过互相让步或寻求新的方法达成协议”。 s y c a r a 认为“谈判是指利用通信或通过推断系统中其他a g e n t 的状态和意图 识别a g e n t 间可能的相互作用，并通过改变其他a g e n t 的意图避免a g e n t 间的有 害相互作用从而建立合作”。 d u r f e e 等人认为“谈判是a g e n t 间利用相关信息的结构化交换形成一致公共 观点或规划的过程，即一组自治a g e n t 协调它们的观点及动作达到系统目标的过 程”。 k r a u s 对谈判的定义是“谈判是a g e n t 对交换各自的期望并折衷妥协以得到 相互满意的协定的过程”。 j e n n i n g s 等人认为“谈判可以看作是对谈判空间的分布式搜索，该空间由所 有达成一致的提议构成。谈判空间的维数和拓扑结构是由谈判主题的结构确定 的，可以认为谈判主题的一个款项和该空间的一个维相关，在谈判过程中谈判款 第2 章自动谈判理论 项值的变化意味着谈判空间维数及该空间内点的数量的变化，a g e n t 对某个款项 的值的修改意味着它在谈判空间内从一个点移动到另一个点”。从人工智能角度 可以将自动谈判描述为：谈判是多个a g e n t 对某个或某些款项共同搜索可能的合 同空间，以达成相互可能接受的合同的一种决策过程。 在此本文对自动谈判概念作以下总结：自动谈判是一组自治a g e n t 为了某个 或某些与利益相关的款项相互进行通信而达到一致的过程。它是多a g e n t 系统中 实现协同、协作、冲突消解和矛盾处理的一种重要交互形式。谈判的款项可以是 价格、数量、质量和交货时间等等。这些款项构成了一个合同，谈判双方a g e n t 通过轮流提议，即修改合同中不满意的款项值从而谈判双方达成一致，即形成一 个双方都认可的合同。 2 2 自动谈判模型 双边多问题谈判模型可以用一个8 元组来表示：m o d e ln e g o t i a t i o n = ( ajw b p s u 力。其中： a ：参与谈判过程的a g e n t 集合a = 加，彬。 ，：谈判目标集合，如商品的价格、交货时间等，谈判目标集是谈判a g e n t 之间的公共知识。j = 口，2 ，明，巧= 叫哆，畸】，表示a g e n tf 的第个款 项的值，j 山i e a 。 胍谈判a g e n t 对谈判目标权重的集合。w = 彬，町【l 别，彬表示a g e n ti 对 于款项j f 的权重，_ ，曰，i 酬。 b ：a g e n t 相关信息的集合，即当前的谈判环境状态，代表a g e n t 的知识 和当前信念。 p ：a g e n t 在当前环境状态曰上的主观概率分布。 s ：谈判策略的集合。 矾a g e n t 的效用函数集合。 兀为谈判时间点的集合，t r a a x 是a g e n ti 谈判的最后时间期限，超过最后谈 判期限往往意味着谈判破裂。 2 2 1 效用函数 效用理论是西方经济学中的一个基本理论，是消费者行为理论的核心，也是 决策人进行决策的依据。 效用( u t i l i t y ) 是指各种商品和劳务所具有的满足人类欲望的能力。效用论按照 北京i 业人学管理学坝i j 学位论文 测量单位的不同又有基数效用论和序数效用论之分。基数效用论按基数来衡量效 用的大小。序数效用论者认为，商品的效用是无法具体衡量的，商品的效用只能 用大小顺序或高低等级来表示，效用可比较。消费者总是在可能的情况下设法使 其效用最大。 效用具有以下两个主要特征： ( 1 ) 效用的客观性 效用以消费者的现状为基础的，必须符合消费者的客观实际情况。同一商品 对不同消费者具有不同效用的原