（管理科学与工程专业论文）基于数据耕耘的多agent仿真的想定生成与优化研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 战争系统复杂性三大特点包括不确定性、适应性和涌现性，这是战争想定生 成与优化遇到困难的原因。数据耕耘思想为解决此问题提供了一种很好的思路。 本文研究了基于数据耕耘思想、采用多a g e n t 仿真技术实现想定生成与优化的方 法，解释了数据耕耘采用多a g e n t 仿真实现的原因，提出了一种实现框架，并分 析了数据耕耘中探索与学习的关系。 在想定生成部分，对多分辨率建模在想定建立过程中的重要性进行了详尽的 描述，并说明如何构建一个能够反映作战实体属性和行为特点的a g e n t 模型，并 介绍了属性探索和行为探索过程。在想定优化部分，将博弈论引入到协作的多 a g e n t 团队中，介绍了协作和学习的关系。在详细分析q 学习算法的基础上提出了 基于长期得益矩阵算法，长期得益矩阵可以与环境不断交互，获得环境给予的回 报从而逐渐收敛至稳定值，它可以驱使a g e n t 采取最优的行为。 最后以边境空勤任务中的探测与干扰对抗为军事应用背景，应用本文所提出 的多a g 如t 仿真实现数据耕耘的技术，验证了本方法解决想定生成与优化问题的 有效性。 主题词：数据耕耘多a g e n t 想定探索学习 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t t h e r ea 佗t b r c k 瞰衙e r i s t i c sa b o u tc o m p l e x i 缈o fw 跚f a r es y s t 锄i r l c l u d i n g c o e v o l u t i o n ，u n c e r t a i n 锣锄da v a l a n c h e t l l i si sw h y “sd i f | f i c u l tt 0c r e a ：t e 锄do p t i l ! 【l i z e w i l r f 硪s c e n 撕o d a 诅细倒n gc 觚b ea9 0 0 di d e at 0s 0 l v et l l ep r o b l e m t 1 1 i sp a p e r a p p l i e st h ei d 既o fd a t af 扰n i l l g 勰b 嬲i s ，锄da d o p t s 圮m u l t i a g e ms i i i l u l a t i o n t l l i l o l o g y t 0i i i l p l 锄e n ts c e l l a r i oc r e a t i i 喀锄d0 p t i i i l i z i i l g ，m e 陀f o 他，e x p l a i r 塔w h y 皿l u l t i - a g e n ts h u l 撕o ni s 砷均d u c c dt 0d a _ t af a r 删m ga n dh o wt 0 印p l yd a t af 岫g 、 ，i t l lm h l t i a g e mu i l d e r 锄i i r i p l e m e m a t i o n 鱼l e w o r k na l s o 锄a l y s e st h er = e l a t i o 璐l l i p b c t 、v e e ne x p l o r a t i o n 砸l dl e 枷n gi i ld a t af a r m i i l g 1 1 1 i sp a p l e re x p l 础：l st l l ei m p o r t 锄c ei l lb u i l d i n gav 撕o l l s 陀s o l u t i o nm o d e l 纽dh o w t o 鼬l da na g e mm o d e lr e f l e c t i n gm ed l a r 删s t i c so fa 缸b u t e sa n da c t i o i l si n l e p r o c e s so fc r e a t i l l g e 删o na l s 0d e s c r i b e st l l ep r o c e s so fe x p l o r m ga t 仃i b u t e s 肌d t i o n s g 龇n et h e o 巧i si i l 廿0 d u c e dt 0m u l t i - a g e n tc o o p l e 枷o n 锄dt l l er e l a t i o n s l l i p b e t w e e nc o o p e r a _ t i o n 趾l dl e 岫gi sa n a l y z e di 1 1t l 玲p a r to fs c e 谢oo p t 砌z i i l g a r e r 锄a l y z i n gql 朗加m ga l g o r i t l l i 玛a na l g o r i l mb a s e do nl o n g - t i i l l ep a y o f fm 嘶xi s p r o p o s e d ，i nw h i c ht l l e 蛐埘ug r a d u a l l yc o n v e r 薹蚤ea ta s 汕l ev a l u eb yc o n s t a n t i n t e 翰c t i o n 、i t l le n v 曲m n e n ta n dp a y m e n t s 丘0 mi t na l c a n “v et l l ea g e n tt ot a k e 也eo p t i i 砌a c t i o n i i im ee 刀吐瑚l d e rt h em i l i t a | ya p p l i c 撕0 nb a c k g r o u i l do f 廿l ec o u n t e 侧o r kb e t 、 ，e e n d e t c c ：t i o n 锄di i l t e r f e r e n c ei nt h eb o u i l d a r y 椭_ i t ) rt a s k 锄a p p l i c a t i o nc 雒ei sp r e s e n t e d w i mm em l l l t i a g e n tc 缸咖叫td a t af 孤n l i n g ，m e t l l o di 1 1s o l “n gt l l ec r e a t i o n 姐d o p t i m i z a t i o no fs c e 衄r i oa 托e 仃e c t i v e l yv a l i 也l t i 耐 k e yw o r d s ：d a t af a n l l i n gm u l t i a g e n t s c e n a r oe p i o r a t i o n l e a m i n g 第i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表4 1q 学习算法3 9 表4 2 基于长期得益矩阵算法4 3 表5 1 部队模型参数表。4 7 表5 2 平台模型参数表4 7 表5 3 装备模型参数表4 7 表5 4 行动轨迹表格4 9 第1 i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 1 数据耕耘步骤4 图1 2 数据耕耘循环框架5 图1 3 变精度的数据耕耘循环5 图2 1a g e n t 一般行为机制1 l 图2 2m a p e 混合结构13 图2 3 想定建立循环步骤1 4 图2 4 想定优化循环步骤15 图2 5 基于数据耕耘思想的多a g e n t 仿真实现框架1 7 图3 1 一个模型族系的相互校准2 0 图3 2 模型体系实体模型分类2 1 图3 3 模型校准示意图2 1 图3 4 探索能力空间2 5 图3 5 抛撒半径对导弹打击效果的仿真曲线2 6 图3 6 内盲区半径对导弹打击效果的仿真曲线2 6 图3 7 导弹数量对导弹打击效果的仿真曲线2 7 图3 8 多分辨率的变量网络图2 7 图3 9 行为探索过程3 0 图4 1 非协同博弈矩阵。3 4 图4 2 协同博弈矩阵。3 4 图4 3a g e n t 博弈学习的相关领域3 5 图5 1 实模型体层次划分4 6 图5 2 实体挂载界面4 7 图5 3 我方机场位置a 不同的对比图5 2 图5 4 学习得到的飞行轨迹5 3 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文作者签名：一：迩劣哮 日期：2 ，町年f 2 月节日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：拯丝生 作者指导教师签名：捌1 = 日期：2 川年j 2 月中日 日期：弘u 7 年 1 月r 日 国防科学技术大学研究生院硕士学位论文 1 1 1 战争系统的复杂性 第一章绪论 1 1 研究背景 战争系统是典型的复杂巨系统，虽然在战争系统的各类研究中越来越重视复 杂性带来的挑战，但是随着时间的推移，这种挑战却不曾减退。其原因之一在于 信息化战争比以往的战争更加复杂，战争空间从过去的海、陆、空，扩大到电磁 作战、信息作战等多维作战空间，对抗方式更加强调整体性；其原因之二在于目 前多数复杂性的研究主要针对复杂性现象的描述问题，关于如何降低和控制复杂 性仍然是一个处于探索阶段的难题，但同时也是未来复杂性研究发展的动力。 在战争研究中遇到的许多无法解释的问题一般都与系统的复杂性有关，这些 问题主要表现在系统的不确定性、适应性和涌现性【l j 。 不确定性在系统中的影响表现在两个方面：一是系统中实体属性的不确定性， 许多属性变量取值空间大，多个变量的组合容易产生组合爆炸，导致复杂性大大 增加；二是系统中实体行为的不确定性，系统的复杂性导致实体总是面临着不同 的选择，大量实体不确定的行为在交互过程中会产生更大的复杂性。 适应性在系统中的影响也包括两个方面：一是本方系统之间的协作与协调， 二是敌我双方的对抗。在本方系统之间，不同的实体统根据自己的任务在向预定 目标演化，但每个实体又都属于一个上层实体，必须按照其整体的目标演化。这 时每个实体之间就会产生相互的交互和配合，这种交互和配合就是协作与协调， 是一种积极主动的演化过程。这种本方实体的交互不仅存在于上下之间，也存在 于同层实体之间。反之，与敌方实体进行的对抗过程也是一种适应性，这里应该 称为对抗性，对抗性是以如何导致偏离对方目标为目的的。作战冲突中，每方都 会根据已发现的敌方行动而改变策略，使得敌方的意图尽可能地无法实现。为对 手建模，预测对手策略的困难导致了许多复杂性问题的产生。 涌现性【2 】是指某一层次中的大量个体之间进行交互，导致上一层次出现一些整 体性的特征的过程。涌现过程中常常会出现一些奇异的现象，那是单个实体所无 法解释的规律。涌现性对系统中问题的分解和模型的解聚和聚合提出了很高的要 求。 战争系统是由许多具有自主特性和适应能力的实体组成，而这种实体的属性 和行为充满了不确定性和偶然性；不确定性会导致系统状态发生变化，为适应系 统状态的变化，系统会根据环境产生适应行为：众多实体在适应的过程中不断交 第l 页 国防科学技术大学研究生院硕士学位论文 互，可能会导致在更高层次上的涌现性。这三个因素之间相互影响，形成一个行 为关系环。造成复杂性的原因很多，复杂性所表现出来的现象也很多，本文将研 究领域定位在复杂战争系统中作战想定生成与优化上，希望设计出一套较好的作 战行动计划。因此，可以将复杂性研究的重点放在不确定性、适应性和涌现性上。 1 1 2 想定生成与优化所遇到的困难 战场环境是变幻莫测的，但现代战争又非常强调实时性，各种指挥控制系统 即使能动态地了解环境，但如果缺乏经验指导，那么各级指挥官就难以及时做出 英明的决策并很好地完成作战任务。面对复杂的战争系统，各国军队非常重视对 战争进行建模，采用仿真的方法来研究战争，通过仿真结果得到作战经验，提升 作战能力。 在建模与仿真过程中，想定作为作战计划和方案，是对实际作战过程的预想， 是进行指挥作战，尤其是在模拟复杂的战场环境下指挥多军兵种部队联合作战和 武器装备对抗不可缺少的一环。随着数字仿真在军事领域应用的不断发展，想定 从以往的图表、文书或者口头命令发展到目前的数字想定，想定在建模与仿真中 的作用也从辅助角色变为主角。想定集成的实体模型越来越多，能够完成越来越 多的仿真目标，但同时也带来了更多的挑战。 本文所研究的作战想定与目前工程项目里经常出现的作战想定最大的不同表 现在强调作战过程中的不确定性，通过探索作战过程中各种可能出现的情况，设 计出一套较优的战法。 想定生成是指根据战场仿真的需要，制定出实体属性和行为策略的过程。想 定优化是指根据战争的全局长期利益，对作战实体的属性和行为优化的过程。实 体属性和行为拥有巨大的选择空间，想定生成过程中需要考虑众多不确定因素， 想定运行过程中具有适应性的实体又会涌现出更多的不确定结果。因此，需要对 想定进行优化，在想定生成过程中对实体属性、行为进行探索，通过运行想定对 比仿真结果，反馈学习得到优化的实体属性和行为。想定生成的标准就是快速性， 想定优化的标准就是有效性。然而战争系统的复杂性导致想定生成与优化过程中 遇到很多困难。例如，在想定生成过程中如何确定模型层次和精度，如何从众多 不确定的因素中抓住关键参数，在想定优化过程中如何体现实体的自适应行为并 找出最优决策，具体表现如下： 对战争系统的描述究竟应该细化到什么程度最好? 凭直觉一般会认为，只要 计算能力允许，模型应该越细越好。这是因为，较细的实体及行为模型的颗粒度， 能够反映更细节的内容。例如：实体模型以坦克单车为最小颗粒度，比以坦克营 为最小模型颗粒度能够更好地反映出坦克师的细节活动，精确的模型甚至可以将 第2 页 国防科学技术大学研究生院硕士学位论文 战损、位置、交互等精确到具体的单车。但这个结论在很多情况下是不正确的， 首先，我们没有构建所有高分辨率模型所必需的全部知识；第二，即使我们有了 这些知识，也很难获得全部必要的数据，有许多关键数据事先不可能知道；第三， 即使我们通过某种方式得到模型和全部必要的数据，但这些细化实体之间的行为 能否产生涌现性很难确定。 面对众多不确定性因素应如何筛选变量并确定取值范围? 在分辨率要求较高 的情况下，想定生成过程中所涉及到的实体数会多到无法用传统的方法进行处理。 例如，在美国兰德公司的“恐怖的海峡模拟中，需要对某个想定方案的各种参 数进行反复模拟。对7 个变量的不同参数进行模拟，共完成1 7 2 8 次模拟假设， 每次模拟用l 小时，也长达7 2 天。如果再增加几个变量，其增加的次数就是指数 级的了。 作战实体的决策过程中如何体现适应性? 战争系统是一个动态系统，动态系 统状态会根据内部各实体的行为及外部环境的变化而不断发生演化，任何对系统 状态的改变，都会对系统产生影响，从而也就改变系统演化的结果。所以，在战 争系统中的每一个决策，都只是根据那一时刻的条件和期望达到的目标来决定的。 任何决策进入系统又都会破坏系统的平衡，从而导致系统发生状态的转移；如果 系统状态发生的转移朝向我们期望的方向发展，则说明我们的决策是正确的；反 之，则是失败的。同时，敌方也在决策，也在试图控制系统向相反的方向转移。 只有能够控制系统的状态转移才能真正地控制系统，而这一点对复杂的战争系统 来说非常困难。 1 1 3 数据耕耘 为了适应复杂战争系统，1 9 9 6 年，美国科学局( d s b ) 向国防部推荐了几点 从根本上改变军事运筹分析方法的建议：从面向模型的、面向过去的、封闭的、 压制风险和确定性的分析方法到面向问题的、面向未来的、开放的、揭示风险和 不确定性的分析方法转变。针对此建议，美国海军陆战队作战开发司令部首席科 学家阿尔弗雷德一布兰斯汀( 缸db m 】d i i 咖i 1 1 ) 博士和m m 也公司的首席科学家 盖利一霍恩( g a d rh o m e ) 博士联合提出开展“艾伯特计划 ( p r o j e c t 舢b e 哟f j 的 倡议，希望利用日益发展的计算机资源、改善原有的研究方式，解决更多军事领 域里的问题。1 9 9 8 年，两位科学家在计划中提出“数据耕耘 ( d a t af 锄血g ) 概 念，数据耕耘作为“艾伯特计划刀的核心思想，已经引起各国军方的兴趣。很多 国家的军事单位和公司都加入“艾伯特计划 ，并产生了一些技术手段和研究成 果。 数据耕耘【3 】是一种探索想定中的不确定因素所引起的结果变化，并对结果进行 第3 页 国防科学技术大学研究生院硕士学位论文 学习重新探索不确定因素的循环过程。数据耕耘循环过程可用农作物耕耘来类比 说明。首先将一粒种子播种到一块适合生长的土壤，然后施以肥料进行护理，最 终收获果实，接着从果实中再挑选出优良的种子，进入下一轮循环，继续耕耘。 通过结果反馈、动态探索、高性能计算，在我们感兴趣的领域“种植”大量的数 据，对仿真中的不确定性因素进行特殊的“提炼 ，并反复进行大规模计算【4 】，分 析仿真结果，寻找事物发展的异常和规律。 狭义地讲，数据耕耘是一种确定后续数据集合的过程和方法，通过决定哪些 数据传递给数据挖掘等方法使用，强化已有的数据，确定应该去收集哪些数据， 其目标是为了找出复杂的规律。广义地讲，数据耕耘是一套方法论，包括数据施 肥、培养、种植、收获等一系列完整的循环过程( 如图1 1 所示) 。数据耕耘步骤 【5 1 如下：数据旌肥军事领域的专家和其他领域的专家利用其经验定位到所要研 究的问题；数据培养各领域专家得出对于给定问题什么是重要因素并建立想 定；数据种植将重要的因素转化为变量空间，在变量空间中运行模型将建立 的想定进行优化；数据收获对仿真结果进行分析获取洞察力的过程，并利用 可视化技术从模型中获得灵活高效且适应性强的想定方案。这个循环不断进行， 直到获得满意的结果。 图1 1 数据耕耘步骤 在整个数据耕耘大循环过程中( 如图1 2 所示) ，还包括想定建立循环和参数 执行循环两个小循环。想定建立循环就是定位所研究的问题和实体，并进行分解 和综合，不断探索想定要素，提炼想定变量并建立想定的过程；参数执行循环则 是“种植 数据，模拟实体之间的交互，并分析试验结果改进行为策略和想定变 量的过程，此循环也可被称为想定优化循环。想定建立循环中提炼出的关键变量 作为实体的重要参数，传到参数空间执行循环来执行。想定优化循环产生的结果 第4 页 国防科学技术大学研究生院硕士学位论文 又可作为想定调整的依据，传到想定建立循环。 图1 2 数据耕耘循环框架 lk高层低分辨l低层高分辨 l 1 ， 率建模 r 率建模 r uu ) j学习反馈 图1 3 变精度的数据耕耘循环 数据耕耘的特点包括以下三个方面： 第一，数据耕耘强调“探索循环 ，不仅包括整个数据耕耘过程中按次序进 行的大循环，还包括在想定建立过程中实体属性和行为探索循环和想定优化过程 中的实体行为交互和反馈学习循环，因此数据耕耘又被称之为“循环之循环 【6 】 ( 如图1 2 所示) 。循环是不断计算不断探索的过程，需要高性能计算技术的支撑， 通过不断地循环可以展示不同策略产生的不同结果，尽量将不确定性因素转换为 可以预测的因素。 第二，在建模方面，为了快速的将注意力集中到能定位的参数视图上，在数 据耕耘循环过程中采用多分辨率建模的方法( 如图1 3 所示) 。顶层模型是只有有 第5 页 国防科学技术大学研究生院硕士学位论文 限几个参数的高度聚合的低分辨率模型，可以进行大量不确定性因素的探索，发现 这些因素对系统行为的贡献。如果需要对某些不确定因素进一步考察，则需要建立 低层高分辨率的支撑模型，从而使得探索性分析中建立的模型族具有多分辨率模型 的特征。 第三，数据耕耘注重对反馈结果的学习和利用，进行动态模拟和分析。在数 据耕耘过程中不仅仅要从全局的角度来评估仿真结果，更重要的是它可以得到一 些异常结果，探寻产生这种异常结果的原因并进行学习。传统的分析方法往往忽 略这种不符合系统普遍趋势的异常值，但数据耕耘却珍惜这些异常，因为它们能 代表真正的威胁和机会。 综合数据耕耘思想的三大特点可以得出，这是解决想定建立和优化中所遇到 困难的一种有效途径。在不断探索循环中，更多的不确定性因素转换为确定性因 素；在不断多分辨率建模过程中，通过模型的分解与聚合我们会发现更多的涌现 性规律；在不断反馈和学习过程中，我们更好地模拟出实体的适应性特征，并能 得出最优化的决策方案。正因为如此，本文拟将数据耕耘思想引入到作战想定生 成和优化研究中去，并探讨具体的实现方法。我们认为，采用多a g e n t 仿真技术， 是实现数据耕耘的一种有效方法，这将在第二章中进行详细介绍。下面对数据耕 耘和a g e n t 技术的典型应用作一概述。 1 2 1 国外现状 1 2 国内外研究现状 美国海军分析中心的a 咀yi l a c h i n s l ( i 博士，将复杂性理论和人工生命方法应用 于作战仿真。他在美国海军陆战队司令部的资助下，基于数据耕耘思想设计了一 个研究战斗涌现行为的仿真系统i s a a c ( i r 同u c i b l es e 血a u t o n o m o u sa d a p t i v e c o m b a t ) 。i s a a c 的基本组成元素是i s a a c a ，每个i s a a c a 代表一个战斗单元 步兵、坦克、运输车辆等，被赋以如下的属性：在通常的环境下，i s 从c a 需遵循事先设定的本地规则集，作为它在战场上的行为准则；赋以i s a a c a “使 命”( 例如到达敌方的军旗处) 作为它的行为目标：i s a a c a 具有环境感知能力，可 以感知外部环境信息，具有改变行为和规则的自适应机制。尽管只是制定了单个 i s a a c a 底层的行为规则，而并未在高层实施控制，但是只要给出合适的参数， 系统就能表现出多种突现行为模式，如快速机动、正面进攻、本地聚集、渗透、 撤退、围堵、侧面机动、袭击等。i s 从c 可以用于研究不同的初始条件可能产生 的不同结果以及无形因素( 士气、单位凝聚力、领导艺术等) 对作战过程的影响。 美国海军陆战队在毛利岛高性能计算中心( m h p c c ) 建立了高性能计算服务 第6 页 国防科学技术大学研究生院硕士学位论文 平台，可以为数据耕耘实验提供集群和大规模并行计算资源，用户只需将想定和 参数空间提交给毛利岛的唧c ，由肿c 的程序员编程运行，将结果反馈给用户。 另外，美军还非常重视利用网格计算资源进行数据耕耘，美国海军陆战队的c o n d o r ( 秃鹰) 系统就能将网格上空闲的计算机利用起来。可视化多维数据分析方法可 以对多维仿真结果进行数据分析，提供仿真结果步进、回放、快进、切片分析、 统计等功能。毛利岛高性能计算中心( c p p ) 已开发了若干可视化分析工具， 如v i z l r l ) 0 l 、a v a t a r 、p l a y b a c kt 0 0 l 等。 目前美国使用的大型军用仿真系统有扩展的防空仿真系统e a d s m 哺j ( e 灿即d e da i rd e f e l ：l s es m l a t i o n ) 、联合作战仿真系统删a r s l 5 】( j o 硫w a 血他 s y 咖m ) 等。b 气d s i m 是针对扩展防空体系概念开发的集分析、训练、作战规划 于一体的多功能仿真系统，能模拟“多对多 的空战、导弹战、空间战。删a r s 描述了联合作战中战役级的军事行为和交互，是一个事件驱动的战役级分析仿真 系统。这些系统在实现上都采用了多删技术。 计算机生成兵力( c o m p l l t e r 阳i e r a t ef o r o e ，c g r f ) 是基于a g e n t 的仿真在军 事领域一个非常重要的应用。c g f 系统中的模型是具有智能行为的实体。它的行 为由计算机程序控制和指导，能在虚拟环境中与其它真实的、虚拟的或其它计算 机生成的实体及构造型( 聚合类) 实体相交互。c g f 的目的在于增加虚拟环境中 仿真实体的数量，为参演的人在回路的仿真实体提供作战对手或友军支援，提高 虚拟战场环境的复杂度与真实性，增强参训人员的沉浸感，并且为战场想定开发 者设计演示系统时提供了依据。 1 2 2 国内现状 国防大学的胡晓峰教授提出的探索性仿真分析方法与数据耕耘思想有很多相 似之处。探索性仿真分析方法是将不确定条件下的探索性分析方法与计算机仿真 试验方法结合，探索和发现复杂系统规律的一种分析试验方法。胡教授重点研究 战略层次的问题，提出战争工程的思想，针对战争复杂系统的特点，采用自顶向 下的管理与控制思路【9 】将决策者对战争问题的分析过程和决策过程与仿真实验方 法结合起来，通过对决策分析者在未来不确定的战争域中的仿真实验，在不断反 复探索中接近战争的规律。开发了决胜系列战争决策综合集成研讨与模拟环境原 型系统，将探索性分析与专家协同工作过程相结合。 装备指挥技术学院的宋华文【l o 】等人在弹药供应控制智能决策支持系统中，采 用a g e n t 建立了装备部首长、军械处长以及弹药助理员等弹药供应过程中参与决 策的客观主体模型，运用这些模型模拟了实际的弹药供应过程。 蚌埠坦克学院的陈艳彪【i l 】等人运用基于a g e n t 的复杂系统分析与设计方法， 第7 页 国防科学技术大学研究生院硕士学位论文 提出了一种基于h l a 的多智能体组织协作方式，用面向对象的方法实现了坦克 a g e n t ，对坦克分队的对抗仿真进行了研究。 通信指挥学院的戴剑伟【1 2 】等人研究了基于多a g e n t 的地面作战建模仿真问题， 分析了基于多a g e n t 建模与传统的数学建模的区别，并用i s a a c 系统实现了一个 基于a g e m 的陆军地面作战仿真。 海军装备论证研究院自动化技术研究所开发的“基于模型库的作战方案辅助 决策系统”，采用了基于a g e i i t 的分布式人工智能技术，支持海军编队协同计划 方案拟制、协同计划的动态适时调整、协同计划方案的管理和协同计划的模拟。 空军指挥学院开发了o p c p s 系统，该系统基于多a g e n t 系统的人工智能技术、 作战计划生成的专家系统以及数据库技术。系统功能包括信息浏览、公文传递、 作战计划的网上分发与聚合、作战计划的协同讨论和作战计划的冲突查找与解决。 国防科技大学系统论证与仿真评估试验室研制的s i i n 2 0 0 0 1 1 3 j 柔性仿真开发系 统具有多方法混合异构建模能力、基于想定的多模型组织能力、基于r t i i n t r a r t i 的多系统联合仿真能力、按需定制应用部件的能力。s 啦0 0 0 面向武器装备的作战 应用，已经用于武器装备论证和作战效能评估领域中，并在攻防对抗作战环境下 的反舰导弹作战效能评估仿真中取得了良好的效果。国防科技大学c 4 i s r 技术重 点实验室运用模型分析和仿真评估相结合的方法，研制了“联合作战方案生成与 评估系统 ，建立了从任务分析、方案拟制、计划生成、模拟推演和效能评估的 一体化平台；并得到广泛的应用，在系统中提出了联合计划的生成框架、描述规 范和推演机制。这些系统的开发者都对采用多a g e n t 仿真的方法实现想定建立进 行了一些尝试。 1 3 本文的结构 本论文按照提出问题、分析问题、解决问题的思路进行组织。第一章提出问 题，讨论了想定生成与优化所面临的问题；第二章分析问题，提出数据耕耘采用 多a g e n t 仿真实现的可行性；第三章和第四章解决问题，论述了想定生成和想定 优化的具体实现方法和关键技术。第五章应用实例，验证上述理论、方法解决问 题的效果。 第一章：绪论。此章的内容主要是介绍了论文的研究背景，讨论了战争系统 复杂性的三大特点和目前想定生成与优化所遇到的困难，接着介绍了数据耕耘方 法并拟将该方法引入到想定生成与优化研究中。本文在实现数据耕耘方法上拟采 用a g e n t 仿真技术，因而本章对国内外数据耕耘及a g e n t 技术的一些典型应用进 行了介绍。 第二章：数据耕耘的多a g e n t 仿真实现框架。首先介绍了a g e n t 的定义和结 第8 页 国防科学技术大学研究生院硕士学位论文 构，而后针对a g e n t 的特点，阐述了数据耕耘采用多a g e n t 仿真实现的原因并确 定实现框架。接着，简要描述了基于数据耕耘的想定建立循环和想定优化循环的 多a g e n t 仿真实现过程，最后分析了数据耕耘中探索与学习的关系。 第三章：想定生成中基于数据耕耘的多a g e n t 建模与探索。本章对数据耕耘 所涉及的多分辨率建模进行了详尽的分析，并详细阐述了a g e n t 属性和行为模型 的构造。最后，详细描述了属性探索和行为探索过程。 第四章：想定优化中基于数据耕耘的多a g e n t 协作与优化。首先介绍了将博 弈论引入到数据耕耘的a g e n t 协作中的原因，并分析了协作和学习的关系。接着 在详细分析q 学习算法的基础上提出基于长期得益矩阵算法，并阐述了算法的相 关定义和过程。 第五章：应用实例。以边境空勤任务中的探测与干扰对抗为实例，分析了基 于数据耕耘思想的多a g e n t 仿真实现想定生成与优化的有效性。 第六章：结束语。总结了本文的主要研究内容，并对将来进一步的工作进行 了展望。 第9 页 国防科学技术大学研究生院硕士学位论文 第二章数据耕耘的多a g e n t 仿真实现框架 数据耕耘思想为解决复杂性问题提供了一种很好的思路，特别适合应用到作 战想定生成与优化方面。但数据耕耘思想1 9 9 8 年被提出之后，并没有很快得到的 应用。这主要是因为很长一段时间里，都没有找到实现它的技术。2 0 0 1 年之后， 国外才渐渐有人尝试采用多a g e n t 仿真的方法实现数据耕耘思想，但他们研究的 重点仍然集中在传统仿真建模方面，没有能够很好地体现数据耕耘的特点并实现 数据耕耘框架。本章重点阐述了数据耕耘思想采用多a g e n t 仿真实现的原因，并 建立了多a g e n t 仿真实现的框架。 2 1 1a g e n t 定义 2 1a g e n t 技术概述 a g e n t 技术是目前计算机领域的研究热点，由于其先进的思想及强大的描述客 观世界的能力，引起了越来越多学者的注意，并被誉为“2 l 世纪的软件开发方法 以及“计算机软件的革命 。目前，a g e n t 这个概念在人工智能、网络通信、软件 工程、人工生命、信息检索、电子商务、建模仿真等各个领域都得到了广泛的应 用。但是，a g e n t 的概念在不同的研究领域有着不同的理解，还没有统一的定义。 f e f b e r j a c q u e s 【1 4 】为a g e n t 总结了一个最基本的定义。 a g e n t 是一个物理的或虚拟的实体，它具有以下特点： ( 1 ) 能够在一个环境中活动； ( 2 ) 能够直接与其它a g e n t 通信； ( 3 ) 受个人目标的驱动； ( 4 ) 拥有自己的资源； ( 5 ) 能够感知它的环境( 有限地) ； ( 6 ) 对其环境仅有局部的表达( 或者根本没有) ； ( 7 ) 它拥有技能并能够提供服务； ( 8 ) 如需要，能够自我繁殖； ( 9 ) 其行为倾向于考虑它可用的资源和技能，并依赖于它的感知、表达和它收 到的交流信息，来满足它的目标。 根据j a c q u e s 的定义，可以认为a g e n t 是一种“生命有机体 ，它们的行为是 建立在感知、表达、推理的基础上的，是为了满足它的需求并实现它的目标。这 些行为可以归结为通信、实施操作，甚至还包括自我复制。 在建模仿真领域，一般认为a g e n t 是在复杂动态环境中执行一定任务的自主 第1 0 页 国防科学技术大学研究生院硕士学位论文 或半自主的实体，它将知识和推理相结合，与环境协同作用、共同进化。a g e n t 拥 有一定数量的资源，能够在有限的范围内感知环境，与其它a g e n t 进行交流信息， 能够根据自身具备的资源、技能、感知到的环境信息和通过通信获得的信息，为 达成目标而采取一定的行动。图2 1 描述了a g e n t 的一般行为机制。a g e n t 以消息 的形式从环境中获取当前世界的信息，结合自身的内部状态，在条件动作规 则的指导下做出决策并采取相应的动作。一方面，动作的结果以消息的形式影响 其所处的环境和其自身的内部状态，另一方面a g e n t 还将根据动作的效果，对条 件一动作规则做出修正。 2 1 2a g e n t 结构 图2 1a g e n t 一般行为机制 由于a g e n t 结构是a g e n t 技术的基础，关于a g e n t 结构的研究是目前主要的研 究领域之一。a g e n t 的结构是研究如何用软件或硬件的方式来实现a g e m 决策。在 实现一个a g e n t 时，传统的方式是从符号人工智能直接沿袭过来的，将a g e n t 作为 一个基于知识的系统，这种a g e n t 的模型结构被称为慎思式a g e n t 。与之相对的有 一种不使用符号知识的a g e n t 模型结构，被称为反应式a g 即t 。还有一些综合了反 应式和慎思式长处的结构，被称为混合式a g e n t 。 ( 1 ) 慎思式a g e n t w o o l 曲d g e 和j e m l i n g s 【1 5 】定义慎思式a g e n t 为：“包含世界现实表示的、符号 的模型，并且其决策( 如执行什么动作) 是通过逻辑( 至少是伪逻辑) 推理、基于模式 匹配和符号操作一。慎思式结构也称为认知式结构。根据大多数通用的慎思方法， 认知结构基本上由两部分组成：规划器和世界模型。 这种方法中有一个基本的假设：对认知功能进行模块化是可能的，即可以分 开来研究不同的认知功能( 如感知、学习、规划和动作) ，然后把它们组装在一起构 成智能自治a g e m 。 慎思式a g e m 的驱动来自对环境深思熟虑的思考，它拥有内部符号系统和推 第l l 页 国防科学技术大学研究生院硕士学位论文 理机制，通常对其任务、协作、行为等进行周密细致的规划，能够把局部行为对 多a g e n t 系统的整体影响进行推理，形成对其它螂行为的预期，或对a g e n t 相互之间的矛盾和冲突进行合理的解释和可能的修复，其行为的基础是思考。 慎思式a g e n t 能采用符号表示和逻辑推理的方式来评价行为并做出适宜的决 策以完成目标，具有较强的灵活性和较高的智能，但对环境的变化无法快速响应。 ( 2 ) 反应式a g e n t 与慎思式a g e n t 相反，反应式a g e n t 就是不包括任何符号世界模型表示、不使 用复杂的符号推理机制的a g e n t 。反应式a g e n t 在决定行动时并不参照其历史，它 们的决策完全基于当前状态，不考虑过去的状态，它们只是直接对环境做出反应。 第一个反应式a g e m 出现在二十世纪8 0 年代中期，其思想来源于我们日常活动， 由日常动作而不是抽象推理组成。所以，在这种类型的a g e m 中，没有世界模型 和规划，仅有一些简单的行为模式，这些行为模式以刺激回答方式对环境的 改变做出反应。 反应式a g e n t 有明显的优点：简单、经济、易计算性、预防失败的健壮性以 及精巧性等。但是仍然存在一些基本的、没有解决的问题：纯反应式a g e n t 按照 局部信息( 即关于a g e n t 当前状态的信息) 做出决策，这种决策方法缺乏考虑非 局部信息；在处理需要世界知识的任务时，如果这些知识必须通过推理或从记忆 中获得，而不能通过感知得到，纯反应式a g e n t 就无能为力了。还有，反应式a g e n t 适应能力一般比较差，常常没有任何学习能力，无法从过去经验中学习，并随时 间的推移而改进它的性能。 ( 3 ) 混合式a g e n t 越来越多的研究人员发现，无论是纯粹的认知结构，还是纯粹的反应结构都 不是构造a g e n t 的最佳方式。他们提出混合式结构的a g e n t 系统，把两种方式结合 起来，试图以此来融合经典和非经典的人工智能。 第1 2 页 国防科学技术大学研究生院硕士学位论文 图2 2m a p e 混合结构 混合式结构的特点是a g e n t 中包含了慎思式和反应式两个子系统，通常这两 个子系统是分层次的，前者建立在后者的基础之上。最著名的混合式a g e n t 是 m a p e 混合结构，它包含感知、建模、通信、行动、规则库、决策生成和反应等 模块( 如图2 2 所示) 。a g e n t 通过感知模块来获取外部环境，并对环境信息做出 一定的抽象，根据信息的类型，感知模块将经过抽象的信息送到不同的处理模块。 螂之间的交流依赖于通信模块，通过通信模块共享相互的世界模型和决策信 息。建模模块根据对外界环境的感知、蛳之间的通信以及对发送动作的预测来 建立整个外部环境的描述。决策生成模块在规则库的指导下，根据当前世界模型 和智能体问的交流进行决策，选择最佳行动。螂在感知的基础上条件反射产生 行动，构成了反应模块。a g e m 所选择的最终动作作用于外部环境，进而影响a g e m 将来的感知。 2 2 数据耕耘多a g e n t 仿真实现原因及过程分析 2 2 1 数据耕耘采用多a g e n t 仿真实现的原因 面对复杂的系统，用单个a g e m 描述显然不合适，必须用多个a g e i l l 来刻画、 抽象这样的系统。通常，我们将这种由多个a g e n t 组成的系统称为多a g e n t 系统。 数据耕耘想定建立过程中，需要对实体进行多分辨率建模和实体属性和行为 的参数探索。数据耕耘想定优化过程中，需要完成大量实体的交互，涌现出各种 仿真结果，然后根据反馈结果进行学习。多a g e n t 建模仿真方法非常适合数据耕 耘过程中的这些要求，主要表现在以下几个方面。 a g e m 之间具有丰富的组织关系：由于a g e n t 可以用来代替某个组织或个人，因 此多a g e n t 系统通常反应了这种组织环境，a g e n t 之间的关系是来自于组织者中的 第1 3 页 国防科学技术大学研究生院硕士学位论文 各种关系，例如同等关系、上下级关系等。a g e m 系统的结构来自组织中的结构， 例如团队、群组、联盟等。而且这种关系的结构是随a g e m 之间的交互而不断演 化。这种特点非常适合于数据耕耘多分辨率建模的要求，可以随时根据任务需要， 解散或组合多a g e n t 模型。 a g e n t 具有感知和控制能力：a g e i l t 具有属于其自身的有限计算资源和局部于 自身的行为控制机制。a g e n t 能在没有人类或其它a g e n t 的直接干涉和指导的情况 下持续运行，并能根据感知到的环境信息决定和控制自身的状态和行为。a g e m 这 一特性可以很好地适应数据耕耘中对实体属性和行为进行探索的要求。 删具有交互性：删可能处于由多个a g e n t 构成的社会环境中，a g e n t 拥有其它a g e m 的信息和知识，并能通过某种a g e m 通信语言与其它a g e m 实施灵 活多样的交互和通信，实现与其它a g e n t 的合作和协同等，以完成其自身问题求 解或者帮助其它a g e n t 完成相关的活动。这一特性可以实现数据耕耘在想定运行 时的模拟效果。 a g e n t 具有推理和学习功能：a g e n t 并不是简单地对环境中的事件做出反应， 而是表现出某种目标指导的行为。a g e n t 的行为是为了实现其内在的目标。在某些 情况下，a g e n t 能够主动地产生目标，并根据历史行为进行学习，继而优化行为完 成目标。 2 2 2 基于a g e n t 建模与探索的想定建立循环 数据耕耘循环框架中包括两大重要循环：想定建立循环和想定优化循环。 “想定