基于行为树的游戏智能研究.doc

割隆住 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。日期：翵日作者签名：学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。朐谝陨舷嘤娇蚰诖颉啊日期：仂淠月日 智能的三层决策架构。关键词：游戏人工智能；行为树；机器学习；策略智能；团队智能 ，； 目第孪喙刂J督樯堋 秆表信息依据几点规范实验本章小结利用行为树平行节点实现团队协作 对战得分结果对比图对战失分结果对比图层次化的指挥系统动态添加节点三层决策架构一当前整体战略图虚拟驾驶动态体验平台默认的区域兵力分布图 硕士学位论文组队成功后形成一定队形 近年来随着计算机硬件技术不断革新以及软件技术的发展，游戏图形渲染技 基】二行为树的游戏智能研究通过沉浸式体验技术给人们呈现虚拟的世界，在这些沉浸的世界里面，可体验到环绕的声效、立体视觉以及力的反馈等等。随着人们需求的提高与技术的发展，沉浸式体验技术与传统电脑游戏结合将是一大趋势。可以说，“智能沉浸式游戏”必将成为“三维图形游戏”的下一个战略制高点，谁先占领此高地，谁就会在下一代商业游戏的竞争中掌握主动】。系统等感官去发现。年珽菊椒剂巳碌男榛靡，以订阅付费的 有学习能力，表现更为智能化，人性化是当前游戏人工智能的一大热点。热死萌斯窬缋囱盗種对手，得到了较好的与人类玩家游戏水平相匹配的效果，具有一定代表性。但训练神经网络往往需要一定经验数据，并且结果会严重依赖于经验数据。用当前人类玩家游戏水平信息作为经验数据，而模式进行了优化，但不支持在线学习，并不能随环境及时更新。提出了利用多个队列解决行瓹提出了基于异步事本文工作的互动体验平台搭建，并在此基础上完成了基本的分层策略的设汁与实现。 系统的结构、任务分配方法、通信方法以及编队控制等等。游戏人工智能大致发展历程敌人弱有限状态机流行了十多年，其优点与缺点都是明显的，主要优点有： 难以并发大规模支持较差图 机器学习是一门多领域交叉学科，涉及心理学，生物学凸分析、逼近论、算法复杂度理论以及统计学、概率学等多门学科，专门研究计算机怎样模拟人类的学习行为，以获取新的知识或新的技能，重新组织已有的知识结构使之不断改善自身的性能【】。将机器学习技术用于游戏是比较新兴的一种做法，并取得了不错的成绩。究的核心内容之一。】完全集中式传统地，人们在游戏中使用集中控制的解决方案。这种方案里，一个并不一 图多智能体集中典型系统架构个体间地位半等，自土选择能够完成团体给定任务的行为。其体系结构具有高度的自治性和容错性，对智能个体的能力要求较高，需要复杂的控制协调算法，故 能力。策与规划。喔鯝之间的若干协作通信方式 击距离。攻击口可以有效地分散调整乐顾蠳聚在一起，出现混乱的独占区域正如图所示，的独占区域保证了不会去的攻击线上凑热触发器系统直接发送消息 图行为树数据输入的两种方式图 并需要注意切换时机。编队中参考点的选取 图几种典型的队形邻居参考中心参考领航参考以朝向非常重要。一个战略队形往往需要多个朝向以显出队形的攻防兼备。比如未发现敌人时，上图横排队形中的前面几个一般会朝前，而后面几个朝后会比较好一点；当发现敌人在前方，横排队形中的两队需要错丌并都朝向敌人，以使总体射出的火力更大同时防止了对自己人开火。不过有时受到游戏对象物理模型限制，不可能以任意朝向向前运动。控制方法方法等三种。 任务的描述和分配得到了简化，轨迹跟踪精度较高，但要求队形按照一个虚拟结构运动，缺乏适应性和灵活性。 行为树基础窠诘图行为树三大组合节点 薪诘一般用来添加额外的附加条件。比如，时间间隔、次数、频率等。检查条件是否满足，满足则返回真，否则，返回假。形=诘马尔可夫决策过程通常假定环境是马尔可夫型的，将学习过程看作是一个马尔可夫决策过程琈是一种至餍械木霾吣汀下，鹤刺瑂中的有限动作集合； 子弹飞过来，行为树自动扩展躲避功能图行为树动态扩展 图强化学习系统结构彩且恢制兰酆琖把状态一动作对的值称之为怠函数 若已经估计出最优值函数，有三种动作选择方式可供选择：当在状态辈扇动作而到达状态保琎值按如下公式更新：图 渲为任一状态，6鳎琧为某固中的则当，斗时，。簦琣，愿怕蔿收敛于最优。 依照图方法递归调整至根节点，至此行为树预处理完成。之后便可以再 籱的启发式奖励函数。一D彻潭闹怠蛭猂，与际亲远宓挠薪缰担蕀噏，必有界褂胠砝幢硎綫函数； 图预处理与更豺流程实验为了减少学习时问，测试是在一个比较简单并且很小的地图一 平台提供的基于腶训练需要学习的诘玫轿榷腝值表之前，需要一定的时间来学习。通过强化学习，得到稳定当砗螅纯衫盟肣值表信息来加入或者更新行为树信息。其中，具体参数设置：预处理后，调整行为树为下图所示，图为原始行为树： V担篐，琈琱的高层动作。 图校葑闔疉瓾鞘褂迷教的梅钟牖赒匹配对手。 计现实使用中更为高效的回报函数以加速学习算法收敛至最优值，是下一步研究方向。 具有等级的指挥系统的兵力分配，调度，主攻与佯攻方向，投入战斗的时问等。 生不同战略战术以及行为决策。统帅到将领的决策属于战略层，实际战争中的决策可以晚都是比较随机的，因人而异。比如军事统帅毛泽东每每出招出人意料，从来不按常理出牌，在解放战争中三战定乾坤，所以规则化的决策往往显得死板，需要加入一定合理的随机可采用模糊逻辑或者高斯随机变量产生随机数或者概率方法等引入随机性，利用行为树平行节点实现团队协作行为树平行节点能平行地执行其全部子节点，这点非常适合上级管理下级， 图动态添加节点基于策略分层的层次化行为树 、编队的，如下图所示。丁图三层决策架构 层次化的智能决策需要不同层次间的高效的通信，上层机构需要给下级下达命令，下级也需要向上级做出反馈，及时更新命令执行状态，并把当前战场情况及时汇报给上级，以使上级能及时对战况做出准确的判断，并做出进一步的决策。编队与编队之间，同一编队队员与队员之间除了直接听从上级直接的命令指挥外，还可以通过黑板相互协调。表战略层乘命令示例命令示例侧翼包正血进攻习敌防守范鮎 总 陌沧鞍姹荆比灰彩敲夥训摹肬可以大大加快游戏开话慵虺芔脚本语串口通信的接口，所以必须自己用其他语言实现，比如痗，然后将其通信功能封装成动态链接库珼缓罄肬腄功能来 于串口荂语言写的，且隿名字联编方式不同，所以为了保证函数名的正其中数组可由黑板结构来管理，因为这里的数据是机械平台各设备热绶较蚺獭兔拧渤怠磁鹊通过串口传送给痗的，这块内存是用黑板实现的话，就可以对输入数据做集中式管理。同样的，实现数据从枰J迪諷函数： 总 图默认的区域兵力分布图赨的行为树实现 与啵侵实腢关系表述图不再画出。 在小型战斗中，一个排的军队为了更好地完成上级连分配的任务时，可能需要把排编制里的所有成员分为若干小队，让小队分别去完成分配任务。根据三三制原则，一个排的下级编制会有三个班。每个班大约五到八个人。其实班级单位可看作固定的小分队，只是在分队技术里，分队是一个动态临时的概念，可以随时召集与解散。集组织需要寻求帮助，让己方非此小队的队员加入当前队伍，并一起参与战、斗。这点可以利用之前提到过的触发器技术实现。当发出求救信号布炊槎忧肭后，周边己方其他队员根据自身情况决定是否参与动态组建临时队伍，若同意，则会回复给请求者。号召者会根据所有收到的回复与当前的实际情况来判断是否有必要继续组队，若有必要，则会发送组队消息给相应队员，并尽快完成组队。当完成战斗任务后，由临时队长清示司令，司令则会做相应的全局决策，看是否有必要撤销临时小队，如果有必要撤销，则会令队员回到原队伍中。动态组队的详细 完成图中三层决策架构：成任务，可看成虚拟的队长。负责安排怎么做才能完成卜级的命令。为了策略能正确的分配任务，策略需要能正确地并详尽地了解并分析当前全局战况，并做全局评估。 的坦克对象。；为了使用自定义的类，图故纠肬 蚃一厂的创图槎忧暗腘坦克并发现敌人 图槎油瓿珊驨协作攻击敌人本章小结 如果没有群体智能的支持，仅仅是单兵坦 进一步