多智能体在认知无线电频谱管理中的应用研究

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 多智能体在认知无线电频谱管理中 的应用研究 摘 要： 基于多智能体系统的认 知无线电技术研究是近年来通信领域的 热点问题。阐述了多智能体系统的基本 概念，对智能体和多智能体系统运行机 制进行了介绍，并从适用于认知无线电 网络的智能体模型设计和多智能体运行 机制的应用两方面，对近年来用于认知 无线电网络频谱管理的多智能体技术作 了总结。 中国论文网 /8/view-12762687.htm 关键字： 认知无线电； 频谱管 理； 多智能体系统； 多智能体技术 中图分类号： TN92?34 文献标 识码： A 文章编号： -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 1004?373X（ 2014）09?0038?05 0 引 言 随着无线电技术的飞速发展和广 泛应用，使得有限的频谱资源和猛增的 需求间的矛盾日益突出。传统静态的频 谱分配方式极大限制了频谱的使用效率， 使得无线资源本身的匮乏以及对它使用 不合理的问题越来越突出。认知无线电 （CR）是解决当前静态频谱分配问题 的有效方法，因此成为当前通信研究领 域的热点之一。认知无线电是在软件无 线电的基础上发展起来的一种新的智能 无线通信技术，它能够根据无线电的内 部状态和外部环境的变化而变化且能调 整其行为，通过让具有认知功能的节点 与授权用户共享信道来解决无线频谱资 源紧张的状况。但是如果大量认知无线 电用户在一个空间内使用，则将构成一 个复杂的、分布式的、多变的网络，如 何使之成为一个自我调节、有序运作的 网络是当前需要解决的一大问题。多智 能体系统常用于复杂的、互相依赖的， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 且有大量分布式设备参与的环境中。每 个智能体都能与周围的环境交互并与其 他智能体共享信息、协商合作共同完成 任务。正是由于它的这些特点，使得多 智能体系统非常适用于认知无线电网络 中的动态频谱管理1。 1 多智能体系统 多智能体系统（Multiagent System）是新兴计算机科学的一个分支， 其概念从 20 世纪 80 年代被提出后，在 90 年代随着计算机技术、网络技术、通 信技术的飞速发展得到了广泛的关注。 由于智能体（Agent ）体现了人类的社 会职能，具有很强的自治性和适应性， 因此，越来越多的研究人员开始关注对 其理论和应用方面的研究。 1.1 智能体定义 智能体，从广义上理解，它涵盖 了许多不同的计算实体，这些实体能够 感知环境并作用于环境。智能体结构如 图 1 所示。由图 1 可知，智能体能对从 环境中感知的事件进行监察，可根据自 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 身的知识和意图对感知信息和其他智能 体的通信信息进行进一步分析、推理并 作出合理决策，并通过执行模块反馈到 环境中去。 智能体有如下特征： （1） 自治性（Autonomy）：智 能体拥有内部自治机制和问题解决机制， 能够控制自己的行为和内部状态。无需 他人干涉就可根据自己的知识和捕捉到 的信息进行判断和行为。智能体自治性 的高低在很大程度上决定了其智能的高 低； （2） 社会性（Social ability）： 智能体不是孤立的，而是一个相互作用 的群体。智能体间可以按照某种协议或 者语言进行通信和对话，从而形成一个 小组来协作完成某一特定任务； （3） 反应性（Reactivity）：指 智能体具有外部环境的反射作用，能够 识别外部环境的变化作出适当反应； （4） 自发性（Pro?activeness）： 指智能体具有对目标的能动性，为了达 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 到目标，智能体能够自发地参加到某些 处理或协作中来2?3。 图 1 智能体基本结构 1.2 多智能体系统介绍 虽然智能体具备特定功能，但能 力有限，在解决现实中复杂的、大规模 的问题时，常常需要将各种具有不同能 力的智能体结合起来，这就是多智能体 系统产生的最直接的原因。多智能体系 统可定义为由一系列在网络上耦合的智 能体或者在同一硬件环境下的软件智能 体构成，将的大的复杂系统构造成小的、 彼此可以互相通信及协调的、易于管理 的系统。图 2 为一个典型的多智能体系 统模型结构图4。 图 2 多智能体系统结构图 在多智能体系统中，一方面，每 个智能体作为有自主性的实体，作用于 自身，自己运转，能自主解决一定的问 题；另一方面，通过与其他智能体的通 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 信，可以开发出新的规则或求解方法来 处理众多不确定的、相互矛盾的知识事 件。这样，通过智能体间的协作，多智 能体系统不仅改善了每个智能体的基本 能力，而且从智能体的交互中进一步理 解了各个系统的全局，提高多智能体协 同共同完成任务的能力。 当多个智能体组成多智能体系统 时，智能体之间就出现了如何协调各自 的知识、策略和规划，如何采取联合行 动实现全局目标等问题。因此，智能体 之间的交互和通信是多智能体系统必不 可少的组成部分。智能体通信是交互的 基础。智能体之间通信可以传递字符流 或二进制数流，也可以是在知识层上进 行表达、理解和交流，即专门的智能体 通信语言，如知识询问与操作语言 （KQML）等。智能体之间的交互方式 包括协调（coordination） 、合作 （cooperation） 、讨论（negotiation）等。 协调是为了确保智能体活动的有序性和 互补性，一般常用的方法有设定规章、 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 制定方案和反应性操作等。合作是指智 能体共同工作达成一致目标最大化效用 采取的方法，包括黑板模式、合同网、 联盟等。讨论是一智能体向另一智能体 提供服务的一种方法，包括拍卖、辩论、 启发等。 此外，由于多智能体系统的复杂 性和动态性，不可能具备完全的先验知 识，因而学习能力是多智能体系统必不 可少的能力之一。学习方式包括智能体 信念的开发与更新、基于性能的学习。 一般使用较多的为基于性能学习中的强 化学习、Q 学习等。整个多智能体系统 运行机制如图 3 所示1?2，4。 图 3 多智能体系统运行 机制 2 多智能体系统在认知无线电频 谱管理中应用 的国内外相关研究 近年来，认知无线电技术受到广 泛关注。需要实现认知用户电磁设备的 智能化，使其能通过频谱感知技术监测 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 本地电磁环境的变化，完成本地电磁环 境感知，在本地网络中分发共享频谱感 知信息，作为频谱管理的依据，并且能 够通过认知无线电干扰估测估计认知无 线电用户与授权用户之间的干扰，通过 用户间的互相协商来避免它们之间干扰 的发生。这些庞杂的、分布式的电磁设 备也就构成了复杂的、多变的一个电磁 社会。如何使这个电磁社会如人类社会 一样实现自我调节、有序运行就是目前 需要解决的一大问题。多智能体系统的 开发设计可看成两部分互相交织的工作， 即智能体设计（agent design）和智能化 社会设计（society design）2 。 2.1 认知无线电的智能体模型 电磁设备的智能化使其体现了智 能体的特征，因此适用于认知无线电的 智能体模型的设计是整个问题的研究基 础。根据智能体的基本模型，认知无线 电的智能体所面对的外部环境是电磁环 境，其完成的工作可以分为感知环境、 智能处理、通信等三个部分，在面对具 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 体问题时，每个部分可进行适应性调整 和变化。比较有代表性的有以下几种。 WLAN 是早期的具有一定认知能 力的无线系统，采用 CSMA/CA 方式使 系统具有很大的应用灵活性，为了提高 其性能，文献5提出了一种智能体模型， 如图 4 所示。该智能体位于每个 WLAN 的接入点 AP（Access Point） ，智能体由 两个模块组成，分别为预测参数判断模 块 PPE（Predictive Parameter Estimation）和资源管理优化模块 RMO（Resource Management Optimization）组成。 PPE 模块的用于感 知射频环境，并利用智能体预测模型产 生 RMO 所需的参数，包括链路质量、 信息交换速率、发射功率等；RMO 由 建模优化模块（Utilization Modeling and Optimization， UMO）和优化决策模块 （Strategy to Effect Optimal Utilization，EOU）两部分组成，对接 受哪个移动站的请求、发射功率控制、 减少信道选择冲突等进行建模并做出决 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 策；智能体间通过连接所有 AP 的高速 链路网进行通信4。 图 4 认知智能体模型图（一） 文献6?7给出了包含智能体在内 的次用户（SU）设备模型设计，如图 5 所示。该设备主要由动态频谱传感器 DDS（Dynamic Spectrum Sensor） 、频谱 特征分析器 SC（Spectrum Characterizer） 、用户界面 SUI（Secondary User Interface）和智能 体组成。DDS 主要功能是感知频谱空穴； SC 根据香农定律计算相关 PU（Primary User）用户信道容量； SUI 向智能体发 送通信链路服务质量信息。智能体包含 知识库模块 AKM（Agents Knowledge Module）和协同模块 ACM （Agents Coordination Module） 。 AKM 根据传送 的数据产生有空余频谱的 PU 列表， ACM 负责智能体之间通信合作6?7。 图 5 认知智能体模型图（二） -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 文献8提出了一种基于智能体的 频谱管理模型，如图 6 所示。认知无线 电设备由一系列模块组成，包括能力控 制模块、调制模块、数据管理模块、安 全管理模块和通信模块等。智能体负责 对这些模块的管理，监督它们所有的操 作。智能体可以通过通信模块与其他智 能体进行交互，通过扫描功能感知外部 环境。交互与感知得到的信息（空闲频 带、调制方式、信道选择、服务质量、 发射功率等）存储于共享知识库，可供 所有智能体存储或检索信息。于此同时， 规则库、终端状态、用户操作也与智能 体相互作用。从整体上来说，智能体对 整个系统进行控制8。 图 6 认知智能体模型图（三） 2.2 多智能体运行机制的应用 多智能体运行机制确保了多智能 体系统高效有序运作，能实现对整个系 统的有效管理。因此，将多智能体运行 机制应用于认知无线电频谱管理成为研 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 12 究的另一方面。不同的多智能体运行机 制从不同的方面完善系统功能。在通信、 交互、学习三种机制中，由于通信为智 能体交互的基础，所以主要研究的为智 能体间的交互和学习机制的应用。 智能体的交互方法促进了智能体 之间的沟通交流，主要有三种，即协调 机制、合作机制和讨论机制。协调机制 的灵活性相对较差，因此使用较少。 合作机制使智能体在自身无法完 成任务或者其他智能体可以更高效完成 任务的情况下，通过与其他智能体的合 作最大化效用。其中，文献10中黑板 模型在认知无线电网络跨层结构中得到 了应用。黑板是一个共享的问题求解工 作空间，问题和初始数据都记录在黑板 上，智能体都能看到黑板。每个认知无 线电节点产生与当前网络状态相关的参 数，通过黑板展示，与其他节点共享信 息，实现了带宽的优化利用。它提高了 频谱分配的有效性和整体网络的服务质 量9。合同网是合作机制中的另一种任 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 13 务分享方式，文献11 中所有智能体分 为管理者和订约者两种角色。智能体通 过发布任务通知书而成为管理者，通过 应答任务通知书而成为订约者。系统中 的每一待求解任务，由承担该任务的智 能体负责完成。在认知无线电网络中， 该任务通知书即为请求方案（Call for Proposal） ，PU（Primary User）智能体 即为管理者，SU（Secondary User）为 订约者。每个 SU 向有空余频带的相关 PU 发送请求方案，包括 SU 的地址、 所需频带宽度、时间、价格、回复截止 时间等。直至截止时间，SU 选择最佳 PU 发送接受信息同时向其他 PU 发送 拒绝信息10 。另一种方式为智能体联 盟，文献1中智能体对整体环境考虑共 同利益而形成联盟，共享知识和专门技 术，因而不用通过认知无线电终端进行 大量计算工作，而是通过智能体联盟鉴 别环境信息。 讨论机制中智能 体间为了表达各自观点而进行信息交换， 为有效解决智能体间的冲突的一种方法。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 14 讨论机制中最适用于认知无线电频谱管 理的是拍卖方式。文献11中使用的是 密封递价方法（即竞买人在规定的时间 内将密封的标书递交拍卖人，由拍卖人 在事先确定的时间公开开启，经比较后 选择出价最高者成交） 。认知无线电移 动站竞争主用户无线电网络的频段，SU 用户在规定的时间内将给出价格的标书 递交给 PU 用户，由 PU 用户在事先确 定的时间公开开启，经比较后选择出价 最高者成交，该 SU 用户在一个超帧的 时间内保证该频段的使用。文献12了 建立认知无线电网络频谱分配的拍卖框 架。认知无线电网络根据自身使用需求， 竞争在某一信道成为主接入网络的权利。 考虑网络间互相联系等情况下，使用了 基于加权图中最大化匹配问题的 polynomial?time 算法，求出该信道的主 接入网络，由此实现各个其他信道的合 理使用12。除拍卖方式外，智能体也 可以第三方的角色出现在频谱交易过程 中。文献13 中智能体向 PU 以固定价 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 15 格买入频谱使用权，再以零售商的方式 转卖给 SU。在考虑需求不确定因素的 情况下使智能体获得