（通信与信息系统专业论文）认知无线网络中联合无线资源管理的研究.pdf

摘要 燃烘 认知无线电是一种无线通信系统设计的新模式，它可以实现更可靠高效的无 线通信并且提高无线频谱资源的利用率。认知无线电是能感知周围环境的智能的 无线通信技术，它能自动地调整传输参数( 如带宽、传输功率等) 以适应不断 变化的复杂的通信环境。 认知无线电技术通过动态频谱接入策略近乎实时地，灵活地接入空闲频谱来 优化无线传输的性能。频谱的动态管理分析利用空闲频谱的测量信息并做出实时 频谱接入决定，对决策算法的稳定性和自适应能力有较高要求。这也是认知无线 电技术要解决的核心问题。本文从对复杂环境的学习、获得长期回报和考虑多个 期望目标变量的角度，对认知无线电和动态频谱接入技术进行了较系统的研究。 研究了认知无线电中的关键理论和实现技术。从有效性、公平性和复杂度等 方面讨论了现有算法和技术的优劣，明确了进一步研究的方向。讨论了分析、设 计和优化动态频谱接入和管理所需的主要技术，如博弈论和机器学习。 研究了一种基于强化学习算法和模糊逻辑算法的动态频谱策略。同时将该动 态频谱决策算法与不同的频谱模型和网络架构相结合，通过仿真分析了在不同情 况下算法的有效性，分析了该算法与现有的频谱接入策略的性能比较，以及讨论 了影响算性能的其他因素 关键字：认知无线电动态频谱接入和管理强化学习模糊逻辑 a b s t r a c t c o g n i t i v er a d i oi san e wp a r a d i g mo fd e s i g n i n gw i r e l e s sc o m m u n i c a t i o n ss y s t e m s i tr e a l i z e sm o r er e l i a b l ea n dm o r ee f f i c i e n tc o m m u n i c a t i o n 、 ，i t h e n h a n c i n gt h e u t i l i z a t i o no ft h er a d i of r e q u e n c y ( r f ) s p e c t r u m c o g n i t i v er a d i oi sa ni n t e l l i g e n t w i r e l e s sc o m m u n i c a t i o n st e c h n o l o g yw h i c hh a st h ec a p a b i l i t yo fs e n s i n gt h ea m b i e n t r a d i oe n v i r o n m e n t i ti sa b l et oa u t o n o m o u s l ya d ju s ti t sr a d i oo p e r a t i n gp a r a m e t e r st o t h ec h a n g i n ga n dc o m p l e xc o m m u n i c a t i o ne n v i r o n m e n t c o g n i t i v er a d i ot e c h n o l o g yc a nr e a l i z er e a l t i m e ，f l e x i b l ea c c e s st os p e c t r u mh o l e s b yu s i n gd y n a m i cs p e c t r u m a c c e s s s t r a t e g y t o o p t i m i z e w i r e l e s st r a n s m i s s i o n p e r f o r m a n c e d y n a m i cs p e c t r u m r e s o u r c em a n a g e m e n ta n a l y s i sa n de x p l o i t st h e m e a s u r e m e n ti n f o r m a t i o no fs p e c t r u mh o l e s ，t h e nm a k e sd e c i s i o no ns p e c t r u ma c c e s s i t h a sh i 曲r e q u i r e m e n to nt h es t a b i l i t ya n d a d a p t i v ec a p a c i t yo fd e c i s i o na l g o r i t h m i nt h i s p a p e r , w ec o n d u c tas y s t e m a t i cr e s e a r c ho nc o g n i t i v er a d i oa n dd y n a m i cs p e c t r u m a c c e s ss t r a t e g yi nt e r m so fl e a r n i n gc o m p l e xe n v i r o n m e n t ，o b t a i n i n gl o n g - t e r mr e w a r d s a n dc o n s i d e r i n gm u l t i - o b j e c t i v ev a r i a b l e s t h ek e yt h e o r ya n di m p l e m e n t a t i o nt e c h n i q u ei nc o g n i t i v er a d i oa r ei n v e s t i g a t e d f i r s t , t h ep a p e rd i s c u s s e st h ep r oa n dc o n so fe x i s t i n ga l g o r i t h m sa n dt e c h n i q u e sf r o m t h ea s p e c t so fe f f e c t i v e n e s s ，f a i r n e s sa n dc o m p l e x i t y , c l e a r i n gt h ed i r e c t i o nf o rf u r t h e r r e s e a r c h t h e nw es t u d yt h em a j o rt e c h n o l o g i e sr e q u i r e db yt h ea n a l y s i s ，d e s i g na n d o p t i m i z a t i o no fd y n a m i cs p e c t r u ma c c e s sa n dm a n a g e m e n t ，s u c ha sg a m et h e o r ya n d m a c h i n el e a r n i n g a d y n a m i cs p e c t r u md e c i s i o na l g o r i t h mb a s e do nr e i n f o r c e m e n tl e a m i n ga n df u z z y l o g i ct h e o r yi si n t r o d u c e di nt h i sp a p e r w ea p p l yt h i sd e c i s i o na l g o r i t h mt od i f f e r e n t s p e c t r u mm o d e l a n dn e t w o r ka r c h i t e c t u r e t h r o u g hs i m u l a t i o n , w e a n a l y z et h e e f f e c t i v e n e s so ft h ea l g o r i t h m ，c o m p a r et h ep e r f o r m a n c eo ft h ep r o p o s e dd y n a m i c s p e c t r u md e c i s i o ns t r a t e g yw i t ht h ee x i t i n ga c c e s sa l g o r i t h m s ，a n dd i s c u s st h eo t h e r f a c t o r sa f f e c t i n gt h ep e r f o r m a n c eo ft h ep r o p o s e da l g o r i t h m k e y w o r d ：c o g n i t i v e r a d i o d y n a m i cs p e c t r u m a c c e s sa n d m a n a g e m e n t r e i n f o r c e m e n tl e a m i n g f u z z yl o g i c 第一章绪论 第一章绪论 1 1 引言 现有的第三代蜂窝网系统( 3 g ) 为用户提供了多功能、交互式和高比特率的 多媒体服务，在惠及用户的同时也为服务提供商和网络运营商带来了可观的收入。 然而，无线通信的研究者们已经意识到以用户吞吐量和运营成本为标准的现有通 信系统的局限性，因此全球范围内的研究机构开始致力于下一代无线通信系统( 也 称b 3 g 或第四代无线系统) 的研究工作。未来的通信系统允许用户通过复合无线 或固定接入网透明地接入宽带多媒体服务，这将为用户提供更加友好的通信体验。 毋庸置疑，现代社会对无线通讯不断增长的需求，特别是在电子消费品和个 人的高速数据网络方面的需求表现出了极大地商业潜力。人们对吞吐量、可靠性、 服务质量以及无线服务无时不在的可用性等方面提出越来越高的要求。因此基于 多种无线标准和技术的通信设备将在未来大幅增长，带来的不仅仅是无线通信更 广泛的应用还有前所未有的通信体验，当然由此而产生的问题亟待研究解决。这 些问题包括无线频谱资源利用率低、不同无线电系统频谱共存难等问题。长期以 来，由于网络运营商具有独享专有频谱资源的权利，这些问题很大程度上被忽略。 现在这些问题被逐步认识并研究解决，所带来的将是一个更加美好的信息社会。 1 2 认知无线电概念提出的背景 认知无线电概念的提出以及能在近十年内称为全球范围内的通信领域研究的 热点，主要是由于为移动用户提供的新兴的无线应用引起可用频谱资源的稀缺和 不断增长的需求。大多数可用无线电频谱已经被分配给现有的无线系统使用，然 而，这些授权频谱中只有一小部分可以被用于新的无线用。与此同时，一项由联 邦通信委员会( f c c ) 下属的频谱政策任务组( s p t f ) 的调查研究显示频谱资源 的使用呈现出极不平衡的状态。一方面部分频段在特定区域特定时间被授权用户 过度使用，但是也有许多频谱资源未被充分的利用，利用率甚至很低。比如，在 美国分配给蜂窝网的频带在工作时段有极高的利用率，但是从午夜到清晨仍然有 大量资源未被占用。图1 1 就是频谱利用率测量的实例i l j 。图示清晰显示了有一部 分频谱资源被持续地占用，而另一部分却从未被接入。剩余的部分在某些时间段 被利用，其他时间仍然未被利用。 2 认知无线电网络中联合无线资源管理的研究 7 0 07 1 07 2 07 3 07 4 07 5 07 6 07 7 07 8 07 9 08 0 0 f m h z a v e r a g ed u t yc y c l e 一0 3 0 7 9 3 图1 1s p e c t r u mu t i l i z a t i o ni nh o b o k e n , n e wj e r s e y ，7 0 0 - 8 0 0m h z 导致无线频谱资源不充分利用的主要因素频谱牌照政策本身。在传统的基于 命令一控制模式的频谱分配策略中，分配给授权用户的频谱往往得不到充分的利用， 却也不能被非授权用户和应用所使用，造成了不平衡和浪费。由于静态和不灵活 的分配，传统的无线系统不得不在专有的频段上运行，而且不能根据环境的变化 调整传输带宽。例如，如果一段频谱被过度使用，无线系统就不能切换到另一负 荷较轻的频段上。 接入频谱的权限( 也称授权) 一般是由频率、空间、传输功率、频谱拥有者 ( 授权者) 、用途以及授权时间等因素来定义的。通常，分配给频谱牌照的授权用 户必须遵守相关规定( 如最大传输功率，基站的位置等) 。在当前的频谱授权策略 中，已授权的频段不能改变其规定的用途或者将其转让给其他授权用户。这种对 频谱使用的限制直接导致了非常低的频谱利用率。从根本上来说，由于当前静态 的频谱牌照政策，使得存在频谱空洞或者频谱接入机会。图1 2 显示了一般情况下 的可用频谱【2 】，也称之为频谱空洞。由于现有静态的频谱分配策略而产生的频谱接 入方面的限制可以概括为如下几个方面： 固定的频谱使用类型：在当前频谱牌照政策下，频谱的使用类型不能被改变。 比如，模拟电视频段就不能用于数字电视广播或者宽带无线接入技术。然而由于 有线电视的使用，上述的模拟电视频段在很多地区利用率极低。 授权区域广：授权的频谱通常是允许获得牌照的用户或者无线服务提供商在 很大的区域内对其进行操作( 比如一个城市或者省) 。事实上无线服务提供商一般 只会在用户很多的地域使用该频段，已获得最高的投资回报。结果导致了已分配 频段在其他用户较少的地区不能被充分利用，而其他用户或者服务提供商却被禁 仃 ” 他 打 似 陀 伯 5 o ， ：2 o 一。o讳一oef 。一孓。备：o 第一章绪论 3 止接入该频谱。 授权频谱带宽不均匀：一个无线服务提供商通常会拥有很宽的一段频谱资源 ( 比如5 0 m h z ) 。但是对于服务提供商来说，不太可能出现这种情况：在一定区域 内获得小段频带的短时间的使用牌照来满足暂时的流量高峰。 图1 2 频谱空洞( 或频谱机会) 1 3 认知无线电的定义 认知无线电这个概念是由m i t o l a 与合作者m a g u i r e 在1 9 9 9 年发表的一篇论文 中首次提出的。在文章中，m i t o l a 和m a g u i r e 将认知无线电描述为可以理解周围 环境的无线电技术，它能根据环境变化及时调整设备参数己达到系统性能最优。 自从被提出以来，认知无线电概念得到了极大地拓展，渗透到通信系统的各个层 面。其中，对于认知无线电概念的正确理解和对认知无线电技术的应用背景的认 识是非常重要的。 简单地说认知无线电就是一种非常智能的无线电技术。事实上无线电技术在 最近几十年变得越来越智能。当前的无线通信系统就能在多个方面进行自适应的 参数调节。比如不同用户间的功率失衡不利于通信，而现有的3 g 通信设备就能动 态的调节设备的功率输出从而减小了这种负面影响。移动电话可以灵活地处理接 收到的信号来抵抗信号所经历的各种衰落和干扰的影响。w i m a x 系统能调整所 传输信号的特征以保持链路的稳定性和良好的吞吐量。所有这些功能对用户来说 是透明的，也就是不可见的。随着技术的发展，通信系统在诸多方面智能地调节 或改变自己的行为来保持时变条件复杂环境下的通信连接。 认知无线电采用了这种自适应技术并且有更大胆的设想【3 j 。一方面认知无线电 拥有更强大的自适应性，并且这种自适应性可以在系统的一系列操作参数上得以 实现，比如运行频段、功率、调制策略甚至处理器等硬件设备的利用。另一方面这 种自适应操作可以是有计划的也可以是突发性的。后者的实现包括了三个过程： 无线电行为模式识别、对反复出现状态和过去经验的学习以及利用机器学习预测 4 认知无线电网络中联合无线资源管理的研究 未来要发生的事件。 基于以上特征，许多研究者试图给出认知无线电概念的准确定义。具体地说， 一台认知无线电设备有四个明确的输入，包括对其所运行环境的认知、对用户的 通信需求的理解、对其所采取的一半规定政策的理解以及对自己软硬件能力的认 知。换句话说认知无线电技术可以充分地了解自己所运行的环境，在处理最接收 到的信息后对即将到来的通信任务做出自主的重构决策。在决定如何进行重构的 同时，还要确保决策动作满足所需要求，同时对任何的限制和冲突有所认知。认 知无线电有从以往执行的决策动作学习的能力，通过分析预测执行一定策略后系 统的反应。构成上，认知无线电应该同时包含了软件和硬件模块，这些模块为实 现通信过程中的各种重构提供了可能。 1 4 认知无线电的功能 基于以上认知无线电的定义，认知无线电技术能够感知环境( 认知能力) ，分 析学习感知到的信息( 自组织能力) 以及适应复杂多变的通信条件( 重构能力) f 4 】。 1 认知能力 频谱感知：在一定时间一定地域，授权用户所拥有的频谱并未被完全利用， 称其为空闲频谱。认知无线电技术可以感知探测到这些空闲频谱。认知无线电中 包含的机制使得频谱资源可以再授权用户和第三方用户之间进行共享。第三方运 营商最终可以再自组织网或者实时性的基础上再次协商利用这些频谱，而无需与 其他运营商提前达成协议。 位置识别：认知无线电有能力确定节点自身的位置甚至其他传输者所处位置， 在此基础上选择恰当的运行参数比如其所在位置所允许的功率和频段。尤其在卫 星通信下行链路所占用的频段中，在这些频段上是只允许接收而不能传输信号的， 因此这种位置识别技术正好避免了对卫星通信接收器的干扰。一般的传感器技术 结束是不能准确识别附近接收器的位置的。当然，这种位置识别技术是基于系统 的灵活性和总体频谱利用率相关信息的基础之上，而不是传统的确定网络布局。 网络发现：对于一台认知无线电设备来说要想确定最优的通信方式，它首先 需要发现存在它周围的可接入网络。这些网络指的是设备通过直接的一跳传输或 多跳延时节点可以到达的网络。比如，当要进行会话过程，认知无线电设备需要 发现周围是否存在g s mb t s s 或是w i f ia p s 。如果该终端不是通过自己而是通过 其他认知终端检测到可达的接入网络，在这种情况下它依然可以进行正常的通话。 在认知无线电中，这种发现一跳或多跳范围内接入网络的能力是十分重要的。 服务检测：服务检测通常是包含在网络或系统发现这一功能里。因为认知设 备能够探测到接入网，而网络或系统运营商正是通过这些接入网络为用户提供服 第一章绪论 5 务。一台认知无线电终端能够找到最好的服务来满足它的需求。 2 重构能力 m i t o l a 在他的论文中首先将认知无线电定义为智能的软件无线电。在实现过程 中，认知无线电必须拥有更强大的重构能力。 灵活的频谱使用：也就是说更具需要灵活改变运行频段的能力。要实现灵活 的频谱转换，必须能对其他发送设备的传输信号有所感知，并且动态地选择恰当 的操作频段。 动态频谱选择：这种机制是指动态监测其他临近无线电设备的发射信号以避 免同频干扰。对何时改变频谱或极化做出决定的设备来说，其需要具备的能力包 括频谱感知，地理位置监测或者能够接收来自网络或另一设备的指令。上述所述 性能概括为动态的逻辑和物理信道选择。 自适应调制编码( a m c ) ：a m c 已被用来在衰落信道中逼近信道的山农限。 a m c 能够修改传输参数和波形以改善频谱接入，提高频谱使用效率。认知无线电 选择使用合适的调制模式和特殊的传输系统以允许系统间的互操作。 可 传输功率控制( t p c ) ：t p c 使得一台设备能在一次数据传输过程中动态地调 节传输功率的大小。它允许必要时在传输在限制的最大功率，但是当大功率操作 不必要时，将会降低传输功率已获得更高的频谱共享。 动态系统网络接入：对于一个认知无线电终端来说，它可以接入多个通信系 统或者网络，但是这就要求其有能力运行不同的协议，有能力进行自身的重构来 与其他系统兼容。因此现有的研究还关注在共存的多无线电技术环境下如何充分 利用异质无线网络。 3 自组织能力 以上所述，我们知道认知无线电技术有感知和重构的能力。基于这两点，作 为一种智能的无线电技术，认知无线电还应具有自组织能力。 频谱资源管理：一个好的频谱管理策略要能够管理和组织认知无线电中的空 闲频谱信息。 移动和链接管理：由于认知无线电网络的异质性，路由和拓扑信息变得异常 复杂。良好的移动和链接管理有助于邻节点的发现、探测可用的接入网络以及支 持垂直切换，认知无线电依靠这些功能选择路由和网络。 信任管理：认知无线电网络从本质上说是异构网络，这种异质性( 例如不同 的无线接入技术、系统或网络运营商) 导致了认知网络中的安全性问题。信任也 不可避免地成为认知无线电网络中安全操作的先决条件。 6 认知无线电网络中联合无线资源管理的研究 1 5 认知无线电技术下的频谱策略 1 5 1 动态频谱决策 认知无线电的实现一般来说基于频谱未授权用户的动态频谱接入技术。动态 频谱接入实时地调整频谱资源的使用以响应环境和目标变化( 如可用信道和应用 类型) ，无线电状态的改变( 如传输模式，电池状态和所处位置) ，外界约束的改 变( 如无线电传播条件，运营政策等) 。 动态频谱接入有三种主要模式【5 l ，分别是一般使用模式、共享模式和专有模式。 在一般模式中，频谱对所有用户是开放接入的。一般频谱模式已经在i s m 频段上 有所应用。共享模式中的授权用户( 也称优先级用户) 可以获得一定的授权频段， 当然这些频谱在未被优先级用户占用时允许未授权用户( 也称次级用户) 机会地 接入。在频谱专用模式中，一个授权用户能够允许非授权用户在一定时间段内接 入特定的一段频谱。这种模式比起传统的命令控制式的频谱授权模式更加的灵活， 因为频谱使用类型和频谱的授权者可以动态地变化。 频谱的专有模式可以用在具有接入点的网络中，实现方式可以是通过频段竞 价方式，或另一种更为有效的方式一频谱分配。在机会频谱接入下，次级用户能在 充分利用带内空闲频段的同时不对活动的优先级用户造成干扰。有两种方式可以 实现机会频谱接入：频谱覆盖和频谱插入。频谱覆盖方式限制了次级用户的传输 功率因此是在低于优先级用户的干扰温度限制下运行。一种可行的方法是在一段 非常宽的频带上传输信号( 比如u w b 传输) ，这样就能以极低的传输功率获得相 当高的比特率。这种方式基于最坏的假设也就是优先级用户总是有数据传输。因 此，并不是利用空闲频谱( 频谱空洞) 。频谱插入方式( 机会频谱接入) 不会对次 级用户的传输功率做出太苛刻的限制。它允许次级用户发现并利用在空间、时间 或频段定义下的空闲频谱资源。这种方式和现有的频谱分配方式相兼容，因此， 遗留的系统可以在不被认知无线电用户影响的情况下继续工作。然而，对次级用 户而言还需要管理部门的进一步的详细定义来确保与现有的系统的兼容。 在一般使用模式中，动态共享可以同时运行在同性质网络( 如在5 g h z u n i i 频 谱上运行的i e e e8 0 2 1 1 a 协议) 或者异质网络( 如i e e e s 0 2 1 l b 和8 0 2 1 5 1 ( 蓝牙) 网络) 1 6 】。当处于异质环境中的所有网络都具有认知或自适应能力的时候( 如所有 共存网络有同等的适应激励) ，称作是均等共享。否则，如果有一个或者多个网络 不具备认知或自适应能力( 如现有技术和认知技术的共存，高功率8 0 2 1 1 网络和 低功率8 0 2 1 5 4 网络的共存) ，这被称为非均等频谱共享。在第四章中我们将对实 际问题下的这三种模式的实现细节和理论架构进行讨论。 动态频谱接入分为两个主要阶段，据频谱探索( 感知和分析) 和频谱利用( 决 第一章绪论 7 策和切换) 。不同的设计技术可以被用在这些阶段，最终实现动态频谱接入。 1 5 2 频谱分析和频谱决策 频谱分析用来获得不同频带的参数信息，包括操作频带、带宽、干扰、优先 用户活动情况以及信道容量。比如，在频谱覆盖模型中，基于优先级用户和操作 频带的干扰温度的限制，就可以确定认知无线电设备的允许传输功率。同时，也 可以估计信道容量。频谱分析的建模可以基于当前的频谱感知结果，也可以基于 以往的频谱利用信息。 频谱分析结构可以是本地的或者合作式的。集中式的或者分布式的合作频谱 分析能提高频谱利用模型的准确度。一个合作式的结构需要认知无线电用户之间 的信息交换( 因此也会引起额外的开销) 和解决可测量性问题。 考虑到频谱分析结果的不准确性，频谱决策解决是否要传输的问题，以及如 何利用频谱空洞传输的问题( 比如使用什么调制模式和功率水平、如何在多个认 知无线电用户之间共享空闲频谱) 。对于认知无线电用户，频谱决策首先是一个媒： 质接入层控制问题。同时，频谱接入决策可能需要认知无线电节点和目的接收器 之间的信息交换。 频谱决策可以是基于本地的优化或全局优化。在本地优化的情况下，频谱接 入决策以非合作方式( 分布式) 做出，在全局优化的情况下，分布式频谱接入决 策以集中或者分布方式做出。 在一个非合作本地频谱接入策略中，一个认知节点负责自身决策。如果不可j 探测概率较大，那么接入策略接近传统方式。如果错误探测频谱概率很大，频谱 接入策略变得过于侵略性。在一个合作式集中决策下，一个集中服务器维持频谱 可用性和接入信息的数据库( 数据从一组次级用户获得，或者专用信道) 。因此， 频谱管理更简单，通过信息集中促进了有效的频谱共享。一个合作的分布策略依 赖于全网络范围内合作下的本地动作，目标是获得全局优化性能。然而，这种合 作分布方式会遇到隐藏节点问题并产生大量的控制开销【7 j 。 一旦一个机会频谱接入决定做出，便存在无线电链路控制和资源管理方面的 问题有待解决。比如脉冲调制，传送功率控制，接入频谱数量选择以及接入参数 选择( 比如在o f d m 系统中的次载波) ，自适应调制和编码( 如o f d m 系统中的 比特负荷) 等。 1 6 认知无线电技术研究存在的挑战 频谱感知的问题存在于物理层和媒质接入层( m a c ) 。物理层的问题主要和信 号处理有关，m a c 层的问题和频谱感知的优化有关。总体来说，认知无线电中的 8 认知无线电网络中联合无线资源管理的研究 频谱感知在以下四个方面仍存在挑战：感知干扰温度的测量、多用户网络中频谱 感知问题，频谱感知的优化以及多信道网络中的频谱感知问题。 频谱管理的主要目标是观测和控制非授权用户接入空闲频谱( 频谱空洞) 。存 在的挑战集中在频谱分析和频谱决策上。前一节已经讨论了相关问题。 认知无线电网络中的频谱移动功能允许非授权用户易于频谱条件动态地改变 它的操作频率。频谱移动性中存在的问题设计可用频率间的切换以提供平滑的频 谱接入，同时要求能够避免由于无线电环境变化对应用和服务产生的干扰瞵j 。 网络层的问题是多跳认知无线电网络中的路由协议的设计，包括消息广播机 制、路由标准和路由选择。认知无线电网络中的系统设计还要解决跨层优化的问 题。其他问题如，如何将可以学习和决策的人工智能( a i ) 技术应用到设计高效 的认知无线电系统中；如何应用方位信息改善无线系统的性能等。 1 7 本文的组织结构 认知无线电技术中的联合无线资源管理，尤其是动态频谱接入决策的研究， 作为认知无线电中的关键问题已经被很多研究者所重视。但由于无线电环境的异 质性和复杂性，动态频谱接入决策的研究可以说仍处于探索之中。本文的主要工 作是在强化学习和模糊逻辑理论基础上，研究了实际认知无线电网络中存在的这 些问题。 本文的内容安排如下： 第一章首先介绍了认知无线电发展的历史背景，包括认知无线电概念的提出， 研究的内容以及认知无线电技术的整个发展过程，同时对于现有政策下频谱的使 用情况做了说明，引出了频谱空洞的概念。接着详细分析了认知无线电概念的定 义，功能。其次对认知无线电概念下的动态频谱接入技术做了介绍。最后讨论了 在认知无线电技术中有待研究解决的问题。最后介绍了本文的组织结构。 第二章主要介绍了实现认知无线电中的联合资源管理，尤其是动态频谱接入 和管理的主要技术和理论知识。包括信号处理方面的技术、优化技术、博弈论以 及人工智能算法。这些技术和算法理论己被广泛应用于认知无线电中资源管理的 决策算法中。 第三章首先讨论了强化学习理论中重要的q 学习算法，q 学习算法的优点是 能通过函数值得更新迭代和对以往经验的存储，进行复杂环境下的有效学习。其 次讨论了模糊逻辑理论，模糊逻辑理论可以建模复杂系统，模糊推理的引入使得 多目标下的测量单位在同一尺度上进行。其次我们重点讨论了一种动态频谱决策 算法，该算法利用了上述的两种理论，实现了环境学习、信息分析、自适应决策 以及性能优化等。最后我们总结了该算法的实现步骤。 第一章绪论 9 第四章首先介绍了认知无线电的开放频谱概念和模型，以及分布式和集中式 的网络模架构，同时对于各种频谱模型和网络架构进行了对比，提出了动态频谱 策略应用下产生的问题。其次提出了设置有接入点c a p ) 的认知无线电网络，并 将第三章中的动态频谱决策算法应用到集中式网络架构下，仿真结果从收敛和反 馈两个角度显示了该算法的可行性和有效性。最后在分布式网络架构下应用该动 态频谱接入算法，仿真结果不仅表明了该算法在分布式网络架构下依然保证了多 目标的优化，同时也对比了其他两种接入算法，显示了性能的改进程度。最后我 们还讨论了分布式下次级用户数量对该算法性能的影响，也是我们未来工作的重 要问题之一。 第五章总结了全文的主要工作，并对下一步工作进行了展望。 第二章动态频谱策略和管理实现 第二章动态频谱策略和管理实现 2 1 引言 不同的技术可以应用到认知无线电网络中动态频谱接入中设计、分析和优化 中来。一个无线节点利用信号处理技术( 比如参数估计，滤波和预测) 观察并获 取周围无线电环境的知识以动态地接入无线电频谱。优化技术的使用可以获取最 优化的动态频谱管理策略。同样，在设计动态频谱接入方法的背景下，博弈论例 是建立认知无线电网络中的动态频谱共享问题的一个非常有利的数学工具。智能 算法( 或者学习算法) 是认知无线电设计的基础，使得认知系统有能力观察、学 习、计划和优化认知无线电网络下动态频谱接入的决策。本章对上述的实现认知 无线电及动态频谱策略和管理的技术和理论做了介绍，同时讨论了各种技术与理 论在认知无线电网络中动态频谱决策中的应用1 5 j 。 2 2 信号处理技术 信号处理解决了信号的分析、信息提取和利用等问题。信号的处理工程包括 滤波，存储和重构，从噪声中提取有用信息( 如雷达的人工识别) ，压缩( 如图像 压缩) ，以及特征提取( 如音频到文本的转换) 。在通信系统中，信号处理主要在 o s i 的第一层上，物理层( 如调制，均衡，复用和无线电传输等) ，和o s i 第六层， 表示层( 信源编码，包括数模转换和数据压缩) 上。在认知无线电网络中，信号 处理的主要挑战在于频谱感知来探测未被占用的频谱，同时在无有害干扰的情况 下和其他用户共享频谱。在认知网络中重要的一点事可靠地有效地感知频谱空洞。 频谱感知技术可以归为以下三类。首先，认知无线电必须有能力探测到一个来自 优先级用户的信号出现在特定的一段频谱上。有多种方式可以用来发射器侦测， 比如匹配滤波器探测，功率探测，循环平稳特征探测以及波束探测。其次，合作 探测指的是利用来自多个认知无线电用户的信息用来探测优先级用户的活动情 况。最后，感知设备可以独立于次级用户而由认知无线电服务提供商布局在认知 无线电网络中。通过这种方式，可以较小次级用户设备的复杂度和实现，同时缓 解了隐藏暴露终端的问题。 另一个信号处理的重要任务是滤波和预测。次级用户利用这些技术提高频谱 利用率。重要的滤波和预测技术包括自回归移动平均模型( a r m a ) 、维纳滤波， 最小均方滤波、递归最小均方滤波和卡尔曼滤波。 最后，目前很多的数字系统采用奈奎斯特采样理论来获得数据信息。对于大 多数应用，真正的数据空间远少于采样空间。这就造成了非常严重的处理功率和 1 2 认知无线电网络中联合无线资源管理的研究 传输需求的浪费。为了克服这个问题，提出了压缩感知的概念，压缩感知采用远 低于奈奎斯特速率的采样数量。采样后的信号在条件优化的约束下得以恢复。 2 3 优化技术 在一个无线网络中，尤其是在认知无线电网络中，想频谱这样的无线电资源 是非常有限的。另一方面，无线服务的需求呈指数增长。不仅是用户数的迅速增 长，而且由于像视频电视，无线因特网和无线游戏等这样的新兴服务也会引起大 量的带宽需求。找到有效的方法来满足这些需求在认知无线电网络的研究中变得 十分紧迫。无线资源分配和它的优化一般用来改善网络性能，但是在资源利用上 需要有折衷。优化技术的目标就是讨论这些折衷问题以更好地实现资源分配。 1 约束优化 许多认知无线电网络中的认知无线电资源分配问题可以规划为约束优化问 题。一般的约束方程如下： m i n 厂( x ) s u t t o ：骼嚣篇三糍 眨t ) x 是优化资源分配的参数向量，q 是参数向量的可用范围，f ( x ) 是表示性能 或开销的优化目标矩阵，或效率方程。其中g ，( x ) 和h j ( x ) 分别是对参数向量的不 等或相等约束。优化过程找到方案x q 满足所有的相等或不等约束。对于一个优 化方案，f ( x ) f ( x ) ，v x q 。 2 凸规划 一个凸优化问题可以定义为： m i n f o ( x ) s u b j e c tt o - 笨嚣置二 眩2 ， 其中目标方程石是凸函数，不等约束方程石，厶是凸函数，以及相等约束 ( x ) = a s x - b ，是仿射函数。 凸优化问题的一个最根本特征是任何局部优化都是全局优化。而且，通过使 用二重性理论，可以很容易找到优化条件。因为线性是凸函数的特殊情况，所以 线性规划是凸优化的特殊情况。 3 动态规划和马尔科夫决策过程 动态规划方式解决了有一系列由低复杂度子问题组成产生的一个高复杂度问 题。动态规划依赖于优化理论，在一个优化决策或选择序列下，每个子序列必须 第二章动态频谱策略和管理实现1 3 都是最优化的。动态规划的一个主要应用是马尔科夫决策过程( m d p s ) ，它为建 模决策过程提供了数学框架，决策过程的信息部分是随机的，部分是在决策者的 控制之下的。对于马尔科夫过程的讨论将在第三章中详细介绍，因为马尔科夫 ( m d p ) 过程是建立q 学习函数的基础。 在实际问题中，为了利用动态规划描述一个问题，有一下步骤： 1 描述优化方案的结构特点： 2 递归地定义优化方案的值； 3 利用t o p d o w n 方法或b o t t o m u p 方法计算优化方案的值； 4 由上述计算得到的值构建最优化方案； t o p d o w n 方法是指将动态规划中的主要问题打破为一系列的子问题，解决这 些子问题或将其存储( 或称记忆) 。这种方法将递归个记忆结合起来。b o t t o m u p 方 法是指所有子问题需要提前被解决，然后利用这些已解决的子问题构建更大问题 的解决方案。这种方法在栈空间和函数需求数量上稍显优势，但是在某些时间里， 它不能直接地解决用来解决给定问题的所有子问题。 2 4 博弈论 博弈理论可以简单的定义为用户之间迸行交换的一种方法，其中每个用户改 变自己的策略来优化自身的效率，同时和其他的用户竞争。 依据不同方式的自然属性，博弈论存在不同的可能应用。如果信息只限于本 地消息，每一个单个的用户就必须选择非合作的博弈方式。然而，这样博弈的结 果是非常低效率的。为了克服这个问题，引入了定价或裁判机制。如果用户关心 长期的回报，就可以利用重复的博弈通过获得来自其他用户对未来的惩罚因子强 化合作过程。如果允许发射信号并且要解决的问题是关于如何提高稀缺资源的利 用率，可以利用合作博弈获得全局的或共赢的利益回报。如果输出是二进制的同 时允许反射信号，竞价理论和机器设计也可以被用来实现资源分配 实际问题中的博弈论可以划分为3 中基本类型： 1 非合作或合作博弈：在非合作博弈中，单个用户独立地优化自身 性能，获得期望目标；而在合作博弈中，用户可以结合为一组然后做出联 合动作来获得共赢的期望回报。 2 策略博弈或树博弈：策略博弈用矩阵表示博弈问题。比如对于两 个用户，一个“行”用户，一个“列”用户。每一行或者列代表了一种策略， 每一个矩阵值代表了用户在执行策略师的回报。树博弈使用张图表示一 系列博弈。它提供了关于用户、回报、策略和移动顺序的相关信息。博弈 树由点线构成，点表示用户能采用的动作，线表示节点将要采用的动作。 1 4 认知无线电网络中联合无线资源管理的研究 3 完全信息或不完全信息博弈：完全信息下的博弈是指所有博弈的 因素是一般知识。特别是每一个用户都了解其他用户的状态，了解博弈时 间和策略集合，以及在每个用户上的报酬。不完全信息下的连续博弈是指 一个用户不准许地知道其他用户在某一点要选择哪个动作。技术上来说， 从多个用户下存在至少一个信息集合。如果每个信息集合准确地包含了一 个节点，博弈就变成了完整博弈。 2 5 智能算法 认知无线电必须有能力根据周围无线电环境的变化学习并调整他们的无线传 输。因此，基于机器学习、遗传算法和模糊控制等地智能算法就变成了实现认知 无线电技术的关键。一般来说，这些算法可以用来观察无线电环境的状态，然后 建立关于无线电环境的知识数据库。认知无线电利用知识数据库来调整它的频谱 接入决策。比如，一个认知无线电用户( 或非授权用户) 可以观测优先级用户在 不同信道上的传输活动情况。这能使认知无线电用户建立关于授权用户在每个信 道上活动情况的知识数据库( 比如信道被授权用户占用的频谱和时长) 。然后认知 无线电利用相关知识决定接入哪个信道以获得期望的目标性能( 比如在保证对授 权用户的干扰和碰撞保持在目标水平以下的前提下，最大化吞吐量) 。图2 1 概括 了不同学习和智能算法在认知无线电系统中的应用。这些策略用于认知无线电系 统中的学习推理和决策调型1 1 j 。 2 5 1 机器学习 机器学习室人工智能理论之一。利用采样数据或获取经验数据，机器学习主 要解决学习算法的设计问题，它能在给定目标和约束的前提下优化系统性甜1 0 l 。 机器学习使用数学和统计理论从采样数据构建推理模型从而使算法能在此模 型的基础上设计。机器学习的两个主要步骤是训练和推理决策。在训练阶段，采 样数据或过去经验用来构建关于环境或系统的知识。在这个阶段，需要高效的算 法从原始信息里提取有用信息。一旦知识库建立，认知无线电用户将给予可用知 识、当前状态和输入数据做出推理决策。 机器学习技术已经被应用到解决与自然语言过程、模式识别和机器人相关的 问题中来。比如，在自然语言过程中，利用机器学习来理解和形成自然人类语言。 在这个应用中，算法分析人类语言形式的输入数据的机构。通过提取信息并利用 这些信息，系统能够做出恰当反映。在模式识别中，机器学习用来识别一个在输 入数据中的特定的特征( 比如人脸或语言识别) 。在机器人中，自动代理使用机器 学习观测环境并执行必要的任务。 第二章动态频谱策略和管理实现 图2 1 不同学习和智能算法在认知无线电系统中的应用 2 5 2 无线电环境和学习策略 图2 2 是基于i e e e 8 0 2 2 2 w r a n 的认知无线电学习决策结构。这个认知无线 电学习决策结构的主要任务包括：把当前无线电方案映射到一个状态向量上，该 状态向量将被决策者用来后序的优化任务；利用基于案例和基于知识的学习算法 学习当前无线电环境；以及优化实际动作选择方案，比如使用本地搜索或者遗传 算法【1 2 】。 p ， t r a 熠l a t ei n 七o s t a t ex 甩c t o r 、? o 嘶r n i z t t n e t v 阳r ku t i l i t y 多； im a p t o s p e c i f i cs o l u t i o n 图2 2 基于i e e e 8 0 2 2 2 w r a n 的认知无线电学习决策结构 此模型中，无线电情况定义为在w r a n 基站( b s ) 和客户信息设备( c p e ) 频谱可用性和传输功率掩码。这个认知无线电学习决策结构的目标是最大化全局 1 6 认知无线电网络中联合无线资源管理的研究 效率方程，该方程定义如下： u = 兀( “。) k ( 2 3 ) 其中u 。是效率标准七，心是它的权重。c p e 下的效率标准方程是一个关于错误比 特率忍，数据速率r b 以及传输功率的方程。效率函数可以定义如下： “胖训，后疗( 。后n ( ，后) 2 ( 2 4 ) 其中e ，r 6 ，只分别是是目标比特错误率、目标数据速率和目标传输功率。其中的 方程y ( ，) 定义如下： y ( x ，；) = 互1 ( t a n h ( 1 0 9 ( x x ) 一，7 ) 仃+ 1 ) ( 2 5 ) 其中的叼和仃是方程的调整参数。基站的效率u b s 定义为普通意义下的基站的 频谱效率( 比如每个信道上可用次载波的平均个数) 。图2 3 是方程) ，( ，) 的一个实 例，其中x = 2 , 1 = 4 ，o r = 1 。 认知无线电学习决策结构的工作流程如下。首先，它从无线电环境图数据库 和频谱感知模型中收集当前无线电环境信息【i 引。处理信息并映射到状态参数。然 后，认知学习决策搜索以往案例和知识库来决策可用方案。以往案例和知识数据 库可以通过估计性能进行更新。最后用优化策略来获得最大全局效率下的方案。 图2 3 方程y ( ，) 的一个实例( z = 2 , 1 = 4 ，仃= 1 ) 性能估计结果显示该认识无线电的学习决策结构能够获得好效率同时调整系 统参数以快速适应无线电环境的变化。然而，在一些极端情况下( 比如当c p e 的 频谱需求达到了基站的最大容量) ，此时该认知结构不能获得可用方案。 2 5 3 其他智能学习策略 遗传算法( g e n e t i ca l g o r i t h m ) 解决了使用达尔文自然进化论解决优化问题。 第二章动态频谱策略和管理实现1 7 在一个遗传算法当中，一个群体是一个个体的集合。每个个体代表了优化问题的 候选解决方案。群体是可以进化的以此方式获得最优方案。群体在遗传策略下的 进化使用了概率准则而不是确定准则。同时，一个遗传算法依赖于