浅说网络泛知识的构建方法论文.doc

浅说网络泛知识的构建方法论文 1.复合自适应QoS保障策略 a.按用户的贡献程度（如付费或贡献知识信息和文献资源）将用户等级分为实时优先级（RealTimePriority，RTP）、高优先级（HighPriority，HP）和低优先级（LowPriority，LP）。实时优先级用户需要在限定的短时间内获得信息反馈；在服务器负载沉重情况下，对除实时优先级用户之外的高优先级和低优先级用户均实施降低服务质量的服务，但在其它因素相同的情况下，优先响应高优先级用户的请求。 b.在泛知识云中包含的信息资源包括知识词条和文献资料，这两种资源所占用的存储空间是不同的。词条占用的存储空间可以小到只有几KB或几十KB，若是包含图片说明性信息会大一些；而文献资料则一般至少几百KB（如一篇几页的PDF格式的期刊性论文），大的则需几MB或十几MB的存储空间（如一篇几十页的硕士学位论文或上百页的博士学位论文）。用户在向系统索取这两种资源时，系统因此而花费的主机和网络开销是不相同。此外，信息资源由于时间、门类等因素，导致一些资源的当前阅读群体范围广大（即成为热点资源），一些资源则很少人关注（冷门资源）。热点资源存在于服务器和大量Peer节点上，冷门资源则存在于服务器和少数Peer节点上。可见，在基于Cloud-P2P的泛知识云系统中，节点获取热点资源和冷门资源的选择余地是不相同的。 c.按照服务器端的当前资源消耗情况，可将服务器的负载分为轻负载（Lightload）、中等负载（Mediumload）、重负载（Heavyload）。为了保障用户的服务质量（特别是实时优先级用户），需将服务器性能阈值设定为安全点（Safepoint）1和危险点（Dangerouspoint）2： （1）当服务器端的当前负载程度10x时，服务器端满足所有优先等级的用户服务请求； （2）当服务器端的当前负载程度12x时，服务器端满足实时优先级和高优先级用户所有请求，以及低优先级用户针对词条这样小文件信息资源的请求，而将低优先级用户针对大文件信息资源的请求调度到存储该文件的其它Peer节点上； （3）当服务器端的当前负载程度2x1时，服务器端满足实时优先级用户的所有请求，以及高优先级和低优先级用户针对词条这样小文件信息资源的请求，而将高优先级和低优先级用户针对大文件信息资源的请求调度到存储该文件的其它Peer节点上。若节点当前索取的资源是冷门资源，当前存储该资源的在线节点很可能只有服务器，而按照上述QoS原则，服务器又不能立即为该节点提供服务时，则节点需暂缓该次服务请求，而等待服务器负载降至规定范围内再提供服务。可见本文提出的QoS保障机制不再对所有用户关于所有资源的请求都简单遵循传统的“尽力而为（best-effort）”的服务方式。 2.系统模型与工作流程 提交所需下载的知识的请求，主服务器节点收到服务请求后，将用户请求加入服务请求处理队列中，对队列中的服务请求依次进行处理。系统主节点的监控模块负责提供服务器端的当前负载情况：如果服务器端的当前负载程度主节点服务器普通节点发送hello2.分配唯一的ID3.提供共享知识文件列表普通节点发送知识文件查询请求返回查询结果发送要下载的知识文件名传送知识文件保存知识文件，完成下载保存普通节点共享知识文件列表普通节点多个普通节点集群服务器复合自适应Qos服务质量保证策略处于区间时，直接通过调度模块将该服务请求加入服务器服务队列，然后转；否则，如果服务器端的当前负载程度处于区间时转至，如果服务器端的当前负载程度处于区间时转至。进一步检测用户的等级，若用户为实时优先级和高优先级用户，则通过调度模块该服务请求加入服务器服务队列，然后转；否则需进一步检测用户的服务请求类型，若是针对词条类的小文件信息资源的服务请求，则通过调度模块将该服务请求加入服务器服务队列，然后转；否则通过调度模块将该服务请求加入终端节点服务队列，然后转。进一步检测用户的等级，若用户为实时优先级通过调度模块将该服务请求加入服务器服务队列，然后转；否则进一步检测用户的服务请求类型，若是针对词条类的小文件信息资源的服务请求，则通过调度模块将该服务请求加入服务器服务队列，然后转；否则通过调度模块将该服务请求加入终端节点服务队列，然后转。服务请求被部署到相应的服务器端节点，完成后续服务请求响应工作。服务请求被部署到相应的终端节点，完成后续服务请求响应工作。 3.原型系统及性能分析 3.1原型系统 本文提出构建基于Cloud-P2P网络平台的泛知识云原型系统，底层的通信机制参考eMule协议11-12，文件实体分布在Cloud-P2P网络中的所有数据节点辅存上。泛知识云原型系统基于eMule协议实现了节点间通信、知识文件传输和多线程下载等功能。 3.2性能分析 本文提出的基于Cloud-P2P网络平台的泛知识云模型及其服务质量保障机制可以有效提升网络知识共享系统的性能，具有以下的性能优势： （1）负载分担。与传统的基于Cloud的知识系统相比，基于Cloud-P2P网络平台的泛知识云中的知识信息资源分散于服务器节点和用户节点，用户节点同时成为信息资源的提供者和消费者，而上述的复合自适应QoS保障策略也进一步减轻了服务器节点的负担； （2）高资源利用率。与传统的基于Cloud的知识系统相比基于Cloud-P2P网络平台的泛知识云不但利用了服务器节点的稳定资源，也利用了众多闲置的普通用户终端节点上蕴含的巨大的计算和存储资源； （3）高鲁棒性。基于Cloud-P2P网络平台的泛知识云采用了备份冗余的机制，重要的信息资源存储在服务器节点和普通用户终端节点，同时由于终端节点的数量巨大，可灵活设置备份规模，因此系统不会存在单点失效问题，具有较高的鲁棒性。 （4）高灵活性。基于Cloud-P2P网络平台的泛知识云中使用的复合自适应QoS保障策略，充分考虑了不同类型的节点在不同的情况下获取不同等级的服务的差异性情况，具体较高的灵活性。 4.结束语 将网络中的各类文献、知识信息有序的组织在一起；充分考虑网络边缘节点上可以利用的资源，在保障用户使用体验的前提下，将