云存储数据处理分发系统开发与转化技术总结报告.docx

云存储数据处理分发系统开发与转化技术总结报告一、项目立项背景及必要性1.1政策背景：十二五规划中提出了我国教育产业与信息化产业相结合的指示方针，要求全国院校切实做好教育产业云计算服务创新发展试点示范的工作，实现国以才立，政以才治，业以才兴的人才培养与创新教育理念。本项目充分发挥信息化产业快捷、高效、实用性强的特征，与高校合作研究开发构建面向全国的云存储服务平台，为社会与企业提供符合国际化要求、适应国内企业需求的行业高端管理与技术人才，为教育产业注入转型的动力。环境背景：互联网公司面临更大的速度和成本挑战速度太慢成本太高电信、网通的南北互联瓶颈只有中国才有的现象设备网络前期投入巨大教育网、移动、联通、铁通的对等互联瓶颈访问高峰期的额外容量建设国际带宽互联瓶颈IT人员招聘，培训，管理滥用P2P造成网络拥堵高价的带宽成本流氓软件造成资源占用机房建设、电力损耗、环保成本居高不下1、跨ISP运营商互联互通受限所谓互联互通，就是指几个不同ISP网络的网间互联。由于电信运营商业务间激烈竞争，相互之间不能很好的协作，所以骨干网之间没能联通，互相之间的网络资源就不能得以很好的利用。由于这些原因，网间连接带宽相对狭窄，远远不能支持庞大的用户访问，导致网络间传输拥挤，传输速度很慢。用户与网站如果不在同一个ISP网络，则不可避免的要受到网络间带宽限制，甚至无法相互访问。2、重复投资，不易维护对于目前的电信运营商各自独立的网络结构，ISP、ICP如果想满足到多个运营商的链路都很好的话，需要在网通、电信等多个运营商处建立多份站点，维护多套WEB、下载服务器、数据库等设备，导致重复投资而且后期需要维护多套环境，及其痛苦。3、安全保障低黑客可以通过直接攻击源站服务器的IP地址，使网站设备及网络带宽负载过高，服务质量降低，直至服务器宕机，甚至篡改网站内容，使源站点蒙受不可预计的损失。4、效率低下随着宽带用户的逐渐增多，通过网络下载影音文件、游戏安装包、软件及补丁等内容的方式变得越来越普遍，并且地域分布更加广泛，单一的下载服务器已不能满足各地域、各ISP用户的访问需求。如果希望满足更多的用户访问，就需要为用户建设更多节点和购买更多的设备和带宽，导致投资大而效率低，同时也不适应互联网应用的多变性，从而抑制了网站整体的业务发展。必要性：仔细分析网络速度缓慢的原因，带宽不是导致互联网连接速度慢的唯一因素，如果没有良好的流量管理策略，网站不管有多大的带宽，用户对网站的访问连接同样会慢如蜗牛。同时，日益扩大的服务器数量、越来越多的访问流量，都要求网站对互联网流量进行精心规划和管理。除此而外，随着电子商务的迅猛发展，使得网络系统的可靠性、一致性、安全性和高可用性也显得越来越重要。ISP、ICP、高校、大型企业等，正在经历着高昂的互联网带宽成本、机房设备重复投资成本、用户P2P下载和在线视频业务的巨大压力、用户投诉网络速度和质量差等头疼问题。因此，当前网站的管理除了必要的内容服务外，提高网站的扩展能力、服务能力以及可用性也成了不可或缺的环节，而要很好地解决所有这些问题，必须要有新技术的支持。分布式云存储和数据处理智能分发正是解决此类问题的有效手段，云存储数据处理分发系统应求而生。1.2、国内外与该项目有关的研究进展和取得的成果：云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念。云计算使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。目前的云存储服务主要应用于ISP、ICP、门户网站、电子商务、大中型公司、网络教学、证券、金融保险、ISP 等领域，在行业专网、互联网中都可以用到，甚至可以对局域网进行网络优化。利用云存储服务，这些网站无需投资昂贵的各类服务器、设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息，通过云存储技术动态、可伸缩、虚拟化的新型服务模式，使内容请求点和交付点之间的距离缩至最小，从而促进Web 站点性能的提高，具有重要的意义。云存储服务能够为网络的快速、安全、稳定、可扩展等方面提供保障。为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed File System)。大部分IT厂商，包括yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。云存储已经成为未来存储发展的一种趋势，目前，云存储厂商正在将各类搜索、应用技术和云存储相结合，以便能够向企业提供一系列的数据服务。但是，未来云存储的发展趋势，将集中在超大规模的数据存储、数据加密和安全性保证、提高I/O速率、便携性及数据访问等角度进行发展。据FrostSullivan统计，2009年全球云存储应用分发服务市场的收入约为13亿美元，从2007年到2009年的年复合增长率为36.3，并预计该市场将到2012年增长到28亿美元，2009年到2012年的年复合增长率为28.3。据艾瑞网的数据显示，2009年中国的云存储应用分发服务的市场规模约为5.01亿元（约合7340万美元），较2007年的年复合增长率为58.3，预计在到2014年该市场规模将达到36亿元（约合5.2亿美元），较2009年的年复合增长率将达48.2，远高于全球市场的预期增长率。1.3、项目进一步研究的意义：对各式各样存储资源的发送方式进行优化，已经成为Web 服务供应商和网络内容供应商的一个重要目标。本项目作为解决这个问题的一条最佳途径，在已有的Internet 网络结构基础上形成了“增值”网络，提供了各种新功能，例如能够根据网络内容处理通信量、将访问请求转发给最优云服务器节点以及动态弹性部署存储资源等等，它实现了智能化通信量转发和存储资源智能分发，并能够识别和理解被请求的特定内容。它所带来的主要变化在于：过去仅仅是被动地检索内容，而现在则是根据第5 层到第7 层策略（指OSI 网络模型）、用户身份认证、应用软件和存储资源的可用性主动传输所需的网络内容。本项目可使Web 企业更快地将自己需要发送的网络内容发送给目标用户。在传统的IP 网络（如Internet）中，客户端的请求仅仅被直接按照网络地址发送到数据源服务器，而本项目的存储资源云分布和智能传输服务提供了一个服务“层”，这个层可以主动将经常被访问的存储资源“推”到与发出请求的用户距离最近的云服务器节点，并将每个客户端发出的请求转发到当时对于被请求的网络内容而言最佳的云服务器节点，从而进一步补充和扩展了Internet。 本项目采用索引、缓存、流分裂、组播技术，开发出部署简单、易于使用、安全高效、绿色环保、便于管理的新型云存储和智能分发服务系统，可广泛应用于ISP、 ICP、门户网站、电子商务、大中型公司、网络教学、证券、金融保险等领域及行业应用。其独创、领先的云存储资源组织分配技术，居国内领先水平，可迅速解决中国南北互联的瓶颈问题，改善网络响应速度，增强用户体验，将成为帮助各行业实现海量数据存储、数据安全、容灾和备份、实现绿色计算、促进节能减排的新模式，进一步推动我国新型互联网应用技术及云计算整体技术水平的提高和发展。 二、研究方法和工艺技术路线1、技术原理1.a用户端（包括浏览器、下载客户端、P2P客户端等）发出访问下载请求到互联网上的资源服务器（包括中国联通、中国电信的http服务器、CDN服务器、P2P服务器、P2P客户端等）；1.b通过端口镜像或分光技术采集用户端的访问请求到云存储监控系统，系统分析访问请求，判断该请求内容是否已经缓存在云缓存服务器或云存储服务器节点中，如果已缓存，或已存储于云存储服务器节点中，则进入2.a发出访问重定向指令；如果未缓存并已达到热点资源的阀值，则调度云缓存服务器进行2.b缓存操作；2.a 云存储监控系统发送访问重定向指令到用户端，将用户端的访问重定向到云缓存服务器已缓存内容或云存储服务器节点已存储内容；2.b 云缓存服务器优先从云存储服务器节点上下载缓存资源文件，再从互联网资源服务器上下载缓存资源文件；3用户端从云缓存服务器访问下载已缓存的资源文件。说明：热点资源的阀值设定为2时，云存储监控系统将用户访问的DNS请求重定向到云缓存服务器或云存储服务器节点，以提供数据处理分发服务，如果本次访问命中云缓存服务器，则云缓存服务器返回已缓存的内容；如果本次访问命中云存储服务器节点，则由云存储服务器节点返回内容，当同一访问请求达到2次时，则由云缓存服务器从云存储服务器节点获取内容返回用户，同时进行缓存。若云缓存服务器或云存储服务器节点均未命中，则系统将用户访问的DNS请求到原始网站服务器获取内容返回用户；当同一访问请求达到2次时，云缓存服务器通过互联网出口链路到原始网站服务器获取内容返回用户，同时进行缓存。系统仅对热点网站的DNS请求和命中缓存的HTTP/P2P请求进行重定向，对其它业务不产生任何影响。2、工艺路线系统主要由云存储管理服务器、云存储监控服务器、云缓存服务器、云存储服务器节点、无源分光器、网络交换机等硬件设备和应用软件组成。系统以透明缓存为主要服务方式，为宽带用户提供全方位的云存储和数据处理分发服务。标准系统架构由1台云存储管理服务器（每台云存储管理服务器可管理20个云存储节点）、1台或N台云存储监控服务器，2台以上至N台云缓存服务器，以及若干台云存储服务器节点组成。系统有三种部署方案：第一方案是采用无源分光方式，将上行互联网链路分光到云存储监控服务器；第二方案是端口镜像方式，在核心交换机上将上行互联网流量镜像到云存储监控服务器；第三方案是从用户已有的流量控制设备或流量捕捉设备上获取上行互联网流量，复制到云存储监控服务器。系统将根据用户的实际网络情况选择部署方案。以下是系统硬件设备配置清单：设备类型参考配置数量云存储管理服务器4核至强CPU2G以上内存1*300GSAS硬盘2*千兆以太网端口，铜线1台云存储监控服务器4核至强CPU4G以上内存1*300GSAS硬盘4*千兆以太网端口，铜线4*千兆以太网端口，光纤（单模、多模）1台以上云缓存服务器4核至强CPU2G以上内存1*300GSAS硬盘5*2T SATA硬盘4*千兆以太网端口，铜线2台以上云存储服务器节点2核至强CPU2G以上内存1*300GSAS硬盘10*2T SATA硬盘2*千兆以太网端口，铜线多台无源分光器（可选）至少两个分光模块1台五类网线设备连接N条光纤尾纤分光连接N条云存储管理服务器：实现系统配置管理、运行状态监控、负载均衡调度、日志查询、缓存文件管理、统计报表输出等功能；云存储监控服务器：实现网络流量分析、访问重定向等功能；云缓存服务器：实现缓存下载、存储、上载以及磁盘管理功能；云存储服务器节点：作为资源存储节点实现内容本地化；网络交换机：连接系统设备，提供网络通信保障。3、 技术指标 （1）系统性能参数云服务器存储空间系统中每台云缓存服务器的存储空间不低于8TB，每台云存储服务器节点存储空间不低于20TB。系统峰值吐出流量系统峰值吐出流量不低于系统监听链路下行流量的20%。例如，按照14G峰值下行流量计算，14Gbps x 20% = 2.8Gbps。系统单台云缓存服务器峰值吐出流量性能不低于200Mbps。系统平均吞入流量系统平均吞入流量不高于系统平均吐出流量的20%。例如，按照2G平均吐出流量计算，2Gbps x 20% = 400Mbps。在网络使用高峰时间段，系统从互联网吞入流量为零。云缓存命中率按照以下公式计算，系统云缓存命中率不低于85%。云缓存命中率=系统吐出流量/(系统吐出流量+系统吞入流量) （2）用户端效果假设用户接入带宽超过1Mbps：网站访问移动网内用户访问主流网站时，平均响应时间在500ms以内，平均访问速度超过512kbps； 下载速度移动网内用户从常用网站进行下载时，平均下载速度超过1Mbps； 流媒体下载速度移动网内用户从常用视频网站进行访问时，平均下载速度超过1Mbps； （3）功能扩展支持客户源站SLB结构；支持客户端记录日志功能；支持多通道区域化服务；支持反电信垄断法，重新定向缓存内容IP地址；支持多种应用：Email、证券行情查询、DB、Streaming、http、https 等；支持动静态混和服务；多级安全防护。4、可行性分析（1）服务资源可行性分析：公司是专业的云存储技术开发商和服务提供商，经过长时间的发展，无论是技术、软硬件、网络资源，还是运维经验、客户服务体系等方面都已经确立了明显的优势。优秀的研发团队，能为客户提供全面的定制服务：研发人员根据最新网站技术的应用，开发相应的流量管理和内容存储分发技术，并可针对客户的特殊需求提供全面的定制服务。高度可扩充的、稳定的、高效的网络：公司拥有覆盖范围广、性能卓越的CDN网络，聚合云服务资源节点1500余个，从资源上为项目提供强大的支持。依靠骨干网络资源，系统始终保持高度的可扩充性。灵活的资源配比与服务模式：即需即用，快速简单，满足网站在每个发展阶段对服务资源的需求。独享的带宽保证云存储及分发资源不会被别的应用挤占。独特的负载均衡技术：彻底杜绝了某一区域完全中断服务事故的发生。性能稳定的硬件：采用国际知名品牌的硬件设备，是云服务的坚实基础，是提供高服务品质的有力保障。全年无休的运维中心：运维中心对整个项目系统的运行状态实行7 X 24小时的监控，全网监控、集中维护，保证问题能够得到及时、有效地解决。完善的客户服务体系：公司设有专门的客户服务部门，随时为客户提供各种技术支持和售后服务。客户专区为客户提供根据日期、区域、带宽比例、动静态数据分发比例等，为用户分析提供重要的数据。充分的技术储备：采用多种技术手段满足网站防盗链、防非法下载需求。（2）项目运营可行性分析：本项目将在如下几个方面为客户带来巨大利益：提高总体运营效率，改善内容传送性能：针对中国特殊的南北互联和网络对等互联的瓶颈问题，限制于有限资源，大部分ISP、ICP运营商没有很有效的解决方案。本项目可为客户有效解决网络传输中的瓶颈问题，自动按需缓存内容，在网络使用高峰期减少HTTP下载和P2P下载对互联网骨干的流量压力，帮助ISP、ICP运营商获得更高的网络带宽使用效率。同时，系统还有效的改进对HTTP、P2P和非P2P应用的网络响应速度，增强了用户体验。 提高ISP、ICP整体形象，增加客户满意度：通过减轻HTTP下载和P2P下载对互联网骨干带宽的压力，影响数据传输速度和质量的环节不再存在，本项目改善了网络质量，大大提高了企业网站的服务质量，减少了技术支持电话、客户投诉数量和客户流失率，从而改善ISP、ICP运营商及其网站的总体形象。对于经常使用P2P下载和在线视频的用户，他们可以用更快的速度透明的从本项目系统中访问到已缓存的内容，而无需占用互联网骨干带宽，使网民有更好的冲浪体验。节省ISP、ICP运营成本，缓解企业投资压力：通过透明缓存HTTP和P2P内容，本项目减少了ISP、ICP运营商为了支持用户访问需要的互联网骨干带宽总量。对于有线电视网络，系统还能够有效的延缓ISP运营商对增加CMTS上行端口和端点分离的需求，减少了大量的资金投入和占用。 ISP、ICP运营商不再需要为了改善带宽、网站服务质量而大量投资在带宽、服务器、软件方面，同时也降低了机房建设、电力损耗等高额运营成本，相反服务质量却大大提高了。另外，本项目可有效避免ISP、ICP网站对高峰期的过分资源储备，而公司的运维团队7x24服务大大降低了ISP、ICP对内部IT人员的配制，从而节省后期运营成本。 因此，本项目服务为客户节省大量开支和人力成本。例：2012年2月为海泰宽带提供3G带宽云存储服务，替代其3G带宽出口，占其总出口带宽的30%，当月即节省带宽成本30万元。充分利用现有资源，扩大ISP、ICP服务规模：ISP、ICP运营商所能服务的用户数目和服务的质量取决于其本身所拥有的软硬件条件和带宽资源。当用户数目增长到一定程度，这些因素就会成为限制ISP、ICP运营商所能服务的用户数目的瓶颈，并制约其发展。而本项目分担了大量的用户请求，因此ISP、ICP运营商完全可以在现有的软硬件和带宽资源情况下满足日益增长的用户需求，甚至增大可服务的规模。增强ISP、ICP服务连续性以及安全性能：传统的网站经营模式是一个网站面对众多网民的访问，这种中央集中式的单点工作模式很容易因为网站服务器的故障而不得不中断对网民的服务。由于本系统采用的是分布式存储和分发模式，因此任何单点的故障不会对整体服务有任何影响，甚至在原网站服务器不能服务的情况下，本项目系统仍能够继续提供服务。这就大大提高了网站服务的可连续性。防止黑客攻击，保证网站安全：本项目采用专用的操作系统，传统的黑客工具不起作用。由于本项目云缓存系统只是保存客户网站内容的副本，所以只要客户的原服务器能够正常工作，系统就能够通过刷新取得正确的网站内容，而且原服务器被隐藏在后面，不易受到黑客的直接攻击，也在一定程度上保证了网站的安全。增强带宽可扩展性，应对高峰访问量：相对资源有限的网站，本项目专业的服务可应对任何流量突发的情况，从而提高客户网络的可扩展性。增强企业发展潜力，打造快速成长平台：本项目帮助ISP、ICP运营商同等对待P2P流量和用户，而不再通过限制和禁止等手段来控制HTTP下载和P2P下载对网络的影响。本项目把占用大量带宽的HTTP和P2P流量限制在系统内部，帮助ISP、ICP运营商优化网络流量，提供更多增值服务，例如VPN、宽带视频、VoIP和P2P文件共享。同时，网站的内容可以设计的更加多样化、有吸引力。比如，企业完全可以采用流媒体内容来进行产品和服务方面的宣传，而不必需要担心因为流媒体内容消耗带宽资源太多而放弃采用。这样网站内容可以更加多姿多彩，产品展示可以更加吸引网民访问，从而增强网站的市场宣传效果。提供深度数据开发，辅助企业市场决策：本项目系统定期向客户提供全面的文件管理、云缓存日志、云缓存统计、热点统计、黑名单管理等网民访问行为的统计数据，为客户在激烈的市场竞争中提供第一手的市场和用户信息，并据此作出相应的市场推广策略。三、研究内容及取得的成果 1、具体的研究内容：“云存储数据处理分发系统” 项目，采用旁路部署方式，支持GE/2.5G POS/10GE/10GPOS等多种链路，支持主流HTTP/P2P协议内容缓存，它所采用的关键技术包括：负载均衡技术、动态内容路由、高速缓存机制、动态内容分发与复制、网络安全机制等。项目研究开发的具体内容为：1.1云监控功能 A.旁路部署：以端口镜像、流镜像或无源分光、分光+DPI等方式监听获取GE/2.5G/10G链路当中的互联网流量。B.分布式部署：每台云监听服务器上部署重定向引擎，负责各自监听范围内的云缓存重定向任务，并由云管理服务器统一进行调度，实现流量负载均衡。C.监听参数：系统支持定义进行监听的网卡和内部网络地址段，只对来自这些地址段的互联网访问进行监听并提供云缓存服务。D.行为分析：对监听数据进行分析，获取用户访问互联网的行为趋势报表，包括热门站点、热门搜索关键词、热门下载、热门在线视频等信息进行统计输出。E.重定向引擎： DNS重定向、HTTP重定向、P2P重定向。F.内容过滤：系统内置内容过滤模块，支持对非法网站进行拦截封堵，对用户访问返回DNS请求错误或HTTP重定向至警告页面。系统内置网址分类数据库，包含赌博、色情、诈骗、反动等类别网站，并与互联网内容安全中心自动同步获取更新。系统支持对网站内容进行扫描分析，发现包含特定关键字和敏感图片的网页，自动或手动加入黑名单。1.2云缓存功能A.Web云缓存系统支持对网页的解析，支持对网页中的html、xml、wml、图片、css样式文件、Java脚本文件、flash文件等多种网页静态对象的云缓存和下载。设备支持静态对象缓存配置，用户可以通过修改配置达到不同类型文件是否缓存的目的。B.HTTP云缓存系统支持多种形式的HTTP文件缓存，包括但不限于Windows更新、应用软件下载和更新、病毒软件下载和更新，以及其它形式的HTTP下载。C.系统支持深度协议分析，除了支持常见80/8080/8888等HTTP端口外，对非标准端口的HTTP流量也能够识别并提供云缓存服务。D.系统支持HTTP断点续传机制。E.流媒体云缓存系统支持多种形式的流媒体文件缓存，包括但不限于在线音频和在线视频文件缓存，支持以下网站的云缓存和视频加速，包括土豆网、优酷网、56网、酷六网、新浪视频、搜狐视频、奇艺网、中国网络电视台等。F.开放P2P云缓存：支持BT文件缓存，支持BitTorrent、TurboTorrent、BitComet、BitSpirit、Azureus、ABC、uTorrent等通用流行的BT下载软件。G.支持eMule文件云缓存：支持eMule、easyMule、eMule Xtreme Mod、jMule等通用电驴下载软件。H.私有P2P云缓存：系统支持迅雷、PPStream、PPlive、风行等商业P2P应用的缓存，在网络空闲时间将热点内容从外网主动推送到内网，实现流量本地化和保障用户体验。1.3应用管理A.云缓存参数管理：系统支持针对每种支持的协议定义要进行缓存的参数，包括文件大小、触发下载的不同IP地址个数、文件扩展名等参数，并可以定义对已缓存文件重新检查更新的时间频率。B.下载时间段控制：系统支持针对每种支持的协议定义下载时间段，系统仅在这个时间段内从互联网上下载缓存文件，达到错开网络使用高峰，提高互联网出口带宽使用效率的目的，也对互联网出口流量起到整形的作用。C.白名单管理：系统支持定义提供优先缓存的源IP网络地址段及关键词白名单。对于来自于这些IP地址段的访问请求，以及URL或文件名包含这些关键字的访问请求，系统进行优先缓存。D.P2P热点发布：系统提供P2P发布热点功能，对于用户访问量大的P2P类的影视下载热点，管理员选择这些文件进行发布，系统自动生成门户页面。当用户访问指定网站时，浏览器会重定向到该热点门户页面，以促使用户尽可能从本地缓存已有的P2P文件列表当中进行下载，一方面达到进一步实现流量本地化的目的，另一方面，用户从这个列表当中下载速度非常快，也达到丰富用户体验的目的。1.4内容管理A.黑名单管理：系统支持定义不提供云缓存服务的源IP网络地址段、以及关键词黑名单。对于来自于这些IP地址段的访问请求，以及URL或文件名包含这些关键字的访问请求，系统不提供云缓存服务。B.文件管理：系统支持对所有已缓存的文件进行浏览、排序、查询、查看、下载、删除等管理操作。C.云缓存日志：系统记录和提供详细的客户端缓存下载日志查询，包括时间、源IP地址、协议、文件名、上载流量、下载流量等信息。系统支持基于关键字的日志搜索查询功能。D.云缓存统计：系统支持按照时间段（年、月、日、小时）、云缓存服务器、缓存应用对系统云缓存情况进行统计，统计信息包括上载流量、下载流量、上载下载比例、命中率统计等。E.热点统计：系统支持按照时间段（最近24小时、最近7天、最近1月）、云缓存服务器、缓存应用、上载下载流量对云缓存热点文件进行统计，输出自定义TOP N文件列表。F.病毒扫描引擎：系统支持对缓存文件进行病毒扫描，输出被病毒感染的文件列表，包括源IP地址、URL、文件名、大小、感染病毒名称等信息。1.5设备管理A.磁盘管理：系统支持磁盘分区级别的磁盘管理方式，在同一台云缓存服务器上的多块硬盘分区上划分不同的缓存应用目录，实现云缓存服务器的多协议支持。当其中一块硬盘发生故障停止工作后，不影响其它硬盘分区的工作，并支持不停机进行硬盘替换。系统支持自定义最大存储利用率，在各硬盘分区存储空间到达这个最大利用率时，系统自动清理过期缓存文件，循环利用硬盘空间。B.运行状态监控：系统统一管理监控多台云设备的运行状态，包括CPU、内存、硬盘使用情况，以及云缓存服务器的并发连接数、网络吞吐流量等信息。C.告警通知：当系统中某一台云设备发生故障或硬盘空间使用率、CPU使用率超过自定义阈值时，系统支持电子邮件或短信（需用户提供短信网关）发送报警通知信息。D.备份与恢复：在系统中一台或多台云设备发生故障停止提供服务的时候，不能影响正常的ISP运营业务。对于用户已建立的缓存下载链接，用户通过重试或重新下载操作即可恢复。系统支持备份与恢复操作，一键备份系统配置信息和统计数据，在系统初始化的时候可以直接通过备份文件进行恢复。 E.分权管理：系统可以定义多个不同权限级别的管理员账号，并支持信任IP地址设置，确保管理员从各自对应信任IP地址登录系统，并在相应的权限范围内执行管理操作。系统记录所有管理员用户的操作，包括用户名、登录时间、操作类型。未经授权的访问尝试由系统记录并作为安全性警告提示。管理员直接关闭已登录的浏览器或超时未操作时，账号自动注销，再次访问管理界面需要重新登陆。2、关键技术：本项目以创新的分布式云存储数据处理分发系统架构，采用了集中缓存（再定向缓存）技术（Centralized）+分布式（镜像站云存储）文件系统（Distributed）+统一监控智能管理平台（Uniform）的云存储和数据处理分发模式，将成为帮助各行业实现海量数据存储、数据安全、容灾和备份、实现绿色计算、促进节能减排的新模式，全面突破了传统存储方式的性能和容量瓶颈，并通过主机托管、宽带租赁等方式向用户提供一站式云服务解决方案，为互联网类网站、移动类网站、政府类网站、企业类网站、游戏类网站、电子商务类网站、媒体类网站、金融类网站等各行业门户网站提供云存储及数据分发服务。其独创、领先的云存储资源组织分配技术，居国内领先水平，可迅速解决中国南北互联的瓶颈问题，改善网络响应速度，增强用户体验，并进一步推动我国新型互联网应用技术及云计算整体技术水平的提高和发展。系统主要由云存储管理服务器、云存储监控服务器、云缓存服务器、云镜像服务器、无源分光器、网络交换机等硬件设备和应用软件组成。系统以透明缓存为主要服务方式，为宽带用户提供全方位的云服务。核心技术特点:IP/MPLS解码/编码技术：系统支持IP/MPLS网络的自动解码和编码，实现IP/MPLS全功能运行。MPLS主要设计来解决网路问题，如网路速度、可扩展性、服务质量（QoS）管理以及流量工程，同时也为下一代IP中枢网络解决宽带管理及服务请求等问题。HTTP协议深度识别技术：通过深度分析网络数据流量内部的关键字来有效识别出HTTP流量，支持HTTP下载（IE下载/flashget下载等）、迅雷P2SP下载、WEB图片缓存（指定网站站点）、WEB视频（FLASH视频，不限站点）等内容的云缓存服务提供，识别率超过98%。P2P协议识别技术：系统采用端口识别法和应用层特征识别法两种典型的识别方法对P2P流量进行识别、控制和缓存。系统识别但不限于BitTorrent、TurboTorrent、BitComet、BitSpirit、Azureus、ABC、uTorrent等通用流行的BitTorrent下载软件。跨协议缓存技术：系统以HTTP缓存为主，P2P缓存为辅，同时提供多种协议的缓存服务。对于此类同一个文件的跨协议下载，系统实现了跨协议缓存技术，即对于此类文件，在缓存系统中只保留一份Copy，以HTTP协议和BT协议同时为用户提供缓存下载服务。跨协议缓存技术一方面减少了对缓存系统的磁盘存储需求，另一方面也减少了从互联网上获取缓存文件占用的网络流量，还大大改善了用户的下载体验。异步预缓存技术：对于不同用户的不同需求，云缓存系统需要有先进的技术进行预缓存，以提供更高的服务质量。系统采用三种方式进行异步预缓存：全球热点文件预缓存、本地热点网站预缓存、自定义热点网站预缓存。磁盘回收技术：缓存系统是非常消耗磁盘存储空间的，需要对TB级甚至10TB级的存储进行管理和使用，并且HTTP和P2P缓存都会产生大量的磁盘碎片，降低磁盘工作效率，减少硬盘使用寿命。系统通过先进的磁盘回收技术对海量磁盘空间进行管理和使用，磁盘使用率可以非常安全的达到95%。系统会定期进行磁盘回收操作，在磁盘空间使用率达到系统设置的阈值时也会进行磁盘回收操作，对长期没有用户访问的、缓存命中率较低的文件进行清理回收，确保新内容的缓存。缓存内容传输优化技术：FastTCP优化TCP协议栈、FastConnection优化TCP连接管理、FastSend数据零拷贝技术、FastCompression压缩内容传输、FastVideo视频传输优化。3、实验数据与结论： （1）系统性能数据云服务器存储空间系统中每台云缓存服务器的存储空间不低于8TB，每台云存储服务器节点存储空间不低于20TB。系统峰值吐出流量系统峰值吐出流量不低于系统监听链路下行流量的20%。例如，按照14G峰值下行流量计算，14Gbps x 20% = 2.8Gbps。系统单台云缓存服务器峰值吐出流量性能不低于200Mbps。系统平均吞入流量系统平均吞入流量不高于系统平均吐出流量的20%。例如，按照2G平均吐出流量计算，2Gbps x 20% = 400Mbps。在网络使用高峰时间段，系统从互联网吞入流量为零。云缓存命中率按照以下公式计算，系统云缓存命中率不低于85%。云缓存命中率=系统吐出流量/(系统吐出流量+系统吞入流量) （2）用户端效果假设用户接入带宽超过1Mbps：网站访问 移动网内用户访问主流网站时，平均响应时间在500ms以内，平均访问速度超过512kbps； 下载速度移动网内用户从常用网站进行下载时，平均下载速度超过1Mbps； 流媒体下载速度移动网内用户从常用视频网站进行访问时，平均下载速度超过1Mbps； （3）功能扩展支持客户源站SLB结构；支持客户端记录日志功能；支持多通道区域化服务；支持反电信垄断法，重新定向缓存内容IP地址；支持多种应用：Email、证券行情查询、DB、Streaming、http、https 等；支持动静态混和服务；多级安全防护。4、取得的突破性进展与创新点4.1突破性进展：单向数据会话还原技术：系统支持端口镜像和无源分光两种数据采集技术，用来收集用户上网访问请求，从而得到需要缓存的内容信息。单向数据会话还原技术，无需完整的双向数据流量，而是从单向的TCP网络数据流量当中就可以还原出需要监控的数据，可以大大提高系统性能，降低硬件投入成本。HTTP智能云缓存判断技术：系统通过文件名、文件大小和黑名单结合的方式，判断文件是否需要进行缓存。HTTP智能云缓存判断技术应支持跨网站、跨域名、跨服务器、多下载点的文件缓存，例如：CDN文件缓存，迅雷下载缓存等，并且非常节省硬盘空间。BT碎片缓存技术：系统独创了BT碎片缓存技术，使用碎片方式管理BT文件下载，不需要预先分配磁盘空间，而是采用增量下载存储的方式，下载一个碎片就保存一个碎片，在系统当中不保存完整的BT资源文件，用户停止下载，系统也随时停止下载。从系统下载第一个碎片开始就可以开始提供缓存下载服务，响应时间和服务速度大大高于同类产品。在用户需要访问这些缓存的时候，系统也是以碎片的方式进行提供，从而在一定程度上避免版权方面的法律风险。4.2、项目创新点：本项目技术成果主要是有利于ISP、ICP合理配置存储资源并提高其利用率，促进节能减排，实现绿色计算和数据保护，提高用户体验，改善ISP、ICP服务质量，降低ISP、ICP的网络出口带宽成本、节省机房机柜空间、减少硬件维护。本项目商用的市场需求量大，社会和经济效益显著。大幅降低ISP、ICP带宽成本50%：通过透明缓存HTTP和P2P内容，系统减少了 ISP 运营商为了支持订阅用户需要的互联网骨干带宽总量的近50%。对于有线电视网络，系统还能够有效的延缓 ISP 运营商对增加 CMTS上行端口和端点分离的需求，减少了大量的带宽资金和占用。例：2012年2月为海泰宽带提供3G带宽云存储服务，替代其3G带宽出口，占其总出口带宽的30%，当月即节省带宽成本30万元。提升传输速度28倍，解决网络运营互联瓶颈：系统中云缓存服务器和云存储服务器节点全部本地接入，每台云缓存服务器的存储空间不低于8TB，每台云存储服务器节点存储空间不低于20TB，实现了本地海量存储，直接响应用户的请求，减轻了网站原服务器的负载，在相同条件下提升网站处理能力的同时，实现了跨运营商的网络加速，大幅提高网络传输速度和用户体验。系统的云服务器工作容量超过普通服务器数十倍，能轻易接纳处理大量增加的通信量，系统的传输速度是现有传统传输速度200kbps的20-28倍，在3分钟内完成原先1小时的文件传输量。实现绿色计算，促进节能减排，降低用户运营成本75%：系统设计采纳“绿色环保”理念，在软件架构上实现高效率，从而使用更少的硬件设备达到高性能目标，同时系统全部采用云服务器部署，工作容量超过普通服务器数十倍，满足用户节省机房机柜空间、节省带宽成本、节省能源能耗、减少硬件维护工作的多重需求。由于系统全部采用云服务器部署，其工作容量超过普通服务器数十倍，在机房机柜建设中，仅占用传统机房1/4的空间，为ISP、ICP降低机房、机柜、空调建设成本75%的同时，更为ISP、ICP节省了每月固定在服务器和空调等硬件设备上支出的电力能耗的75%以上，真正实现了绿色计算、促进节能减排。同时，公司高质量、高效率的7x24x365的专业运维服务，大大降低了用户对内部IT人员的配制，从而节省后期运营成本。完善的安全机制，缓解数据风暴：分布式云存储架构，有效减低原网站服务器的负荷，防止网站热点信息内容被频繁点击出现问题。本项目采用专用的操作系统，传统的黑客工具不起作用。由于云缓存系统只是保存客户网站内容的副本，所以只要客户的原服务器能够正常工作，系统就能够通过刷新取得正确的网站内容，而且原服务器被隐藏在后面，不易受到黑客的直接攻击，也在一定程度上保证了网站的安全。部署简单，易于使用：采用成熟的网络设备和独创领先的云存储技术，与现有的Internet网络无缝衔接、弹性嵌入，部署简单、无需修改网络结构和设备配置；普通Internet用户端不需做任何操作和培训。保证内容新鲜度：通过云缓存服务器、云存储服务器节点的内容更新，使网站内容在更接近用户的同时保证内容的绝对新鲜度。完善的冗错机制：云存储服务器节点间的负载均衡机制，使任何单点故障都完全不会影响系统的服务，保证了系统的可用性。全面的云网络管理：系统拥有全面的云网络管理中心，提供先进磁盘管理、集中运行状态监控、告警通知、备份恢复、分权管理等多种设备管理工具，可以及时发现网络中的任何一点故障，进一步保证系统的可用性，所有的管理都可以通过一个统一的WEB界面来实现，方便系统管理员的操作。网民访问行为统计：系统定期向客户提供全面的文件管理、云缓存日志、云缓存统计、热点统计、黑名单管理等网民访问行为的统计数据，为客户在激烈的市场竞争中提供第一手的市场和用户信息，并据此作出相应的市场推广策略。四、成果市场前景应用推广分析云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念。云计算使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。目前的云存储服务主要应用于ISP、ICP、门户网站、电子商务、大中型公司、网络教学、证券、金融保险、ISP 等领域，在行业专网、互联网中都可以用到，甚至可以对局域网进行网络优化。利用云存储服务，这些网站无需投资昂贵的各类服务器、设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息，通过云存储技术动态、可伸缩、虚拟化的新型服务模式，使内容请求点和交付点之间的距离缩至最小，从而促进Web 站点性能的提高，具有重要的意义。云存储服务能够为网络的快速、安全、稳定、可扩展等方面提供保障。为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。云计算的数据存储技术主要有谷歌的非开源的GFS(Google File System)和Hadoop开发团队开发的