多线程下载cdn加速原理和实现方法.doc

北京蓝汛通信技术有限责任公司BEIJING BLUE-IT TECHNOLOGY CO., LTD.中国 北京 朝阳区建国路88号SOHO现代城B座706邮编：100020电话：（8610）85800326 传真：（8610）85800620网址：多线程下载CDN加速原理和实现方法多线程下载技术在Internet的应用已经是很广泛了。对于这类内容的CDN加速，ChinaCache CDN有着自己一套完善和成熟的解决方案。一多线程下载技术简单地说，多线程下载技术就是使用多个连接分别下载一个指定Object不同部分的下载方式。多线程下载技术最大的优点就是能够充分地利用客户端网络带宽的数据传输能力，从而达到在最短的时间内将一个指定Object下载过来的目的。现在有不少软件可实现多线程下载.如NetAnts，JetCar，NetVampire，FlashGet和GetRight等,其实多线程下载的原理并不复杂,主要的两项技术就是多线程和断点下载。程序中开启多个线程，每个线程利用断点下载，分别下载文件的不同部分，下载完后合并，就可以了。所谓断点续传即下载过程可以中途暂停，然后再从停止点继续下载过程，并最终获得完整的文档。断点续传需要服务器支持。多线程下载也需要服务器支持断点续传功能。此时下载文档可以分成几个部分，并且同时进行，以提高下载速度。也就是说，对于同一个下载文档，设置不同的下载起点，然后一起开始下载。目前流行的下载软件都应当具备这一功能。至于多线程下载的原理是这样的：通常服务器同时与多个用户连接，用户之间共享带宽。如果N个用户的优先级都相同，那么每个用户连接到该服务器上的实际带宽就是服务器带宽的N分之一。可以想象，如果用户数目较多，则每个用户只能占有可怜的一点带宽，下载将会是个漫长的过程。如果用户通过多个线程同时与服务器连接，那么他就可以榨取到较高的带宽了。例如原来有10个用户都通过单一线程与服务器相连，服务器的总带宽假设为56Kbps，则每个用户（每个线程）分到的带宽是5.6Kbps，即0.7K字节/秒。如果有一个用户同时打开两个线程与服务器连接，那么共有11个线程与服务器连接，而他获得的带宽将是56/11*2=10.2Kbps，约1.27K字节/秒，将近原来的两倍。用户同时打开的线程越多，他所获取的带宽就越大。当然，这种情况下占用的机器资源也越多。不难看出，多线程技术对于ICP的服务器和网络带宽等资源都有着较高的要求。用户在进行在进行下载的过程中经常会遇到连接超时、线程中断和下载速度缓慢等令人头疼的问题。ChinaCache提出的多线程CDN加速解决方案，则可以有效解决诸如以上方面的问题。二ChinaCache CDN网络系统介绍ChinaCache CDN网络拥有绝对优势的网络带宽资源，截止至2003年3月，ChinaCache 已在全国开通运行29个CDN节点，其中有10个千兆点，总带宽资源超过12Gbps。下图是ChinaCache 节点分布图。同时，ChinaCache的CDN网络采用了世界领先的设备、技术和算法，结合中国的实际网络环境，开发了一系列的软件，使我公司推出的互联网内容快递系统具有以下特点：l 易于使用：由于采用了各种成熟的网络设备和Internet技术，在与现有的Internet网络集成时非常简便；对于普通Internet用户的访问是完全透明的。l 就近接入：采用了互联网内容快递系统后，网站的内容分布到离用户更近的地方，直接响应用户的请求。同时减轻了网站原服务器的负载，在相同条件下提供了网站的处理能力。l 专用设备：ChinaCache的每个节点都采用专用的Internet网络加速器，其处理性能远远强于普通服务器，能处理大量的用户请求，并提高对用户请求的响应时间；l 完善的冗错机制：ChinaCache的每个节点采用的设备都是电信级产品，具有极高的可靠性和稳定性；同时通过系统各节点间的负载均衡机制，使任何单点故障都完全不会影响系统的服务，保证了系统的可用性；l 全面的网络管理：我们的系统拥有全面的网络管理中心，负责整个系统的监控，可以及时发现网络中的任何一点故障，进一步保证系统的可用性，所有的管理都可以通过一个统一的WEB界面来实现。方便系统管理员的操作。二CDN加速原理当用户访问已经使用了ChinaCache服务的ICP的网站时，其解析过程与传统解析方式的最大区别就在于GAC（Global Access Controller）不是以传统的轮询（Round Robin）方式来响应本地DNS的解析请求，而是充分考虑用户发起请求的地点和当时网络的情况，来决定把用户的请求定向到离用户最近同时负载相对较轻的节点服务器上。通过GAC的智能动态负载均衡技术，可以将用户的请求就近定向到CCN（ChinaCache Node）的服务器上。CCN服务器的高性能则进一步保证了Internet用户的访问能得到更及时可靠的响应。同时，作为CDN服务提供商，通过我们不断完善的Speed Fresh Keeper（SFK）功能，将自动保障各个CCN服务器与ICP的原服务器的数据同步，用户访问CCN服务器将得到与原服务器完全相同的内容。下图说明了一个用户访问使用ChinaCache服务的网站的完整过程：1. 用户在自己的浏览器中输入要访问的网站的域名2. 浏览器向本地DNS请求对该域名的解析 3. 本地DNS将解析请求发到ICP的授权域名服务器（authoritative DNS），授权域名服务器通知本地DNS，相应频道的授权域名服务器为GAC(Global Access Controller)4. 本地DNS向GAC发出域名解析请求5. GAC根据预设策略，选择最佳CCN节点，并将结果（IP地址）返回本地DNS6. 本地DNS将该CCN的IP地址发给用户7. 用户向最佳节点发出请求8. ChinaCache节点中的ChinaCache服务器响应用户的请求提供相关内容三多线程加速的实现方法ChinaCache高速缓存服务器（以下简称CCS）有着自己专业的CacheOS，有效支持多线程下载（ByteRange），并且具备成熟和稳定的技术性能。如下图所示，当第一个用户（用户1）向CCS发出多线程下载的访问请求时，如果CCS上没有该内容，那么CCS将和ICP原服务器之间建立一个单线程连接，把所需内容下载到本地，与此同时和用户1也建立一个连接并将内容提供给用户1。之所以和ICP原服务器只建立一个连接，显而易见，CCS在这里本身也减轻了原服务器的负载。当第二个用户（用户2）向CCS发出多线程下载请求时，该内容已经被CCS完整获得并存储到本地，CCS与用户2便可以建立多个连接，提供多线程下载服务。同样，以后的所有用户发出对相同内容的多线程下载请求时，都将由CCS直接给予响应。目前，已经采用ChinaCache CDN多线程下载加速服务并取得明显收益的网站如：瑞