缓存(内网加速系统)产品白皮书.docx

北京广信友联科技有限公司 建设快捷高效安全健康文明的互联网产品白皮书北京广信友联科技有限公司2013年7月版本声明北京广信友联科技有限公司2013版权所有，保留一切权力。本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属北京广信友联科技有限公司（以下简称广信友联科技）所有，受到有关产权及版权法保护。未经广信友联科技书面许可不得擅自拷贝、传播、复制、泄漏或复写本文档的全部或部分内容。信息更新本文档仅用于为最终用户提供信息，并且随时可由广信友联科技更改或撤回。适用版本Widehonest1.0免责条款根据适用法律的许可范围，广信友联科技按“原样”提供本文档而不承担任何形式的担保，包括（但不限于）任何隐含的适销性、特殊目的实用性或无侵害性。在任何情况下，广信友联科技都不会对最终用户或任何第三方因使用本文档造成的任何直接或间接损失或损坏负责，即使广信友联科技明确得知这些损失或损坏，这些损坏包括（但不限于）利润损失、业务中断、信誉或数据丢失。期望读者期望了解本产品主要技术特性的用户、企业管理人员、系统管理员、网络管理员等，本文档假设您对下面的知识有一定的了解：i DNS和HTTPii TCP/IP协议联系我们如您在阅读本文档过程中有任何问题，可联系我们进行进一步查询： 目录1引言41.1产品背景41.2市场分析51.3产品特性51.4运行环境61.5术语92用户安装与使用102.1用户安装流程及问题处理102.2界面设计图及操作142.3注册码的申请253产品优势284关于广信友联科技311引言1.1产品背景目前中国的一级运营商为中国电信、中国联通、中国移动，一级运营商具有丰富的资源。根据2001年5月10日信息产业部令第9号公用电信网间互联管理规定(以下简称管理规定) 出台之前，互联互通问题虽然严重，但大部分都是显性问题，直接表现为不互联，例如切断通信，割断光缆，资费违规等，这些问题比较容易判断和解决。但是，在管理规定等法律法规出台之后，出现了新的互联互通问题，即互联不互通或性能不互通。在技术发展迅速、市场竞争激烈的情况下产生的互联互通问题不是单一的技术问题，而是技术、经济、监管等多方面因素导致的。 1通信协议不一致导致业务难于互通。由于计算机技术在通信网络中的广泛使用，通信网络已不再是简单互通的物理网络，而是通信软件与物理硬件的有机结合，而通信软件侧重的是通信规程和数据格式。例如，现在的通信热点技术NGN，3G，IPTV等核心技术都是直接采纳基于IP的软件技术。随着通信技术的不断演进和协议版本的频频更新，目前许多依据不同通信标准或依同一标准、不同版本或依相同标准、不同厂家开发的通信网络都难以互通。例如大家熟知的ITU-T H.323协议从1998年2月发布第一版到目前已经有4个版本，但不同版本的H.32 3网络难以互通。同样，由于厂家对相同协议版本理解不同，不同厂家针对相应版本的H.323协议做出来的系统也很难互通。 当前，运营商各自通信网络不仅包含着不同阶段、不同特性的物理通信网络，亦包含为适应不同需求开展的多种业务。由于网络建设和业务开展都是企业自身行为，故此采用标准也有所差异，技术本身也存在互联互通的问题。 2网间结算不合理导致人为不互通。 互联互通不是义务，本质上是一种需要强制而又要符合市场规律的业务，所以它同样存在市场、成本和利益问题。从经济学角度看，互联互通是因使用对方网络资源而需要向对方付费的问题。处于市场竞争的双方因业务范围相似、资源成本不均，很容易导致互联互通出现种种问题。尤其是目前的网间互联结算费率占运营业务收入的比例很少，运营企业对互联互通缺乏有效的制度激励，故运营互联互通积极性不高，甚至抵制互联互通的实施。目前，很多案例均源自网间结算费用不合理，拖欠结算费等，直接或间接导致网络无法互联互通。 3监管体系不完善使投机者有机可乘。 互联互通问题的解决还需要通过监管手段提供保证。互联互通监管方面的问题主要存在于监管主体权利不明确，这主要和中国运营商实际情况有关，通信管理局都是由过去的电信运营商分解出来的，与电信部门有着千丝万缕的关系。监管证据不足，主要是由于很多互联互通问题不再是显性问题，很难界定责任。虽然电信管理条例、公用电信网间互联管理规定、电信网间互联争议处理办法等法律法规的出台，在一定程度上减轻了互联互通问题，但由于通信行业本身的快速发展与高科技的特点，还需要不断完善。 1.2市场分析由于互联互通问题的存在，WAN带宽的费用很高，跨网连接的响应时间较长。Widehonest缓存系统利用web缓存、分光缓存、P2P缓存，减少了WAN带宽的占用，降低了成本；提高终端用户的效率，改善响应时间；方便网络管理员进行安全访问控制和监控；并且Widehonest系统提供了可操作日志记录，方便管理员分析系统和网络情况。1.3产品特性近年来，互联网用户数量及其宽带需求的增加远远超过网络基础设施建设的速度，这种供需双方的不平衡发展带来诸多的问题，出现了骨干链路拥塞，服务器过载以及响应时间过长的现象。解决问题的方法很多，但对于希望尽快摆脱带宽瓶颈困扰的用户和网络服务提供商来说，网络缓存是一项行之有效的技术。本系统通过出口分光统计用户访问热点，由本地缓存平台到自建资源中心或源站将热点文件下载到本地。当本地用户再次请求该资源下载时，缓存平台通过分光捕获到用户的请求，并且检测到缓存平台中已存在该资源，则通过重定向方式与用户建立连接，为用户提供网络下载的加速服务。通常使用本系统可以达到节省带宽、缩短响应时间、提高静态网络数据和对象可用性、方便进行安全控制和监测的目的。本系统具有以下特性：1. 快捷性：有效的降低客户访问网络资源的延迟；本系统的界面响应速度很快，没有跳页闪烁情况；2. 鲁棒性：实现可用性，web服务随时可用。（如果由于远程服务器故障或网络故障造成远程服务器无法响应客户请求，客户仍然可以从Widehonest缓存服务器中获取缓存的副本）；3. 透明性：本缓存系统对客户是透明的，客户得到的结果仅仅是快速的响应和良好的可用性；4. 可扩展性：本系统能够随着网络规模和密度的不断增长而很好的进行扩展；5. 高效性：本系统给网络带来的开销很小；6. 适应性：本系统能够适应客户请求和网络环境的动态变化，系统界面兼容几乎所有浏览器，包括Chrome/Safari/Opera/Firefox/IE9以上版本；7. 稳定性：本系统不会给网络带来不稳定性；8. 异构处理能力：随着网络规模和覆盖域的不断增大，网络将跨越一系列不同的硬件和软件体系结构。本系统能适应不同的网络体系结构；9. 简易性：本系统配置简单，操作方便；10. 智能性：本系统自动检测用户服务器硬件环境，自动加载干扰列表，自动重启异常中止服务，自动加载各个统计信息。1.4运行环境最低服务器硬件配置：操作系统：CentOS5.x，X86_64CPU：E5606内存：8G磁盘：4块7500转500G硬盘网卡：双网卡（工作在千兆模式）推荐服务器硬件配置：操作系统：CentOS5.6，X86_64CPU：双颗E5620以上内存：32G磁盘：6块7500转1T硬盘网卡：双网卡（工作在千兆模式）建议：硬盘配置：raid0系统盘分区:/boot 200M/swap 16G 其余全部给/分区系统装在第一块硬盘上注1：本系统界面兼容几乎所有浏览器，包括Chrome/Safari/Opera/Firefox/IE9以上版本。注2：服务器安装操作系统时，选中base包安装。图 设备安装图注3：实际物理拓扑中，Widehonest服务器会有两根网线与交换机互联，一为分光镜像口，一为网络口。分光数据的实现：内网出口核心交换机将用户所有上行数据流量镜像到Widehonest缓存服务器的一个网卡上。1.5术语HTTP（hypertext transport protocol）：超文本传送协议，一种详细规定了浏览器和万维网服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议。DNS（domain name system）：域名系统，它是由解析器以及域名服务器组成的。域名服务器是指保存有该网络中所有主机的域名和对应IP地址，并具有将域名转换为IP地址功能的服务器。URL（uniform resource locator）：统一资源定位符，是因特网上标准的资源的地址。分光/端口镜像：通过分光器或交换机实现。分光器是数据通过光纤传输后将光数据复制一份给Widehonest系统所在服务器的网卡。粗线的说，分光器的概念类似于“三通”的意思，即原来的流量正常通行，同时分一股出来供系统使用。 端口镜像是通过配置交换机克隆出口的链路到指定的系统网卡而达到与上述相同作用的方式。2用户安装与使用2.1用户安装流程及问题处理提示：要求用户主机支持perl语言环境（若不支持，使用yum install perl）。注：重新安装本系统，监控信息会置空，配置信息会保留。使用tar xvf Widehonest-0.1.0.tar.gz命令将压缩包Widehonest-0.1.0.tar.gz解压缩，得到如下五个文件：Auto_file，Auto_line，Auto_pm，Auto_rpm，Auto_manager.pl。安装本系统，执行命令：./Auto_manager.pl。如果没有出现错误信息，则安装成功，如下图所示。如果安装过程中出现错误，会显示相应错误信息，下面是常见的出错界面。出错界面一：出错界面二：下面逐条分析出现上述错误信息的解决方法。当出现如下所示错误（没有apache用户，没有apache用户组）时的解决方法：首先，手动添加apache用户和用户组；然后，修改文件/etc/php-fpm.d/www.conf，将user字段和group字段设置为apache如下所示。当出现如下所示错误时的解决方法：Copy错误解决方法：将前面的文件复制到后面的目录中；Chown错误解决方法：修改后面的文件或目录的所属用户组和用户为apache；Chmod错误解决方法：设置后面的文件或目录的权限为0644（其中0为特殊权限，一般特殊权限默认为0。如果使用系统命令，则为chmod 644 文件名或目录）。当出现如下所示错误时的解决方法：首先，登陆网站下载cpanminus，并进行源码安装，然后，重新安装本系统，执行命令 ./Auto_manager.pl。源码安装步骤：1、perl Makefile.PL；2、make；3、make install。当出现如下所示错误时的解决方法：下载rpm包：net-snmp，net-snmp-libs，php-snmp，然后安装即可。当出现如下所示错误时的解决方法：重新执行出错的命令：lll al和catt al。当出现如下所示错误时的解决方法：2.2界面设计图及操作登录界面：在地址栏中输入本地网络可达的服务器ip，使用8080端口（请务必保证8080端口未在iptables中被禁掉）。例如：5:8080。回车进入登录页面，如下图所示。用户名：admin，密码：admin，点击“登录”按钮，进入Widehonest系统。硬件评估界面：本系统检测用户服务器的主要硬件参数并进行评分。用户只需点击“开始检测”按钮，系统会自动检测CPU的主频和核数，硬盘的数量、总存储容量和可用空间大小，内存总存储容量和可用内存总量，网卡的数量和工作模式，操作系统、位数和版本号并分别显示在页面上。同时，系统为用户服务器各硬件进行评分，方便用户评价此服务器是否适合安装本缓存系统。下图为进行硬件评估前的界面，用户只需点击“开始检测”按钮即可。 下图为进行硬件检测后的界面，系统分别列出了处理器、硬盘、内存、网卡和操作系统的主要参数，并对各硬件进行评分。用户管理界面：默认只有一个admin用户，admin用户具有最大的权限，可以添加和删除用户，设置用户的访问权限，可以对本缓存系统进行配置，可以查看统计信息。普通用户的权限只能够查看统计信息，不能添加和删除用户，不能对本缓存系统进行配置。设置界面：包括基础设置、干扰域名设置、干扰网址设置、免干扰IP设置。基础设置界面：包括基本信息、回源DNS、磁盘限额。基本信息：设置是否开启域名干扰服务和网址干扰服务，设置分光镜像数据的网卡和分光镜像网卡所在的主机IP。回源DNS：首选DNS服务器为域名干扰列表中对域名作域名解析的首选DNS服务器IP。备用DNS服务器为域名干扰列表中对域名作域名解析的备用DNS服务器IP。磁盘限额：设置缓存磁盘的大小。推荐磁盘配置：磁盘个数为5个以上，每块磁盘大小为500G以上，缓存占用空间为用户磁盘大小的80%，且最大不超过800G。例如，如下图所示进行磁盘限额配置。干扰域名界面：显示系统的干扰域名列表，初始干扰域名列表由本系统自动加载，用户也可以搜索、添加、删除干扰域名。所谓干扰域名是指这些域名对应的小文件资源已经缓存在本地缓存服务器中，用户无需访问远端服务器，可在本地获得该小文件资源。添加域名支持批量添加，每行输入一个域名，如163.com，输入完毕点击保存即可。删除域名只需在想要删除的域名前面点击选中，复选框显示对号，然后点击删除即可。干扰网址页面：干扰网址列表由本系统在运行时自动加载，用户可以搜索干扰网址列表，并可以将干扰网址加入免干扰网址列表。所谓干扰网址是指这些网址对应的大文件资源已经缓存在本地缓存服务器中，用户无需访问远端服务器，可在本地获得该大文件资源。对于免干扰网址列表的添加，一种方式是在干扰网址列表中，点击想要加入免干扰网址列表的干扰网址后面的“加入免干扰列表”，将该网址加入免干扰网址列表；另一种方式是点击添加按钮进行添加，支持批量添加，每行输入一个免干扰网址，如/nba，输入完毕点击保存即可。删除免干扰网址的方法是在该网址前面的复选框中打勾，点击删除即可。免干扰IP页面：所谓免干扰IP是指本地网络中不需要进行域名干扰和网址干扰的主机IP。用户可以搜索、添加、删除免干扰IP。添加免干扰IP支持批量添加，每行输入一个免干扰IP，如/24，输入完毕点击添加即可。删除免干扰IP的方法是在该IP前的复选框中打勾，点击删除即可。统计页面：包括流量、负载、CPU、内存的统计信息。流量页面：显示最近3小时的、最近一天的、最近7天的、最近30天的、最近一年的网络流入流出流量图。并显示流入流出的当前值、平均值、最大值和最小值。 负载页面：显示最近3小时的、最近一天的、最近7天的、最近30天的、最近一年的系统平均负载。此页面显示的是系统负载，即任务队列的平均长度。1分钟平均值、5分钟平均值和15分钟平均值分别代表1分钟、5分钟、15分钟前到现在的系统负载平均值。CPU页面：显示最近3小时、最近一天、最近7天、最近30天和最近一年内的CPU使用率。内存页面：显示最近3小时、最近一天、最近7天、最近30天和最近一年的已用内存、空闲内存和内存总额的使用情况。问题反馈页面：用户在使用过程中产生的问题和对产品提出的建议，都可以发送给我们，我们会尽快对用户的邮件做出反馈。2.3 注册码的申请电话广信友联相关负责人申请注册码。申请成功后，会在“申请注册码”按钮下方显示注册码信息，如下图所示。将此注册码写入本缓存系统“产品信息”界面，点击“提交注册码”按钮，即可完成注册。如果注册成功，则如下图所示。如果注册失败，则如下图所示。3产品优势用户端使用Widehonest缓存系统，能够有效的减少与远端服务器连接的需求以及由此引发的网络通信量，从而降低骨干网络数据的传输量。由广信友联科技所管理的缓存则不仅能够提高与之相连接的web服务器的可用性及扩展能力，而且可以起到平衡负载的功效。本缓存系统能够在一定程度上降低网络延迟和拥塞，对于影音之类的多媒体大文件而言，效果更为显著。使用Widehonest缓存系统具有下面一些好处：1. 减少带宽占用，降低成本，减轻网络拥塞。将本系统置于本地网络总出口，通过出口分光得到从本地网络中发出WEB请求并及时进行响应，降低回源率，避免回源时网络或源站拥塞，利用上网低峰时段回源，降低上网高峰时段回源数据量，从而节省骨干网出口带宽。企业用户可以租用更小的带宽满足网内需求。2. 提高用户体验。由于用户是从本地网络中获取请求响应，响应效率大大提高，数据传输也更加可靠，明显提高用户体验。3. 方便进行安全访问控制及监测。本缓存系统为网络管理员提供了一个简单、安全的方法，提供配置干扰网址和干扰域名的功能，并可即时监测系统和网络的统计信息。4. 提供可操作日志记录。网络管理员能了解哪些url被点击、每秒缓存服务多少个查询、从缓存提取的url的百分比是多少，以及其它操作相关的统计数据。这些日志数据可用于分析网络带宽的使用情况、web流量趋势和系统内存、CPU、磁盘情况。5. 加强鲁棒性。如果由于远程服务器故障或网络故障造成远程服务器无法响应客户请求，客户仍然可以从本缓存服务器中获取缓存的副本，使得www服务的鲁棒性得到了加强。6. 智能化设计。系统帮助用户进行硬件评估，检测服务器的主要硬件参数。用户只需点击“开始检测”按钮，系统会自动检测CPU的主频和核数，硬盘的个数、总容量和可用空间大小，内存总量和可用内存总量，网卡的个数和工作模式，操作系统、位数和版本号并分别显示在页面上。同时，系统为用户服务器各硬件进行评分，方便用户评价此服务器是否适合安装Widehonest缓存系统。如果某项服务异常中止，系统会自动重启该服务而无需用户手动操作。干扰域名列表和干扰网址列表由系统自动加载，无需用户手动添加。网络流量、系统负载、CPU、内存的统计信息自动加载，无需用户做复杂的设置工作。下面是本系统的优势：Widehonest缓存系统功能表Web界面人性化设计采用Ajax技术，提交数据减少跳页闪烁的情况。干扰域名列表和干扰网址列表自动加载，无需用户手动添加。网络流量、系统负载、CPU、内存的统计信息自动加载，无需用户做复杂的设置工作。界面友好，操作方便。智能化设计系统为用户服务器自动进行硬件环境检测，列出主要硬件参数，包括处理器、内存、操作系统、硬盘和网卡，并为服务器硬件评分，方便用户判断此服务器是否适合安装Widehonest缓存系统。效率和兼容性兼容几乎所有浏览器，包括Chrome/Safari/Opera/Firefox/IE9以上版本。提交和显示数据，页面响应速度较快。系统状态和网络流量检测网络流入流出流量统计显示最近3小时的、最近一天的、最近7天的、