运营商的数据中心.ppt

目录,运营商的数据中心,1,IDC机房常见问题,2,2014年7月贾向宇,运营商的数据中心,数据中心效果图,中原数据基地：占1T带宽。电信西部成都基地：1T带宽。移动成都基地：1T带宽。XXXXIDC：560G带宽。一般IDC提供商：小于20G带宽，带宽无法与运营商竞争。,移动呼和浩特基地：占地1600亩。电信呼和浩特基地：占地1500亩联通中原数据基地：占地300余亩联通青岛数据基地：占地72亩。联通华北廊房基地：占地800亩。联通西北西咸基地：占地360亩。联通呼和浩特基地：占地973亩。,对比规模,对比带宽,数据中心效果图,数据中心实景图,数据中心：东西约700米；南北约400米；占地300余亩；一期工程建设两栋IDC楼。,三大运营商几乎同时在2012年后与地方政府签约建设大规模的数据基地，建设周期均在510年，目前都处在第一期建设中。,建设进度,电信呼和浩特数据基地1600亩拍摄时间：13/10/26去年8月份4栋机房楼交付使用，已投入运营，是建设较快的一个，用户入住不详。根据苏州国科数据中心（政府投资建设）了解的情况，在11年交付使用，目前入住率仅50%，IBM2012年5月租用的二层机房，目前入住率不到20%。,建设进度,联通廊房数据基地800亩拍摄时间:14/4/29图示近半年时间建设进度处于停滞状态，楼顶设施不完备，还不具备运营能力,建设进度,电信成都数据基地90亩拍摄时间：14/1/4前期工程已交付使用。,建设进度,联通呼和浩特数据基地970亩拍摄时间:14/5/28机房面积是我们的两倍，已开始运营。近半年时间建设进度加快，目前已开始了另外两栋楼的建设（箭头所示）。,建设进度,联通西咸数据基地360亩拍摄时间：13/8/29图示只有施工入住迹象。但近半年施工进度加快，据悉一期主楼已封顶。,数据中心电信级机房，高标准、严规范，独立数据中心建筑，抵御8级地震，抗强风暴、雷击。一、机房带宽：拥有最完备的硬件配置和最优质的网络资源，总出口带宽960G，骨干网出口640G、省网出口200G、城域网出口120G。二、电源系统：采用双路110KV高压供电系统，设计容量12.6万KVA，数据中心提供交、直流两种供电方式，配备全负载容量的柴油发电机组，每机房楼8组2000KVA的油机系统。三、空调系统：选用带自然冷却功能的水冷式冷水机组空调系统。送风气流组织采用封闭冷通道，下送风的模式，大大提高制冷效率。四、消防系统：机房设置高灵敏度的早期烟雾探测报警系统，第一时间发现火灾隐患。采用XXX组合分配式灭火系统，符合最高等级的安全标准。五、监控系统：监控系统完善，可以提供对机房内物理环境量24小时监控,所得信息用于设备运行的监测和控制，自动定位分析故障、告警并上报六、安防系统：磁卡双向门禁系统，记录保存XX。7*24小时视频监控，视频保存XX。VIP机房门禁具有密码系统，确保IDC机房的安全可靠。七、网络安全：机房能有效的监测和防治各类入侵，抵御黑客、病毒、恶意代码等通过各种形式对系统发起的恶意破坏和攻击，为客户提供一个安全、安静的网络环境。八、优质服务：XXXXXX。,机房参数,例：中国联通国家数据中心北京亦庄IDC（五星级）,机房参数,数据中心网络拓扑图,（2）一期工程数据中心建设2栋数据机房楼，在2栋数据机房楼分别设置2台核心交换机，负责各机房的接入汇聚，并与出口路由器间组成高速无阻塞网络，实现数据高速转发。,链路组织方案,机柜封闭结构,机柜冷通道示意,东机房=16列*18架=288机架西机房=14列*18架=252机架1楼机房=10列*18架=180机架,机柜高2.2m，42U，每栋楼可放置2U服务器约25000个,机架结构和数量,每机房机架个数,每栋楼机架总数=180+3(288+252)=1800机架,机柜排列,使用杭州迪普科技有限公司的网络安全设备,网络安全,网络安全,异常流量清洗方案,动力供给（交流方案）,市电,电池,每层楼四组电池，提供30分钟电力供给,110KV,10KV,380V,变电站,高压配电,低压配电,动力机房2楼,市电,每层楼电力室,动力供给（直流方案）,扩展话题,机房供电方式：1、传统通信机房的供电方式稳定、可靠、不间断，提供的是直流。因为通信设备使用直流工作。2、市场借鉴通信机房的供电方式，开发了UPS不间断电源，满足商业用户的需求，被广泛使用于商场、医院、公共场所、重要部门。但公众用户使用电网提供的220，所以UPS需要增加逆变过程将直流变成220。3、服务器和计算机也使用直流工作，但开始它们并不是通信机房设施，属于普通商业设施，无法获得通信设施的供电条件，所以只能直接使用电网220工作。因此它们自身配有电源系统把交流变成直流。4、现在有了专业的数据中心，服务器有了通信机房的供电待遇，自然回归直流供电方式，这也是厂商希望的。但同时还要能适应其它场合的应用，所以还保留有交流供电方式。因此专业的数据中心会考虑两种供电方式。,技术细节：1、目前的直流供电使用直流开关电源技术。2、服务器和计算机具有较强的电网220适应能力，所以UPS可以采用旁路方式工作，可节省数据中心电能5%。,2000KW发电机如果满负荷工作的小时耗油量约为500升左右。8台同时工作时，总计小时耗油量4000升。,其它耗电量：网络机房、空调、其它用电,东机房=12列X18架X4kw+4列X18架X6kw=1296kw西机房=10列X18架X4kw+4列X18架X6kw=1152kw1楼机房=6列X18架X4kw+4列X18架X6kw=864kw,IDC机房总耗电=864kw+3X2448kw=8208kw,IDC耗电量（满配）,每机房耗电量：,每栋楼IDC机房耗电量：,按PUE2，每栋楼满载耗电量：可达15000kw,每小时能耗相当于570辆2.5排量的汽车跑出去100公里所需的能量。64天的能耗相当于2万吨当量。,增大分母降低PUE，意味着加快用户入住。,冷量和需求配合的空调使用方案；提高自然制冷温度阈值；UPS旁路供电方案；机架和服务器满配方案；用户尽快入住的营销方案；,扩展话题,机房的能耗管控,设计优质和管理到位的机房应达到PUE2。除了好的设计还需要有效的能耗管控。,IDC机房常见问题,联通机房,服务器,联通,互联瓶颈,服务器,双线机房,Internet,电信,双线机房源于互联瓶颈,由于国内两大网络(电信和网通)之间的互联互通问题.导致电信用户访问联通网站或联通用户访问电信网站很慢,为解决这个问题,出现了所谓双线机房。,联通,电信,互联瓶颈,服务器,IDC自建机房,由于不可能在联通机房拉一条电信的线路，也不可能在电信的机房拉一条联通的线路，所以提供互联网应用的运营商（或称为IDC提供商）只能自建机房。有两种形式：双线双IP：如上图所示，服务器接两个网卡两个IP地址。访问路由由用户选择（即在网页上建“联通站”和“电信站”由用户选择访问路由）。,双线机房,IP,IP,联通,电信,互联瓶颈,服务器,双线单IP：如图所示，服务器使用一个IP地址。用户来源的访问判断和线路切换是由放置在接入点上的网络设备和智能域名解析实现。,双线机房,IP,IDC自建机房,BGP协议BGP协议是互联网自治域之间的互联协议，旨在实现不同自治域间的最大效率的互联。对于上、下行路由都能选择最优的路径，能真正实现单IP高速访问。BGP协议可以将IDC网络与其他运营商互联，做到所有互联运营商的用户访问都很快。,联通AS4837,电信AS4809,服务器,IDC服务商AS10001,BGP互联,BGP机房,简言之，BGP可实现电信联通的互联互通,除非人为干涉，互联网自治域之间是平等的。,联通AS4837,电信AS4809,互联瓶颈,1、IDC需要在CNNIC（中国互联网信息中心）或APNIC（亚太网络信息中心）申请自己的IP地址段和AS号。,服务器,IDC服务商AS10001,BGP互联,2、IDC需要有自己的机房，需要有自已的网络。所以那些采用跟运营商租用机房或共建机房的IDC运营商是无法实现BGP双线的。3、申请单位必须提供与对方ISP签署的关于双方使用BGP协议互联的协议书。,服务器,BGP机房应具备的条件,BGP机房,由此可见大部分的IDC提供商是不具备BGP机房条件的,BGP双线机房必须要有自已的AS号。右图所示为北京安达科技有限公司。,BGP机房,具有AS号的一些企业,AS37958：北京安达科技有限公司.BeijingBlueI.TTechnologiesCo.,Ltd.,应该注意的是1、具有AS号的企业是默认可以接入互联网用户的。2、电信的IDC机房在很早就已经申请了公有AS号。,BGP机房,一般的IDC提供商常使用“BGP双线机房”作为宣传。通信运营商的机房具备BGP机房条件，方便实现多线外联，这取决于具体应用方式。,大二层网络是虚拟化技术涉及的概念，由于我们现在没有云计算资源，所以不涉及这个问题。大二层网络是服务器生产厂商（包括电商）关心的内容如：华为、IBM、HP、CISCO等。如果它们要在中原数据基地组建云计算网络，会涉及到这个问题。,大二层网络,所谓二层网络，是由交换机和集线器构成的网络，使用802.3X协议的网络。局域网并非都是二层网络。,大二层网络,大二层网络包括两个含义：1、规模大接入的终端多：需要克服的问题是环路、阻塞、广播风暴。主要通过网络虚拟化技术，这一技术厂家支持。2、地域范围大传输距离远：远距离只能通过广域网WAN连接，而广域网主要使用IP技术。主要通过MacOverIP技术。这一技术厂家支持。,WAN,由此可见大二层技术由厂家主导，通信运营商不可能凭空规划出一个虚拟二层网络。数据中心怎样支持大二层网络取绝于使用哪一个厂家的网络设备。,跨地域的二层联接,数据中心需要大二层网络,1、由于传统的数据中心服务器利用率太低，需要通过虚拟化技术提高资源利用率。2、虚拟机动态迁移，要求迁移前后的IP和MAC地址不变，这就需要虚拟机处于同一个二层域内部。要求网络支持大范围的二层域。二层网络规模有多大，虚拟机才能迁移有多远。3、数据中心的规模越来越大，要求二层网络的端口密度要足够大。,三种迁移方式：P2V、V2V、V2P，以及跨地域的迁移，比如物理宕机时，虚拟环境排障等。,大二层网络,大二层网络需求实例：,客户有3个数据中心，在北京的数据中心、上海的数据中心、新加坡的数据中心各有三个VM，要求按类别虚拟出三个二层网络，每个虚拟二层网中的VM，觉得自己和其余两台机器就像连在同一台交换机上一样；而三个虚拟二层网彼此隔离。,IP网络,第一步让它们在同一个大二层网络内，第二步在二层网内划分VLAN隔离。,大二层网络,新加坡,大二层网络技术：,一、数据中心内1、网络虚拟化技术IRF：IRF可将多台网络设备（成员设备）虚拟化为一台网络设备（虚拟设备），并将这些设备作为单一设备管理和使用。既然二层网络的核心是环路问题，而环路问题是随着冗余设备和链路产生的，那么如果将相互冗余的两台或多台设备、两条或多条链路合并成一台设备和一条链路，就可以回到之前的单设备、单链路情况，环路自然也就不存在了。尤其是交换机技术的发展，虚拟交换机从低端盒式设备到高端框式设备都已经广泛应用，具备了相当的成熟度和稳定度。因此，虚拟交换机技术成为目前应用最广的大二层解决方案。4台IRF后的汇聚交换机可以在二层无阻塞的前提下接入13824台双网卡的千兆服务器，可满足国内绝大部分客户的二层组网需求。虚拟交换机技术的代表厂商是H3C公司的IRF、Cisco公司的VSS。,大二层网络,2、TRILL网络：云计算时代下的数据中心流量模型和传统运营商流量模型不同，数据中心中主要是服务器和服务器之间的东西向流量，数据中心网络相当于是服务器之间的总线。TRILL采用核心层交换机和接入层交换机结构，接入交换机多端口上联，最大能力可以无阻塞的接入27648台双网卡千兆服务器。代表厂商是华为公司。,大二层网络,总线疏导东西向流量,二、跨数据中心EVI技术：一般情况下，多数据中心之间的连接是通过路由连通的，天然是一个三层网络。而要实现通过三层网络连接的两个二层网络互通，就必须实现“L2overL3”。也称为“MACinIP”将二层数据报文封装在三层报文中，跨越中间的三层网络，实现两地二层数据的互通。代表厂商有Cisco的OTV；H3C的EVI技术；VMware的VXLAN；微软的NVGRE。,相关技术尚未完全成熟，目前尚没有统一的标准。大二层技术不是我们能主导的，我们不可能凭空规划出虚拟网络和虚拟交换机。,大二层网络,扩展话题,IP化进程的两个阶段：1、IPOverAnything：指I