浪潮服务器助力去哪儿大数据集群建设

1、 浪潮服务器助力去哪儿大数据集群建设 摘要项目背景“去哪儿”是一个旅游搜索引擎中文在线旅行网站，创立于2005年2月，总部在北京。作为一家创新的技术公司，去哪儿网致力于为中国旅游消费者提供全面、准确的旅游信息服务，促进中国旅游行业在线化发展、移动化发展。去哪儿网为消费者提供机票、酒店、度假产品的实时搜索，并提供旅游产品团购以及其他旅游信息服务，为旅游行业合作伙伴提供在线技术、移动技术解决方案。客户需求“去哪儿”为旅游者提供国内外机票、酒店、度假和签证服务的深度搜索，帮助中国旅游者做出更好的旅行选择。凭借其便捷、人性且先进的搜索技术，“去哪儿”对互联网上的机票、酒店、度假和签证等信息进行整合，为

2、用户提供及时的旅游产品价格查询和信息比较服务。“去哪儿”基于大数据为用户实现精准搜索，让信息更精准连接到人，在大规模集群上提供MPI、BSP、MapReduce、Spark等多种计算模型，实现大规模基础统计、分类、聚类、矩阵分解、图算法等一系列算法，通过这种方式构建大数据分析平台。利用online learning技术，改进机器学习算法的规模以及性能，对网站进行内容基因分析，对用户进行长期兴趣点、短期兴趣点等的画像分析，帮助用户更快获取有兴趣的信息。由于业务发展，需要建立hadoop大数据集群。大数据集群不同类型的节点有不同的计算性能、存储容量、IO性能需求，服务器硬件需要对Hadoop工作负

3、载进行优化设计。方案概述详细解决方案解决方案：SA5112M4+SA5212M4的组合方案去哪1Hadoop集群主要包括两类节点：Master和Slave节点。不同节点，采用SA5112M4+SA5212M4服务器组合的方式，适应不同的工作负载以及存储容量的需求。采用Inspur SA5112M4服务器为用户提供hadoop的Master节点方案，Master节点包括Jobtracker、Namenode等。 设计针对Hadoop工作负载进行优化的平衡架构： 2颗Intel Xeon E5-2630v3处理器，以及128G内存满足管理节点高性能需求。其中以NameNode为例，NameNode

4、存储了所有分布式文件系统的元数据，其中包括文件、目录结构以及内存中的分块分配。每个分布式文件系统分块在NameNode的内存中大小约为250字节，另外加上文件和目录所需的250字节。按照64M的分布式文件系统分块大小，同时副本因子为3，64M实际数据需要1500字节内存空间。根据用户情况，haddop集群有PB级文件，且每个文件至少由1个分块组成，因此为NameNode配置128G内存以满足扩展需要。除此之外，采用2GB缓存的高速率raid卡、双600G硬盘做Raid1，为系统提供高可靠性。采用Inspur SA5212M4服务器为用户提供slave节点，其中主要包括TaskTracker和D

5、ataNode。服务器采用2颗Intel Xeon 2620V2处理器，128G内存，保障数据并行访问效率；配置2块600G SAS盘做Raid1为系统盘，12块3T SAS硬盘提供大容量数据空间，而IOPS性能由hadoop架构本身补偿。浪潮是中国互联网市场最大的服务器供应商，有着12年深耕互联网的丰富经验，最新的Grantley系列服务器专为互联网应用设计。它采用全新智能计算加速技术，搭载最新一代英特尔至强E5-2600V3系列处理器，可根据用户应用智能调节提供更优性能，可显著提升应用程序性能。采用最新的DDR4内存技术，内存带宽提升50%。相比DDR3，传输速率提高24倍，但耗电量减少，

6、使得相同传输速率下，功率降低高达57.1%，帮助“去哪儿”大幅度提升大数据处理速率，并同时降低能耗。存储上SA5112M4支持8块2.5寸或4块3.5寸硬盘加上2块前置SSD，SA5212M4支持前置12块3.5寸加后置4块2.5寸硬盘，为“去哪儿”的大数据分析提供足够的存储空间及响应速度。最新的12Gbps硬盘控制器，将使得磁盘控制器与硬盘之间数据传输速度翻倍，也就意味着整个数据传输系统速度翻倍。客户收益根据“去哪儿”的实际需求，Inspur为其提供SA5112M4+SA5212M4双路服务器的组合方案，借助组合方案服务器出色的可靠性、可访问性、灵活性、易用性等特点，满足用户对于IT产品性能、管理等方面的要求，提高用户的使用和管理效率，有效提高客户的运维效率，降低服务器设备的总体拥有成本。SA5112M4服务器以1U的紧凑尺寸提供更好的性能、效率、存储容量和可靠性，为用户提供高密度以及高性能工作负载，适应当前业务发展需要。SA5212M4服务器为2U服务器，相较