搜索引擎的动力引擎

1/6搜索引擎的动力引擎搜索引擎的动力引擎互联网行业竞争激烈,能否得到更多用户的认可是企业生存的根本,而认可的关键就在于服务是否及时、优质、准确。搜狗是搜狐于XX年推出的全球首个第三代互动式中文搜索引擎,在搜狐的整体发展战略中占据十分重要的地位。搜狗的产品线包括了网页应用和桌面应用两大部分。如何在强手如林的搜索引擎市场占据有利地形,是一个必须回答的重要“命题”。海量数据检索带来的挑战搜索引擎的最大难题是正确理解和满足用户的需求,而这一切,都必须基于一个强大的数据中心来完成。提升数据中心的效能,是提升用户满意度的关键要素。基于这种考虑,搜狐特别启动了搜狗新一代数据中心项目的建设,希望通过技术创新,提升搜狗的服务品质,从而赢得用户的青睐。“搜狐追求新技术应用是有传统的,搜狗引擎就是搜狐在搜索技术领域追求创新的一个结果。我们希望能利用各种领先的技术与设备,让我们的产品与服务为用户带来更2/6好的感受。尤其对于搜狗数据中心,我们更希望规避传统数据中心的短板,进一步提升数据中心网络的性能、效率与可靠性,让用户访问起来感觉更加良好。”搜狐网络运维部某负责人解释了采用新一代数据中心解决方案的初衷。此外,搜狐在数据中心网络建设上不断“求新”是形势使然,从XX年搜狐正式推出搜狗网页搜索版本之后,搜狗搜索引擎的中文网页收录量已超过100亿,每天的网页更新量则有5亿之多,激增的海量数据对搜狗数据中心带来了前所未有的压力。新的搜狗业务应用要求数据中心网络平台能支撑百亿海量网页收录、及时更新网页和网页评级体系,满足高密度服务器集群的高性能并行抓取工作,同时网络系统要具备后期灵活的扩展能力。面对超高的网络流量与数量庞大的服务器集群,原有的搜狗数据中心网络架构与设备性能已无法满足这一要求,采用新一代数据中心架构来建设搜狗IDC新机房成为必然的选择。根据这一需求,2016年初,搜狐公司征集了业内多家厂商的设备,进行了全方位考察和比较。最终,H3C公司集S12508数据中心级核心交换机、S75E高端多业务路由交换机、S5800万兆交换机、IMC智能管理中心等软硬件设备为一体的统一交换架构数据中心解决方案获得了该项目的全部份额,搜狗新一代数据中心网络建设的大幕也由此拉开。3/6让大流量不再是问题据记者了解,在搜狗数据中心网络体系中,部署了两台H3CS12500交换机作为整个网络的核心,同时,两台S75E高端多业务路由交换机承担起数据传输网的重任,而数十台S5800交换机则作为接入交换机,将2000多台服务器连成了一个大的网络。据H3C网络产品线副总裁孙德和介绍,S12500的设计瞄准的就是数据中心高密度、大流量和大缓存的特点,其单台设备容量已达到,而且能支持多达576个万兆端口,能够充分满足搜狗数据中心高密度万兆应用的需求,这也是传统的万兆交换机很难做到的一点。众所周知,网页搜索最重要的就是搜索速度与结果准确性,这也是搜狗引擎持续不断优化改进的目标,它依托的是系统在瞬间对海量网页数据进行挖掘、分析、显示的结果。在这一过程中,数据中心网络承担的带宽压力非常大。为了保证用户能够得到及时、准确的搜索结果,当搜狗引擎接收到一个网页搜索请求时,往往会向高密度服务器群同时发起检索需求,并在非常短的时间内接收几百台服务器几乎同时发回的搜索结果,巨大的数据流量如果不能及时吸收,那么很容易出现网络拥塞的现象。而S12500的大缓存能力很好地解决了这个问题,不4/6仅每个端口拥有256M的大缓存能力,更重要的是它支持分布式缓存机制,当搜索数据浪涌到来时,一部分报文被缓存在接入交换机S5800的8M缓存中,另一些则缓存在S12500的更大缓存中,有效地利用了各级设备的端口缓存能力,最大限度地吸收突发流量,这样,就减少了丢包的可能性,尽可能地减少了对业务的影响。先期开展的实地测试结果表明,每次浪涌的收敛时间都控制在几十毫秒之内。搜狐网络运维部负责人表示,通过建设新一代数据中心网络,解决了搜索引擎业务普遍感到头疼的浪涌问题,对普通用户来说,意味着搜索结果中的死链接会更少。可以说,H3CS12500核心交换机起到了非常关键的作用。创新架构带来新价值在搜狗数据中心的网络架构中,数十台作为接入交换机的S5800并非是简单的并列关系,而是每四台虚拟成一台虚拟交换机,然后并列着接入核心交换机S125000。对此,该负责人解释道,这里采用的是H3C推出的IRF2第二代智能弹性架构,INTELLIGENTRESILIENTFRAMEWORK技术,这也正是搜狐最终选择H3C新一代数据中心解决方案来构建搜狗网络的另一个重要因素。智能弹性架构技术简单的说,是把多台物理设备互相5/6连接起来,使其成为一台统一的逻辑设备。也就是说,用户可以将多台设备真正当作一台设备进行管理和使用,从而为用户带来简化管理、简化网络业务、弹性扩展、1N可靠、性能加倍提升和增值业务扩展等多方面的网络使用新体验。目前,H3C的众多网络设备都支持这一技术。在H3C提出的搜狗数据中心网络解决方案中,这一创新技术也在多处得以体现。上面提到的S5800堆叠就是其中之一。在实际应用中,四台S5800通过IRF2实现40G互联,然后10组S5800堆叠接入双机互备的S12500,也就是说,S12500只需要10个端口,就可实现40个万兆互联。这使得搜狗数据中心网络具有了良好的可扩展性,日后网络扩容时,可直接利用其他多余端口,而无须额外投资。两台核心交换机S12500双机互联同样采用了IRF2架构,它所带来的价值同样十分明显。以往搜狗数据中心网络采用的是传统的环路设计,这样有一半的网络带宽必须让道给环路,带宽利用率低,而且容易出现环路堵塞链路,在维护上也容易出现问题。采用IRF2技术则可以有效避免这些问题。现在的搜狗数据中心网络采用MSTPVRRPBFD的方式构建,去掉了令人烦恼的环路。这不仅意味着网络运维更为简单,不会出现环路故障,而且,也意味着整个网络在论文联盟不增加投资的情况下,可利用的带宽相比以前增加了一倍。6/6在搜狐对IRF2性能实际测试中,搜狐数据中心网络的稳定性表现得十分突出,无论是S12500内部双引擎的主备倒换,还是链路级的倒换,系统的恢复时间都小于30毫秒。也就是说,即使对网络连续性要求高达50毫秒的延迟敏感型应用,网络的稳定性也不会对业务造成不良影响,也有利于搜狗业务的进一步发展。“正是因为IRF2技术可以让整个网络的扩展性更好,而且ROI投资回报率更高,为搜狗业务的未来提供了坚实的基础,所以我们对H3C提出的解决