搜索引擎的动力引擎

1、搜索引擎的动力引擎搜索引擎的动力引擎互联网行业竞争剧烈,能否得到更多用户的认可是企业生存的根本,而认可的关键就在于效劳是否及时、优质、准确。搜狗是搜狐于2022年推出的全球首个第三代互动式中文搜索引擎,在搜狐的整体开展战略中占据非常重要的地位。搜狗的产品线包括了网页应用和桌面应用两大局部。如何在强手如林的搜索引擎市场占据有利地形,是一个必须答复的重要命题。海量数据检索带来的挑战搜索引擎的最大难题是正确理解和满足用户的需求,而这一切,都必须基于一个强大的数据中心来完成。提升数据中心的效能,是提升用户满意度的关键要素。基于这种考虑,搜狐特别启动了搜狗新一代数据中心工程的建立,希望通过技术创新,提升

2、搜狗的效劳品质,从而赢得用户的青睐。搜狐追求新技术应用是有传统的,搜狗引擎就是搜狐在搜索技术领域追求创新的一个结果。我们希望能利用各种领先的技术与设备,让我们的产品与效劳为用户带来更好的感受。尤其对于搜狗数据中心,我们更希望躲避传统数据中心的短板,进一步提升数据中心网络的性能、效率与可靠性,让用户访问起来感觉更加良好。搜狐网络运维部某负责人解释了采用新一代数据中心解决方案的初衷。此外,搜狐在数据中心网络建立上不断求新是形势使然,从2022年搜狐正式推出搜狗网页搜索3.0版本之后,搜狗搜索引擎的中文网页收录量已超过100亿,每天的网页更新量那么有5亿之多,激增的海量数据对搜狗数据中心带来了前所未

3、有的压力。新的搜狗业务应用要求数据中心网络平台能支撑百亿海量网页收录、及时更新网页和网页评级体系,满足高密度效劳器集群的高性能并行抓取工作,同时网络系统要具备后期灵敏的扩展才能。面对超高的网络流量与数量庞大的效劳器集群,原有的搜狗数据中心网络架构与设备性能已无法满足这一要求,采用新一代数据中心架构来建立搜狗ID新机房成为必然的选择。根据这一需求,2022年初,搜狐公司征集了业内多家厂商的设备,进展了全方位考察和比拟。最终,H3公司集S12508数据中心级核心交换机、S75E高端多业务路由交换机、S5800万兆交换机、i智能管理中心等软硬件设备为一体的统一交换架构数据中心解决方案获得了该工程的全

4、部份额,搜狗新一代数据中心网络建立的大幕也由此拉开。让大流量不再是问题据记者理解,在搜狗数据中心网络体系中,部署了两台H3S12500交换机作为整个网络的核心,同时,两台S75E高端多业务路由交换机承当起数据传输网的重任,而数十台S5800交换机那么作为接入交换机,将2000多台效劳器连成了一个大的网络。据H3网络产品线副总裁孙德和介绍,S12500的设计瞄准的就是数据中心高密度、大流量和大缓存的特点,其单台设备容量已到达5.76T,而且能支持多达576个万兆端口,可以充分满足搜狗数据中心高密度万兆应用的需求,这也是传统的万兆交换机很难做到的一点。众所周知,网页搜索最重要的就是搜索速度与结果准

5、确性,这也是搜狗引擎持续不断优化改良的目的,它依托的是系统在瞬间对海量网页数据进展挖掘、分析、显示的结果。在这一过程中,数据中心网络承当的带宽压力非常大。为了保证用户可以得到及时、准确的搜索结果,当搜狗引擎接收到一个网页搜索恳求时,往往会向高密度效劳器群同时发起检索需求,并在非常短的时间内接收几百台效劳器几乎同时发回的搜索结果,宏大的数据流量假如不能及时吸收,那么很容易出现网络拥塞的现象。而S12500的大缓存才能很好地解决了这个问题,不仅每个端口拥有256的大缓存才能,更重要的是它支持分布式缓存机制,当搜索数据浪涌到来时,一局部报文被缓存在接入交换机S5800的8缓存中,另一些那么缓存在S1

6、2500的更大缓存中,有效地利用了各级设备的端口缓存才能,最大限度地吸收突发流量,这样,就减少了丢包的可能性,尽可能地减少了对业务的影响。先期开展的实地测试结果说明,每次浪涌的收敛时间都控制在几十毫秒之内。搜狐网络运维部负责人表示,通过建立新一代数据中心网络,解决了搜索引擎业务普遍感到头疼的浪涌问题,对普通用户来说,意味着搜索结果中的死链接会更少。可以说,H3S12500核心交换机起到了非常关键的作用。创新架构带来新价值在搜狗数据中心的网络架构中,数十台作为接入交换机的S5800并非是简单的并列关系,而是每四台虚拟成一台虚拟交换机,然后并列着接入核心交换机S125000。对此,该负责人解释道,

7、这里采用的是H3推出的IRF2(第二代智能弹性架构,IntelligentResilientFraerk2)技术,这也正是搜狐最终选择H3新一代数据中心解决方案来构建搜狗网络的另一个重要因素。智能弹性架构技术简单的说,是把多台物理设备互相连接起来,使其成为一台统一的逻辑设备。也就是说,用户可以将多台设备真正当作一台设备进展管理和使用,从而为用户带来简化管理、简化网络业务、弹性扩展、1N可靠、性能加倍提升和增值业务扩展等多方面的网络使用新体验。目前,H3的众多网络设备都支持这一技术。在H3提出的搜狗数据中心网络解决方案中,这一创新技术也在多处得以表达。上面提到的S5800堆叠就是其中之一。在实际

8、应用中,四台S5800通过IRF2实现40G互联,然后10组S5800堆叠接入双机互备的S12500,也就是说,S12500只需要10个端口,就可实现40个万兆互联。这使得搜狗数据中心网络具有了良好的可扩展性,日后网络扩容时,可直接利用其他多余端口,而无须额外投资。两台核心交换机S12500双机互联同样采用了IRF2架构,它所带来的价值同样十清楚显。以往搜狗数据中心网络采用的是传统的环路设计,这样有一半的网络带宽必须让道给环路,带宽利用率低,而且容易出现环路堵塞链路,在维护上也容易出现问题。采用IRF2技术那么可以有效防止这些问题。如今的搜狗数据中心网络采用STP+VRRP+BFD的方式构建,去掉了令人烦恼的环路。这不仅意味着网络运维更为简单,不会出现环路故障,而且,也意味着整个网络在论文联盟.Ll.不增加投资的情况下,可利用的带宽相比以前增加了一倍。在搜狐对IRF2性能实际测试中,搜狐数据中心网络的稳定性表现得非常突出,无论是S12500内部双引擎的主备倒换,还是链路级的倒换,系统的恢复时间都小于30毫秒。也就是说,即使对网络连续性要求高达50毫秒的延迟敏感型应用,网络的稳定性也不会对业务造成不良影响,也有利于搜狗业务的进一步开展。正是因为IRF2技术可以让整个网络的扩展性更好,而且RI投资回报率更高,为搜狗业务的将来提供了坚实的根底,所以我们对H3提出的解