（通信与信息系统专业论文）基于nehalem机架服务器主板的设计与实现.pdf

独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：壅妻 日期：翌睦臣：兰 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：套步 导师( 签名) ：3 、7 觌日期 武汉理工大学硕士学位论文 摘要 机架服务器的优点是占用空间小以便于统一管理，一般用于服务器数量较 多的大型企业，很多中小企业也采用机架服务器，比如各种网站的后台服务器， 但是中小企业一般是将服务器交付给专门的托管机构来统一管理。 本文介绍的机架服务器作为新一代高性能通用服务器，是专门为“百度” 定制的后台服务器，具有非常强大的处理功能、丰富的主板外出接口功能以及 非常人性化的主板管理功能。该机架服务器采用基于x 8 6 平台的架构，c p u 采 用i n t e l 公司最新正式发布的基于q u i c k p a t h 架构四核n e h a l e m e p 处理器，该处 理器是第一代采用q u i c k p a t h 架构，并且内部集成内存控制器；南北桥芯片组分 别采用i c h l 0 芯片和t y l e r s b u r g 2 4 d 芯片，南桥支持s a t a 接口，u s b 、s p i 和 l p c 接口。该机架服务器的主板设计中，主要优点有以下几点：( 1 ) 基于i n t e l n e h a l e m 处理器的新一代架构，该处理器是第一代集成q u i c k p a t h 互连技术和内 存控制器，数据处理速度更快、存储能力更强、数据业务更加安全；( 2 ) 功耗 低，采用了分布式电源供电，电源风扇集中优化和管理：( 3 ) k c s 功能由硬件 实现改为用f p g a 逻辑实现；( 4 ) 采用了i p m i 智能管理接口，管理整个单板更 加安全、便捷。 本文首先介绍了该机架服务器主板的总体设计。其次，重点介绍了主板的 逻辑模块和电源模块的详细设计。然后，介绍了该服务器主板的可测性设计以 及调测结果。最后，对服务器的研究现状做了总结，并对服务器行业的发展前 景作了展望。 根据本文描述的主板设计方案，成功研发出了机架服务器主板，并成功实 现了调测，顺利实现该机架服务器的量产。该设计方案对于开发基于i n t e l 下一 代处理器的高性能机架服务器具有指导意义。 关键词：机架，服务器，n e h a l e m ，b m c ，开关电源，可测性设计 l r 武汉理工大学硕士学位论文 a b s t r a c t t h ea d v a n t a g eo fr a c ks e r v e r si sl i t t l es p a c en e e d e dt op l a c ew h i c hi sb e n e f i tf o r u n i f i e dm a n a g e m e n t m o r ec o m m o n l y , t h es e r v e r si su s e di nl a r g e - s c a l ee n t e r p r i s e s w h i c hh a sm a n yn u m b e ro fs e r v e r s ，b u tm a n ys m a l la n dm e d i u me n t e r p r i s e sa l s ou s e s r a c ks e r v e r s ，s u c ha st h eb a c k g r o u n do fv a r i o u sw e bs e r v e r s ，b u tg e n e r a l l yt h es m a l l a n dm e d i u me n t e r p r i s e sd e l i v e rt h es e r v e r st os p e c i a lt r u s t e ef o ru n i f i e dm a n a g e m e n t 础sa r t i c l ed e s c r i b e dan e w g e n e r a t i o n o f h i 曲一p e r f o r m a n c e a n d g e n e r a l - p u r p o s er a c ks e r v e rw h i c hi sd e s i g n e df o r ”b a i d u ”c o m p a n y i ti su s e df o r b a c k e n ds e r v e r s 谢mv e r yp o w e r f u lp r o c e s s i n gc a p a b i l i t i e s ，r i c hm a i n b o a r di o i n t e r f a c ef u n c t i o n sa n dv e r yh u m a n i t ym a i n b o a r dm a n a g e m e n tf u n c t i o n s 1 1 1 er a c k s e r v e rb a s e do nx 8 6p l a t f o r ma r c h i t e c t u r e ，u s e do f f i c i a l l yr e l e a s e db yi n t e l sl a t e s t q u a d c o r en e h a l e m - e pp r o c e s s o rw h i c hb a s e do nq u i c k p a t ha r c h i t e c t u r e ，t h e p r o c e s s o ri st h ef w s to n ew h i c hu s eq u i c k p a t ha r c h i t e c t u r ea n di n t e g r a t e dm e m o r y c o n t r o l l e ri n s i d e ；n o r t h b r i d g ea n ds o u t h b r i d g ec h i p s e tr e s p e c t i v e l yu s ei c h10c h i p a n dt y l e r s b u r g - 2 4 dc h i p s e t ，t h es o u t h b r i d g es u p p o r t ss a t ai n t e r f a c e s ，u s b ，s p ia n d l p ci n t e r f a c e s 1 1 l em a i na d v a n t a g e so fm a i n b o a r dd e s i g n sa r et h ef o l l o w i n g ：( 1 ) a n e wg e n e r a t i o na r c h i t e c t u r eo fp r o c e s s o r sb a s e do ni n t e ln e h a l e m ，t h ep r o c e s s o ri s t h ef i r s tg e n e r a t i o n 、析t l li n t e g r a t e dq u i c k p a t hi n t e r c o n n e c tt e c h n o l o g y a n d m e m o r y c o n t r o l l e r , f a s t e rd a t ap r o c e s s i n gs p e e d ，g r e a t e rs t o r a g ec a p a c i t y , m o r es e c u r ed a t a s e r v i c e s ；( 2 ) l o wp o w e r , u s i n gad i s t r i b u t e dp o w e rs u p p l y , p o w e rs u p p l y f a nf o c u s o no p t i m i z a t i o na n dm a n a g e m e n t ；( 3 ) t h ek c sf u n c t i o ni si m p l e m e n t e db yf p g a l o g i ci n s t e a do fh a r d w a r ed e s i g n ；( 4 ) u s et h ei p m ii n t e l l i g e n tm a n a g e m e n ti n t e r f a c e ， m a k i n gm a n a g e t h ee n t i r ev e n e e rs a f e ra n dm o r ec o n v e n i e n t f i r s t l y , t h i sp a p e ri n t r o d u c e st h eo v e r a l ld e s i g no ft h er a c ks e r v e rm a i n b o a r d s e c o n d l y , f o c u s e so nt h ed e t a i l e dd e s i g no fl o g i cm o d u l ea n dp o w e rm o d u l e a n d t h e n ，i n t r o d u c e st h et e s t a b i l i t yd e s i g no fm a i n b o a r da n dm e a s u r e m e n tr e s u l t s f i n a l l y , s u m m a r i z et h ep r e s e n ts t u d i e so nt h es e r v e r , a n dl o o ka h e a dt h ed e v e l o p m e n t p e r s p e c t i v e so f s e r v e ri n d u s t r y a c c o r d i n gt om a i n b o a r dd e s i g nd e s c r i b e d i nt h i s a r t i c l e ，h a ss u c c e s s f u l l y i - l 武汉理工大学硕士学位论文 d e v e l o p e dr a c k s e r v e rm a i n b o a r d ，a c h i e v e dt h em e a s u r e m e n ts u c c e s s f u l l y , a n d r e a l i z e dt h e m a s s p r o d u c t i o n t h ed e s i g ni s ag u i d a n c ef o rt h ed e v e l o p m e n to f n e x t - g e n e r a t i o np r o c e s s o r sb a s e do ni n t e l sh i g h - p e r f o r m a n c er a c ks e r v e r k e yw o r d s ：r a c k ，s e v e r ，n e h a l e m ，b m c ，s w i t c h i n gp o w e r ，t e s t a b i l i t yd e s i g n i i i 武汉理工大学硕士学位论文 目录 第1 章绪论l 1 1 论文研究背景l 1 2 国内外的研究情况1 1 3 论文研究工作一”3 1 4 论文结构4 第2 章主板的总体设计5 2 1 主板的功能描述5 2 2 主板的系统框架及各模块设计说明6 2 3 主板应用环境一l5 第3 章主板逻辑模块的设计1 6 3 1 逻辑模块的功能描述一1 6 3 2 主板上下电控制模块l8 3 3 复位管理模块2 0 3 4b m c 接口以及寄存器模块2 l 3 5 系统状态管理模块2 2 3 6 读写s p ib i o sf l a s h 模块“2 3 3 7i o 扩展模块”2 3 3 8 其他i o 说明2 4 第4 章主板电源模块的设计”2 5 4 1 主板功耗分析”2 5 4 2 电源模块的系统框图2 7 4 2 1 单独的电源模块的框图“2 7 4 2 2 电源转换模块的框图2 7 4 3 电源转换模块的设计2 9 4 3 1s t a n d b y 电源设计2 9 4 3 2v c c 电源设计3 2 4 3 3v 1 v r 电源设计3 2 武汉理工大学硕士学位论文 4 3 4v i 洲电源设计3 4 第5 章主板的测试与调试3 5 5 1 主板的可测性介绍3 5 5 1 1 高速电路设计中的可测性问题3 5 5 1 2 高速电路中可测性问题的解决方法3 5 5 1 3 主板的可测性设计”3 6 5 2 主板的测试3 7 5 3 主板的调试“4 0 5 3 1 控制电路调试4 0 5 3 2 显示功能调试4 1 5 3 3 板级初始化调试4 3 5 3 4 以太网功能调试4 3 5 3 5 硬盘功能调试4 3 5 3 6 其他接口调试及整机联调”4 5 第6 章总结与展望4 6 6 1 总结”4 6 6 2 展望”4 7 驾c 谢4 8 参考文献4 9 攻读硕士期间发表的论文5 2 武汉理工大学硕士学位论文 1 1 论文研究背景 第1 章绪论 服务器是指网络中能对其它机器提供某些服务的计算机系统( 如果一个p c 对外提供邱服务，也可以叫服务器) 【l 】。从狭义上来讲，服务器是专指某些高 性能计算机，能够通过网络，对外提供服务。相对于普通p c 来说，在稳定性、 安全性、性能等方面都要求更高，因此c p u 、芯片组、内存、磁盘系统、网络 等硬件和普通p c 有所不同【2 j 。一般地，将服务器可以分成三种类型，即塔式、 机架式、刀片式服务器i j j 。 机架式服务器的外形看来不像计算机，而像交换机，机架式服务器安装在 标准的1 9 英寸机柜里面，对于信息服务企业( 如i s p i c p i s v i d c ) 而言，选择 服务器时首先要考虑服务器的体积、功耗、发热量等物理参数，因为信息服务 企业通常使用大型专用机房统一部署和管理大量的服务器资源，机房通常设有 严密的保安措施、良好的冷却系统、多重备份的供电系统，其机房的造价相当 昂贵【4 j 。如何在有限的空间内部署更多的服务器直接关系到企业的服务成本，通 常选用机械尺寸符合1 9 英寸工业标准的机架式服务器。机架式服务器也有多种 规格，例如l u ( 4 4 5 c m 高) 、2 u 、4 u 、6 u 、8 u 掣副。通常l u 的机架式服务器 最节省空间，但性能和可扩展性较差，适合一些业务相对固定的使用领域。4 u 以上的产品性能较高，可扩展性好，一般支持4 个以上的高性能处理器和大量 的标准热插拔部件。管理也十分方便，厂商通常提供人相应的管理和监控工具， 适合大访问量的关键应用，但体积较大，空间利用率不高。 1 2 国内外的研究情况 服务器在国内外的研究现状主要表现为以下几个方面： ( 1 ) 服务器处理器多核化 服务器处理器的多核竞争，在2 0 0 9 年拉开序幕后，加上操作系统及应用软 件对多核处理器的进一步支持及优化、4 5 纳米芯片制造工艺的成熟、低功耗技 武汉理工大学硕士学位论文 术的发展、芯片级虚拟化技术的成熟等因素，使得服务器处理器多核化趋势更 明剧6 】。 ( 2 ) e c o r a m 内存技术步入成熟期 在服务器产业中，与处理器子系统相比，内存子系统的发展远远落后，不 过2 0 1 0 年这种情况会有所改变叫c o 洲内存的出现，将为解决内存子系统 的容量和速度问题找到一条可行之路【7 1 。e c o r a m 的设计目标是为服务器提供一 种全新的存储子系统，面向需要极大内存容量、频繁进行大量数据读取的服务 器应用【8 l 。e c o r a m 使用与服务器现行主流内存相同的双列直插式存储模块的 d i m m 接口，其读取性能接近于d d r r a m ，但容量密度是d d r 内存系统的8 倍。以闪存为基础的e c o r a m 在节能特性方面与固态硬盘s s d 相似，但是性能 远远高于s s d 9 1 。不过作为一种闪存产品，e c o r a m 的写入性能还无法取得突破， 因此暂不能替代主内存。 ( 3 ) 虚拟化逐渐实用化 随着4 核处理器、刀片服务器、存储系统等技术效能的大幅度提升，虚拟 化的应用条件日臻完善，虚拟化仍是2 0 1 0 年服务器发展的主要方向i l o 】。只不过 对于虚拟化来说，2 0 1 0 年人们谈的不再会是单纯的存储虚拟化或服务器虚拟化， 而是整个数据中心和整个i t 系统的虚拟化，上游方案商之间的竞争会日趋激烈， 越来越多的企业用户将能够从虚拟化技术中受益。不仅h y p e r - v 2 0 给 w i n d o w s s e r v e r 2 0 0 8 r 2 带来了更多功能特性，i b m 也将继续支持a i x ，2 0 1 0 年 企业用户将使用各种各样的虚拟化方案，而不只局限于x 8 6 领域【i l 】。 ( 4 ) 数据中心绿色化 未来的数据中心将全部采用绿色环保技术，企业用户将投资绿色硬件和服 务，努力节省能源，降低综合成本。对于当前的数据中心来说，节能包括服务 器和机房制冷设备两个方面【1 2 1 。现在，企业用户几乎每实施一个计划都要仔细 考虑能源的使用问题。预计到2 0 1 0 年底，三分之一的企业i t 部门在贿买6 个与 i t 有关的产品中，就会优先考虑购买1 个或更多的绿色环保产品【1 3 】。这样做的 主要目的是控制成本，因为在涉及到维护基础设施的问题时，数据中心总是要 努力解决更大的电源需求。终端企业用户或者机构将把关注重点从产品性能转 向要求服务提供商能够帮助他们改善节能效率【1 4 l 。 2 武汉理工大学硕士学位论文 1 3 论文研究工作 该课题来源于深圳华为技术有限公司，目标是开发基于i n t e l 公司的 n e h a l e m - e p 四核处理器的机架服务器。作为高性能高可靠性的通用服务器主板， 具备以下三个方面的功能：处理功能、接口功能以及主板管理功能【”】。 该文描述的机架服务器是基于x 8 6 平台的架构，c p u 采用i n t d 公司最新 正式发布的基于q u i e k p a t h 架构n e h a l e m e p 处理器，是四核处理器【1 6 】；南北桥 芯片组分别采用i c h l 0 芯片和t y l e r s b u r g 2 4 d 芯片，南桥支持s a t a 接口，u s b 、 s p i 和l p c 接口。 本论文主要研究主板的总体设计以及各个功能模块的详细设计、主板的可 测性设计以及测试与调试。主板在整个机架服务器系统中的位置如图1 1 所示。 图1 - 1 机架服务器系统框图 主板向r i s e rc a r d 板提供一个p c i ex 8 和一个p c i ex 4 接口，向外扩展插卡； 向r a i d 扣卡板提供一个p c i ex 8 接口，扩展硬盘接口到硬盘背板。 其中，r i s e r c a r d 板：是p c i e 扩展的转接插卡，将主板的p c i e 接口转接为 标准p c i e s * 插槽，支持一个标准全高全长的p c i e 插卡，可扩展智能网卡和固 态硬盘s s d 。 r a i d 扣卡板：是存储控制管理板，通过主板提供的p c i ex 8 接口和控制芯 片，支持s a s 、s a t a 2 0 ，配合硬盘背板扩展大容量的存储设备：亦可实现r a i d ， 即独立磁盘冗余阵列，防止数据丢失。 硬盘背板：主要配合凡u d 扣卡实现扩展大容量的存储设备( 如s a s 硬盘， s a l r a 硬盘) 以及实时控制。 的设计说明，并介绍了该主板的各个功能模块设计、应用环境。 第3 章详细介绍该主板的c p l d 逻辑模块的设计，本章是该文的重点章节。 第4 章详细介绍该主板的电源模块的设计，本章是该文的重点章节。 第5 章分析该主板的可测性设计，保障调测顺利进行。并完成主板的测试 与调试。 第6 章总结设计结果，展望机架服务器的发展趋势，并对该机架服务器的 设计提出进一步的改进和优化。 4 武汉理工大学硕士学位论文 第2 章主板的总体设计 2 1 主板的功能描述 该文描述的机架服务器是基于x 8 6 平台的架构，c p u 采用i n t e l 公司最新 正式发布的基于q u i c k p a t h 架构n e h a l e m e p 处理器，是四核多处理器【1 6 1 ；南北 桥芯片组分别采用i c h l 0 芯片和t y l e r s b u r g 2 4 d 芯片，南桥支持s a t a 接口， u s b 、s p i 和l p c 接口，作为高性能高可靠性的通用服务器主板，具备以下三个 方面的功能：处理功能、接口功能以及主板管理功能。 ( 1 ) 处理功能 该主板支持2 路n e h a l e m e p9 5 w 高性能处理器，c p u 是i n t e l 公司最新正 式发布的n e h a l e m - e p 处理器，采用了基于q u i c k p a t h 的架构，它是i n t e l 公司第 一代集成了内存控制器( 最大可支持6 根内存条) ，以及p 2 p ( 点对点) 技术的 q u i c k p a t h 架构的四核处理器，采用了4 5 n m 技术，最高主频达2 9 3 g i - i z ，q p i 频 率达3 2 g h z ，支持所有的s s e 1 6 1 。特征参数如表2 1 所示。 表2 1n e h a l e m e p 特征参数表 特征参数表 2 个全带宽q u i c k p a t h 总线接口链路，每链路最高传输 q u i e k p a t h 总线接口 速率可达6 4g t s 高速缓存4 核8 m 共享缓存 多核4 核处理器 功耗6 0 8 0 9 5 w 工艺技术 4 5 n m d d r 38 0 0 10 6 6 13 3 3i t d i m mo ru d i m m 内存接口每颗c p u 支持3 个通道，每通道最多支持2 根内存， 最大可以支持6 根r d i m m 内存，容量最大4 8 g b 插槽l g a l 3 6 6 插槽 武汉理工大学硕士学位论文 ( 2 ) 接口功能 主板集成网卡芯片，可支持双g e 网口，提供t o e 功能。 可扩展接口：可支持p c i ex 8h b a 或者r a i d 扣卡；支持r i s e r 扣卡，可扩 展支持标准全高全长的p c i ex 8 和p c i ex 4 插卡，通过和背板配合，支持智能 网卡和s s d ( 固态硬盘) ；可支持c f 存储卡，即s a t a 转c f 卡；也可支持s a t a 接口d v d 光驱。 面板接口：支持4 个u s b 接口，前面板和后面板各2 个；前面板提供5 个 l e d ，一个p o w e r ，两个网口的l e d ( 亮为“l i n k ，闪烁为“a c t i v e ”) ，一个 h e a l t hl e d 和u i d ( u i d 可用于和h e a l t h 组合做系统故障检测，默认为状态为 u i d ) ；后面板提供一个标准的d b l 5v g a 接口；后面板还提供一个标准的d b 9 串口。 最多提供1 2 个s a t a 2 0 、s a s3 5 i n c h 硬盘( 支持热插拔功能) 槽位。 散热风扇接口：最大支持6 个非冗余风扇，不支持热插拔。 ( 3 ) 管理功能 主板集成b m c 管理模块，提供一个独立的1 0 0 m 管理网口和串口( 分系统 串口和b m c 串口，默认为系统串口) ；另外，b m c 模块还提供虚拟媒体功能， 即能够实现远程鼠标、屏幕和键盘操作。 2 2 主板的系统框架及各模块设计说明 主板的总体框图设计如图2 1 所示。 图2 1 所示的主板架构是典型的南北桥架构，与早期的总线架构相比，南北 桥架构有很多的局部总线，而且各种高低速设备按照各自的工作频率分别挂接 在南北桥芯片上，缓解了总线压力，解决了总线带宽瓶颈的问题【1 7 l 。 该主板的基本组成包括：电源转换模块、双处理器、南北桥芯片组、d d r 3 内存条、v g a 控制器、b m c 小系统、b i o s ( 基本输入输出系统) 、1 0 0 0 m 以太 网双g e 网口等；同时单板提供一个r i s e r 扩展插槽，可扩展p c i e4 和p c i e8 两个全高全长的标准插卡( 可支持公司的智能网卡和s s d 卡) ，系统还提供一个 p c i e8 接e 1 ，用于扩展h b a 或r a i d 扣卡【1 6 】；通过b m c 模块，提供一个系统 串口；i c h l 0 提供两个s a t a 接口，用于支持c f 卡和s a t a 光驱，还可提供4 个u s b 接口。 6 武汉理t 大学硕七学位论文 图2 - 1 主板架构框图 根据主板各个部分的功能和接口的关系，可将主板划分为以下几大模块： ( 1 ) 处理器模块 处理器模块包括两个i n t e l 新一代n e h a l e m e p 处理器，集成d d r 3 存储器 ( 最大可支持6 根d d r 3r s i m m 内存条或者u d i m m 内存条) 、d d r 3 内存条 插槽以及q u i c k p a t h 架构的总线接口等电路；n e h a l e m 处理器外部架构采用2 路 q u i c k p a t h 总线技术，分别与处理器、南、北桥芯片组互连，q u i c k p a t h 总线的 单向传输速度可达6 4 g t s ；n e h a l e m 处理器采用了4 5 n m 工艺技术，其内部集 成4 个c p u 核、3 个内存控制通道以及q u i c k p a t h 互联接e l 总鲥1 6 】。由于处理 器内部集成内存控制器，c p u 可直接访问外挂的内存资源。内部的3 个内存控 制通道的内存可以排列组合，实现i n d e p e n d e n t 、s p a r i n g 、m i r r o r i n g 和l o c k s t e p c h a n n e l 模式以满足对内存在容量、可靠性以及带宽等不同的需求【1 7 】。 处理器模块的框图如图2 - 2 所示，显示出了处理器模块与其他模块的接口组 成。 7 武汉理工大学硕士学位论文 c h a n n e ll c l 邋m c l2 c h i n e l 气 c = ：h n e l l 弋= 掣h 越m c l2 c = = x h 加n 一1 图2 - 2 处理器模块框图 处理器模块包括以下各个单元和接口： n e h a l e m 处理器的电源标准支持v r mi i 1 ，主要有三种电源：v c o r e 、v t r 和v d d q 电源。具体的电源设计参考后面的章节。 由时钟控制芯片输出2 对l o o m 的差分时钟，再分别送到2 个处理器。具体 的时钟设计参考后面的章节。 每个处理器有两对q u i c k p a t h 总线接口，以实现c p u 与c p u 以及北桥的互 连。其中，一对用于与c p u 连接，另外一对用于与北桥连接。 处理器内部集成内存控制器，每颗c p u 可以支持6 根内存( 最大可达9 6 g r d i m m 或者4 8 gu d i m m ) ，如d d r 38 0 0 1 0 6 6 1 3 3 3 内存：支持4 种模式的内 存配置：i n d e p e n d e n t 、s p a r i n g 、m i r r o r i n g 、l o c k s t e pc h a n n e l 模式【1 8 】。 处理器有一些异常控制信号，如过热控制信号，在处理器过热的情况下， 即刻让主板下电保护。 ( 2 ) 芯片组及i o 模块 芯片组模块使用北桥i o ht y l e r s b u r g 2 4 d 和南桥i c h l 0 芯片组成，外部扩 展了很多接口，以实现与其他高低速设备的互连。芯片组模块的主要功能就是 实现i o 接口的扩展，其模块框图如图2 3 所示。 南北桥芯片组中，北桥主要挂接高速设备，南桥主要挂接低速设备。下面 主要就南北桥芯片组的接口参数来说明芯片组模块的功能特性。 8 武汉理工大学硕士学位论文 p c p c 图2 3 芯片组以及附属i 0 模块 北桥的接口参数描述如下：提供两对q u i e k p a t h 互联端口，分别和两颗处理 器的q u i c k p a t h 端口互连：q u i c k p a t h 总线基于p 2 p ( 点对点) 模式，数据传输 速率达到6 4 g t s 。q u i e k p a t h 支持通道翻转和极性倒置功能，以实现灵活方便的 互连方式；提供2 4 根p c i eg e n 2 总线，总线带宽按照x 8 、x 4 、x 4 、x 8 来分配。 其中，1 个x 8 总线用于r a i d 扣板连接，实现硬盘的扩展和r a i d 的支持：一 个“总线用于板载g e 网卡；剩下的1 2 通道用于r i s e r 卡的扩展，可以实现扩 展智能网卡和s s d ( 固态硬盘) 【1 9 j ；集成e s i 总线接口，与南桥互联；集成m e 功能，此功能在该主板上未使用，而是采用独立的b m c 小系统实现主板的管理 功能。 南桥的接口比较多，接口参数如下：集成e s i 总线接口，与北桥互联；提 供p c i 总线接口，与v g a 相连，实现显示器功能；提供l p c ( l o w p i n - c o u n t ) 总线接口，与b m c 小系统连接：提供s p i 接口，连接系统b i o s 存储芯片，实 现b i o s 功能；提供7 个u s b 接口，两个连接到前面板，两个连接到后面板； 三个连接到b m c 作k v m 通道：提供6 个s a t a 2 0 接口，支持6 个s a l r a 硬盘 ( 在不用h b a 卡时，可选) ；在支持8 或者1 2 个硬盘时，可支持一个s a t a 转 c f 卡和标准s a t ad v d r o m l 2 0 】；提供1 个s m b u s 接口，与b m c 小系统相连： 9 武汉理工大学硕士学位论文 提供a c p i ( a d v a n c e dc o n f i g u r a t i o np o w e rm a n a g e m e n ti n t e r f a c e ) 高级电源管理 功能。 前面已经分别介绍了南北桥芯片的功能特性，外出很多接口，下面介绍芯 片组的主要外出接口。 l p c 接口：南桥外出一个l p c 接口，与b m c 小系统相连。主板的b i o s 芯片采用s p i 接口的f l a s h 实现。 u s b 接口：南桥共出7 条u s b 2 0 总线，2 条u s b2 0 总线到前面板 的u s b 端口，2 条u s b 2 0 总线到后面板的u s b 端口，另外，分配3 条u s b2 0 总线到k v m 扣板，实现k v m 功能。 p c i 接口：南桥外出一根p c i 总线，其主频是3 3 m h z ，总线数据长度为3 2 b i t 。 挂接v g a 芯片，实现显示器功能。 p c i e 接口：北桥挂接高速设备，主要是通过p c i e 总线来挂接设备的。 ( 3 ) 时钟模块 该主板的时钟系统是一个独立的系统，t y l e r s b u r g 平台主要用到2 颗时钟芯 片，一个是c k 4 1 0 b + ，一个是d b 8 0 0 t 1 9 】。其中c k 4 1 0 b + 是主时钟芯片，产生主 板上各个器件所需要的时钟；d b 8 0 0 是p c i e 时钟b u f f e r ( 时钟驱动器) ， c k 4 1 0 b + 产生一个主时钟分给d b 8 0 0 ，d b s 0 0 再为p c i e 控制器及设备提供时 钟【2 1 】1 2 2 1 。主板的时钟分配如图2 - 4 所示。 图2 - 4 时钟分配示意图 1 0 武汉理工大学硕士学位论文 在图2 - 4 中，6 个p c i e 时钟分别提供给i o h 、s a s 控制器扣卡、一个千兆 以太网g e 网卡芯片，r i s e r 扩展插槽。p c i e 时钟都是来自d b 8 0 0 芯片的时钟 输出端，这样可以保证挂载在p c i e 上的器件同步工作；由于p c i e 器件属于高 速器件，在布线时，该主板要求走线长度在3i n c h - 2 0i n c h 范围内【2 3 1 。 ( 4 ) 硬盘模块 包括硬盘检测模块和硬盘接口模块，采用南桥片集成s a t a 控制器，或者 s a s 硬盘控制器扣卡，前面板出4 个硬盘接口；该机架服务器的硬盘模块是根 据r a i d 存储控制扣卡和硬盘背板的配合设计的。 该主板支持s a t a 硬盘和s a s 硬盘，可以通过南桥直出4 块s a t a 硬盘， 这样就需要在r a i d 扣板上增加s a t ai i 的驱动器；通过r a i d 扣卡，有两种扩 展方案：一是采用l s l l 0 6 8 es a s s a t a 控制器，支持8 块或1 2 块s a s s 觚a3 5 寸硬盘【冽；二是采用l s l l 0 7 8 es a s s a t a 控制器，支持8 块或1 2 块s a s s a t a 3 5 寸硬盘，可实现r a i d0 1 5 1 0 t 2 引。l s l l 0 6 8 e 和l s l l 0 7 8 e 都是通过有e x p a n d e r 的背板，扩展支持8 个或者1 2 个硬盘；另外也可以通过r i s e r 卡扩展s s d 固态 硬盘。 硬盘模块的设计主要包括硬盘检测模块和硬盘接口模块的设计。硬盘检测 模块如图2 5 所示。 场景1 ： i i 图2 - 5 硬盘状态检测框图 该主板是通过b m c 小系统中的f p g a 来检测硬盘扣卡的在位信号。 ( 1 ) 若无扣卡系统，可支持6 个s a t a 硬盘配置，从c p l d 的寄存器中获 得f a u l t 和在位信号； 武汉理工大学硕士学位论文 ( 2 ) 若有扣卡在位信号，c p l d 检测硬盘背板的b r o a di d ，获取硬盘的 配置( 8 个获1 2 个) ：通过1 2 c 总线来读取硬盘的f a u l t 状态，再通过背板的l e d 灯显示硬盘的配置状态； 硬盘接口模块设计如图2 - 6 所示。 图2 - 6 硬盘模块外部接口框图 ( 5 ) 网络模块 主板板载两个g e 网卡，网卡采用b c m 5 7 0 9 芯片实现，使用北桥的p c i e 总线扩展两个1 0 0 0 mg e 网口，具有t o e 功能，可减轻主板c p u 的负荷；支持 p x e ，即网络启动；支持w o l ，即远程唤醒功能【2 6 】。通过s a s 扣卡与背板的配 合，可支持扩展智能网卡，实现更高功能的网络系统。其外部接口如图2 7 所示。 g e 0 ( 6 ) v g a 模块 图2 - 7 网络模块外部接口框图 1 2 武汉理工大学硕士学位论文 该机架服务器主板支持v g a 功能，可以连接显示器，或者k v m ( 键盘鼠 标显示器) 虚拟媒体。v g a 模块的主芯片采用z 9 s ，通过p c i3 3 m h z 3 2 b i t 总线 与南桥i c h l 0 相连，集成d v i 总线接口，到虚拟媒体扣板做视频采集，在b m c 的f p g a 芯片进行视频压缩，实现远程k v m 功能2 7 】；v g a 模块的存储器采用 d d i 也；可以直出v g a 接口到前后面板。v g a 模块外部接口如图2 8 所示。 图2 - 8v g a 模块外部接口框图 ( 7 ) b m c 小系统 b m c ，即b a s e b o a r dm a n a g e m e n tc o n t r o l l e r ( 基板管理系统) ，是一个嵌入 式系统，它独立于服务器主板的管理系统；支持标准的i p m i 规范，该规范已经 内置到主板上的管理功能【2 引。 该主板上b m c 小系统的主要功能是：提供单板温度检测与告警( 如c p u 温度检测和内存温度告警) ；提供单板硬件信息管理( 如硬盘，内存和c p u 的信 息管理) ；提供f a n 风扇的转速监控和管理( 该主板最大支持6 个f a n 的监控) ： 实现控制台重定向，如配合c p l d 逻辑，实现串口重定向功能；远程管理用户 接口，支持c l i ( c o m m a n d l i n ei n t e r f a c e ，命令行界面) 、s s h ( s e c u r es h e l l ， 即完全外壳协议，是一种在不安全网络上提供安全远程登录及其他安全网络服 务的协议) 、r m c p ( r e m o t em a i lc h e c k i n gp r o t o c o l ，即远程邮件检查协议) 2 9 】： k v m 以及虚拟媒体功能；实现单板软件的在线加载( 支持c p l d 逻辑先烧后贴) ： 采样单板p c b 的i d 以及各类扣板的类型等信息；提供单板j t a g 测试加载接口： 通过a c p i ( a d v a n c e dc o n f i g u r a t i o na n dp o w e rm a n a g e m e n ti n t e r f a c e ，即高级配 武汉理下大学硕十学位论文 置和电源管理接口) ，可获得电源的实时功耗。 b m c 小系统的系统框图如图2 - 9 所示。 一ii - 一。i c h l o 。 矽l - 亡懑i l = j i l 叠盘_ n i 口-