（计算机系统结构专业论文）基于pki的集群系统安全设备管理.pdf

摘要 随着社会信息化的加快，密码技术与p 技术的迅猛发展，如何运用先进的 信息技术构建电子政府己成为摆在我国各级政府面前的一项紧要工作。基于 l i n u x 集群系统的高性能运算服务器是“信息安全应用示范工程”中信息安全基 础设施的重要组成部分，为统一安全服务平台提供统一通用的敏感数据运算支持， 为p 体系提供必要的数据运算服务，有较高的性价比和较短的开发周期，但集 群系统内部设备的安全管理成为系统安全的薄弱点。本课题结合p 系统对运算 服务器的实际需求与功能要求，深入讨论了系统的软件设计模型，在实际工程的 基础上研究了基于p 的高性能集群系统安全设备的管理，并以这些为基础，作 者设计并实现了集群系统的安全设备管理控制台，并对系统的安全策略和难点进 行了详细的分析论述。最后，作者对安全控制台进行了安全性分析和系统评价， 试验表明安全控制台有良好的安全性与可扩展性，完全符合系统设计的预期性能 指标。 关键字：公钥基础设施 密码技术信息安全设备管理 a b s t r a c t w i t l lt l l ea c c e l e r a t l o no fs o c l a lm f o m a n o n 锄dt 1 1 e r 印i dd “e l o p m e l l to ft l l e c r y p t o 鲫h 柚dp k it e c h n 0 1 0 9 y h o wt 0e x e na d v a n c e di n f o m l a t i o nt e d m o l o g yt o b u i l du pae 9 0 v e 衄e n tb e c o m 器a 嘶t i c a lt a s kf o r0 1 1 rg o v e n n e ma ta l ll e v e i s 1 1 1 e h i 曲一p e r f o 肌a 1 1 c ed a t as e r v e r ( h d s ) b e do nd u s t c ro fl i n u xi s 锄i i n p o n 卸tp a r to f i n f 0 肋a t i o ns e c 嘣t yi i l 行鹊仇l c t i l r ei nm en a t i o n a la p p l i c a t i o na n dd 锄0 1 1 s t r a t i o n p r o j e c to fi i l f 0 彻a t i o ns e 训够np r o “d e s 吼i 6 e d 觚d ts e l l s i t i v ed a t as e r v i c e s u p p o n sf o rt l l el l l l i f i e ds e c u r i t ys e r v i c ep l a t f o 加锄da i s u p p l i e se s s t i a ld a t a s e 九，i c ef o rp k is y s t e m nh o l d sl l i 曲e rc o s tp e l l 白m a n c c 姐ds h o r t e rd e v e l 叩m e n t c y c l e h o w e v 也es e 训t ym a i l a 酎n e n to fd e “c cw i t i l i l lc l u s t e rs y s t 锄i saw e a l ( p o i n tt os y s t 锄s e 咖劬删st l l 铭i s ，c o m b i n e dw i mp s y s t e i n sa 咖a 1n e e d sa n d f l u l c t i o n a lr e q u i r e m t st oe s s e i l t i a ld a t as e r v d i s c u s s e st t l es o f t w a r ed e s i 印m o d e lo f h d s s y s t c i 玛锄do nm eb a s eo f p r a c t i c a lp r o j e c tr e s e a r c h 髓s e c u r e d e “c em a l l a g e m e n t o fc l u s t e rs y s t 锄b 鹊e do np a 叫b a s e do nt 1 1 e s e ，圮a u t l l o rd e s i g n e da n d i m p l 锄e n t e dt i l es e c 嘶t yd e v i c em a i l a g 锄e n tc o 璐o l eo fh d sd u s t 盯s ”t 锄帅“s m o r e ，t h ea u t l l o rd “l e d l y 孤a l y s c da i l d 懿p o l h l d e dt 1 1 es y s t 锄ss e c u r i t ys 仃a t e 百鹤 a n dd i 甩c u l tp o i n 协f i n a l l 弘t h ea u t l l o rc o n d u c t e das a f 研a n a l ”i sa 1 1 ds y s t 锄 c v a l l l a t i o nt 0t l l es e c i l r ec o n s 0 1 e ，a n dt h et 髓ts h o w e dt 1 1 a tt h ec o l l s o l eh 嬲g o o ds c c 吲t y 锄de x p 卸s i b i l i t y w l l i c h 如l l ya c c o r dt 1 1 ec x p e c t e dp 幽m a n c ed e s i 印e db ys y s t 锄 k e y w o r d ：p c r y p t o g r a mt e c h n o l o 科 i n f o r 呦t i o ns e c u r i t y d e v i c em a n a g e m 皿t 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包 含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部 分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解密 后遵守此规定) 本学位论 本人签名： 导师签名： 一年解密后适用本授权书。 日期2 2 ：至：笸 日甥! z ：2 ：丕 寨 第一章绪论 第一章绪论 1 1 论文背景 信息化是一场革命，信息化开启了一个新的时代。随着社会信息化进程的加 快，如何运用先进的信息技术构建电子政府，实施电子政务，以电子化、信息化 的手段来提高政府的行政管理水平、行政效能和决策的准确性，从而更加科学地 为社会、企业和公众服务，这已成为摆在我国各级政府面前的一项紧要工作。 公开密钥基础设施p ( p u b l i ck e yi n 丘a s t r u c t u r e ) 是最新发展起来的安全技术 和安全服务规范，以公开密钥技术为基础，以数据的机密性、完整性和不可抵赖 性为安全目的而构建的认证、授权、加密等硬件、软件的综合设施。公开密钥基 础设施与数字身份认证的能力结合起来，就可以开发出丰富而且安全的电子政务 系统。 我国的国家信息安全基础设施( n a t i o n a li n f o 彻a t i o ns e c u r i t yi i l 觚仃u c t u ， n i s i ) 就是由公开密钥基础设施和授权管理基础设施( p v i l e g e m a n a g 锄e i l t i i l f h s t m c n 鹏，p m d 组成。其中，公开密钥( 简称“公钥”) 基础设施构成所谓的 p 信息安全平台，提供智能化的信息服务：而授权管理基础设施构成所谓的授权 管理平台，是在p k i 信息安全平台的基础上提供智能化的授权服务。公钥基础设施 是国家信息安全建设中极其关键的基础性设施，它在底层网络基础设施的基础上 构建了一个一致的信息安全服务层面，可以满足上层各种应用在安全方面的需求。 公钥基础设施的建设需要高效的大数据量敏感数据服务的支持，为电子政务 系统提供高速的随机数生成、密钥生成、非对称密钥加解密运算、对称密钥加解 密运算、数据摘要运算、证书验证、密钥管理、以及签名与验签等多项敏感数据 安全服务。在现有的软硬件资源的基础上采用集群方式开发出高性能的运算服务 器系统是一个很好的解决方案，但集群系统中设备的管理成为服务器有效的协同 工作的难点，而且系统管理中的安全问题影响到整个集群系统甚至整个p k i 设施和 整个电子政务平台的安全，本课题研究和开发的任务便是如何安全有效的管理这 个集群系统以及系统中的设备。 1 2 论文工作 国家科技攻关项目“中国电子政务试点示范工程”是基于p 安全体系架构 的应用攻关项目，经过广大科研人员的艰苦研发，总体框架已经形成，基本功能已 2 基于p k i 的集群系统安全设备管理 经实现，现已初具规模。本课题选题源于项目“国家电子政务试点示范工程”的子 项目。该子项目是基于p 安全体系架构的应用攻关项目，提供p 系统中的敏 感数据高速运算的安全服务，而现有的软硬件的条件只能运用集群系统的思想才能 实现，如何安全有效的管理这个高速集群系统中的设备为用户提供快速的多用户并 发的敏感数据运算服务是本项目的重点与难点。 本文作者的主要任务是了解p l ( i 系统在本系统所需要实现的基本功能，以及 能提供这些功能的高性能集群系统。在此基础上完成了这个集群系统中控制台的设 计、编码与调试的工作。具体工作概括如下 为深入了解p 系统对安全服务的具体需求，建立一个合理的安全服务 模型。查阅了大量的有关网络安全和p 服务方面的文献，认真深入地研究了p 服务方面的标准、草案与建议。 阅读p 系统所涉及的多种实现数据安全的方法的资料，包括对称加解 密算法机制，非对称加解密算法机制，数字摘要，以及它们组合而成的证书生成， 验证等技术。 查阅了大量有关计算机系统结构、网络通讯和进程间通讯方面的文献， 认真深入地研究了集群系统方面的方案和实施方法。分析并建立了基于p 架构 的高性能l v s 加密服务集群系统。 解决了集群系统中设备安全管理所遇到的安全设计等系列的问题，完 成了该集群系统控制台的设计，编码与调试工作，实现了设备安全有效的管理。 本人在论文撰写过程中的主要的创新点是： 实现了高性能集群系统中安全设备的有效管理。 将p 的身份认证技术应用到控制台的用户管理与安全通讯中。 成功地将敏感数据分管技术用于控制台的管理。 成功实现了集群系统中运算模块的动态管理。 1 3 论文结构 本文共分六个部分： 第一章，绪论。介绍了课题的研究背景、论文的主要工作和论文的创新点。 第二章，密码基础。本章对高性能集群系统中的所需要实现的各种运算机制 分类并进行详细说明，指出他们的特点及应用范围。 第三章，公钥基础设施。本章对p 体系进行说明，介绍在p 日系统是如何 实现数据的安全传输，并阐明本项目在整个p k j 系统中的位置与作用。 第四章，高性能集群系统。本章介绍高性能集群系统的系统结构并分析了系 统的软件架构。 第一章绪论 3 第五章，高性能集群系统的设备管理。本章介绍本系统中的设备管理的需求 以及系统中的安全策略、难点及总体设计，并进行了安全性分析和系统评价。 第六章，结束语。对本论文的工作进行总结。 第二章密码基础 第二章密码基础 实现敏感数竭高速运算服务是本高性能集群系统所必须实现的摹本功能，以 下我们将对本课题所要涉及的对称密码技术，非对称密码技术，摘要技术进行阐述。 2 1 密码技术 p 的理论基础是基于密码学的。密码技术是信息安全的主要手段之一，它是 结合数学、计算机科学、电子与通信等诸多科学于一身的交叉学科。它不仅具有 保证信息机密性的信息加密功能，而且具有数字签名、身份验证、密钥分存、系 统安全等功能。使用密码技术不仅可以保证信息的机密性，而且可以保证信息的 完整性和正确性。 密码技术分类的方法有多种，传统上按密钥的特性分为对称密钥密码技术和 非对称密钥密码技术。前者称为传统密码技术，后者又称为公钥密码技术。传统 密码又分为序列密码和分组密码，将明文按字符( 如二元数字) 逐位地加密，称 之为序列密码，又叫流密码；另一种把明文消息分组( 含有多个数字) ，逐组地进 行加密，称之为分组密码。密码分类如图2 1 所示。 2 2 1 对称密码分类 图2 1 密码分类 2 2 对称密码技术 传统的对称密钥密码技术是从简单的代替密码发展而来。对称密钥密码体制 从加密模式上可分为序列密码( 流密码) 和分组密码( 块密码) 两大类。在p k i 中常用 的是分组密码算法，在此，我们重点介绍分组密码理论与技术，其中包括分组密 码与序列密码概述、分组密码运行模式、美国数据加密标准d e s 等。 6 基于p k i 的集群系统安全设备管理 2 2 1 1 分组密码 分组密码的工作方法是将明文分成固定长度的( 块) ，如6 4 b i t 一组，用同一 密钥和算法对每一块加密，输出也是固定长度的密文。例如，d e s 密钥算法的输 入为6 4 b i t 明文，密钥长度为5 6 b i t ，密文长度为6 4 b i t 。 设计分组密码算法的核心技术是：在相信复杂函数可以通过简单函数迭代若 干圈得到的原则下，利用简单圈函数及对合算运算，充分利用非线性运算。以d e s 算法为例，它采用美国国家安全局精心设计的8 个s b o x 和p 置换，经过1 6 圈 迭代，最终产生6 4 b i t 密文，每圈迭代使用的4 8 b i t 子密钥是由原始的5 6 b i t 产生 的。 说到分组密码技术，我们不得不提到d e s 算法，数据加密标准( d a 诅 e n c r y p t i o ns t a n d a r d ，d e s ) ，作为美国国家标准协会( a n s i a m 鲥c a nn a t i o n a l s t a l l d a r d si n s t i t l l t e ) 的数据加密算法和i s 0 和d e a l ，成为一个世界范围内的标 准已经2 0 多年了。其中d e s 以及后来的d e s 3 算法是使用最为广泛的分组密 码算法。1 9 7 7 年美国颁布d e s 密码算法作为美国数据加密算法标准以来，对称 密钥密码体制得到了迅猛的发展，在世界各国得到关注和使用。自从d e s 算法颁 布以来，世界相继出现了多种分组密码算法，如l u c i f 打算法、m a d r y g a 算法、 n e w d e s 算法、f e a l 算法、r e d 0 c 算法、l o 算法、k h u f i l 和k h a 缸算法、 r c 2 和r c 5 算法、d e a 算法、g o s t 算法、c a s t 算法等等。之所以出现这些 算法，有政治原因和技术原因。各国在商用方面都需要自己设计的密码算法，不 能依靠外国的算法。如l o 日算法为澳大利亚人首先提出、f e a l 算法为日本电 报公司提出、g 0 s t 算法为前苏联设计、c a s t 算法为加拿大人设计。各国不遗 余力开发自己的加密算法，有实力的公司也在开发新的算法如r c 2 的算法是r s a 数据安全公司设计目的是在未来取代d e s 算法。我国在研制自己的分组加密算法 现在已经设计出s s f 3 3 和s s f 0 4 国产算法，在本课题中所使用的对称算法为 s s f 3 3 国产算法。 2 2 1 2 序列密码 序列密码算法是将明文逐位转换成密文。该算法最简单的应用是密钥序列发 生器( k e y s 圩e a mg e n e r a t o l 也称为滚动密钥发生器) 输出一系列位序列：k l ，k 2 ， k 3 ，l ( i 。密钥序列( 也称为滚动密钥) 跟明文序列p 1 ，p 2 ，p 3 ，p i 进行异或运算产生密文位序列。c i _ p 。o i ( i 在解密端，密文序列与完全相同的密钥序列进行异或运算恢复出明文序列。 p ，= c i o l ( i 由于p i ok i o k = p i 根据此原理实现数据的加密服务。 第二章密码基础 7 据此我们也可以发现，序列密码系统的安全性完全依靠密钥序列发生器的内 部机制。如果它的输出是一个无穷无尽的0 的序列，那么密文就是明文，这样整个 系统没有丝毫的意义。实际的序列密码算法的安全性依赖于简单的异或运算和一 次性密乱码本。密钥序列发生器产生的看似随机的密钥序列实际上是确定的，在 解密的时候能很好的将其表现。密钥序列发生器输出的密钥越接近随机，对密码 分析者来说就越困难。 2 2 2d e s 分组密码 1 9 7 7 年1 月1 5 日建议被批准为联邦标准 f 口sp u b4 6 】，并设计推出d e s 芯 片。d e s 开始在以银行、金融界广泛应用。1 9 8 1 年美国a n s i 将其作为标准，称 之为d e s a n s ix 3 9 2 】。 虽然d e s 不会长期地作为数据加密标准算法，但它仍是迄今为止得到最广泛 应用的一种，也是一种最有代表性的分组加密体制。因此，详细地研究这一算法的 基本原理、设计思想、安全性分析以及实际应用中的有关问题，对于掌握分组密码 理论和当前的实际应用都是很有意义的。 d e s 是一种对二元数据进行加密的算法，数据分组长度为6 4 b i t ( 8b ”e ) ，密文 分组长度也是6 4 b i t ，没有数据扩展。密钥长度为6 4 b i i ，其中有8 b i t 奇偶校验，有 效密钥长度为5 6 b i t 。d e s 的整个体制是公开的，系统的安全性全靠密钥的保密。 算法的构成框图如图2 2 所示。 64b i t 明文数据 l 弋夕 初始置换ip 、：， 乘积变换 ( 在密钥控制下 l6 次迭代) j 上 i 逆初始置换i p 。l j 土 6 4b i t 密文数据 标 准 数 据 加 密 算 法 de s 算法框图 图2 2d e s 算法框图 算法主要包括：初始置换口、1 6 轮迭代的乘积变换、逆初始置换i p _ 1 以及 1 6 个子密钥产生器。下面分别介绍各部分。 基于p k i 的集群系统安全设备管理 1 初始置换i p 置换口可将6 4 b i t 明文的位置进行置换，得到一个乱序的6 4b i t 明文组，而 后分成左右两段，每段为3 2 b i t ，以l o 和r o 表示，如图2 3 可知，i p 中各列元素 23 6 36 4 6 4 b i t 明文数据 初始置换 垫二l 三盟鼍置换后数据 12 。：盟竖 置换码组( 6 4 b i t ) 4 0 3 9 3 8 3 7 3 6 3 5 3 4 3 3 z 。二j z ：丝 密文( 6 4b i t ) ! ! 立兰竺竺型艺竺送至乘积变 l 生堡! ! 尘ff 垦坚! ! 堕l 换的数据弋7 初始置换疋 逆初始置换i p - 1 图2 3 初始置换口图2 4 逆初始置换口 位置号数相差为8 ，相当于将明文各字节按列写出，各列比特经过偶采样和 奇采样置换后，在对各行进行逆序。将阵中元素按行读出构成置换输出。 2 逆初始置换i p 。 始置换口1 可将1 6 轮迭代后给出的6 4 b i t 组进行置换，得到输出的密文组， 如图2 4 所示。输出为阵中元素按行读得的结果。 m 和i p 4 在密码意义上作用不大，因为输入组x 与其输出组y = 口( x ) ( 或口4 ( x ) ) 是己知的一一对应关系。它们的作用在于打乱原来输入x 的a s c i i 码字划分的关 系，并将原来明文的校验位x s ，xj 6 ，x “变成为口输出的一个字节。 3 乘积变换 图2 5 中给出乘积变换的框图，它是d e s 算法的核心部分。乘积变换将经过 口置换后的数据分成3 2b i t 的左右两组，在迭代过程中彼此左右交换位置。每次 迭代时只对右边的3 2b i t 进行一系列的加密变换，在此迭代即将结束时，把左边 的3 2b i t 与右边得到的3 2b i t 逐位模2 相加，作为下一轮迭代时右边的段，并将 原来右边未经变换的段直接送到左边的寄存器中作为下一轮迭代时左边的段。在 每一轮迭代时，右边的段要经过选择扩展运算e 、密钥加密运算、选择压缩运算 s 、置换运算p 和左右混合运算。 4 选择扩展运算e i；6 5 ；l a 2以眈札始骝卯以挖虬坶埔盯 6 5 4 3 2 l 0 9 5 li 4 6 5 4 3 2 1 0 9 ii i i 2 l 4 4 4 4 5 4 4 4 o 2 4 6 9 1 3 5 8 o 2 4 7 9 1 3 1 z 2 2 1 1 2 2 6 8 o 2 5 7 9 i；m3 4 6 8 0 3 5 7 9 3 3 3 舶3 3 3 a 2 4 6 8 ，3 5 7 4 4 自4 4 4 4 4 0 2 4 6 9 l 3 5 |l 5 5g眈以钉昌j吼 第二章密码基础 9 选择扩展运算下可将输入的3 2 b i t 融一1 扩展成4 8b i t 的输出，其变换如图2 6 所示。令s 表示e 原输入数据比特的原下标，则e 的输出是将原下标s o 或1 ( m o d 4 1 的各比特重复一次得到的，即对原第3 2 ，l ，4 ，5 ，8 ，9 ，1 2 ，1 3 ，1 6 ，1 7 ， 2 0 ，2 1 ，2 4 ，2 5 ，2 8 ，2 9 各位都重复一次，实现数据扩展。将表中数据按行读出 得到4 8b i t 输出。 5 密钥加密运算 密钥加密运算可将子密钥产生器输出的4 8 b i t 子密钥k i 与选择扩展运算e 输 出的4 8 b i t 数据按位模2 相加。 6 选择压缩运算s 选择压缩运算可将前面送来的4 8 b i t 数据从左至右分为8 组，每组6b i t 而后 并行送入8 个s 盒，每个s 盒为一非线性代换网络，有四个输出。 l i 2r r j 1 2l 2n o rf ( r ，k ，) 图2 5 乘积变换框图 7 置换运算p e 的输入( 6 4 b i t ) j 一 y 嚣笛需辩鬻嚣管者1 匦 选择设备密钥备份文件 依次恢复各密码模块的同步密钥 依攻恢复各密码模块的设备密钥 釜i ：镕釜i 委：尹将管理机状杏设 恢复韧蛞化成功 ( 系统的原始初始化流程和恢复初始化流程) 图5 2 系统的原始初始化流程和恢复初始化流程 基于p k i 的集群系统安全设备管理 控制台系统设计的重点和难点就是系统的初始化流程， 向，我们定义了两种初始化操作，具体流程图5 2 。 原始初始化：重新生成设备敏感数据、会话密钥、 会话密钥并对系统进行同步和备份处理及相关操作。 根据初始化的不同方 制作管理员卡、分管 恢复初始化：不再生成设备化石数据、会话密钥，也不制作管理员卡以 及分管会话密钥，只是通过已分管的会话密钥和己备份的设备敏感数据对系统进 行恢复使其正常运行。 5 3 2 运算模块的动态配置 所谓系统的动态配置，就是如何在系统加电的情况下，增加或删除设备。对 于一个集群系统而言，通常要求一旦系统启动就不要再关闭，除非发生系统升级 等更改系统运作模式的情况。在这种情况下，有这么几种要求更改系统配置的可 能。 1 ) 集群系统中，某一运算模块频繁出错，它的存在影响了系统的正常运行。 此时，就需要将其从系统中移除，更换新的运算模块。( 通常，如果该运算模块对 系统的性能影响不大，管理员只需将其状态设为“禁用”即可，不必更换硬件) 。 2 ) 当前集群系统提供的性能不能满足需要，因此应当增加新的节点或者运算 模块的支持。 以上两种情况，都需要在系统加电状态下进行。因此，需要设计系统软件，以使 其支持物理硬件的动态更改。 动态配置的实现需要通讯协议的支持，由于本系统的实现基于t c p i p 网络通 讯协议，该协议支持网络设备的动态增加与移除，因此，只要合理的设计软件， 就会实现动态控制设备增删的需求。 管理员具有操纵更改集群系统的权力，因此，应当在控制台实现对设备的增 加、删除操作。这里说明其实现方法。 5 3 2 1 动态删除 当模块的状态置为出错模块，那些模块并未真正从系统中脱离，只是暂时不参 加集群的运算服务，当系统重启后，该模块仍然可以像正常模块一样，由管理机来分 配任务。此外，一个出错模块是否应该删除应该由用户来决定，不应该由系统自行操 作，所以要将模块真正从系统中删除需要由控制台来指挥完成。 如果由于某种原因某一台密码机不能再工作，用户在把该密码机移出机柜之 前，要进行密码机删除，以便更新管理机的密码设备信息。具体操作如下： 第五章高性能运算服务器集群系统的设备管理 1 ) 用户通过控制台发送所要删除模块的基本信息给管理机 2 ) 管理机通过验签操作后，检验模块的基本信息，首先判断模块的地址是否 存在，然后检验模块的d 号是否正确，判断通过后进进入下一步。 3 ) 将模块的状态置为被删除状态，然后断开与要删除模块的数据通道，修改 模块的配置信息表。 4 1 返回删除模块的结果。 5 3 2 2 动态扩展 模块的动态添加过程是一个更为复杂的过程，因为我们要将毫无关联的运算 模块加入到我们的l 、r s 集群系统中，使它成为我们系统中的一部分，则在初始化 过程中对运算模块的操作所产生的系统保留信息，以及在使用过程中产生的驻留 于运算模块的用户信息，这些信息数据都要经过控制台操作进行同步，使其真正 融入这个系统中能够为用户提供服务。模块的动态添加过程由以下的几个步骤组 成。 首先：建立数据连接，这里我们通过控制平台向管理机发送命令告诉我们系 统扩展目标的地址，指导管理机与目标运算单元建立数据通路，成功后我们进入 下一步操作。 。 然后：我们我们需要将所扩展的运算单元进行统一标识的操作。这时我们将 进行操作，将所有的运算单元的信息从旧的运算单元中导出，然后导入到所要扩 展的运算单元。 最后：将l v s 系统扩展的运算单元加入管理机所调度的运算单元集合体中， 真正生效参与正常的作业处理。 这样就完成了模块的动态添加，在控制台数据库中新增了添加模块的数据记 录，管理机中模块列表中多了一个模块信息，多了一个可调度分配任务的模块。所 以，最终新增模块中的所有信息与旧模块的信息保持了一致，并能够对外提供无 差别一致的服务。 5 3 3e k e y 的检测控制 控制台实现的首要问题就是要解决e k e y 的实时检测与控制。目前大多数计 算机系统具有的u s b 端口通常为两个，因而为了使系统具有更广的适用性，所以 u s b 端口的使用限制在两个以内。为了系统的安全，规定管理员卡必须插在系统 上，任何时候管理员卡被拔出，则系统功能不可用，所以在系统要使用到多个 e k e y 时必须要轮流插入与拔出，这就是使用e k e y 的约定。为了实现这种对 基于p k i 的集群系统安全设备管理 e k e y 的检测与控制，采用的办法是定时检测，对各种情况进行实时处理。 e k e y 中的数据，包括一般的用户数据和密钥数据，都以文件的形式保存。 e k e y 的文件系统分三级，第一级是根文件m a s t e r 丘l e ( m f ) ，第二级是目录文件 d e d i c a t e df i l e ( d f ) ，第三级是实际存放数据的基本文件e l 锄e n tf i l e ( e f ) 。e f 主 要分以下几种：二进制文件、密钥文件、公钥文件和私钥文件。 二进制文件存放一般的用户数据，密钥文件存放d e s 密钥、t r i p l ed e s 密钥、 用户p i n 码( 即用户口令) 及其它用户自己定义的密钥，公私钥文件存放r s a 、e c c 公私钥，其中私钥文件具有特殊性：只能写，不能读，以保证私钥的安全性。除私 钥文件外，其它文件都具有两种访问权限：读权限和写权限。用户通过验证p i n 码来获得文件的访问权限。 5 4 1开发环境 5 4 总体设计 软件环境 1 操作系统：w i n d o w s 2 数据库服务器：数据库系统 3 程序开发工具：编程语言 管理服务子系统只运行在w i n d o w s 平台，这里有两点考虑：一是在l i n u x 系 统下开发图形界面很不方便且开发出的界面相对不太美观，二是管理服务子系统 的使用者是管理员，他们熟悉的系统是w i n d o w s 系统，所以它的开发和运行都是 在w i n d o w s 系统下比较合适。 硬件环境 硬件环境主要包括服务器、开发客户机以及计算机网络。包括mx s 甜e s 3 4 5 、c i s c 0c a t a l y s t2 9 5 0 网络交换机、联想p c 和w a t c hc p u 卡等。 5 4 2 总体设计目标和原则 本系统的设计目标就是要建立一个性能良好、功能完善、使用方便、具有一 定通用性的集群系统设备管理控制台，为用户管理安全设备提供个方便快捷安 全的平台，以此充分发挥系统的性能和运算速度，满足用户的业务需求。 系统在设计的过程中遵循如下原则： 第五章高性能运算服务器集群系统的设备管理 4 5 安全性：安全性是信息安全系统的首要原则，没有了安全性，其他功能都是 空中楼阁。本系统建立在公钥密码学基础之上，公钥密码学是经过无数次验证的 技术，从技术上保证了系统的安全性；另外，本系统设计了合理、安全的通信协 议，从协议的角度保证系统的安全性。 标准化：符合p k c s 系列标准，方便将来的功能扩展和版本升级，同时也比 较容易和其它符合p k c s 协议的系统互连互通。 实用性：因为用户在程序实现中习惯调用函数，所以尽量将每一个功能封装 在一个接口函数或者几个接口函数中，便于用户的使用。对于过于复杂的功能和 流程用图形化的界面来显示。 模块化：按照模块化的思想对系统进行设计，使每个模块在功能上相对独立。 5 4 3 系统通信协议 在系统的设计中，通讯协议的设计关系到系统的运算效率。在设计通讯协议 的时候，为了避免系统内部通信由于通讯协议的不同而频繁的进行拆包、组包的 操作，需要将它们的通讯协议统一设计。尽管这种设计会导致通讯包的大小平均 增大，然而这种设计却可以避免层与层之间的协议转换，提高系统的执行效率。 通信协议数据包一般来讲可以分为两部分，第一部分是包头，第二部分是数 据实体。数据实体就是所要传输的数据本身，而包头就是通信双方事先协商好的 带有一定含义的数据段( 比如命令码、数据长度等) 。对于我们的系统来讲，如果 包头设计的好，能够提高整个系统的运算和传输速度。 控制台可以支持多用户的作业请求。针对这种情况，有必要在包头中设置一 个用户描述符字段，用户描述符用来标识某个发送数据的用户，在返回数据的时 候可以准确地定位到该用户，节省了查找用户的时间。 每一个用户输入的数据长度不尽相同，如果用户输入的数据过大，则要将此 数据拆分成小的数据包，那么就有必要在包头中设置一个i d 号来标识每一个小 数据包。使用m 号的优点在于，返回数据的时候可以根据i d 号的顺序准确地将 小数据包重新组织成大的数据包返回给用户。 另外，考虑到数据最终还是要发送到系统中进行处理，所以除了自身需要设 置的一些字段以外，又在包头中为管理机预留了两个字段：设备m 和作业包类 型。管理机的调度程序根据调度策略找到一个可以执行该作业的密码设备以后， 就将该设备i d 写入此字段，这样，当管理机收到作业包之后，可以根据该字段 直接定位到合适的密码设备上，而不必再次查找究竟是哪一个密码设备来执行该 作业，然后再根据作业包类型决定进行哪种操作。 为了能够兼容其他的模块设备，在包头中还设置了保留字段，甚至上述专门 基于p k i 的集群系统安全设备管理 为本系统设置的两个字段都可以根据需要赋予另外的含义。 采用上述的通信数据包设计，可以使得许多原本需要对其进行专门管理的操 作融入到了通讯协议中，从而避免了若干复杂的操作，可以简化程序的设计，提 高作业的执行效率。当然，安全服务通信协议的设计不单只是针对本系统，只要 是符合该协议接口的模块设备，都可以使用该协议。 5 4 4 控制台系统状态 由于控制台的使用涉及到系统的安全，它对安全的要求特别高，所以合理控 制控制台功能的使用是一项重要的任务。为此，对控制台的状态进行定义，并对 不同的状态下可以执行的操作进行严格控制。如图5 3 。 田53 控制台状悉转挟田 无卡状态：即系统不存在任何操作员卡( e k e y ) ，此时不允许进行任何 操作。 存在一个e l ( e y 未连接：即系统检测到一个e k e y 但是还没有连接管理 机，此时可进行的操作为管理机的连接配置、进行管理机的连接、以及进行e k e y 的管理操作( 比如重要的操作员卡的制作和p i n 码修改) 。 已连接状态：存在一个e k e y ，并且已连接上管理机，但是还没有进行登 陆，此时可进行的操作是用户登陆操作，关闭连接操作，管理机的连接配置，以 及e k e y 的相关操作。 第五章高性能运算服务器集群系统的设备管理 4 7 等待初始化状态：在已连接状态的基础上，进行了登陆操作，系统处于 初始化状态o ，此时可进行的操作除了上述已连接下的操作外，还可以选择进行 初始化操作。 控制台启动密码模块状态：在已连接状态的基础上，进行了登陆操作， 系统处于等待控制台启动状态1 ，此时控制台将一一启动密码模块，并进行证书 验证，通过则进入正常工作状态，失败则会到已连接状态，该状态为中间状态， 界面上没有体现。 正常工作状态：在已连接状态的基础上，进行登陆操作，系统为等待初 始化状态，选择初始化操作并执行成功，通过了证书验证；或进行登陆操作，系 统为正常运行状态2 ，通过了证书验证；此时除了初始化操作外，其他所有操作 均可进行。 多卡状态：在系统启动时，多卡状态指存在两个以上的卡，此时系统要 求必须拔掉多余的卡，否则系统不能运行；在正常工作状态下，多卡状态指存在 三个以上的卡，此时系统提示必须拔下多余的卡，管理功能才能正常进行。此规 定主要考虑到普通p c 的u s b 口数量有限。 控制台的状态转移如图5 3 。 5 4 5 控制台模块划分 为了使控制台在产品更新和协议变动时有更好的扩展性和可维护性，控制台 的设计采用了分层结构，具体的模块划分如图5 4 。 图5 4 控制台模块组成 具体说明如下： 控制台a n 模块：按照通信协议。为控制台功能的实现提供接口调用， 简化控制台的编码工作，为了考虑扩展性和可维护性，控制台a p i 模块的设置也 遵循了分层原则，具体可分为基本命令模块( 实现数据的发送接收，命令组包解 析时必需的基本功能) 、命令组织模块( 按照协议组织要发送的命令包) 、命令解 析模块( 对接收的返回数据进行解析) 、命令实现模块( 实现命令的最终整合) 。 e k e y 检测模块：通过定时检测系统中e k e y 插入连接情况，对e k e y 进行控制，完成所需的系统功能。 柏 基于p k i 的集群系统安全设备管理 e k e y 管理模块：完成对e k e y 的管理，如格式化、p 矾码与解锁p 码管理。 运算模块管理：完成对密码模块的管理与配置；密码模块管理涉及到密 码模块的增加、删除、启用、禁用、算法测试以及服务组的管理，其中的难点就 是要与数据库交互，同时要要在界面元素上进行体现，要求要掌握管理机对密码 模块的管理原理与流程。如果底层的密码设备处在就绪状态，要使其对外提供密 码服务则必须进行初始化的工作；如果处在运行状态的密码模块设备由于掉电、 死机或者其他的异常原因导致进入暂停状态而不能工作，则需要重启使其重新进 入运行状态；如果密码设备处在正常的运行状态，则就可以对外提供密码服务。 所以启动子系统进入界面之前，首先需要判断设备的工作状态。 敏感数据管理模块：完成系统各类密钥的管理；密钥管理是控制台最主 要的一个功能，系统的安全集中与此。实现的难点是系统的备份与恢复，以及各 种操作的前提条件。 证书管理模块：完成对各类证书的管理；证书管理是控制台的有一主要功能， 包括证书的导入导出及管理员卡的制作。需要注意的是，在导入加密证书是，一 般附带要进行的操作是取出证书的公钥，将其放入相应的密钥空间，可在管理机 实现也可在控制台实现，我们这里采用在管理机实现。 日志管理模块：对系统进行审计管理；日志管理涉及到大量的数据库操 作，同时又要有制作报表的知识，相对来说也是一个实现的难点。需要注意的是， 在查询管理机日志时，需要向管理机通讯，下载最新的管理机日志，将其存入数 据库，然后才能进行查询。 5 4 6 控制台工作流程 控制台工作流程如图5 5 所示，首先是身份验证，然后是只进行一次的系统初 始化，在这个过程中将多个相互独立的运算模块组合起来形成一个集群系统，生成 控制台的会话密钥并使用密钥分割技术将其保存在三个e k e y 之中，生成两到三 个系统管理员e y ，以便进行各模块信息的管理。如前所述，控制台整个运行过 程中都需要插入e k e y ，只要e y 被拔除，则系统会自动进入不可用状态。即 使插入e k e y ，系统也会检测e k e y 数量，根据以上介绍的e k e y 状态国分别进 行处理。 系统初始化完成，管理员登录并认证通过后，便可使用控制台的各项功能， 对高性能运算服务器机群系统进行管理。 第五章高性能运算服务器集群系统的设备管理 图55 控制台工作流程图 5 5 安全性分析与系统评价 5 5 1系统安全性分析 系统的安全性是本系统设计中重点考虑的问题，从用户身份认证和权限验证两 方面为系统的安全性提供了保障。安全设备是一类特殊的专用设备，它的安全管理 也包括对它所产生密钥安全管理。下面对系统得安全性进行几个方面的分析： 基于p k i 的集群系统安全设备管理 系统操作的安全性 本系统的操作控制方式是c s 架构，这样便于管理员和用户对系统进行管理， 无论用户或管理员在何处，都可以通过浏览器对系统进行管理操作；另外，由于安 全设备管理系统包含了大量的安全设备的密钥、算法等相关信息，对于这些敏感信 息的访问控制是必须考虑的。 。 本系统采用了数字证书为实现对系统操作安全性和访问控制可靠性提供保障。 数字证书用来存放管理员或用户的身份信息。证书的载体可以是多样的，如i c 卡、 e k e y 等，本系统以e k e y 作为各类证书的载体，也就是说管理员或用户需要有e k e y 才能实现对系统的管理操作。 在登陆本系统时，首先要插入存放用户身份信息的e k e y ，然后会提示输入用户 p i n 码，如果p i n 码正确，进入的管理或操作页面；如果p i n 码错误，则系统自动 退出。为保障系统的安全，保护好两个e k e y 和p i n 码是非常重要的。 数据传输安全性 本系统是建立在网络基础上的安全设备管理系统，这些数据有可能被第三方窃 取到，所以在网络传输的数据要进行加密处理。使得他人即使得到了数据也没办法 解密数据，起到保护数据的作用，增加了系统的安全性。 在加密过程中的对称密钥是密码机随机产生的，前一次通信和下一次通信对 数据所采用的加密算法是不同的。这里的前一次通信是进行密钥的传输，使用非对 称算法；下一次通信是指对敏感数据的密文进行传输，使用对称算法。这样，在传 送过程中密钥被加密，并用私钥进行签名，因此，传输时即使数据被第三方截获， 也无法获得私钥，也就得不到密钥，没有密钥他也就无法获得数据明文，从而达到 了数据的安全保密性。 系统运行的安全性 本系统中的密钥数据是需要存放在管理机里的，这些密钥是通信安全的保障， 所以需要对这些数据进行加密存放。在密钥数据导入加密机后，也不能在没有加密 保护的情况下导出密钥。存入数据时是用密钥管理者的证书公钥进行加密存放的， 在往其他管理级别传送时先用私钥进行解密再用对方公钥进行加密传送的。 系统其他安全性 本系统的服务器是不能被公网用户访问，但为了防止内部有人对这些服务器 进行攻击，所以系统设计中，我们在该服务器外加了一层防火墙，防范内部服务器 ( 密钥服务器、数据库服务器) 遭到非法攻击。 5 5 2 系统评价 安全设备管理系统是设备管理系统的关键部分，它的安全性直接关系到密钥 第五章高性能运算服务器集群系统的设备管理 5 的安全性，而密钥的安全性又直接关系到了加密效果和整个设备管理系统的安全 性。本系统从身份认证、授权管理、安全登陆、防抵赖和防篡改等各方面进行了 充分的评估和论证，并严格按照需求分析进行了协议和方案的设计。在系统实际 调试和试运行阶段，试验结果基本满足客户要求，系统安全性较高。现作如下几 点分析： 1 从试运行效果看，系统的安全性较高。在系统安全性分中也可看出，系统 从操作授权管理、数据传输和保存、数据库管理到防火墙的配置都进行了考虑和 分析，从技术上保证了整个系统运行的安全性。 2 系统操作管理简单，功能完善。如图5 6 。 图5 6 控制台界面 3 管理方式采用了c s 架构，管理员可以对系统进行远程管理和控制，这样 无论什么时候系统出了问题或者需要进行控制，管理员可以不受地域的限制，对 系统进行管理。而管理员卡的介入，又避免了其他人冒充管理员对系统进行控制 的可能：再加上授权管理，对敏感资源的访问控制，使的用户按照其角色和权限 只可能进入他所拥有权限的