（分析化学专业论文）化学计量学网络平台的设计及其应用.pdf

四川大学颐士学位论立 化学计量学网络平台的设计及其应片i 分析化学专业 研究生：陆敏春指导教师：李爹龙 化学计量学的概念约于3 0 年前提出，是一f i 】化学与统计掌故学、计算机 科学交叉所产生的新兴的化学分支学科，各种化学计量学方法如主成分分析、 偏最小二乘、化学因子分析、人工神经网络等，已经得到了广迂的应用。为了 使广大化学工作者可以更好的利用这些方法，各种类型的化学汁藿学软件应运 而生，如商业软件凇t l a b 、s p s s ：遍布于网络的计量学软件包：以及各矛争w e b 服务器等。而为了适应高可用性、数据安全、大规模运算、用户友好界面等运 算软件的新要求，本文设计和介绍了基于集群系统的化学计量学问络计算平台 r c p c 。 r c p c 系统由五个部分组成：r c p c 霹站主要是负责接收客户陋啦递交、查询 以及算法维护；主控服务器负责作业调度和计算服务器管理，是整个系统的中 枢；计算服务器负责作业的计算，以集群的方式组成r c p c 的整体运算能力；而 算法库对计算服务器提供算法支持，并提供简单的算法扩充接l ：数据库服务 器用于保存一切和作业相关的数据。本文同时提出了对r c p c 系统改进的一些设 想。 r c p c 系统经过逻辑测试和实际测试。逻辑测试显示作为系统核心的调度算 法高效合理；而实际测试的结果证明了系统的实用性和可靠性， 本文介绍了r c p c 系统的两个重要算法：支持向量机分类算法和有机化合物 二维结构绘制算法。 支持向量机算法是一种新颖的、面向小样本的机器学习算法其算法最终 归纳为解决一个线性约束的凸：二次规划问题，本文实现了三种分类算法：梯度 下降法、分解算法、s m o 算法，并提出了搜索支持向量机最优参数对的网格搜 索方法。 有机化合物的结构绘制包括两个部分：首先将有机化合物的名称“翻译” 成计算机可识别的数据结构g r a p h 形式，然后将g r a p h 中的信息通过递归的形 t 凹川大学埙 学位论文 式在窗体上绘制出有机化合物的位结构图。 本文介绍了r c p c 系统应用的：个实例：支持向量机算法用于红外光谱子结 构解析：快速傅立叶变换及支持向量机用于g p c r s 子家族的预测：羟基类化合 物红外光谱信息特征的研究。 本文的最后部分介绍了同样是网络系统的g s p 医药管理系统，该系统分 成九个部分，涉及进、销、存等各个环节i ，以帮助企业在日常经营管理中贯 彻g s p 条款。 关键词：化学计量学，远程计算，计算机集群，支持向量机，结构绘制 阿。f 大学颈上学位论文 t h ed e s i g no fc h e m o m e t r i c sb a s e dn e t w o r k p l a t f o r ma n di t sa p p l i c a t i o n s m o o r s t u d e n t ：min c h u nl u a n a l y t i c a lc h e m i s t r y t u t o r ：m e n g l o n gl t h ec o n c e p to fc h e m o m e t r i c sw a si n t r o d u c e ds o m e3 0y e a r sa g o i ti sa n i n t e r d i s c i p l i n a r yf i e l d ( 1 y i n gb e t w e e nm e a s u r e m e n t o r i e n t e dc h e m i s t r ya n da p p l i e d s t a t i s t i c s ) t h mc o n c e l t i st h em i n i n go fi n f o r m a t i o nf r o mc h e m i c a ld a t aw i t ht h eh e l p o fm a t h e m a t i c a la n ds t a t i s t i c a lm e a n s v a r i o u sk i n d so fc h e m o m e t f i c sm e t h o d s ， n a m e l yp r i n c i p l ec o m p o n e n ta n a l y s i s ，p a r t i a ll e a s ts q u a r e ，c h e m i c a lf a c t o ra n a l y s i s ， a r t i f i c i a ln e u r a ln e t w o r ke t c h a v eb e e na c c e p t e da n de m p l o y e dw i d e l y t oh e l p c h e m i c a le n 茁n e e f sg e tm o r eb e n e f i tf r o mt h e s em e t h o d s ，al o to fs o f t w a r e , f r o m c o m m e r c i a lp r o d u c t sm a r l a b s p a s st ov a r i o u sc h e m o m e t r i c ss o f t w a r ep a c k a g e s a n da b u n d a n tw e bs e r v e r se a s i l ya c c e s s i b l eo nt h ei n t e r n e t ，h a v eb e e ni n v e n t e da n d c r e a t e d h o w e v e r , t om e e tt h ef l e ws t a n d a r d sa n dr e q u i r e m e n t so fs c i e n t i f i c c o m p u t a t i o n n a m e l yh i 曲a v a i l a b i l i t y , d a t as e c u r i t y , l a r g es c a l ec o m p u t a t i o n ，b s l ：r f r i e n d l yi n t e r f a c ee t c ，w ei n t r o d u c e do u rc l u s t e rb a s e dc h e m o m e t r i c sc o m p u t i n g p l a t f o r mn a m e d r c p c r c p ci sc o m p r i s e do f5m a i np a r t s ：r c p cw e b s i t ew a sr e s p o n s i b l ef o r r e c e i v i n g u s e r st a s k r e q u e s t a n d m a i n t a i n i n ga l g o r i t h m s ；c o n t r o l s e r v e ri s r e s p o n s i b l ef o rt a s ks c h e d u l i n ga n dc a l c u l a t i o ns e r v e r s m a n a g e m e n t ，i ti st h ec o r eo f r c p c ；c a l c u l a t i o ns e e r sa r er e s p o n s i b l ef o rt a s kc o m p u t a t i o n t h e yc o n t r i b u t e 也e i r c o m p u t i n gp o w e ri nc l u s t e rm a n n e r ；a l g o r i t h ml i b r a r ys u p p o r t sc o m p u t i n gs e r v e r 、撕t 1 1a b u n d a n ta l g o r i t h m sa n ds p e c i f i e sas i m p l ei n t e r f a c ef o ra l g o r i t h mi n t e g r a t i o n ； d a t a b a s es e r v e ri su s e dt os a v ea l lt h et a s k - s p e c i f i ci n f o r m a t i o n r c p ci sm s t e di nl o g i c a la n dp h y s i c a lw a yr e s p e c t i v e l y 1 1 1 el o g i c a lt e s tp r o v e s t h a tt a s ks c h e d u l e ri si nh i 曲e f f i c i e n c ya n dr e a s o n a b l yd e s i g n e d t h ep h y s i c a lt e s t h v t l 川人学坝 学位论览 c o n f i r m st h er o b u s t n e s s0 fr c p cs y s t e m t h ea r t i c l ei n t r o d u c e dt w oi m p o r t a n ta l g o r i t h m s ：o n ei ss u p p o r tv e c t o rm a c h i n e c l a s s i f i c a t i o n ( s v m c ) a l g o r i t h ma n dt h eo t h e ri sa b o u t2 - ds t r u c t u r ei l l u s t r a t i n go f o r g a n i cc o m p o u n d s s v m ci san e w l yi n v e n t e dm a c h i n el e a r n i n gm e t h o d sw h i c ha r cs u i t a b l ef o r s m a l ld a t as e t s ，s i n c et h ea l g o r i t h mw i l le v e n t u a l l yl e a dt oal i n e a r l yc o n s t r a i n e d q u a d r i cp r o g r a m m i n gp r o b l e m w ei m p l e m e n t e dt h r e es o l u t i o n s f o rt h i sp r o b l e m ： g r a d sd e c r e a s i n ga l g o r i t h m ，d e c o m p o s i t i o na l g o r i t h ma n ds m oa l g o r i t h m w ea l s o g i v eaw a yo f p r o b i n gf o ro p t i m a lp a r a m e t e rp a i ro f s v m ca l g o r i t h m s t r u c t u r ei l l u s t r a t i o no f o r g a n i cc o m p o u n d si n c l u d e st w os t e p s ：t h ef i r s ts t e pw ij 】 t r a n s l a t ec o m p o u n dn a t n ei n t oc o m p u t e r - r e a d a b l ed a t as t r u c t u r en a m e dg r a p h t h e n e x ts t e pt h e nd r a w st h es t r u c t u r eo ft h a tc o m p o u n di t e r a t i v e l yb yr e a d i n gg r a p h i n f o r m a t i o n t h ea r t i c l ei n t r o d u c e dt h r e ea p p l i c a t i o n so fr c p cs y s t e m ：s u p p o r tv e c t o r m a c h i n ea p p r o a c ht of u n c t i o n a l g r o u pp r e d i c t i o nf r o mi n f r a r e ds p e c t r a ；a f f t - b a s e dm e t h o df o rp r e d i c t i o no fg p c rs u b f a m i l i e s ；s t u d yo fi n f r a r e dc h a r a c t e r o f h y d r o x yc o m p o u n d s f r o mf n r s p e c t r a t h el a s tp a r to f t h i sa r t i c l e i n t r o d u c e da n o t h e rn e t w o r k - o r i e n t e ds y s t e mo f 。 g s p m a n a g e m e n ts y s t e mf o rm e d i c a lb u s i n e s s ”t h es y s t e mi s d i v i d e di n t o9p a r t s ， c o v e t i n ge v e r yb u s i n e s sa s p e c t so fb u y i n g ，s t o r i n ga n ds e l l i n g ，i t c a r l h e l p t h e c o m p a n yr e a c ht h es p e c i f i c a t i o no f g s p i ne v e r y d a yb u s i n e s s k e y w o r d s ：c h e r n o m e t r i c s 。r e m o t ec o m p u t i n g c o m p u t e rc i u s t e r s t r u c t u r e i | f u s t r a t i o d 塑型查兰堡：生兰竺堡兰 1 引言 1 1 化学计量学的基本概念 化学计量学的概念于近3 0 年前提出，在我国发展已有2 0 多年的历史。它 是- f 1 化学与统计学、数学、计算机科学交叉所产生的新兴的化学分支学科。 它运j h 数学、统计学、计算机科学以及其他相关学科的理论与方法优化化学 曩测过程，并从化学量测数据中最大限度地提取有用的化学信息“。化学汁量 学的研究范围极为广泛，内容非常丰富。化学试验设计与优化、定量授i f 理论、 分析信号处理、化学模式识别、模型与参数估计、数据解析、过程模拟、入工 智能、情报检索、实验室自动化等等都是化学计量学的研究范围。化学计量学 作为化学量测的基础理论与方法学其应用非常广泛。可以说，凡是施行化学 量测的所有领域如工业过程采样、过程分析化学、过程控制、食品工业、海洋 化学、地球化学、环境化学、造纸工业、石油勘探、i 腻寨诊断、制药工业、染 料工业、有机合成化学、生物工程、材料工程等等都可以应用化学计量学。 1 2 化学计量学算法与软件的发展 化学计量学是门应用驱动的学科，在其发展的早期。化学计量学的 作 者们从其他学科引入了一些较为成熟的算法用于化学数据的信息提取，取得了 较好的效果。当然，随着不断的发展，化学计量学逐渐自成体系，成为化学学 科中的一个重要分支，一些重要的算法，如主成分分析、偏最小二乘、化学因 子分析、人工神经网络等，目前已经得到了广泛的应用“。”。 对化学计量学工具的迫切需要也促使了许多应用于各种平台的软件的诞 生。一些商业化的软件，如m a t l a b 、y t a t h e m 月i t l c a 及m i n i t a b 等都取得了臣丈 的成功。这些软件通常提供用户交互界面，丰富的内置函数库，并允许用户编 写各类脚本以进行复杂的操作”“。 还有一类化学计量学工具在当前占据比较重要的地位，就是在互联网上大 量存在的化学计量学软件包。这类软件的使用不如上述的交互式软件方便，因 为它们需要用户自己编写一个实际的程序( 通常用m a t l a b 或c + + ) 才能实现功 能。这类软件往往存在于互联网上供用户免费下载使用“”。 近年来，随着分析化学以及计算机和网络技术的发展，化学计量学也面l 隘 着新的挑战及机遇。例如，高可用性、数据安全、大规模运算、用户友好界面 f 型墨兰堡主兰堡堡兰 等特性备受关注。因此，一类新的软件形式应运而生：许多服务器一客户机模 式，基于网络的系统开始为科学家和工程师们提供在线的服务“。 1 3 本文研究内容 正如前文所述，基于网络的各类软件服务是当前的发展趋势，然而纵观化 学计量学领域，网络化、集群化发展还比较滞后。当前一些基于化学计量学的 网络服务器大多提供非常有限的计算类型和比较粗糙的用户界面。而且，随蓑 化学计量学算法的发展和化学体系的不断扩大单服务器的运算能力已很难满 足大规模运算的要求。很多科学领域，如生物信息学、药物设计学等，已经开 始受益于大规模集群服务器的强大运算能力。这也是化学计量学所应该发展的 方向。因此，本课题的目的便是将网络化、集群化的概念引入化学计量学软件 领域。本文插述了基于化学计量学的网络平台一一r c p c 。该平台基于网络提供 服务，并以计算机集群作为主要运算部件，具有良好的可扩充性，同传统的化 学软件模式相比，具有很大的优势。 1 4 国内外发展动向 基于网络的计算在国外开展较早，目前已有比较成熟的远程计算平台。如 c o m p a s s 公司推出的c a l c u l u s 系统，它为用户提供一个客户端程序，用户可通 过i n t e r n e t 登录到c o m p a s s 公司网站上，进行工程方面的计算，由于其便捷而 受至4 客户的欢迎“。而在生物信息学方面，基于i n t e r n e t 的网络服务器更是层 出不穷，著名杂志，n u c l e - c a c i d s r e s e a r c h ”专门推出了“w e bs e r v e r ”专刊，用 于报道网络服务器的最新进展“”。基于集群的大规模网络计算也有很大的发 展。n e t s o l v e ，由美国t e n n e s s e e 大学和o a kr i d g e 国家实验室研发，给互联 网上的用户提供免费的数据计算服务，这些数据计算软件包分布在网络的不同 位置按就近的原则提供服务“。n i n f 是一个提供科学计算的平台框架，其目标 是充分利用位于世界各地网络中现有的数值运算程序，通过适当的修饰，来提 供丰富的科学运算。g l o b u s 是一个分布式，高性能的计算机系统，应用于一 些制药企业，为药物研制提供强大的运算能力，该系统具有高可用性、高效作 业调度、数据安全以及易于扩充等特点1 。 在国内，网络化，集群化的科学运算也有了较大的发展。西安交通大学的 心川人学地t 笋垃睦( 任喜峰等构建了远程磁场计算系统为远程用户提供专业的磁场计算服务。运行 良好，达到了预期效果。极大的提高计算机及软件资源利用率，同时也减轻了 【程人员的工作量“”。贵州大学高性能计算化学实验室以p cl i n u x 并行计算系 统为支撑，研制了基于w e b 的可视远f 翟计算量f 化学系统r v c c s 。浚系统使用 w e b 技术代替传统的t e l n e t 方式的远程计算模式，在w e b 界面中实现了作业递 交、作业后台运行、作业状态查看等，提供了1 种简单易用的远程计算方式“。 1 5 本课题的意义 规范结果 远程计算平台中算法与软件部需经过严格的评审计算结果具有规范性、 可靠性、可比性、权威性。这有利f 建立规范的计算标准这在学术界是非常 有意义的。 提高工作效率 各地的工作者都可以通过i nc e r n ec 登录到平台w e b 端递交作业，通过计算 服务器进行计算，由于计算服务器采用高性能的服务器集群，运算速度快，能 给用户节约很多的时间，从而提高了工作效率， 实现资源共享 化学工作者不必再购买昂贵且不能用于对化学数据进行直接处理的商业软 件，也不必自主进行程序开发。远程计算平台的构建将大大减轻化学工作者在 程序编制及软件选择相关方面的劳动强度，实现资源最大程度的共享，节约大 量的人力和财力。 参考文献 f 1ls d b r o w n ，h a st h ec h e m o m e t r i c sr e v o l u t i o ne n d e d ? s o m ev i e w so nt h ep a s t p r e s e n t a n df u t u r eo f c h e m o m e t r i c s ，c h e m o m e 悄c sa n di n t e l l i g e n tl a b o r a t o r ys y s t e m s ，3 0 ：4 9 5 8 】9 9 5 ， 【2 lpk h o p k e ，t h ee v o l u t i o no f c h e m o m e t r i c s ，a n a l y t i c ac h i m i e aa c t a , 5 0 0 ：3 6 5 - 3 7 7 + 2 0 0 3 ： 【3 】c h e m o m e 喇c sh o m e p a g e ，h t t p ：t l w w w c h e m o m e t r i e s c o r n 【4 】k h e b e r g e r , c h e m o m e t r i c si nh u n g a r y ( t h el a s t1 0y e a r s ) ，c h e m o m e 研c sa n di n t e l l i g e n t l a b o r a t o r y s y s t e m s ，7 2 ：1 1 5 1 2 2 ，2 0 0 4 ， 四川大学硕士学位论文 5 1 俞汝勤化学计t i 学导论湖南教育出版社长沙，1 9 9 i 【6 】陈念贻钦佩，陈瑞亮，模式识别方法在化学化工中的应川科学出版社，北京2 0 0 0 7 l 粱逸曾俞汝勤分析化学手册( 第十分册，化学计量学) 化学i 业出版社，比京， 2 0 0 2 【8 l t h em a t hw o r k s ，m a t l a br e f e r e n c eg u i d e ，1 9 9 2 9 jt h e w o l f r a m r e s e a r c h i n c ，m a t h e m a t i c a 5l o n l i n ed o c u m e n t a tj o n ， h t t p ：d o c u m e n t s w o l f r a m c o m m a t h e m a t i c a 10 】t h em i n i t a bl n c ，d o c u m e n t a t i o nf o rm i n i t a br e l e a s el4f o rw i n d o w s ，2 0 0 3 【1 11d u m m ) , js o f t w a r er e v i e w , c h e m o m e t r i c sa n di n t e l l i g e n tl a b o r a t o r y s y s t e m s ，3 6 ：2 5i 2 5 2 ， 1 9 9 7 【1 2 jb k l a v i n e ，s c a n ：s o f t a r e f o r c h e m o m e t r i c a n a l y s i s r e l e a s e jf o r w i n d o w s ， c h e m o m e t r i c sa n di n l e l l i g e n tl a b o r a t o r ys y s t e m s ，3 0 ：2 5 3 2 5 5 ，l9 9 5 1 3 】j c z y z y k , m m e s n i e r , j m o t 6 ，n e o s ：t h en e t w o r k e n a b l e do p t i m i z a t i o ns y s t e m ， t e c h n i c a lr e p o r tm c s p 6 1 5 一1 0 9 6 ，m a t h e m a t i c sa n d c o m p u t e rs c i e n c ed i v i s i o n ，a r g o n n e n m i o n a ll a b o r a t o r y , 1 9 9 6 1 4 】r ，g o v i n d a r a j a na n d a 、s i v a s u b r a m a n i a m ，s p e c i a l | 5 s u e o n w o r k s t a t i o n c l u s t e r sa n d n e t w o r k - b a s e d c o m p u t i n g , j o u r n a l o f p a r a l l e la n d d i s t r i b u t e d c o m p u t i n g ，6 1 ：1 5 0 7 1 5 1 i 2 0 0 1 【1 5 1t p r i o l ，q a i i r o n ，a c l i e n t s e r v e r a p p r o a c h f o r h p c a p p l i c a t i o n s w i t h i na n e t w o r k i n g e n v i r o n m e n t f u t u r e g e n e r a t i o n c o m p u t e r s y s t e m s 1 7 ：8 t 3 8 2 2 。2 0 0 1 【16 lc a l c u l u sh o m e p a g e ，h t t p ：w w w c o m p a s s i s c o r r c e n p m d u c t o s c a l c u l u s i n d e x h t m l 【1 7 l 丁h u y n h ，i r i g o u t s o s ，n ew e b s e r v e ro f i b m sb i o i n f o r m a t i c sa n dp a t t e r nd i s c o v e r y g r o u p ：2 0 0 4u p d a t e 。n u c l e i ca c i d sr e s e a r c k3 2 ：w 3 一w 9 , 2 0 0 4 18 】c z c a i ，l yh a r t ，z l j i ，x c h e r ta n dy z c h e n ，s v m p r o t ：w e b - b a s e ds u p p o r t v e c t o rm a c h i n es o f t w a r ef o rf u n c t i o n a lc l a s s i f i c a t i o no f ap r o t e i nf r o mi t sp r i m a r ) s e q u e n c e ，n u c l e i ca c i d sr e s e a r c h ，3 1 ：3 6 9 2 3 6 9 7 ，2 0 0 3 【19 lh c a s a n o v a , j d o n g a r r a , u s i n g a g e n t - b a s e d s o f t w a r e f o r s c i e n t i f i c c o m p u t i n g i n t h e n e t s o l v es y s t e m ，p a r a l l e lc o m p u t i n g , 2 4 ：1 7 7 7 - 1 7 9 0 ，1 9 9 8 【2 0 】m s a t o , h t e z u k a , a h o r i ，yi s l l i k a w a , s s e k i g u c h i ，h n a k a d a , s m a t s u o k a , u n a g a s h i m a , n i n f a n dp m ：c o m m u n i c a t i o nl i b r a r i e sf o rg l o b a lc o m p u t i n g a n d 4 四川大学颐士学位论义 h i g h p e r f o r m a n c ec l u s t e rc o m p u t i n g , f u t u r eg e n e r a t i o nc o m p u t e rs y s t e m s ，1 3 ：3 4 9 3 5 9 ， 1 9 9 8 【2ljr b y w a t e r , j g e h r i n g , a r e i n e f e l d ，er i p p m a r m ，a w e b e r , m e t a c o m p u t i n g i np r a c t i c e ：a d i s t r i b u t e dc o m p u t es e r v e rf o rp h a r m a c e u t i c a li n d u s t r y , f u t u r eg e n e r a t i o nc o m p u t i n g s y s t e m s 1 1 ：7 6 9 - 7 8 5 ，1 9 9 9 2 2 1 任喜峰武安波，欺英三，基f r e b 的远程计算系统贵州大学学报( 自然科学版， 3 i ：5 9 6 l ，2 0 0 2 2 3 j 何禹，f 一波，基于、! b 的远程可视化计算化学系统，汁算机与麻肘化，2 0 ( 4 ) ：4 0 5 q 0 8 ， 2 0 0 3 5 塑型盔兰堡! 兰垒垦墨 2 化学计量学远程计算平台概述 本实验窀开发的化学计量学远程计算平台( r e m o t ec a l c l i l a t l o np 1 a t t o r m f o rc h e m o m e _ 【r ic s r c p c ) 提供各种在线化学计量学运算以及数据分析。通过 主控服务器有效的管理计算服务器集群，可以根据实际需要同时提供一台或以 上的计算服务器、图2 描述了r c p c 系统的整体结构。 辱c 嗣7 剥 巨剖骓j 客户站 虹必计# 结果i珀l 露i i ：) 将作业保存至l午( 3 ) 二二) j 作业数据库i l 、 f 6 ) 保存作业 图2 远程计算平台的整体结构 用户通过r c p c 网站来递交作业或查询计算结果，并且可以参与与化学计量 学算法相关的资源交流、共享。主控服务器主要用f 处理网站传递过来的作业 请求并且选择最合适的计算服务器来处理计算任务，完成作业调度，进行计算 服务器管理和错误处理。当某一台具体的计算服务器被选中后，便开始处理其 所被分配的任务，并且在作业完成后及时的通知主控服务器。 r c p c 的一个重要特征是系统配置高度灵活，可以方便的配置参与科学计算 的计算服务器数目以及系统支持的化学计量学算法。 r c p c 可以运行于局域网或者被配置到互联网上，该系统当前支持化学计量 学运算，但系统框架是通用的，可以方便的移植到其他应用领域。 6 坚坐墨兰竺! 兰竺! ! 塞 3 平台结构分析 3 1 远程计算平台的基本理论 3 1 1 集群系统 计算机集群是通过高性能网络或局域网曩跃的计算机节点的集合。通常 每个节点是一个s m p 服务器，或是工作站或是个人电脑。所有的集群节点必 须能够作为一个集成计算资源来阱同 怍。 集群系统应能作为一个单独的统一许算资源来使用。从用户角度来看，整 个集群就像一个单一的汁算资源，用户意识不到集群系统的存在，不必关心向 他提供服务的设备是在什么地方，在稃f 芦编制时，可以意识到整个系统的结构， 但是在应用程序运行时整个系统可以破视为单一的整体。 3 1 2 作业调度 作业调度主要是完成作业从后备状态到执行状态的转变，以及从执行状态 到完成状态的转变。其主要任务是按一定的原则对大量后备作业进行选择，给 选出的作业分配必要的资源，当作业执行完i # 时，还负责回收系统资源。1 。 下表列出了常用的几种作业调度算法的基本思想和做法： 表3 t 2 几种常用的作业调度算法 调度算法基本思想及做法 先来先服务调度鲜法按作业到达时问先后顺序依次使刖算法资源 轮转法洼每个进程在就绪队列中的等待时问与享受服务的时间成 比饲 多级反馈轮转法根据作业运行情况动态的考虑作业的性质，并根据其当前 运行性质进行相应的调度 最短作业优先法( 抢占按作业估计运行时间长短来组织后备作业队列，作业调度 和非抢r 策略)程序首先挑选运行时间短的作业投入运行，目的是为了提 高系统的吞吐率 最短剩余时同优先法作业调度程序在育新作业进入后备队州时重新挑选剩余 ( 抢占策略)运行时间是短的作业投入运行 最高响应比优先法同对考虑每个作业的等待对阔长艇和估汁需要的孰行时闯 州川人学蛐 学位论文 长短，从中选出响麻比展商的作业投入执行。 优先级调度算法挑选优先级最高的作业投入运行( 优先级分为静态优先缎 和动态优先级) 本系统采用的作业调度算法是先来先服务调度算法( f c f s ) 和最高响、i 比 优先法( h r n ) 。 先来先服务算法在一般意义下是公平的。即每个作业都按照它们在队列 中等待时间长短来决定是否优先享受服务。不过对于那些执行时间较短的作业 来说，如果它们在某些执行时间很长的作业或进程之后到达，则它们将等待很 长的时间。先来先服务算法在实现上相埘容易，如果处理得当，在某些情况f 这种方式会比较好地满足用户的需求。 最甍哦随抛忧琵法是对先来先鼹务调度尊法商式襁最短终盥优先法( s ， ) 方式的一种综合平衡。f c f s 方式只考虑每个作业的等待时间而未考虑执行时间 的长短，而s j f 方式只考虑执行时间而未考虑等待时间的长短。因此，这两种 调度算法在某些极端情况下会带来不便。h r n 是一种折中算法，比较好的满足 了短作业用户和长作业用户的要求。 3 1 3 负载平衡 集群系统负载平衡的基本目标是通过任务调度使运算均衡地分布到各个 结点上，从而提高系统资源利用率。它的调度策略直接影响了程序的运行性能。 负载平衡的目的主要是资源共享和提高并行性能。 负载平衡有两个方面的含义：首先，把大量的并发访问或数据流量分担到 多台节点设备上分别处理，减少用户等待响应的时间，本系统的集群正是基于 这种思想：其次，单个重负载的运算分担到多台节点设备上做并行处理，每个 节点设备处理结束后，将结果汇总，再返回给用户，使得信息系统处理能力可 以得到大幅度提高。 在主控管理平台中，根据作业缓存中的各种信息( 各个任务的计算量大小、 任务的提交时闯等等) ，以及集群系统本身的状况( 如各处理节点的计算能力， 各处理节点的能力贡献值等等) 对用户程序中的并行任务做出适当的分配策略， 在运行程序的过程中将任务分配到相应的节点，在本系统中，由于任务相对单 型坐苎兰竺! 兰竺堡墨 一稳定，所以获取这些信息相对容易，其践证明本系统采用的负载平衡方法 取得了比较好的效果。 3 1 ，4 分布式多层应用体系结构 随着信息管理系统的发展，分布式随用体系结构经历了单层系统，甚系 统，三层系统等三个阶段。 多年以来，绝大多数的应用系统都是采用客户服务器( c s ) 两层体采结 构设计的。c s 结构由客户层和数据服务层构成，如图3 1 4 i 所示。由f - c j s 结构把应用系统的业务逻辑编写在客户瑞应用程序之中一方面系统难以扩展， 难以管理大量的客户机。另一方面，最终用，、需求的干变万化，客户端可能会 不堪重负，而客户端的过于庞大，使安装和维护变得十分困难。随着信息系统 的规模的不断扩大，这一缺点越来越突出。 多层结构是建立在分布式技术的基础h ，把业务逻辑独立出柬，组成层 或多层。采用负载平衡和标准接口等技术，可以将客户机与服务器高效地组台 在起。 多层结构可以定义为客户层、中矧业务处理层( 可出多层组成) 和数握服 务层等三个层面，如图3 i 4 2 所示。客户层提供用户交互和数据表示，负责 收集用户的请求信息提交中间应用层进行业务逻辑处理，并将结果显示给用户： 中间业务逻辑层提供客户端程序调用的业务逻辑规则，以完成其业务操作，当 业务逻辑改变时，客户端界面可以不作变化：数据服务层提供对数据库进行各 种操作的方法，被中间业务逻辑层调用完成业务逻辑。 多层结构的优点是：1 ) 瘦客户：由于客户端只负责操作界面的表示逻辑， 单用浏览器即可胜任此项工作，减轻了客户机的负担，降低了对客户机的硬件 配置要求，真正实现瘦客户；2 ) 易维护：由于将应用系统的业务逻辑迁移到中 间层，当事务处理发生变化时只需更新位于应用服务器上的业务组件模块，不 必更新客户端，这样可大大降低系统的维护费用；3 ) 易扩展：某应用层的交化 并不影响其他层，给系统的升级带来了极大的方便。多个应用层可以分雍在不 同的机器上，当业务逻辑比较复杂时，可以均衡负载配置；4 ) 重用性强：由于 应用层提供客户的共享服务，提高中间层的可重用性；5 ) 开发效率高：多层结 构中各层在逻辑上相互独立，可同时进行各层软件的开发，从而提高系统的开 9 旧川1 人学顾学位论文 发效率；6 ) 安全性高：在基于分夼式计算的多层结构中，所有业务逻辑都位于 服务器端，可以进行业务逻辑的封装，便于进行安全控制，确保了系统的安全 可靠性。将应用服务器这一层设计成多台应用服务器，这样就使系统具备了容 错能力和负载平衡能力，提高了系统的稳定性、可靠性和运行效率。 图3 1 4 1 二层结构模式图31 4 2 三层结构模式 3 1 5 网络计算服务三种模式 随着网络的发展，出现了许多基于网络的c 1i e e ll - s e r v e r 架构的系统为工 程师和科学家提供在线计算服务。这些系统主要有三种模式，他们处理用户数 据的方法不同”1 ： 代理计算( p r o x yc o m p u t i n g ) ：客户机上的数据和程序都被发送到服务器 上进行计算并返回结果。 代码移植( c o d es h i p p i n g ) ：服务器上的程序被下载到客户机上，在客户 机上进行计算得出结果。例如j a v aa p p e t s 。 远程计算( r e m o t ec o m p u ti n g ) ：客户机上的数据发送到服务器上，使用 服务器上的程序进行计算，并将结果返回给客户机。 对于前两种计算服务模式，由于化学计量学程序有一定的难度和深度，用 户一般没有这些程序；而且有些程序的规模很大，需要一定的硬件规模才能计 算；同时涉及到程序版权等问题，在实现上比较困难。 本系统采用的是第三种计算服务模式，c i c 化学实验室的集群服务器提供 了一个功能强大的运算环境，通过编写和规范不断扩充的化学计量学算法程序 库，可以给全国各地的计量学工作者提供各类有关化学计量学算法的程序。 o 四川犬学硕l ：学位论空 3 1 6 网络协议 网络协议是对等的网络实体之i 可通信的规则，可以简单地理解为网络上各 计算机彼此交流的一种“语言”。网络通信锛议设计的基本原则是层次化，层 和协议的集合被称为网络体系结构。相邻层之间的接【 定义了下层向上层提供 的基本操作和服务，下层向上层提供的服务分两种形式：恧向连接的服务和无 连接的服务。 计算机网络中已经形成的网络体系结构主要有两个：o s i 参考模型和t c p i p 参考模型。 o s i 开放系统互联参考模型分为七层：物理层、数据链路层、网络层、传输 层、会话层、表示层、应用层。 t c p i p 参考模型是因特网的基础。和o s i 的七层狮议比较，t c p i p 参考模 型中没有会话层和表示层。，。般认为i p 、u d p 、t c p 是最根本的三种协议，是其 他协议的基础。而位于t c p 等传输层协议之上的应用层协议，是程序员直接接 触较多的协议，如h t t p 协议，p o p 3 协议，f t p 协议等。本文描述的c c d 协议