（电路与系统专业论文）ate系统的结构分析与数据管理优化.pdf

摘要 随着全球半导体工业的发展，测试已经由过去作为单个集成电路制造企业生 产中的一个工序渐渐分离成为半导体产业链中的独立一环，众多测试厂家之间存 在激烈竞争，同益重视提高测试质量、效率以及综合收益和竞争力。由于传统的 专有测试孤岛在生产中产生浪费和延误，而现实中测试设备供应商间的竞争又导 致统一测试环境难以实现，因此，进行测试系统局部改进来提高兼容性和可靠性 的研究，就具有了现实意义，这也是本论文的任务所在。 本论文针对不同测试系统生成测试数据不统一，造成效率降低和成本无益浪 费的情况，根据实际需要，进行文件转换来达到在数据的采集阶段进行格式统一 的目的。s t d f 格式是一种简单、富有弹性、便于移植的数据格式，更重要的是 它同时是自动测试设备领域以数字形式保存测量数据的最为普遍的应用格式，也 是几乎可以应用于任何类型测试的通用的文件格式，因此选择它作为数据统一的 标准；本论文的另一个特点是使用了p e r l 语言进行转换工作，本语言具有强大的 功能、简洁到极点的语法，尤其在不涉及到图形图像以及多媒体的情况下，是一 种专门处理文本的语言工具：为了使转换程序更加具有实用性，我们还在s u n 系统上建立h 志文件，保证其自动运行和进行相关处理。 论文首先对当前半导体行业的形势和测试领域面临的问题加以阐述，根据实 际问题在第一章中进行了数据统一必然性的探讨与文件转换工具的选择；第二章 从项目的格式特点入手，对二进制文件的特点加以分析和论述；第三、四章通过 具体例子分析得到s t d f 和d f 文件的结构特点和组织形式；第五章进行软件转 化设计和日志文件的生成；最后介绍作者在本课题中所做的工作和本系统的扩展 性。 关键词：自动测试设备；标准测试数据：二进制文件；u n i x 系统；p e r l 语言 a b s t r a c t w i t ht h ed e v e l o p m e n to f g l o b a ls e m i c o n d u c t o ri n d u s t r y ，t e s t ，w h i c hw a so n l ya s e c t i o no f i cp r o d u c i n gi nt h ep a s t ，h a sb e i n gas e p a r a t ep r o c e d u r ei nt h e s e m i i n d u s t r yc h a i n m o r ea n dm o r et e s t i n gf a c t o r i e sb e g i nt oe n h a n c et h e i rq u a l i t y ， e f f i c i e n c ya n dp a ya t t e n t i o nt ot h ea w a r d sa n dm a r k e tc o m p e t i t i o n h o w e v e r ，t h e i s o l a t e di n f o r m a t i o np o i n ta n dt h ec o n t e s tb e t w e e nd i f f e r e n tm a c h i n es u p p l i e r sh a v e m a d ei ti m p o s s i b l et or e a l i z ea nu n i f o r mt e s t i n ge n v i r o n m e n t t h e n ，s o m e i m p r o v e m e n ti nl o c a l ，w h i c hi st h ea i m o f t h i sp r o j e c t ，i sr e a l i z a b l ea n ds i g n i f i c a t i v e a c c o r d i n gt ot h el o we f f i c i e n c ya n dc o s tw a s t i n gr e s u l t e db yd i f f e r e n tt e s t i n g s t a n d a r d s ，w ec o n v e r tt h ed a t af o r m a tt og i v e nm e t h o dd u r i n gt h ec o u r s eo f d a t a c o l l e c t i o n s t d f ，w h i c hi sas i m p l e ，f l e x i b l ea n du n d e r g o i n gt r a n s p l a n t i n gf o r m a t ，i s c h o i s e da st h es t a n d a r db e c a u s eo f i t sc a t h o l i c i t ya n du n i v e r s a l i t yi nt h ea r e ao f a t e p e r ll a n g u a g ei su s e da st h et o o lo f c o n v e r t i n gf i l e s ，w h i c hc a nb r i n gu pm a n ym e r i t s ， s u c ha sm u l t i f u n c t i o n a l ，s i m p l ea n dp r o f e s s i o n a lt oc o n t r o lt e x tw h e nt h ea i mi sn o t i m a g e sa n dv e d i o t h el o gb u i l to ns u nf l a t ，w i l le n s u r eb a t c hc o n t r o l l i n ga n d r e f e r r i n gt h er e l a t e di n f o r m a t i o n a f t e ri n t r o d u c et h es i t u a t i o na n dp r o b l e m si ns e m i c o n d u c t o ri n d u s t r y ，t h ef i r s t c h a p t e ra f f i r m st h ei n e v i t a b i l i t yo f f o r m a tc o n v e r t i n ga n da n a l y s e st h el a n g u a g e t 0 0 1 t h es e c o n dc h a p t e re x p a t i a t et h ec h a r a c t e ro f b i n a r yf i l et h e nt h et h i r da n df o r t h c h a p t e r sa n a l y s ea n df i n dt h eo r g a n i z a t i o na n du n i ts t r u c t u r eo fs t d fa n dd l o gf i l ei n d e t a i l s t h ef i f t hc h a p t e rc o n v e y st h ed l o gf i l et os t d ft h r o u g hp e r la c c o r d i n gt ot h e o r d e ro fm o d u l e sa n dp r o d u c e st h el o gf i l e k e yw o r d s ：a t e s t d f b i n a r yf i l e u n i xp e r l 独创性声职 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 ! 导的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成粜，也不包含为获得：叁鲞太鲎或其他教育机构的学位或证 书褥使用过的糙料。与我一同工作豁同志对本研究辨做的任何贯献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：瓣 签字局期：2 0 0 _ f 年2 月谚日 学位论文版权使用授权书 本学位论文作者完全了解盘洼盘翌有关保留、使用学位论文的规定。 特授权基鲞表堂可以游学位论文的全灏或部分内容编入舂关数据痒送行捡 索，并采用影印、缩印或扫描簿复制手段保存、汇编以供查阅和借阅。同意学校 向圈家有关部门或机构送交论文的复印件和磁盘。 ( 缳密的学位论文在熊密屠适用本授权说明) 学位论文作者签名：黼 导师签名 签字日期：2 口咕年2 、月，占目 鼬 签字刚羽：渺侔月gf i签字刚羽：渺降月g 绪论国| = | 外测试工业的发展现状 绪论国内外测试工业的发展现状 全球半导体业发展到今天，测试业已经由过去作为单个集成电路制造企业生 产中的一个工序渐渐分离成为半导体产业链中的独立一环，它贯穿于从产品设计 开始到完成加工的全过程。i990 年左右，美国和日本厂商开始将ic 封装产 业向东南亚和南亚转移：1995 年，其投资方向转至我国，投资规模近10 亿 美元，并以pdip ，pqfp 和fsop 为主要投资范围；20 00 年后，更 积极投资以上海为中心的长江三角洲地区。根据赛迪顾问( c h i n a c e n t e r o f i f l f o r m a t i o ni n d u s t r yd e v e l o p m e n t ，c c i d ) 2 0 0 4 年4 月的报告，2 0 0 3 年中国国内 半导体产值为人民币2 5 7 9 亿元，而其中封测产值为1 5 2 5 亿元，占整体半导体 产值的5 9 1 ，清楚地说明目前大陆半导体产业的主要枝干就是封测产业。 1 比较看来，我国半导体产业发展虽然已有40 余年历史，尽管捐j 有许多基础 科学的人才，然而我国政府早期在“芯片生产出来，自然就会需要封装测试”的 思维下，着重于晶圆制造厂商的扶持，且重点扶持对象如华晶、华越、首钢ne c 等，主要采取垂直整合模式( idm ) ，封装、测试产业则未受到同等重视， 因此产业体系发展不完整，在国际上一直属于半导体产品的主要进口国。尤其在 吸引全球消费性电子、信息、通讯产品的组装产业到本地生产之后，对半导体产 品的进口需求更是成倍增长。在进口替代的指导方针下，随着产业政策的引导， 在我国建立封装与测试厂不但有租税优惠，更可获取i c 生产成本的竞争优势， 出现了上面提到的国际封装测试厂向我国转移的情况。据中国半导体产业协会资 料显示，现阶段国内从事分离式组件及i c 封装测试的厂商约有2 1 0 家，其中i c 封测厂超过1 0 0 家。 根据d i g i t i m e sr e s e a r c h 的研究，现阶段在大陆具有规模的封测厂约有5 8 家，而这些封测厂可分为4 大类，第一类是国际大一整合组件制造商的封测厂， 第二类是国际大厂整合组件制造商与本土业者合资的封测厂，第三类则是因法规 限制，运营规模尚不大的台资封测厂，第四类是只有一、两家可以够得上规模的 大陆本土封测厂。 2 】 关于第一类( 国际大厂整合组件制造商) 封测厂，目前在大陆设封测厂的外 资企业共有1 5 家，他们是英特尔、超微、三星电子、摩托罗拉( m o t o r o l a ) 、 飞利浦( p h i l i p s ) 、国家半导体( n a t i o n a ls e m i c o n d u c t o r ) 、开益禧半导体( k e c ) 、 东芝半导体( t o s h i b a ) 、通用半导体( g e n e r a ls e m i c o n d u c t o r ) 、安可( a m k o r ) 、 金朋( c h i p p a c ) 、联合科技( u t a c ) 、三洋半导体( s a n y os e m i c o n d u c t o r ) 、 a s a t 、三清半导体，这些厂商主要来自美国、日本及韩国，建厂目的都是因为 绪论国内外测试工业的发展现状 外商的系统产品内销大陆从而可享受优惠的内销税，目前主要集中在上海、苏州 等长江三角洲地区的城市。 第二类封测厂是在大陆完全丌放前，为了要先行卡位而与中国大陆本土厂商 合资的封测厂，一共有1 1 家，包括深圳赛意法微电子、阿法泰克( 现以改名为 上海纪元微科微电子) ，以及新康电子、日立半导体( h i t a c h i ) 、英飞凌( i n f m e o n ) 、 松下半导体( m a t s u s h i t a ) 、硅格电子、南通富士通微电子、三菱四通电子、乐 山费尼克斯半导体及宁波明听电子，这些企业的资金主要是来自于台湾、日本， 地点较为分散，但仍以江苏省、深圳市等地为主。 第三类主要是台资封测厂，台资封测厂商在近3 年内陆续加入大陆市场，数 目约1 6 家，营运模式多属于专业封测工厂，台湾的上市封测公司几乎都已在大 陆设厂，分别是威宇科技、桐芯科技、宏盛科技、凯虹电子、捷敏电子、日月光 半导体、南茂科技、瀚霖电子、硅品科技、京元电子、菱生精密、巨丰电子、超 丰电子、珠海南科集成电子、硅德电子及长威电子，这些工厂主要集中在上海、 苏州一带，营运规模由于受到台湾岛内当局法规的限制，相对于台湾母公司的规 模还有一定差距。 第四类是大陆本土厂商，虽然数量上高达5 0 多家，但很多都是属于地方国 有企业，而这些国有企业业务繁杂，并不是只有经营半导体，有些还经营与半导 体不相干的其他产品，业务相对集中在封装、测试上的约有1 2 家，包括中国大 陆本土最大封测厂的长电科技以及华旭微电子、华润华晶微电子、中电华威电子、 九星电子、红光电子、厦门华联、华汕电子、华越芯装电子、南方电子、天水永 兰 。 根据c c i d 调查，以营收作为排名基准，2 0 0 3 年大陆前1 0 大半导体封测厂 商依序分别为摩托罗拉( 飞思卡尔) 、三菱四通、南通富士通、江苏长电科技、 赛意法微电子、松下半导体、东芝半导体、甘肃永红、上海纪元微科微电子、华 润华晶微电子。1 0 大厂商中，4 家是纯封装测试厂，3 家是整合组件制造商，其 余3 家则为合资厂商。 1 】 从以上数据不难看出，目前测试行业内可谓是百家争鸣，虽然实际上有一定 水准封装测试技术，且年封装量超过1 亿颗的业者不到2 0 家，但预估未来3 年 内，若台资企业能够顺利排除进出口法规限制且产能大量开出，大陆将会出现激 烈的杀戮淘汰赛或是购并形势。因此，如何提高测试质量、效率、综合收益和竞 争力，是各厂家必须加以认真考虑的问题。3 1 当前，大多数半导体厂家所采用的测试方式都选用自动测试设备，通用自动 测试设备( g p a t e ，或简称为a t ea u t o m a t e dt e s te q u i p m e n t ) 是一种非常先进灵活 的方案，可以满足多种产品的程序测试要求，迄今已有三十多年历史。微型计算 2 绪论国内外测试工业的发展现状 机控制的仪器出现以后，a t e 的结构设计直接针对测试需要，a t e 包括系统集 成、信号连通灵活性、增值软硬件、面向测试的语言、图形用户界面等，例如 s e i c a 的v a l i d $ 4 0 功能测试平台。在a t e 范围内，有着众多设备供应商，如 安捷伦、泰瑞达、爱德万、科利登等公司。近年来，这些公司在半导体测试设备 领域不断推陈出新，引领整个行业向前发展。即使暂不考虑以生产低档、民用消 费类测试设备为主的小厂商，就是上述设备大厂之间也没有统一的测试环境，造 成了测试孤岛的产生。所谓测试孤岛，是指不同的测试系统都被硬件和软件的不 兼容性所隔离，在一个给定的生产场所每个测试系统都与其他系统不兼容。今天 的市场，产品寿命缩短、产量上升快、电路板更精密、组装技术更为复杂，这些 不兼容性的障碍严重地限制测试策略的选择。测试孤岛的存在将造成以下几个方 面大量的浪费：【4 】 矿跨平台程序的不兼容性产生的浪费。 矿在维护来自不同供应商的自动测试设备、测试系统模块的许多配件库存 时，出现的浪费。 矿程序员需要花额外时间来熟悉每个专有测试机型号特性，造成浪费。 矿工程师在实验室编写的测试程序不能用于生产时，所产生的严重浪费。 创造一个统一的测试环境几乎是所有测试厂商梦寐以求的目标，因为一个统 一的测试环境所节省的测试成本与周期时间是相当可观的。今天的电路板越来越 精密和复杂，这些板成本昂贵，对测试是具有挑战性的。传统的专有测试孤岛会 在生产中产生浪费和延误，不能跟上快速变化的环境。一个统一测试环境桥接这 些测试的孤岛，并提供制造商可升级的配置来满足今天的需求和接纳明天的测试 策略。制造商应该具有对无止境的变化作出反应的灵活性，重新使用测试单元的 选择，和以低成本把握自动测试设备的能力。但是现实的竞争导致了创造这种环 境操作性上的困难，因此，进行局部改进，提高某些性能，也可以带来一一定程度 上的收益。 本设计是一种尝试，针对测试过程中数据兼容的问题，对现实情况进行研究 和分析，提出改进方案，进行测试系统数据优化。 3 第一章数据统一必然性的探讨与文件转换： 具的选择 第一章数据统一必然性的探讨与文件转换工具的选择 在这一章里，对a t e 领域中测试系统的物理结构和数据组织加以总体分析， 指出测试系统数据格式统一的必要性和必然性：分析现有的数据格式，选择合适 的、有发展前途的转换方向s t d f ；比较并选择合适的数据统一工具p e r l ( p r a c t i c a l e x t r a c t i o na n d r e p o r tl a n g u a g e ) 。 1 1 测试系统结构的系统分析 在a t e ( a u t o m a t e dt e s ta n dm e a s u r e m e n te q u i p m e n t ，自动测试和测量设备) 领域的发展过程中，很多运营商都会提供带有网络的系统，这样既可以完成测试 系统本身测试的目的，同时可以进行系统内数据信息的交流；这些网络系统正在 汇集成为通用的标准，比如以太网。 对于同标准的网络系统，不同设备制造商所提供的测试系统，其测试数据、 信息间缺乏兼容性的问题却日益尖锐。由不同设备商的设备组成的生产线，甚至 在由同一设备商提供的不同型号的设备组成的生产线，都存在数据兼容的问题。 在生产过程中，数据的兼容性至为重要，数据的交换、汇总、分析、处理， 其过程如f i g u r e l 1 所示，通过四级局域网监控架构交互进行：数据采集模块专 系统信息处理单元专用户监控站专中心数据库。【5 】 数据采集模块信息处理单元 数据呆集摸抉 信息处理单元 f i g u r e1 1测试系统构成硬件图示 4 用户监控站 中心数据库 黛 、 戴 g 旦飞凰 画 第一章数据统一必然性的探讨与文件转换工具的选择 这个结构以数据传输为中心，构成了测量系统的物理配置。从总体上看，数 掘采集模块是执行层次，对应测试h a n d i e r 机械手，执行最基本的实际动作；其 他为管理层次。 用户监控站是管理层次，而系统信息处理单元是执行层次。系统信息处理单 元主要由工控机、采集器s i t e 、智能仪表、变送器和传感器，执行器等构成，通过 网络发送数据和接收控制指令，直接控制h a n d l e r 的操作进程；用户监控站即用 户计算机( u s e rc o m p u t e r ) ，对数据进行管理性操作，通过图形化的界面对信息 处理单元的前端设备进行监视和控制。当所要处理的控制指令较为复杂时，系统 信息处理单元用高端机代替低端的工控机使用，即测试计算机( t e s t e rc o m p u t e r ) ， 他们构成双盘测试系统。从硬件结构的角度上讲系统信息处理单元和用户监控站 是平等的，即信息可以相互传递并共享；从数据结构的角度上讲两者之间交流的 数据存在实时数据和历史数据之分：但从管理权限的角度上讲两者又是存在管理 等级的树状结构。 再咯熹裤装瓷岛丧蟹薏氪器 用户接口 储访闻协议 网络存储标准访问接口 存储管理 冀罄鲁 f , i g u r ei 3 数据库中心手 瘫式存储管理 中心数据库作为s e r v e r ，则是进行数据统筹、处理和分析的数搌库中心。作 为服务器端。数据库中心通过n f s ( n e t w o r kf i l es y s t e m ，网络文件系统) 机制， 将自己的部分目录或文件输出，让多个客户机透明地使用服务器上的文件和目 录，客户端可以像使用本机的文件一样使用这些服务器端输出的目录和文件；其 协议层次图如f i g u r e1 - 2 所示。 5 第一章数据统一必然性的探讨与文件转换工具的选择 客户机在有i n t e m e t 的t c p i p 协议支持的网络中，通过f t p ( f i l et r a n s f e r p r o t o c o l ，文件传输协议) 实现同数据库、客户机之间的高速文件传输。对于传 输二进制文件，则必须特别指令：b i n a r y ，才能得到需要的f 确信息；同 数据库联系，这是中心数据库收集各监控站信息、进行资源共享的重要方式。通 过在服务器端加以设定，可以避免在各子监控端进行指令无益的重复性操作；数 据库同监控站以及监控站之间另一种资源共享方式是t e l n e t 实现的远程登录，通 过使某台正在使用的机器成为虚拟终端，就可以像使用本机一样使用远程计算 机，达到不受空间、时间限制实现设备控制的目的。 6 这样，n f s 、f t p 、t e l n e t 共同构成了测试中局域网的数据交流与控制系统， 其中数据库中一t 3 对于信息存储以及响应采取如f i g u r e1 - 3 ( 清华计算机信息管理 中心提供) 所示的管理模式。 7 而由t e s t e rc o m p u t e r 、u s e r c o m p u t e r 、s e r v e r 构 成的测试系统，其信息交换控制的方式如f i g u r e1 - 4 所示： f i g u r e1 - 4 测试系统数据交换控制整体图示 显然，作为信息处理中心，s e r v e r 需要接收大量的生产、校准数据，进行分 别处理并加以整理统计。如果存在数据格式各异的问题，它将不得不占用大量的 空间来记忆不同的数据格式，同时使用更多的时间来解读比较不同的数据，造成 效率的降低和成本的浪费。可见，在数据的采集阶段将数据统一为一个标准格式， 将带来以下优势： 8 6 第一章数据统一必然性的探讨与文件转换工具的选择 爹统一的数据格式，将有利于中心数据库( s c ) 数据的规范化组织： 爹统一的数据格式，有利于使用数据分析软件对测试程序进行调试，而不 是花更多的精力去注意数据的有效性问题； 妒统一的数据格式，可以忽略测试机和数据库的不同环境因素，为创建普 适性、可移植的数据汇总和分析软件创造了条件； 乡统一的数据格式，将提高生产效率，节约生产成本。 1 2 从系统环境看数据统一格式的选择 在a t e 网络持续发展，形成了包括不同的精密电脑和操作系统组成的种类 各异的执行环境条件下，定义一种统一格式以便测试机、数据库、数据库管理系 统和数据分析软件来存储和交流测试数据是有益的，也是必需的。但是这个统一 的标准格式不能盲目的进行选择，它必须具有以下优点： 少数据存储文件格式简洁，节约存储空间； 乡存储文件要求较少，对于环境要求不高，以便于兼容不同设备； 多该数据格式有利于将创建、存储和处理测量数据的过程整合起来； 爹可以将不同测试类型的数据加以比较，以便观察测试是否正确； 爹从实际角度考虑，这个统一的数据格式，必须是现有生产中已经存在的， 不用为s e r v e r 再行增加新的程序； 爹这个存储数据的文件格式应该是实际应用较为广泛的，这样才有更大的 后继发展空间： 从现有情况看，主要有四种类型的设备：a 5 ，s y n c h r o ，m s t ，d t s 。 a 5 系列以及f l e x 是t e r a d y n e 公司的设备，使用s t d f 文件格式：s y n c h r o 以及d t s 是l t x 公司的产品，主要使用l t x c a d e n c e 的数据表达方式，为d f 文件格式；前面两种设备都主要构建于u n i x 平台。m s t 建立于w i n d o w s 平台， 在大型生产中对稳定性的高要求上有些差距，因此主要针对前者加以考虑。 d f 文件为s y n c h r o 设备所特有，其数据结构不够清晰，重复拖沓之处较多， 参考资料很少。 s t d f 是由t e r a d y n e 公司提出的一种简单、富有弹性、便于移植的数据格式， 是自动测试设备领域以数字形式保存测量数据的最为普遍的应用格式，也是几乎 可以应用于任何类型测试的通用的文件格式。它的主要设计标准是： 妒能够存储全部各种类型测试机、处理机的测试数据； 乡为存储和传输数据提供一种通用的格式； 7 第一章数据统一必然性的探讨与文件转换工具的选择 妒为可移植的数据报告和分析软件提供基础； 妒减弱数据信息格式同数据库格式的相互影响； 乡支持可选择性数据： 爹为用户和发展人员提供简明而完整的文档； 爹尽量做到用户可自行编写数据库报告和对数据重新定义； 因此，把d f 文件格式统一为s t d f 文件格式更有实际意义。 具体来说，s t d f ( s t a n d a r d t e s t d a t a f o r m a t ，标准测试数据格式) 具有以下 优势： 9 1 s t d f 的数据格式不是为了某一个特别的测试机种或者数据库单独设计 的，而是可以满足广泛的、多个领域不同设备的要求，包括产生测试数据的各种 测试机，存储数据的不同数据库，和使用测试数据的众多分析程序；它足够灵活， 具有普适性，这首先是由于它提供了一种单一的、一致的标准，便于在完整的 a t e 系统的不同部分之间进行数据的共享和交流；其次是因为它的记录项更侧 重于逻辑记录方式而不是单纯的数据罗列，也就是说，该记录类型是以比较抽象 的概念组合存在，这样，就可以作为数据的对象类型为各种软件处理，而不局限 于是网络传输还是数据库记录的用法上和功能上的不同。 2 s t d f 文件便于移植，一方面是由于这种文件的格式相对较为清晰、简单， 便于转换；另一方面，则在于它对于完整性的要求不严苛，用户可以自行进行定 义。这种格式的文件不需要包括全部的记录格式，可以根据需要有选择的或增或 减；但是，一个字段或者记录是否可以忽略必须根据合法的s t d f 文件进行定义， 否则是非法的数据格式。同时，增减后的文件，其相应的读取软件也要有所变化， 否则将无法进行识别。 3 s t d f 是二进制文件( 十六进制显示) ，由于其编制的逻辑性强，重复现 象少，因此可以在很大程度上实现数据压缩，节约设备存储空间：这在客观上， 就可以为实现数据库多测试机采集数据，多镜像采集数据创造条件。 4 s t d f 从设计之初就为将其他格式转换为s t d f 格式提供了可能，因为不 可能在对文件一无所知的情况下进行转换，文档从结构上对s t d f 格式进行了说 明。 5 可对s t d f 文件数据加以处理的工具很多，如s e d a n a ( s a l l a n d e n g i n e e r i n g d a t aa n a l y s i sa p p l i c a t i o n ) 工具，可以在某些专门网站上传该格 式的数据，从而得到其中的信息。这就为s t d f 格式的发展提供了更大的空间和 可能性。如图f i g u r e1 5 所示： 8 第一章数据统一必然性的探讨与文件转换工具的选择 f i g u r e1 - 5 可对s t d f 文件进行数据分析的s e d a n a 软件( s e d a n a 提供) 1 3 文件转换工具的选择 对测试数据格式进行转换，其语言工具的选择必须遵循以下标准： 爹满足环境因素，也就是u n i x 的系统环境要求； 爹满足生产因素，也就是尽量占用更小的空间，保证大量生产数据的正常存 储； 爹满足简洁要求，在现代化生产中，设备数量很大，因此本工具不可安装复 杂的插件，以免造成安装、维护方面的困难。 矿这种工具应该相对成熟，能够完成大部分的结构要求； 爹这种工具应该能够控制二进制数据，等等。 综合比较之下，由于本项目不强调可视化( 部分u n i x 设备尚未安装c d e ) 、 不进行网站开发，因此侧重于c 语言与p e r l ，比较头痛的是c 的体积太大，例 如a n y b o a r d 神州建站通，由近两万行p e r l 5 代码组成，含数十个模块，用各种 先进的算法，完善的提供网站所需的大部份功能。而同样的方法若用c + + 实现， 估计至少需十多万行源代码。c 的另一个弱势就是它不是针对文本进行处理的语 言。 p e r l ，特别是1 9 9 4 年p e r l 5 开发以后，它成为了不逊色于任何一种现代 语言的编程工具。它将c ，s e a l ，a w k 和s h 的最佳特性集于一身，被其设计者l a r r y w a l l 称为后现代语言，其目的不是要推出一种新的风潮，而是集各种语言的优 势，解决实际问题。p e r l 强大的功能、简洁到极点的语法，使它受到了广大程 序员的特别喜爱，成为一种非常流行的工具。e t o 1 1 p e r l 的优势主要表现在 以下方面： 9 第一章数据统一必然性的探讨与文件转换一l 具的选择 f i g u r e1 - 5 可对s t d f ：丈件进行数据分析的s e d a n a 软件( s e d a n a 提供) 1 3 文件转换工具的选择 对测试数据格式进行转换，其语言工具的选择必须遵循以f 标准： 毋满足环境因素，也就是u n i x 的系统环境要求： 妒满足生产因素，也就是尽量占用更小的空间，保证大量生产数据的正常存 储； 毋满足简洁要求，在现代化生产中，设备数量很大，因此本工具不可安装复 杂的插件，以免造成安装、维护方面的困难。 毋这种工具应孩相对成熟，能够完成大部分的结构要求； 毋这种工具应该能够控制二进制数据，等等。 综合比较之下，由于本项目不强调可视化( 部分u n i x 设备尚未安装c d e ) 、 不进行网站丌发，因此侧重于c 语言与p e e l , ，比较头痛的是c 的体积太大，例 如a n y b o a r d 神州建站道，由近两力行p e r l 5 代码组成，含数十个模块，用各种 先进的算法，完善的提供网站所需的大部份功能。而同样的方法若用c + + 殳现， 估计至少需十多万行源代码。c 的另一个弱势就是它不是针对文本进行处理的语 言。 p e r l ，特别是1 9 9 4 年p e r l 5 开发以后，它成为了不逊色于任佃一种现代 语言的编程工具。它将c ，s e d ，a v , , k 和s h 的最佳特性集于身，被其设计者l a r r y w a l l 称为后现代语言，其目的不是要推出一种新的风潮，而足集各种语言的优 势，解决实际问题。p e r l 强大的功能、简洁到极点的语法，使它受到了广大程 序员的特别喜爱，成为一种非常流行的_ 【= 具。 1 0 儿1 1 p e r l 的优势主要表现存 序员的特别喜爱，成为一种非常流行的工具。 1 0 1 1 p e r l 的优势主要表现在 以下方面： 9 第一章数据统一必然性的探讨与文件转换1 ：具的选择 1 、开发过程所用的时间短 p e r l 程序是一个文本文件，尽管在运行时实际有一个编译过程，但此过程 是不可见的。对程序员来讲，它完全象一个解释性语言，可以随改随测试。 2 、极强的可移植性 p e r l 把有关文件系统和网络的调用归结为其固有函数。p e r l 已经在几乎 所有的平台上都有兼容的版本，这意味者一个p e r l 程序，只要未用到与操作系 统有关的调用，就可以不加修改地在任何平台上运行。p e r l 甚至统一了目录分 隔符，即使在w i n d o w s 系统下，也可以使用作为目录分隔。这种可移植 性是其它语言，包括j a v a 所无法比拟的。 3 、极丰富的语言功能和文本处理能力 p e r l 有很多功能极强而又极为简洁的运算符和固有函数。特别是在文本处 理和正规表达式方面的功能，使很多在别的语言里极难解决的操作成为极为简单 的操作，比如，用正规表达式分解、替换、匹配字符串等，事实上，p e r l 本来 就是为处理文本特别设计的。p e r l 在这方面的优势己被其它语言如 j a v a s c r i p t 借用，但由于缺乏p e r l 灵活的语法，正规表达式在j a v a s c r i p t 里的使用还是麻烦不少。 p e r l 语言本身支持数组和对应数组，这使程序员能轻易使用复杂的数据结 构，用复杂的算法高效的解决各种问题。同样的问题，即使使用c + + 的s t l 也 要困难若干倍。 p e r l 不但能处理文字，也能处理二进制数据和c 的数据结构。 4 、高超的性能 p e r l 的运行速度大大超过一般解释性语言。与j a v a 相比，p e r l 大约快 一个数量级。这是因为p e r l 实际上是一个编译性语言，p e r l 脚本在运行前先 经过编译、优化，转化为一个运算符树，直接调用c 语言实现的各种内部函数。 而j a v a 则是在一个虚拟机器上解释b y t e c o d e 。 如果有需要，p e r l 可以被编译为c 代码，然后生成可执行文件，这样就省 去了每次运行时所需的编译过程，提高启动速度。 5 、对o o p 的强大支持 p e r l 支持几乎所有面向对象的编程方法，如类、继承、多继承、虚拟函数、 运行时类型确定等等。而且，p e r l 具有其它语言无法比拟的动态调用功能。目 前，几乎所有的p e r l 库函数都是以o o p 的方式写成类的模块。 6 、与c c + 十的接口非常方便 p e r l 里的很多库函数是用c c + + 写的，因此p e r l 有着非常聪明而且功能 1 0 第一章数据统一必然性的探讨与文件转换工具的选择 完善的c c + + 开发接口工具。人们可以很容易地把c c + + 代码通过动态链接库用 于p e r l 程序。 7 、极为丰富的免费函数库 这是p e r l 最具有吸引力的地方，全世界的数以万计的程序员在这些年中开 发出了大量的源代码，内容涉及各个方面，包括：操作系统、网络通讯、数据类 型、数据库接口、用户界面、字符串处理、安全与加密、互联网、服务器、存档 压缩、图像处理、邮件与新闻、文件系统、微软视窗等大类，数以千计的模块给 程序员提供了极丰富的资源。这些模块都符合p e r l 的编程标准，从安装到使用 都极为简单、方便。p e r l 本身即带有自动从网上下载模块，自动编译、测试、 安装、生成使用说明的工具。 1 2 参照s u n 微系统公司( h r p ：o l c k ：一n c m n ) 面向广大开发人员进行的一个 在线调查结果，如表1 1 ，可以看出p e r l 的影响之广泛。 表i - 1s u n 微系统公司丌发工具调查结果( s u nm i c r o s y s t e m 提供) p e r l 6 21 j s p1 25 p h p87 f k c c + +71 a s p57 其它 37 碥 由于想处理的格式转换不会涉及图形图像、公共用户接口以及多媒体，而接 近于p e r l 所擅长的文本处理，因此，基于上述优势，决定使用p e r l 语占作为 本设计的编程语言。 在确定了转换目标和编程语言之后，下面进入对二进制文件格式的分析与探 讨。 第二章二进制文件格式的分析与探讨 第二章二进制文件格式的分析与探讨 基于d f 文件和s t d f 文件都是二进制文件，即其文件的结构是面向字节的。 因此需要对二进制文件的特点加以分析，并对d f 文件和s t d f 文件的组织进行 探讨，为进一步转化奠定基础。 21 二进制文件的特点 二进制文件总体说是一种面向字节的文件，表现为0 1 0 1 0 1 0 1 形式；利用字 节的不同组合，构成多种多样的文件格式，比如，中文双字节、图片文件j p g 、 可执行文件e x e 、压缩文件z i p 等都是二进制文件。 由于训。算机内存储器都是以二进制数码存储数据的，当把一个文本文件读入 内存时，要将a s c i i 码转换成二进制码；而把内存中的文件以文本方式写入磁 盘时，又要把二进制码转换成a s c i i 码，因此文本文件的读写要花费较多的转 换时间。但对二进制文件而言，其读写不需要也不存在这种转换，可以节约读写 时间，这是二进制文件的一大优点，见f i g u r e2 - 1 和f i g u r e 2 - 2 ： 1 3 1 f i g u r e2 - l文本文件在读写过程中的码制转换 固戡圈 硬盘 q 嗲一 f i g u r e2 - 2 二进制文件在读写过程中不需要进行码制转换 二进制文件的另一个优点就是占用空间小，比如z i p 和m r 都是二进制文件， 当把一个文本文件压缩成二进制文件时，它的空间利用率可以获得百倍以上的提 高，在相同的空间内可以存放更多的数据。正是基于上述优势，二进制文件己经 在各种平台上取得了广泛的应用。 1 4 1 2 第二二章二进制文件格式的分析与探讨 至于通常的1 6 进制文件，只是使用了1 6 进制的读取方法。实际上，在各平 台计算机中，存放方式只有一种二进制格式的机器码，比如 0 1 1 0 0 0 1 0 1 0 0 1 1 0 0 1 0 1 0 1 1 1 0 1 0 0 1 1 ；区别在于由于二进制最小占用一个存储单位， 十六进制最小占用四个存储单位，因此对于上面的机器码，如果使用1 6 进制读 取，就会以四个基本单位为一组，显示出来的效果是6 2 9 9 5 d 3 。所以，对所谓的 十六进制文件处理同二进制文件在本质上没有任何不同，类似的情况还适用于十 进制格式显示的文件。 二进制文件应用广泛，但也有其致命的缺点，这是指对程序编写或修改的人 而言，因为它是一种用户不可读的文件，因此就不知道该文件是如何编排存储的。 为了解决这个问题，在u n i x 平台和w i n d o w s 平台上分别采用不同的方法进行 处理。 2 2 二进制文件的读取 只有清晰明确地读取二进制文件，才能实现对其字节组成方式的分析，因此 正确的读取文件是分析文件结构的基础。 22 1 u n i x 平台下的读取 1 5 生产中通常使用的u n i x 平台为用户提供了自带的o d 函数来显示不同格式 的二进制文件。 f i g u r e2 - 3 直接观察c p 函数文件 1 3 第二章二进制文件格式的分析与探讨 例如：对于u n i x 常用的函数c p ( 复制函数) ，作为编译好的底层函数，所 看到的是二进制形式的函数文件，f i g u r e2 - 3 就是使用m o r e 语句直接观察得到的 效果。 显然，在这种充斥着大量怪异符号的情况下，根本无从得知这个文件到底写 了些什么，就更不要提对其进行分析了。想要看到文件的内容，如果在u n i x 平 台上，可以使用o d 函数，它可以用用户指定的方式查看文件。 仍以c p 为例，当使用“o d _ b 印ip g ”时，以八进制显示文件如表2 - 1 ： 表2 - 1 使用“o d _ bc p ip g ”命令分页观察c p 函数八进制文件 $ o d - b c p 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0 0 4 0 0 0 0 0 0 6 0 当使用“o d _ cc p lp g ”时，按单个字节显示文件，而“o d cc p l p g ”则按照 l c c t y p e 中的当前设定来显示，通常与“o d _ c ”相同。这种情况下，是将二 进制数显示为对应的a s c i i 码值，具有直观的意义，有助于阅读和理解。如表2 - 2 所示： 表2 - 2 使用“o d _ cc p | p g ”命令分页观察c p 函数a s c i i 文件 $ o d _ cc p lp g 0 0 0 0 0 0 017 7elf0 0 1 0 0 0 0 0 2 0l d0 0 20 0 2 0 0 0 0 0 4 0o0 4 5 m v 5 8 m v “v o l t a g er e g ”f f 0 ) 则写入s t d f 文件后与字段的对应情况如表3 - 1 所示： 表3 一l测试记录语句同s t d f 记录对应比照举例 测试记录对应的s t d f 记录字段 v o l t a g er e g 或者v o u tt s r ( 测试纲要记录) 的测试名字段 lp t r ( 参数测试结果) 的测试序号字段 4 5p t r 的下限值字段 p t r 的单位字段 5 8p t r 的上限值字段 os b r ( 软件b i n 记录) 字段 从这个例子可以归纳出s t d f 文件的以下一些特点： 喈s t d f 文件可以按照模块化的方法进行划分，每一个模块( 比如t s r 、p t r 等) 对应着记录的某一部分，而这种对应，是有迹可循的： 喈每一个模块都是由不同的字段组成的，而这些字段，应该具有不同的意义； 下面就从这两项认知入手，对s t d f 文件作全面的分析，总结s t d f 文件格式的 规律及其特点。e 1 8 3 9 3 1 s t d f 文件的模块化划分 从现有的资料看，可以找到关于s t d f 文件的模块和结构