（地球探测与信息技术专业论文）航空物探数据采集与应用系统若干模块的研究和开发.pdf

摘要 航空物探数据采集与应用系统若干模块的研究和开发 作者简介：牟泽霖，男，1 9 8 1 年1 1 月出生，2 0 0 4 年9 月师从于成都理工大学李 才明教授，于2 0 0 7 年6 月获硕士学位。 摘要 自从上世纪5 0 年代开始航空物探测量以来，航空物探遥感中心积累了大量 的各种航空物探数据和科研成果。为了更好地管理和利用这些数据，并方便今后 数据和成果的管理和应用，2 0 0 3 年，中国地质调查局设立了“建设航空物探 数据库”的计划项目，该项目的主要目标是建立我国的航空物探数据库及其开发 相应的信息管理系统，航空物探数据采集系统和应用系统是该信息管理系统的两 个子系统。 航空物探数据采集系统和应用系统都是基于m i c r o s o f t 的n e t 框架，通过 o r a c l e 数据库对数据进行管理，利用e s r i 公司的a r c g i s 的图形界面对空间数 据进行展示。采集系统主要实现航空物探数据的数据入库的功能，应用系统主要 是根据不同的需求对数据库或者本地的数据进行处理。 本论文的研究工作为航空物探数据采集系统和应用系统的一部分，研究的内容 有： 1 研究和开发航空物探数据采集系统的数据导入功能，将一定格式的航空 物探数据，在经过初次检查后，保存到航空物探采集库中。 2 研究和开发航空物探野外飞行的测网设计功能，实现对已知测区测网的 二维设计，并能够对显示在客户区的测区和测网进行可视化修改，计算测线公里 数和生成飞机导航文件等。 3 研究和开发航空物探数据应用系统的物性数据统计模块，对数据库或者 本地的岩石物性数据的采样点个数、极大值、极小值、平均值和均方差等进行统 计和计算，并将统计结果生成e x c e l 报表显示。 上述三个模块都是在m i c r o s o f t 的n e t 平台上，使用c # 语言开发完成的。 关键字：航空物探数据库数据导入测网设计物性数据统计 r e s e a r c ha n dd e v e l o pm o d u l e so fa e r o g e o p h y s i c a ls u r v e yd a t aa c q u i s i t i o ns y s t e ma n d a p p l i c a t i o ns y s t e r n s i n c et h e1 9 5 0 s a e r og e o p h y s i c a ls u r v e y r e m o t es e n s i n gc e n t e rh a s a c c u m u l a t e dl a r g ea m o u n t so fv a r i o u sa e r og e o p h y s i c a ls u r v e yd a t aa n dr e s e a r c h r e s u l t s i no r d e rt om a n a g ea n du s et h e s ed a t ab e t t e r , i n2 0 0 3 ，c h i n ag e o l o g i c a l s u r v e yb u r e a us c lu pap m j e c t ”c o n s t r u c td a t a b a s eo fa e r og e o p h y s i c a ls u r v e y ” t h ep m j e c t sm a i no b j e c t i v ew a st oe s t a b l i s hd a t a b a s eo fa e m g e o p h y s i c a ls u r v e y a n dt o d e v e l o p t h e c o r r e s p o n d i n gi n f o r m a t i o nm a n a g e m e n ts y s t e m t h ed a t a a c q u i s i t i o ns y s t e mo fa e mg e o p h y s i c a ls u r v e ya n dt h ea p p l i c a t i o ns y s t e ma r ct w o s u b s y s t e m so ft h ei n f o r m a t i o nm a n a g e m e n ts y s t e m t h ed a t aa c q u i s i t i o ns y s t e mo fa e m g e o p h y s i c a ls u r v e ya n dt h ea p p l i c a t i o n s y s t e ma r ea l lb a s e do nt h e n e tf r a m e w o r ko fm i c r o s o f t t h ct w os y s t e m sm a n a g e t h ed a t ao fa e r og e o p h y s i c a ls u r v e yt h r o u g ho r a c l ea n dd i s p l a ys p a t i a ld a t at h r o u g h t h eg r a p h i c si n t e r f a c e ，w h i c hi sp r o v i d e db ya r c g i so fe s r i t h ea c q u i s i t i o ns y s t e m i sd e s i g n e df u rs t o r i n gd a t at ot h ed a t a b a s e t h ea p p l i c a t i o ns y s t e mi sd e s i g n e df u r p r o c e s s i n gt h el o c a ld a t ao rt h ed a t ao fd a t a b a s ea c c o r d i n gt od i f f e r e n tr e q u i r e m e n t s t h ec o n t e n t so ft h i sp a p e r , w h i c ha r ep a r to ft h e s et w os y s t e m s ，a r ca sf o l l o w i n g ： 1 r e s e a r c ha n dd e v e l o pt h em o d u l eo fd a t ai m p o r t ，w h i c hb e l o n g st ot h e a c q u i s i t i o ns y s t e m ac e r t a i nf o r m a td a t ao fa c r eg e o p h y s i c a ls u r v e yc a nb es t o r e d t ot h ed a t a b a s ea f t e rs o m ei n i t i a li n s p e c t i o nb yt h i sm o d u l e 2 r e s e a r c ha n dd e v e l o pt h ef u n c t i o no fa c r eg e o p h y s i c a ls u r v e yg r i dd e s i g n w h i c hc a nc a r r yo u tt h ep l a n a rd e s i g no fs u r v e yg r i da n dv i s u a le d i t o ro nt h eg r a p h i c s i n t e r f a c e i tc a na l s oc a l c u l a t ek i l o m e t e r so fs u r v e yg r i d ，a n dg e n e r a t ea e r on a v i g a t i o n d o c u m e n t se t c 3 r e s e a r c ha n dd e v e l o pt h em o d u l eo fs t a t i s t i co fp e t r o p h y s i c a ld a t a ，w h i c h b e l o n g st o t h ea p p l i c a t i o n s y s t e m t h i s m o d u l ec a l l a c c o m p l i s h s t a t i s t i co f p c t r o p h y s i c a ld a t ab yc a l c u l a t i n gt h em a x i m u m ，m i n i m u m ，a v e r a g e ，v a r i a n c ea n dt h e n u m b e ro fs a m p l i n gp o i n t se t c t h e ni tw i l ls h o wt h es t a t i s t i c a lr e s u l t st oc o n s u m e r si n t h ee x c e l t h e s et h r e em o d u l e sw e r ed e v e l o p e db yo nd o t n e tp l a t f o r mb yc 撑l a n g u a g e w h i c hp r o v i d e db ym i c r o s o f t k e y w o r d s ：t h ed a t a b a s eo fa e r og e o p h y s i c a ls u r v e y , d a t ai m p o r t ，s u r v e yg r i d d e s i g n ，s t a t i s t i co fp e t r o p h y s i c a ld a t a 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得成都理工大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者导师签名：歹芗彳孵 靴敝储鹕：砰祷妒7 年哆月2 ，日 学位论文版权使用授权书 本学位论文作者完全了解成都理工大学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权盛壑堡王盔堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文储签名噜洚霖 刀刀了年艿月旦1 日 l 第1 章引言 1 1 研究意义 第1 章引言 半个多世纪以来，作为我国航空物探的主要研究与生产单位，航空物探遥感 中心( 原地矿部航空物探大队，下称航遥中心) 积累了包括航空磁力测量、航空 能谱测量和航空电磁测量在内的大量的航空物探测量原始数据和科研成果报告， 另外还有数百个固体矿产和石油天然气资源勘查开发、区域地质填图和基础地质 研究项目的科研成果，这些成果在寻找磁铁矿、铀矿、金矿等矿床和帮助确定油 气田的具体位置、找水及环保方面都是弥足珍贵的。如此多且宝贵的数据从存储 到管理应用仅仅依靠人工不仅效率低下，而且容易遗失。为了使现有的资料数据 更好的为我国的地质事业服务及方便将来的数据保存、管理和应用，必须建立航 空物探数据库，并开发满足不同需求的客户端系统。 近年来，航空物探遥感中心先后完成了“省级航磁数据库”、“全国航电数据 库管理系统”、“航空物探异常数据库”、“航空物探工作程度数据库”以及“全国 1 ：1 0 0 万航磁编图”等项目，这些相关项目的完成为实现航空物探数据资料信 息化管理奠定了基础。但由于当时的技术限制和资金匮乏，上述各项目都只是严 格按照项目任务书的要求来完成指定的工作，没有用长远的战略眼光来分析计算 机技术的发展及以后的维护和扩展工作，并且每个项目采用的技术和标准不尽相 同，缺乏宏观上对航空物探数据库及其信息管理系统的统一规划和部署，使得今 后的统一集成工作重复而繁琐。 2 0 0 2 年中国地质调查局设立了“建设航空物探数据库”的项目，该项目的 主要目标就是建设我国的航空物探数据库及对应信息管理系统，结合2 0 0 2 年已 经启动的“海洋磁场和重力场信息系统建设”的项目，航空物探遥感中心决定建 设航空物探数据库，把已有的数据库进行改造整合并纳入新的数据库中，同时开 发数据库信息管理系统。本次数据库系统的建设对实现航空物探资料的数字化、 信息化，提高航空物探数据资料的管理水平，实现数据共享，从而能够从宏观上 统筹规划航空物探资料的信息化管理与智能服务，使航空物探数据更好地为国家 经济建设和国防建设服务都有着重大的现实意义和战略意义。 1 2 研究现状 目前，航空物探遥感中心已经完成了多个航空物探资料数据库，主要有省级 航磁数据库、航空物探调查工作程度数据库、全国航电数据库管理系统、航空物 探异常数据库等。 成都理工大学硕士学位论文 1 1 1 省级航磁数据库 航空物探遥感中心在1 9 9 5 至1 9 9 7 年间对过去由航遥中心和各省航测队负责 完成的航磁数据和成果报告进行了数字化，并在p c 3 8 6 上用f o x p r o ( w i n d o w s 版) 建立了省级航磁数据库，同时开发了相应的管理系统软件。 在本次航空物探数据库系统的构架中，省级航磁数据库中的数据作为航磁原 始数据的一部分纳入新的数据库系统，原来f o x p r o 数据库管理系统软件无法适 用于新的系统环境。 1 1 2 航空物探调查工作程度数据库 航空物探调查工作程度数据库是中国地质调查工作程度数据库的一部分。中 国地质调查工作程度数据库是将2 0 世纪我国开展的区域性基础地质调查和矿产 勘查工作进行汇总，并通过互联网发布，使社会公众能够通过互联网查询到我国 地质工作程度方面的信息。 由于中国地质调查工作程度数据库采用的是s q ls e r v e r ，所以在将其中的 航空物探调查工作程度数据库集成到航空物探数据库系统时，需要将原来的s q l s e r v e r 数据库改造成o r a c l e 数据库，同时根据新数据库的构架，对原有数据库 字段数进行扩增，并增加2 0 0 0 年以后的航空物探调查项目信息。 1 1 ，3 全国航电数据库管理系统 2 0 0 2 年中国地质调查局发展研究中心完成全国电勘查数据库项目，建立了 航空电法和地面电法数据库标准和框架。航空物探遥感中心对我国2 0 0 0 年以前 的全部处理后的航电数据进行了认真整理，完成了其中的全国航电数据库建设， 并开发了数据库管理系统软件。 但是，全国航电数据库仅包含航电校正后数据，在纳入航空物探数据库系统 时，除了要把原来s q ls e r v e r 数据库改造成o r a c l e 数据库，还要扩展数据库字 段数，并增加2 0 0 0 年以后的航空电磁测量数据。同时，原来的数据库管理软件 也将被改造，以适应新的信息管理系统的a r c g i s 平台及o r a c l e 数据库系统。 1 1 4 航空物探异常数据库 2 0 0 0 年至2 0 0 2 年，航空物探遥感中心对近万份航磁查证异常登记表和检查 卡片的相关信息进行了整理工作，并分别建立了航空物探异常、地检异常和见矿 异常数据库，开发了基于m a p ( ；i s 的数据库管理软件，实现航空物探异常的可视 化查询。 第1 章引言 由于航空物探异常数据库是基于m a p g i s 的属性数据库，因此也要对其进行 改造，以适应a r c g i s 平台及o r a c l e 数据库系统。 1 。3 论文结构 本论文主要是从以下几个方面来阐述： 第一章，引言：介绍了论文的选题背景、目的和意义，以及国内外航空物探 数据库及其客户端系统的研究现状。 第二章，论文背景概述：概要地阐述了航空物探数据库数据采集系统和应用 系统的系统设计思想和设计流程及系统的功能。 第三章，数据导入模块：描述了航空物探数据的来源、航空物探数据的格式 及如何将这些数据合理有效地保存到航空物探采集库中。 第四章，测网设计：描述了测网设计的功能需求和如何实现各种功能。 第五章，物性数据统计：描述了如何对本地和数据库中的四种物性数据进行 统计和将统计结果友好地展示给用户。 第六章，结论：对论文成果进行了总结并提出建议。 最后是致谢和参考文献。 成都理工大学硕士学位论文 第2 章背景概述 航空物探数据库信息系统由航空物探数据采集系统和数据应用系统两个独 立的子系统组成。整个系统采用大型关系型数据库o r a c l e 作为它的后台数据库， 通过e s r i 公司的空间数据引擎a r c s d e 对数据库的空间数据进行管理，并基于 a r c e n g i n e 完成系统开发。系统使用开发平台为m i c r o s o f tv i s u a ls t u d i o n e t 2 0 0 3 ，使用的编程语言为c # 。 2 1 采集系统概述 采集系统，顾名思义即主要是将外部数据采集到数据库。系统的整体流程图 如图2 - 1 所示，航空物探数据以导入和录入的方式进入采集库，其中主要是导入， 即将约定好格式的数据文件保存入库。录入方式是将数据逐条存入数据库中。数 图2 1 数据采集总流程图 4 第2 章背景概述 据无论通过导入还是录入方式进入数据库，都要在先进行入库前检查，以保证数 据的主键唯一、不缺项和数据类型正确，检查通过后即保存到采集库中。进入采 集库中的数据还要进行系统检查、拓扑检查、人工检查和人工复核后，才可以归 档并最终保存到航空物探数据库( 资料库) 中。其中系统检查是为了确保数据的 完整性、一致性和有效性；拓扑检查是为了验证空间矢量数据的点、线、面各层 数据之间的拓扑关系的准确性；人工检查和人工复核主要是通过人工查看的方式 进一步保证数据的准确性。在上述的检查过程中，从入库前检查到拓扑检查，如 果数据检查未通过，系统根据错误生成详细的错误日志保存到数据库中，用户通 过查询错误日志找到错误的数据，并根据日志提示修改错误，重新导入或录入。 用户在重新导入或录入经过修改的数据时，系统会首先删除之前该数据的记录和 日志。 采集系统的功能结构如图2 - 2 所示，其中数据的导入功能为本论文研究和开 发的内容。 2 2 应用系统概述 图 2 采集系统功能结构图 航空物探数据应用系统是为了对采集入库的航空物探数据或者本地的航空 物探数据进行处理而开发研究的。该系统实现了航空物探数据的处理、查询、统 计、提取等功能。航空物探数据应用系统功能众多，如图2 3 所示的功能结构图 并不包括全部。获得权限的用户不仅能够对数据库罩的数据进行操作，而且可以 处理本地数据，也可以将本地数据与数据库星的数据叠加，方便进行对比和分析。 成都理工大学硕士学位论文 如图2 - 3 所示，其中的测网设计和物性数据统计的功能模块为本论文研究和 开发的内容。 l 坐标转换卜卜 叫数据统计卜_一查询结果统计 i 数据转换卜_ 一 航 一数据查询 - 项目经费统计 空 项目数量统计 l 绘制等值线卜_ 一 物 叫数据提取l 探 - 获奖情况统计 i 绘制剖面图卜一 应 ll 用 一数据加密 - 覆盖面积统计 莉网设酽卜 系 l 。避圈孽 ! 。卜 统一系统安全 一 飞行量统计 j j 秘。“。t a j | 制图输出卜 一系统维护 匿鬻茬数据攀夔i 图2 - 3 应用系统功能结构图 第3 章数据导入 第3 章数据导入 航空物探信息系统建设的主要目标就是要建立航空物探数据库，并将往年 的、现在的及以后的上述格式多样的航空物探数据和资料保存到数据库中。根据 航空物探信息系统建设的总体设计，航空物探数据和资料入库通过航空物探数据 采集系统来完成，由图2 - 1 ，采集系统通过两种方式实现数据入库，一种是录入， 一种是导入。录入主要是针对单条记录的数据及数据格式不确定的原始收录数据 和图件文字数据采集入库而设计的；数据导入模块则是针对已经在磁盘上存储的 数据文件的采集入库设计的。目前，数据导入模块可以将s h a p e f i l e 文件、e x c e l 文件及文件扩展名名分别为a p b 和a g b 的四种格式的数据保存到航空物探采集库 中。 3 1 航空物探数据概述 3 。1 1 航空物探数据来源 航空物探的勘查项目的工作流程大致可分为野外飞行测量，数据预处理，数 据校正和转换，数据综合解释，远景区评价和提交成果报告等几个部分，每一部 分都会产生数据。 1 野外测量 航空物探的野外测量主要包括野外飞行测量和地面岩石物性测量。 野外飞行测量是指装配有航空重力( 梯度) 仪、航空磁力仪、航空电磁仪、 航空伽玛能谱仪、g p s 导航定位仪及其它辅助仪器的的专业飞机，按照预先设计 好的飞行路线在测量的区域上空飞行，飞行过程中各仪器对来自地下的信号进行 采样。一般情况下，航磁测量的采样率是l o 点秒，航电测量的采样率是1 点 秒，航放测量的采样率是2 点秒，g p s 导航定位仪的采样率是2 点秒等。 地面岩石物性测量是为了更直接地获取测区的地质信息，佐证飞行测量的数 据，而对测区的岩石进行物性测量或者是收集该地区前人测量过的物性数据。物 性测量的类型有岩石密度测量、岩石磁参数测量、岩石电阻率测量及放射性元素 含量测量，其中磁参数包括磁化率、剩余磁化强度、剩磁偏角和剩磁倾角，放射 性元素指钾、铀、镭和钍等元素，野外作业时根据需求不同测量的内容也不同。 此外，野外测量时还要在地面上设置些基站，如航磁测量要在停机坪附近 建立航磁校正基点及地面磁日变观测站和g p s 基站等，这些测量的数据就叫做原 始收录数据，这些数据没有固定的格式，它们用于今后对飞行测量的数据进行校 正。 成都理工大学硕士学位论文 2 数据预处理 数据预处理即对野外飞行测量获得的原始数据进行初次处理，如剔除飞机在 转弯时或者从机场到测量区域时记录的多余数据，将经纬度坐标转换成投影坐标 等，数据经过预处理后即得到原始测量数据，这种数据被保存成文件扩展名为 a p b 的文件。 3 数据校正 原始测量数据还需要经过各种校正，如航磁数据需要进行地磁正常场校正、 磁日变校正、磁场调平等处理；航放数据需要进行伽玛能谱资料改正，即根据标 定后计算出的各项校正系数，对各道做本底改正、康普顿散射改正、高度衰减改 正及各道含量换算等；航电数据需要进行三频航电资料改正，即根据基线的飞行 资料，采用视电阻率处理方式对三频航电原始数据进行零漂、串馈改正和格值换 算等处理。经过上述处理后的航空物探数据叫做校正后数据。这种数据也被保存 成扩展名为a p b 的文件。 4 数据转换 校正后数据仍然是记录的每个采样点的测量值，必须对其进行转换，并根据 转换结果得到相应的剖面数据或者网格数据，才能比较直观地呈现给解释人员， 方便其分析及使用。航磁数据转换包含磁场延拓处理、化极、反演等多种方式； 航放数据转换有钍归一化、可溶性钾异常、均方差、变异系数和滑动平均法求剩 余异常等十几种方法：航电数据转换方法主要是视电阻率。每一种转换方法根据 参数不同又可以得到多种转换结果。转换后的数据被保存成了扩展名为a p b 和 a g b 的文件。 5 数据综合解释 航空物探数据解释由资历较深的解释人员完成，解释人员一般既有丰富的地 质知识，也有深厚的物探基础，不仅能够根据地质知识完善物探的解释工作，也 可以由物探知识验证地质结论。解释人员综合地质理论、剖面数据和网格数据等 物探数据，对异常场源性质、空间形态及其分布规律进行探讨和进行地质填图， 提出地质认识或得出结论，即得到解释数据。解释数据被做成s h a p e f i l e 文件。 6 远景区评价 以航空物探的解释数据为主，结合地质矿产、物化探和遥感等地质资料，围 绕特定任务的目标要求，通过定性和定量方法的研究，获得的评价性意见，圈出 油气、固体矿产、地下水、环境和构造稳定性等远景区，确定出最有利的区域， 即得到评价数据。评价数据是最能直接体现出航空物探在寻找能源、环境保护和 地质灾害防治等方面有着重要意义的数据，文件格式与解释数据相同。 7 提交成果报告 第3 章数据导入 编写成果报告是最后一项工作，成果报告包括文字报告和各种图件，如基础 图、位场转换处理图件、解释评价图件等，这些数据统称为图件文字数据，它们 以w o r d 、p d f 、j p g 等多种格式存在。 航空物探数据除了包括上述各个流程产生的格式多样的数据以外，还有科研 项目的数据、收集的数据及测试试验数据等。 3 1 2 导入的数据说明 航 空 物 探 数 据 项目概况数据 航迹线数据 航空物探基础数据 璜目概况信息 项目单位信息 原始收录数据 蕊始数据 ”地面磁日变教据 ，蓑分s 蕺掘+ 磁电放重瘴始教据 校芷数据臣豳西匝西 颞疆獗虿疆面丽函酮 q 。夔垩星墼量 圣野禽慕 航空物探异常 一巨蟹匿豳堕困 一 玉堑夔圈 】圈厘困 异常数据 + 地检异常数据 航空物探解释数据 测试试验数据 图件文字数据 兜矿异常数据 场瓣深度 地层岩性 构避。 图3 - 1 航空物探数据组成结构图 9 一一一一一 成都理工大学硕士学位论文 根据3 i 1 将航空物探数据总结分类如图3 - i ，这些数据除了原始收录数据、 图件文字数据和测试试验数据需要以录入的方式存进航空物探采集库外，其余的 数据分为s h a p e f i l e 数据、e x c e l 数据及文件扩展名名分别为a p b 和a g b 的四种 数据，这些数据通过导入的方式进入采集库中。 夺s h a p e f i l e 数据，它是e s r i 公司定制的基于文件方式存储地理信息系统 数据的文件格式。图3 - i 中的异常数据、解释数据和评价数据都是以这种格式存 在。 a p b 数据，它是由“空中探针”软件生成的文件扩展名为a p b 的文件。 图3 1 中的原始数据中的航磁、航电、航放和航重原始数据，航磁、航电、航放 和航重的校正和校正后数据及剖面数据等都是这种格式。a p b 文件的大致分两部 分，即文件头和大字段，文件头是可见的，包含该a p b 数据中的列名、各列的数 据类型及采样频率等，大字段记录了实际测量的每一条航迹线的采样数据，如采 样点的经纬度及对应的该点的某种物理场的测量值，由于航空物探数据具有一定 的密级，所以这些数据被写成了二进制形式，无法被直接看到的。 夺a g b 数据，它是由“空中探针”软件生成的文件扩展名为a g b 的二进制 网格文件。图3 1 中的网格数据即a g b 数据。 夺e x c e l 数据，图3 - 1 中的项目人员、项目单位信息、项目概况信息及不 涉及空间数据的表格都被保存成了e x c e l 表格。 3 2 设计 3 2 1 功能设计 根据采集系统的详细设计，数据导入模块最终要实现数据预览和数据保存到 采集库中，为了实现这两个目的，数据导入模块的功能设计如下： 1 数据预览 数据预览，即将3 1 2 中所述的四种数据在客户区显示，从而使用户对数据 进行初次检查。其中e x c e l 文件和a p b 文件以表格形式显示，a g b 文件和 s h a p e f i l e 文件以图形显示。 2 入库前检查 对于要通过导入方式进入数据库四种数据，虽然都是通过计算机生成的，但 在这个过程中，人工操作和输入不可避免地会产生失误，使得数据存在错误或者 不符合事先的约定，所以在数据在进入到采集库之前必须对其进行检查，以保证 数掘的准确性和规范化。对数据在保存到采集库中时所作的检查称作入库前检 杳。 0 第3 章数据导入 3 数据保存 数据保存，即当3 1 2 中所述的四种数据在入库前检查通过后，保存到采集 库中。 3 2 2 总体流程图 3 3 具体实现 数据保存 3 3 1 数据预览 3 3 1 1 文件名解析和匹配 图3 - 2 导入总体流程图 确 航空物探数据库对要导入的数据的文件名称是有要求的，其中e x c e l 数据 按照采集库中的cf i l e _ e n t e r r u l e 表的f i l e _ n a m e 字段值定义文件名； s h a p e f i l e 数据按照丰表名标准代码_ 木定义文件名( “木”表示任意字符串) ， 表名标准代码见表t a b l e _ l i s t 中的t a b s t d c o d e 字段值；a g b 数据按照t 转 换方法，定义文件名，转换方法为库表d - t r a n _ m e t h o d 中名为m e t h o d _ c h n 的字 段值；a p b 数据对文件名暂时没有约定。如果文件名不准确，数据将无法保存到 数据库中，所以必须判断导入的文件的文件名是否符合规定的命名规则。 在程序实现时，如图3 3 中的文件名的解析和匹配，即将文件名拆解，得射 成都理工大学硕士学位论文 文件路径、文件名、文件全名( 含扩展名) 和文件扩展名等，然后将文件名中的 有用信息与采集库中相关库表的对应值进行匹配，如导入s h a p e f i l e 数据时，即 将文件名中的“表名标准代码”值与库表t a b l e _ l i s t 中的t a b s t d c o d e 字段值 匹配，如果在库表中找不到匹配的值，则弹出提示窗口，如图3 3 所示。 3 3 1 2 流程图 图3 - 3 文件名修改提示窗口 图3 - 4 数据预览流程图 第3 章数据导入 3 1 3 数据预览 将文件名拆解后，根据得到的文件扩展名( x l s 、s h p 、a p b 和a g b ) 的不同， 分别调用相应的数据显示功能对当前数据显示在航空物探数据采集系统的客户 区。 1 e x c e l 数据的预览 对e x c e l 数据的预览，是直接将e x c e l 表格作为v c 并的d a t a g r i d 控件的数 据源，并显示，如图3 - 5 所示。 图3 - 5e x c e l 数据预览 2 s h a p e f i l e 数据的预览 s h a p e f i l e 数据要同时和表格的形式显示，数据采集系统的图形显示是基于 e s r i 的a r c g i se n g i n e 提供的开发工具包开发的。程序在实现过程中，通过调 用a r c e n g i n e 提供的m a p c o n t r o l 控件实现对s h a p e f i l e 数据的图形预览，通过 调用v c # 的d a t a g r i d 控件实现图形属性的预览。程序的运行结果如图3 6 和图 3 7 所示，为导入的一个“测区概况信息”数据。 3 a p b 数据的预览 由3 1 2 中对a p b 数据的说明知，一个a p b 数据由文件头和大字段组成，其 中大字段记录实际的测量数据，单条记录就有可能达到几十兆甚至更大，将如此 大的数据读入内存，然后在客户区显示其速度必然很慢，而且测量数据也并不 是所有的人都有权利查看的，所以在对a p b 数据进行预览的时候，只读取文件头 成都理工大学硕十学位论文 信息进行显示，而将大字段信息跳过。运行结果如图3 8 所示。 图3 - 6s h a p e f ii e 数据图形预览 图3 7s h a p e f il e 数据属性预览 4 第3 章数据导入 图3 - 8a p b 数据预览 4 a g b 数据的预览 a g b 数据是网格数据，这种格式的数据中在创建的时候其网格距相当于栅格 数据的分辨率，所以可以将a g b 数据表达成栅格图像显示在采集系统的客户区。 图3 - 9 g b 数据预览 成都理t 大学硕十学位论文 在程序具体实现时，首先读取a g b 数据中的行数、列数、行距、列距、第一 列的首点和末点的坐标、调色板颜色数、场值及场值颜色值等，然后调用 a r c e n g i n e 提供的创建栅格数据( 扩展名为i m g ) 的方法( c r e a t e r a s t e r d a t a s e t ) 创建一个栅格数据，并将读取的a g b 数据中的相关数据写入，最后将生成的栅格 数据在m a p c o n t r o l 中显示，如图3 - 9 所示。 3 3 2 入库前检查 如2 1 采集系统概述中所述，入库前检查是为了保证导入数据的主键唯一、 不缺项和数据类型准确而设计的，定义如下： 1 主键唯一性检查：即检查数据中用于唯一标识数据表中的每个记录的字 段或者字段的组合不能重复，也不能为空； 2 数据类型检查：即检查要导入的数据的数据类型是否与与其对应的采集 库库表中的各个字段的数据类型一致； 3 缺项检查：即检查要导入的数据是否包括了与其对应的采集库库表的所 有列： 3 3 2 1 入库前检查规则 航空物探数据采集系统的数据检查包括入库前检查、系统检查、拓扑检查等 多个检查，其中每一种检查又包含多种检查，如果将这些枪查的规则设计在客户 端的采集系统，当数据库的某个库表结构或者检查规则改变时，则必须对采集系 统进行修改，从而给今后的系统维护带来麻烦，因此，在设计数据库结构的时候， 在采集库中专门为各种数据检查( 不仅仅是入库前检查) 设计了检查规则表，这 样当库表结构或检查规则改变时，只改变该检查规则表即可。检查规则表结构如 图3 1 0 所示。 图3 1 0 数据检查规则表结构图 入库前检查涉及的检查规则有： 1 主键唯一性检查规则 该规则规定了要进行入库前检查的数据的哪个或者哪些字段是主键列，如图 6 第3 章数据导入 3 - 1 1 ，为从检查规则表中提取出的项目概况表的主键唯一性检查规则，其中“1 ” 表示是主键检查规则，“c _ a m p r o j _ i n f o ”表示当前要检查的是采集库中的航磁概 况信息表，“p r o l i d ，r e g i o n _ n o ”表示该表的主键列为项目标识和测区编号。 图3 一”项目概况信息主键检查规则示意图 2 缺项检查规则 该规则规定了要进行入库前检查的数据应该至少包含哪些字段( 列) ，该检 查规则从数据库本身的数据字典表中提取，如图3 - 1 2 ，为从航磁概况信息表的 缺项检查规则( 未显示全部) ，即要进行入库前检查的航磁概况信息数据必需包 含项目标识、测区编号、测区名称等规则中规定所有字段。 图3 - 1 2 航磁概况信息缺项检查规则示意图 3 数据类型检查规则 该规则规定了要进行入库前检查的数据中的哪些字段需要进行数据类型检 查，以及该字段应该为什么类型和该字段的长度( 或精度) ，如图3 - 1 3 ，为航磁 概况信息数据的数据类型检查规则( 未显示全部) ，其中列“c o l u m nn a m e ”是需 要进行数据类型检查的字段，列“c o l 一乙e n g t h ”规定了字段的长度，列“c ”规 定了字段的类型，列“c o l - d i c t _ c o d e ”表示该字段是否有对应的数据字典项。 如第一行的“项目标识”字段为长度为3 0 的字符类型，数据字典项为空。 图3 _ 1 3 航磁概况信息数据类型检查规则示意图 检查规则建立后，在对数据进行入库前检查时首先提取相应的检查规则，然 后根据规则判断要检查的数据是否和规则一致，如果一致则检查通过，如果不一 致则检查不通过。 7 成都理工大学硕士学位论文 3 3 2 2 主键唯一性检查 主键唯一性检查包括三部分内容，即导入的数据中是否存在重复的记录、导 入的数据中是否存在与采集库中的数据重复的记录及导入的数据中是否存在与 资料库中重复的记录。如果存在，则检查不通过，如图3 1 4 所示，黄色的记录 表示当前导入的数据记录重复，蓝色的记录表示导入数据中的记录与采集库中的 记录重复，红色的记录表示导入数据中的记录与资料库中的记录重复。 。一+ 翻 k歹龟。罗 争一项目概况信息4 e 一项目概况信息袭“一” ”7 项目概况信息袭g 项 | 杯识 项目标汉 项目标识 p r o j0 1 1 “p r o j0 0 6 e r o i 0 0 1 p r o j _ 0 1 1 p r o i _ 0 0 7麟麟鹾黼 戮躐隧嬲 p r o j _ o o sp r 噍0 3 。p r o j _ 0 0 6 p r o j - 0 ( 1 9e r o j _ 0 0 4 p r o l o l 2 e r o j _ o i op r o j | 0 0 5 3 3 2 3 数据类型检查 图3 - 1 4 主键唯一性检查示意图 按照数据类型检查规则，在程序实现时，先检查要进行检查的数据中的字段 的长度是否在数据库规定的最大长度之内，再检查其类型是否正确。对于日期类 型的数据，由于o r a c l e 的日期格式为d d m o n y y y y ，即日一月一年格式，而要检查 的数据的日期格式通常为y y y y m o n d d ，即年一月一闩格式，所以在进行检查的时 候需要对将数据中的日期类型转换为与o r a c l e 一致的同期类型。对于有对应数 据字典表的字段，还需要到数据字典中查询数据中的值是否存在。 3 3 2 4 缺项检查 根据要进行检查的数据的文件名，从缺项检查规则中提取该数据必须包含的 字段( 列) ，将这些字段在数据中查找，如果全部能够查到，则缺项检查通过。 第3 章数据导入 3 3 2 5 流程图 图3 - 1 5 入库前检查流程图 当入库前检查不通过时，采集系统调用写日志功能将检查不通过的原因写入 采集库中，然后在在客户区将错误的字段显示为醒目的红色，如图3 一1 7 所示。 3 3 2 6 运行结果 以一个存在错误的“项目概况信息x s ”为例，如图3 - 1 6 为该数据中存在 错误的数据记录。 一题目标识一氆巍 亟目编置。项目务剩夏目级另q顾目级次 a g s 0 1 2 0 0 5 0 0 0 0 0 1 2 1 0 0 0 2# 料幸幸料 局级项目 一级项且 a g s 0 1 2 0 0 5 0 0 0 0 0 241 0 0 0 4 掌丰率丰 幸乖 局级项目 一级项目 g s 0 1 1 9 5 5 0 0 0 0 0 991 0 0 0 9 丰幸 幸# 料 j 蜀级项且二级项目 a g s 0 1 1 9 5 5 0 0 0 0 0 91 11 0 0 1 1 丰丰牛车书乖幸奉 局级项目 一级项目 a g s 0 1 1 9 5 5 0 0 0 0 0 91 31 0 0 1 3 幸枣奉 幸掌 幸 局级项目 一级项目 b p , s o l 1 9 5 7 0 0 0 0 1 0 1 01 0 0 1 0牛丰# # 丰局级项目 l 爱项目 a g s o i l9 5 7 0 0 0 0 0 771 0 0 0 7 丰幸 丰书车枣 局级项目 一级项目 艘s o 坦照7 0 0 0 0 l _ 4 1 4i 0 0 1 4丰+ 幸木 幸 ；局级项目一级项且 a g s 0 1 1 9 5 5 0 0 0 0 0 881 0 0 0 8 丰丰十木堆 半半 局级一级 图3 1 6 存在错误的项目概况信息数据 1 9 成都理工大学硕+ 学位论文 该数据存在以下错误： 1 该数据的主键列为“项目标识”列，但该数据中第三、四、五条记录的 “项目标识”字段值重复：第六、七、八条记录的“项目标识”在采集库中有重 复的记录；第一、二条记录的“项目标识”在资料库中已经存在。 2 缺少应有的“备注”字段。 3 第九条记录的“项目级别”和“项目级次”的字段值在数据字典中不存 在。 对该数据进行检查，程序的运行结果如图3 1 7 所示。 3 3 3 数据保存 图3 1 7 检查不通过的数据以红色背景展示 3 3 3 1s h a p e f i l e 数据 航空物探信息系统采用o r a c l e 数据库对空间数据进行存储，通过e s r i 公司 的空间数据引擎a r c s d e 对空间数据进行管理。s h a p e f i l e 数据是e s r i 公司提供 的一种矢量数据格式。在程序实现过程中，首先根据提取的文件名中的“表名标 准代码”找到采集库中的目标表名，并根据目标表名打开对应的s d e 库表空间， 然后根据目标表名得到目标要素类，将s h a p e f i l e 数据写入。 保存图3 - 6 的“测区概况信息”数据，保存设置的界面如图3 一1 8 所示。 第3 章数据导入 3 3 3 2a p b 数据 图3 - 1 8s h a p e f il e 数据保存界面 a p b 数据中存储了各条测线( 也包括切割线) 上各个采样点的场值，以采样 率1 0 点秒计算，一个测区的测点少则几十万个，多则上百万个，如果将这些数 据逐点存放在数据库中，需要大量的存储空间，并且记录点的个数太多，极大降 低了系统的数据查询和统计性能。另外，在实际应用中，用户对单个测点值并不 感兴趣，所以在对a g b 数据进行存储的时候，考虑将一条航迹线上的采样点作为 图3 - 1 9a p b 数据保存界面 2 l 成都理工大学硕十学位论文 一条记录，存在o r a c l e 中b l o b 大对象类型中。如此，一个测区的数据由原来的 上百万条记录变成了上百条数据，大大提高了数据库的反应速度，同时也便于数 据库的维护。 a p b 数据的保存界面如图3 - 1 9 所示，在程序实现时，根据用户输入的“档 案号”，