2013年计算机科学与技术专业本科毕业论文)

上海电力学院 本科毕业设计（论文） 题 目： 数据库元数据管理系统设计与实现 院 系： 专业年级： 2009级 学生姓名： 学号： 指导教师： 2013年 6月 1日 据库元数据管理系统设计与实现 摘要 元数据管理平台的建设， 是为了避免 数据信息定义不明引起的争议。 在元数据管理平台建成之后，可以实现对技术元数据的抽取。在这个平台上，就能清晰地看到这些表或字段之间的关联关系。把这些元数据抽取出来后，用户可以通过平台很方便的修改数据仓库中的数据，调整业务中的统计指标等等。 元数据的集成和可见性帮助各部门了解存在哪些数据、数据存储位置及其含义，从而最大限度的降低信息复杂性。 作者基于对元数据的了解和认识后，结合实际需求开发了元数据管理系统，并投入实际运行。该系统使用 行开发设计，最终实现 以 面的方式， 进行 对数据库的元数据管理和相应数据库管理。在项目开发过程中，遵循软件工程的开发模式，系统在平台化和扩展性方面具有独到的设计，具有实用性和先进性。 关键词 ： 数据库， 元数据， F is a in we on of an on of In to we to of in To we a of we We in in so to of so of of of on of a is of is we EB In of we 录 1. 绪论 . 1 开发背景及意义 . 1 系统开发的目标 . 2 全文概要 . 2 2. 系统需求分析 . 3 用户需求 . 3 功能性需求 . 3 技术需求 . 3 功能分析 . 4 数据流图 . 5 顶层图 . 5 零层图 . 5 一层图 . 6 可行性研究 . 6 3. 系统总体设计 . 7 架构设计 . 7 系统运行环境 . 7 B/S 构架 . 7 据库 . 8 程语言 . 9 数据库 型 .系统模块结构图 . 系统程序设计及实现 . 11 数据库设计 . 数据流条目 . 数据项条目 . 数据结构说明 . 元数据库设计说明 .系统模块设计 . 模块功能介绍 . 功能需求与程序块的关系 . 人工处 理过程 . 接口设计 .库信息浏览模块 . 录设计 . 库信息表设计 . 上传库信息 . 修改库信息 .表信息浏览模块 . 表信息表设计 . 上传表信息 . 修改表信息 .字段信息浏览模块 . 字段信息表设计 . 上传字段信息 . 修改字段信息 . 系统测试 . 50 测试目的 .软件说明 .测试内容用例设计 . 总结 . 52 谢辞 . 54 参考文献 . 56 1 1. 绪论 数据库元数据管理系统的最终目标是实现对数据库的可视化管理，通过对数据信息的详细描述和记录，使迭代开发过程中不同阶段的人员，都能对数据库中各表及字段达到统一的认识，避免出现争议。该系统提供的是 作界面，用户可以通过 作界面修改元数据信息（元数据，即数据的数据），后台根据用户的修改对数据库中元数据信息进行同步，并根据用户提供的元数据信息，对相应数据库或表或字段进行相应修改或添加操作。 开发背景及意义 在公司的例会中，各部门容易对一些数据信息引起争议，比如通信运营商的各部门经常就每日用户数这类问题的指标数值不一致而吵的面红耳赤。这些公司通过各个时期的 设，形成了很多个独立分开的系统，以电信运营商为例，就有计费系统、网络系统、 统、财会系统和客服系统等等。在这些系统中，存有不同的客户信息 ，具体体现就是不同格式的表。本以为公司的数据仓库项目建设完成可以大步提升 能性”，没想到基层的反映却是根本没法用。而其中的原因就在于数据质量没法保证，也即：在业务逻辑上并不准确，各部门对于指标的定义不能统一 1。 以当日用户数为例，对于这一指标，市场部、网络部、计费部等部门给出的定义并不一样。按照元数据技术的术语来讲，就是在业务元数据上，大家对于业务的认识并不统一。比如：计费部门认为，一个用户当天曾拨打电话，就可以计入到当日用户数；而财务部门则认定，只有在发生费用之后才能计入；至于网络部，则认为当天开机的用户就可以算作当日用户。如此一来，各部门的当日用户数数值自然就不一样。在这种情况下，担负着业务压力的业务人员很可能谁也说服不了对方来接受自己的数字，导致大家对数据仓库系统本身的可信度也就打了折扣。 事实上，类似的问题在目前已经建成的数据仓库项目中还有很多。其中的一大难题就是，原先未能统一的定义导致了某种指标的不一致，而要搞清楚为什么不一致，就得反查数据仓库中的这些表在一开始的时候是如何定义的，表与表之间的联络关系是怎样的。这种反查工作自然要求 门的人员就得详细查阅原先软件的设计。但问题是，现在的软件开发一般都是迭代式开发，每个阶段都有不同的人在做。回查一个表，很可能需要涉及到这个过程中的每一个开发人员。事实上，很少有人能做到这一点。即便费尽心机终于查到了，一个月的时间也过去了 2。 元数据管理平台的建设就是为了避免继续出现类似问题。在元数据管理平台建成之后，其一，可以实现对技术元数据的抽取，把相关的字段放到平台上来。在这个平台上，就能清晰地看到这些表或字段之间的关联关 2 系。有一个很清晰的视图。其二，还会把业务元数据抽取出来，确定要做哪些应用，就 把相关的指标、流程在平台上建立起来。把这些元数据抽取出来后，用户可以通过平台很方便的修改数据仓库中的数据，调整业务中的统计指标等等。其三，就是要把技术元数据和业务元数据两种数据对应起来。比如对于当日用户数来讲，它在数据仓库中对应的都是哪些表，让技术员数据和业务元数据联系起来。这样，在把各种定义统一之后，元数据管理平台就可以给出一个更为详细的指标。比如在数值之后做出注解，注明具体开机的有多少，发生费用的又有多少。如此，公司的争吵也就不复存在了。 元数据的集成和可见性帮助各部门了解存在哪些数据、数据存储位置及其 含义，从而最大限度的降低信息复杂性。 系统开发的目标 数据库元数据管理系统开发的总体目标是以 面实现对数据库的可视化管理，对数据库有更加精准详细的描述，并能简化数据库的管理操作。具体包括： 1、 提高公司对数据库的管理水平，防止因对数据的定义不明确而引起的争议，提高工作效率，降低出错概率。 2、 通过建设此系统，能够对数据库中元数据进行修改，及时更想对数据的描述。 3、 在对元数据进行修改的同时，根据修改内容对相应数据库进行修改，使元数据与数据库实际情况同步。 全文概要 全文总共包括五 个部分，分别为： 1. 绪论 引言部分，简要的陈述了这个系统开发的背景和意义以及系统开发的目标。 2. 系统需求分析部分，介绍了用户对此系统的功能性需求和技术需求，并对系统进行了分析建模和可行性的研究。 3. 系统总体 设计部分，介绍了本系统所采用的构架设计、 开发工具、 编程语言、功能模块分析以及数据库设计思路。 4. 系统 程序 设计 及实现 部分 ， 介绍了本系统的具体操作流程和各个模块的设计和主要 功能，还介绍了本系统的详细程序实现代码及模块图示等 。 5. 系统测试部分，简单陈述了软件测试的方案及具体对各个模块测试的细节。 6. 总结 ， 对全篇论文进行了总结 ， 介绍自己在开发过程中的心得体会和收获 。 3 2. 系统需求分析 需求分析是指理解用户需求，就软件功能与客户达成一致，估计软件风险和评估项目代价，最终形成开发计划的一个复杂过程。如果投入大量的人力，物力 ,财力 ,时间 ,开发出的软件却没人要，那所有的投入都是徒劳3。如果费了很大的精力 ,开发一个软件 ,最后却不满足用户的要求 ,从而重新开发 ,这种返工是让人痛心疾首的。需求分析之所以重要 ,就因为他具有决策性 ,方向性 ,策略性的作用 ,他在软件开发的过程中具有举足轻重的地位4。 用户需求 用户的需求包括两个不同的层次：功能性需求和技术需求。功能需求定义了开发人员必须实现的软件功能，使得用户能完成他们的任务，从而满足了业务需求。非功能性需求是用户对系统良好运作提出的期望，包括了易用性、反应速度、容错性、健壮性等等质量属性。 功能性需求 1、数据库信息维护 ; 通过管理平台，用户可以对服务器上数据库的信息进行添加、删除和修改操作。 2、表信息维护 : a) 表信息添加、修改（不允许删除，可以置无效） b) 支持自动从数据库导入表信息 c) 支持和数据库做信息比较，发现元数据系统和数据库的差异 ; 3、表字段信息维护 : a) 字段信息添加、修改（不允许删除，可以置无效） b) 支持自动从数据库导入表的字段信息 c) 支持和数据库做信息比较，发现元数据系统和数据库的差异 技术需求 1、 设备： 务器一台，暂定普通 。 览用户，普通 。 4 处理器： PU 装内存： 用） 系统类型： 32 位操作系统 外存容量： 320备型号： 450 笔记本电脑 1 台 2、 预计存储要求：服务器 10、 支持软件： QL 005 008 览器 /览器 4、 系统必须保证在每天的上班时段（ 9:000）正常运转，平均故障次数每周不可超过 1 小时。 5、 系统 每次存取网页页面时间不得超过 5 秒，数据库信息反馈必须在 5 秒内回应。 6、 选择的数据库要能够保证一年 10 万条记录的存取没有问题。 7、 系统硬件的选择必须是开放规格的，不得指定某家厂牌。 8、 系统界面必须友好、符合一般用户的操作习惯、可视化程度高。 9、 系统的录入信息内容必须有控制和友好提示，比如：数据库名称不能为空，如果不输入字符长度则默认为多少等。 功能分析 按照公司需求，此系统的主要模块包括数据库管理、数据表管理、数据字段管理三大模块。公司的管理员通过进入该系统，系统将数据库等信息以元数据表的形式存储在元数据库中，当管理员在网页中更改或添加数据库信息时，该内容将同步到元数据库中的相应表中，同时根据管理员的需求及键入内容对数据库中其他库、表或字 段进行相应修改或添加。应系统的要求，没有做删除功能，通过选择“是否有效”来改变数据库、表或字段是否投入使用。考虑到某一数据表或数据字段的源可能有多条 信息，在录入时能够做到同时录入多条数据信息，在修改时也能同时修改多条信息，保证界面的友好性。同时系统还能够清晰的显示出数据库、表之间的级联关系，方便用户快速找到需要的库或表信息。 主要功能模块的详细功能描述包含如下： 1、 数据库管理： 查看服务器上已有的数据库信息（元数据库除外），并可添加和修改数据库信息。通过录入数据库名称、选择数据库是否有效等建立新的数据库。 5 2、 数 据表管理： 查看某数据库中的数据表信息，并可添加和修改数据表信息。通过录入数据表名称、选择数据表是否有效等建立新的数据表。 由于无法创建没有字段的新表，所以系统会友好的将用户引入数据字段管理页面，提示进行字段添加工作。 3、 数据字段管理： 查看某数据表中的数据字段信息，并可添加和修改数据字段信息。通过录入数据字段名称、选择数据字段是否有效等建立新的数据表。由于部分数据类型必须键入字段长度，因此选择了需要键入字段长度的数据类型后，若未输入长度则会友好提示 数据流图 顶层图 5 元 数 据 管 理系 统管 理 员元 数 据 信 息元 数 据 信 息图 2据流图顶层图 零层图 管 理 员元 数 据 管 理系 统元 数 据 库 应 用 数 据 库元 数 据 信 息元数据信息图 2据流图零层图 6 一层图 管 理 员元 数 据 管 理系 统数 据 库 管 理数 据 表 管 理数 据 字 段 管理元 数 据 库 应 用 数 据 库元 数 据 信 息图 2据流图一层图 可行性研究 随着现代经济的高速发展，企业规模的不断扩大，信息化管理的成败已经成为企业市场竞争力强弱的一个关键因素。公司数据库规模逐步扩大，数据信息不断增多，使得数据库管理趋于复杂化，针对这种实际情况，通过元数据管理系统的建设，能够把公司的数据信息做到可视化管理 6。为企业节省了大量的人力、财力，和易出错等各大问题 7。 1、经济可行性：由于采用元数据对数据库进行统一管理，节省了大量传统模式下管理数据库所调用的人力和物力。系统不需要特别的硬件支持，由于使用 面进行管理，用户端不需要配置特殊硬件或软件，只需要通过 览器即可完成对数据库的可视化管理。从长远的角度上来看，元数据管理系统对数据有详细的描述，可以防止 对数据定义的争议。在该系统平台上能清晰的看到这些表或字段之间的关联关系。元数据的集成和可见性帮助各部门了解存在哪些数据、数据存储位置及其含义，从而最大限度的降低信息复杂性。该项目开发过程中遵循软件工程的开发模式，系统在平台化和扩展性方面具有独到的设计，具有实用性和先进性 8。 2、技术可行性：现有技术条件能顺利完成开发工作，中等的服务器硬件软件配置既能满足开发的需要。本系统采用 码的方式进行开发，后台数据库采用 些技术能够开发出满足企业需求的元数据管理系统。 3、社会可行性：新系统在投入使用后，元数据管理系统的规范化必对社会带来极大的正面影响。企业自身可以解决庞大数据库系统对于数据定义易引起争议这个令人头疼的问题，规范数据库管理，规范数据库定义。该系统有效的防止了数据争议，可以节省人力物力开支。 7 3. 系统总体设计 系统设计阶段的主要目的是将需求分析阶段的用户需求转换成可以实施的物理（技术）方案。系统设计阶段的主要任务是从管理信息系统的总体目标出发，根据系统分析 阶段对系统逻辑功能的要求，并考虑到经济、技术和运行环境等方面的条件，确定系统的总体结构和系统各组成部分的技术方案，合理选择计算机的软、硬件设备，提出系统的实施计划，确保总体目标的实现。 架构设计 系统构架设计主要包括了硬件构架设计及软件构架设计两部分内容，软件系统的构架（在某一给定点）是指系统重要构件的组织或结构，这些重要构件通过接口与不断减小的构件与接口所组成的构件进行交互。某个软件或者计算系统的软件构架即组成该系统的一个或者多个结构，他们组成软件的各个部分，形成这些组件的外部可见属性及相互间的联系 9。 系统运行环境 1、 设备： 务器一台，暂定普通 。 览用户，普通 。 处理器： PU 装内存： 用） 系统类型： 32 位操作系统 外存容量： 320备型号： 450 笔记本电脑 1 台 2、支持软件： QL 005 008 览器 B/S 构架 1、 B/S 构架简介 B/S 是 览器 /服务器）的缩写，客户机上只要安装一个浏览器，如 或 务器安装 数据库。浏览器通过 数据库进行数据交互 10。 2、 B/S 架构软件的优势 1)维护和升级方式简单 目前，软件系统的改进和升级越来越频繁， B/S 架构的产品明显体现着更为方便的特性。对一个稍微大 一点单位来说，系统管理人员如果需要在几百甚至上千部电脑之间来回奔跑，效率和工作量是可想而知的，但B/S 架构的软件只需要管理服务器就行了，所有的客户端只是浏览器，根本不需要做任何的维护。无论用户的规模有多大，有多少分支机构都不会增加任何维护升级的工作量，所有的操作只需要针对服务器进行；如果是异地，只需要把服务器连接专网即可，实现远程维护、升级和共享。 2)成本降低，选择更多 桌面电脑上几乎一统天下，浏览器成为了标准配置，但在服务器操作系统上 不是处于绝对的统治地位。现在的趋势是凡 使用 B/S 架构的应用管理软件，只需安装在 务器上即可，而且安全性高。所以服务器操作系统的选择是很多的，不管选用那种操作系统都可以让大部分人使用 为桌面操作系统电脑不受影响，这就使的最流行免费的 作系统快速发展起来， 了操作系统是免费的以外，连数据库也是免费的，这种选择非常盛行。 3)系统整合 无论是办公自动化（ 统，人力资源（ 统，客户关系管理（ 统， 等，发展的趋势是不断融合 11。而采用统一的 B/S 结构开发的产品无论是现在还是将来都 是最好的选择，它提供了真正意义上无缝地与其它系统进行整合的方案。 据库 由 发和推广的关系数据库管理系统（ ,它最初是由 家公司共同开发的，并于 1988 年推出了第一个 版本。 年来不断更新版本，1996 年， 出了 本； 1998 年， 本和用户见面； 000是 司于 2000 年推出的版本。 点： 1)真正的客户机 /服务器体系结构。 2)图形化用户界面，使系统管理和数据库管理更加直观、简单。 3)丰富的编程接口工具，为用户进行程序设计提供了更大的选择余地。 4) T 完全集成，利用了 许多功能，如发送和接受消息，管理登录安全性等。可以很好地与 品集成。 9 5)具有很好的伸缩性，可跨越从运行 5/98 的膝上型电脑 到运行 000 的大型多处理器等多种平台使用。 6)对 术的支持，使用户能够很容易地将数据库中的数据发布到 面上。 7)供数据仓库功能，这个功能只在 其他更昂贵的 才有。 程语言 称是 是一套微软开发的服务器端脚本环境。 含于 间 , 通过 们可以结合 页、 令和 件建立动态、交互且高效的 1、 点 ： 1) 备管理不同语言脚本程序的能力 具备管理不同语言脚本程序的能力，能够自动调用合适的脚本引擎以解释脚本代码和执行内置函数。 2) 国内具有很强的影响力 以根据不同的用户，在不同的时间向用户显示不同的内容，也因此在国内掀起了一股学习 热潮。自从 世以来，因其可以创建健壮易于维护、与平台无关的应用系统， 术受到了越来越多网络程序员的喜爱，使用 事 发的人也越来越多。 3) 脚本程序 运行方便 有了 就不必担心客户的浏览器是否能运行你所编写的代码，因为所有的程序都将在服务器端执行，包括所有嵌在普通 的脚本程序。当程序执行完毕后，服务器仅将执行的结果返回给客户浏览器，这样也就减轻了客户端浏览器的负担，大大提高了交互的速度。 2、 独具的特征 ： 1) 语言容易编写 无须 译，容易编写，可在服务器端直接执行。 2) 脚本语言运用简单快速性 使用 简单易懂的脚本语言，结合 码，即可快速地完成网站的应用程序。 3) 使用文本编辑器的普通性 使用普通的文本编辑器，如 记事本，即可进行编辑设计。 4) 设计网页内容的可浏览性 与浏览器无关 , 用户端只要使用可执行 的浏览器，即可浏览 设计的网页内容。 使用的脚本语言 ( 均在 务器端执行，用户端的浏览器不需要能够执行这些脚本语言。 10 5) 脚本语言的可容性 与任何 言相容。除了可使用 言来设计外，还通过 方式，使用由第三方所提供的其他脚本语言，譬如 。脚本引擎是处理脚本程序的 件。 6) 源程序的安全性 源程序，不会被传到客户浏览器，因而可以避免所写的源程序被他人剽窃，也提高了程序的安全性。 数据库 型 人们通常就是用实体、联系和属性这 3 个概念来理解现实问题的，因此， 型比较接近人的习惯思维方式。 型是一种面向问题的数据模型，是按照用户的观点对数据建立的模型。它描述了从用户角度看到的数据，它反映了用户的现实环境，而且与在软件系统中的实现方法无关。 库 信 息 表 表 信 息 表 字 段 信 息 表隶 属 隶 属1 M 1 述库 名 称库 类 型库 是 否 有 效表 名 称 表 编 号 表 描 述表 源 库表 源 表字 段 编 号 字 段 名 称 字 段 描 述 更 新 频 率是 否 主 键 字 段 约 束 字 段 类 型 字 段 长 度更 新 频 率更 新 频 率更 新 频 率更 新 频 率图 3据库 型图 系统模块结构图 元 数 据 管 理 系 统数 据 库 管 理 数 据 表 管 理 数 据 字 段 管 理添加数据库修改数据库添加元数据库信息修改元数据库信息添加数据表修改数据表添加元数据表信息修改元数据表信息添加数据字段修改数据字段添加元数据字段信息修改元数据字段信息图 3统模块结构图 11 4. 系统程序设计及实现 以系统的总体设计为基础，现在可以开始系统的详细设计部分以及有关重点实现工作。系统的实现包括编码和测试。关于测试，将在下一章做具体描述。本章着重叙述 前者。 编码就是把软件设计结果翻译成用某种程序设计语言书写的程序。作为软件工程过程的一个阶段，编码是对设计的进一步具体化。因此，程序的质量主要取决于软件设计的质量。而所选用的程序设计语言的特点及编码风格也将对程序的可靠性、可读性、可测试性和可维护性也将产生深远的影响。 适宜的程序设计语言能使根据设计去完成编码时困难最少，减少程序测试量，得出更容易阅读和维护的程序。 是这样