电子政务数据管理技术课件

电子政务理论与技术主讲：马国峰电子政务理论与技术主讲：马国峰1第八章电子政务数据管理技术学习重点数据管理技术的发展阶段及各个阶段的特点几种典型的数据库产品多媒体数据的特点及管理技术多媒体数据的检索技术数据仓库的原理及体系结构XML技术内容管理的理念及技术第八章电子政务数据管理技术学习重点2第八章电子政务数据管理技术第一节数据管理概念第二节数据库管理技术第三节多媒体数据管理技术第四节数据仓库及商务智能技术第五节XML与内容管理第八章电子政务数据管理技术第一节数据管理概念3第一节数据管理概念一、什么是数据管理数据：在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。

数据处理时将科研领域、生产领域和经济领域等的原始数据运用一定的工具转换成所需的另一种形式的数据，是人们对数据进行收集、组织、存储、加工、传递和利用等一系列活动的总和。第一节数据管理概念一、什么是数据管理4第一节数据管理概念数据管理技术的发展阶段数据管理经历了人工管理、文件管理、数据库管理三个阶段。每一阶段的发展以数据存储冗余不断减小、数据独立性不断增强、数据操作更加方便和简单为标志，各有各的特点。在应用的驱动下，在计算机硬件、软件发展的基础上，有了如下数据管理的三个阶段：人工管理阶段文件系统阶段数据库系统阶段第一节数据管理概念数据管理技术的发展阶段5数据冗余:在一个数据集合中重复的数据称为数据冗余数据独立性包括数据的物理独立性和逻辑独立性。物理独立性：物理独立性是指用户的应用程序与存储在磁盘上的数据库中数据是相互独立的。逻辑独立性逻辑独立性是指用户的应用程序与数据库的逻辑结构是相互独立的，即，当数据的逻辑结构改变时，用户程序也可以不变。数据冗余:在一个数据集合中重复的数据称为数据冗余6（一）手工管理阶段财政部门财政部门数据集工商部门工商部门数据集财政部门财政部门数据集（一）手工管理阶段财政部门财政部门数据集工商部门工商部门数据7（一）手工管理阶段（一）手工管理阶段8（一）人工管理阶段特点1（1）数据不保存，数据最小，数据无结构由于数据是面向应用程序的，在一个程序中定义的数据，无法被其他程序利用，因此程序与程序之间存在大量的重复数据。（2）用户直接管理，且数据缺乏逻辑组织（3）没有软件系统对数据进行管理数据管理任务，包括存储结构、存储方法、输入输出方法等完全由计算机自负其责。这就给应用程序设计人员增加了很大的负担。（4）只有程序概念，没有文件的概念（5）一组数据对应一个程序，数据是面向应用的，缺乏独立性（6）数据与程序不具有独立性一组数据对应一组程序。这就使得程序依赖于数据，如果数据的类型、格式或者数据量、存取方法、输入输出方式等改变了，程序必须做相应的修改。（一）人工管理阶段特点19（二）文件管理文件系统财政部门工商部门税务部门财政部门数据集财政部门数据集财政部门数据集（二）文件管理文件系统财政部门工商部门税务部门财政部门数据集10（二）文件管理阶段（二）文件管理阶段11（二）文件系统阶段特点（1）数据可以长期保存在计算机外存上，可以被反复处理，并支持文件的查询，修改、插入和删除等操作（2）有软件（文件系统）对数据进行管理，程序和数据有了一定的独立性（数据不再属于某个特定的程序，可以重复使用）（3）文件的形式多样化（4）文件系统实现了记录内的结构化，数据的存取基本上以记录为单位，但从文件的整体来看确实无结构的（5）数据共享性仍然不高，且数据冗余度大，管理和维护的代价也很大（二）文件系统阶段特点12（三）数据库管理阶段特点（1）面向全组织的复杂的数据结构，具有整体的结构性（2）用综合的方法组织数据（3）数据具有较高的独立性（4）可控数据冗余度（5）数据共享性（6）统一数据控制功能（三）数据库管理阶段特点13（三）数据库管理阶段政府数据库系统财政部门工商部门税务部门……（三）数据库管理阶段政府数据库系统财政部门工商部门税务部门…14三个阶段的区别三个阶段的区别15三个阶段的区别三个阶段的区别16三个阶段的区别三个阶段的区别17第二节数据库管理技术一、什么是数据库二、数据库系统三、数据库的分类四、数据库技术的研究应用及发展方向五、电子政务中几种常用的数据库（政府网站的构建与运作）第二节数据库管理技术一、什么是数据库18数据库的基本概念：“型”和“值”的概念型（Type）对某一类数据的结构和属性的说明值（Value）是型的一个具体赋值例：学生记录为（学号、姓名、性别、系别、年龄），称为记录型，也称之为字段，而（001101，张立，男，计算机，20）称记录值，也称之为记录。数据库的基本概念：“型”和“值”的概念例：学生记录为（19第二节数据库管理技术一、什么是数据库数据库是存储数据的仓库，很明显它不同于一般意义上的仓库，它是按一定格式存储在计算机存储设备上的相关数据的集合，简言之就是统一管理的相关数据的集合。

第二节数据库管理技术一、什么是数据库20第二节数据库管理技术二、数据库系统数据库系统是实现有组织地、动态地存储大量关联数据，方便多用户访问的计算机化软件、硬件和数据资源组成的系统，即采用数据库技术的计算机系统。（一）数据库管理系统数据库建立数据库操作数据库查询数据库控制第二节数据库管理技术二、数据库系统21数据库最终用户应用系统数据库管理员(DBA)应用程序员应用开发工具DBMS操作系统数据库系统的组成图数据库最终用户应用系统数据库管理员应用程序员应用开发工具DB22第二节数据库管理技术（二）数据库管理数据库管理员(DataBaseAdministrator,DBA)管理内容:（1）参与数据库设计的全过程（2）决定数据库的存储于读取策略（3）定义数据的安全性和完整性（4）监督控制数据库的使用和运行，及时处理运行程序中出现的问题（5）改进和重新构造数据库第二节数据库管理技术（二）数据库管理23第二节数据库管理技术三、数据库的分类（一）层次数据库（二）网状数据库（三）关系数据库（四）面向对象的数据库第二节数据库管理技术三、数据库的分类24数据库的历史•数据库的历史就是数据模型的发展历史，典型的数据库模有：–1969年，层次数据库；–70年代初，网状数据库；–70年代后，关系型数据库取代了网状、层次；–80年代后，数据库技术与面向对象技术、多媒体技术，网络技术、人工智能技术相结合，使面向对象的关系型、数据库、多媒体数据库、分布式数据库成为新的发展趋势。数据库的历史•数据库的历史就是数据模型的发展历史，典型的数25第二节数据库管理技术四、数据库技术的研究应用及发展方向1）技术研究：集中管理和分布管理结合2）发展方向：多模式结合如c/s,b/s等模式结合第二节数据库管理技术四、数据库技术的研究应用及发展方向26第二节数据库管理技术五、电子政务中几种常用的数据库（政府网站的构建与运作）（一）Oracle：甲骨文公司出品:大型平台（二）DB2:IBM公式出品：大型平台（三）Sybase：Sybase出品：大型平台（四）MicrosoftSQLServer：中型平台（五）informix：大型平台（六）MySQL：小型平台第二节数据库管理技术五、电子政务中几种常用的数据库（政府网27第三节多媒体数据管理技术一、什么是多媒体数据管理技术二、常用的多媒体数据管理技术三、高效、实用的多媒体数据管理模式四、多媒体数据检索技术第三节多媒体数据管理技术一、什么是多媒体数据管理技术28第四节数据仓库及商务智能技术一、什么是数据仓库二、数据仓库的体系结构三、数据仓库的特征四、商务智能技术第四节数据仓库及商务智能技术一、什么是数据仓库29数据仓库的概念数据库是一个装数据（信息的原材料）的地方。数据仓库是一种系统，这种系统也是用数据库装东西。数据仓库系统（用数据库装东西）与其他基础业务系统（例如财务系统、销售系统、人力资源系统等，也是用数据库装东西）的区别是：基础业务系统的特点是各管各的，例如财务系统生产了白菜，那么用一个数据库来装，人力资源系统生产了猪肉，再用一个数据库来装。我要做一道菜，需要分别到各个数据库去取，比较麻烦（现实的情况是大部分时候让种菜的农民伯伯送过来，但送过来的东西不一定是我想要的，而且不同的时候我想要不同的东西，经常会被农民伯伯骂，弄得双方都不开心）。另外一方面，各个数据库中放的是一些比较原始的东西，我要拿过来做菜，还需要经过很麻烦的清洗过程，一不小心里面可能就藏着一条大青虫。那么，数据仓库系统就是建立一个大的超市，将各地农民伯伯出产的东西收集过来，清洗干净，分门别类地放好。这样，你要哪种菜的时候，直接从超市里面拿就可以了。数据仓库的概念数据库是一个装数据（信息的原材料）的地方。30第五节XML与内容管理一、XML（一）XML简介XML全称为ExtensibleMarkupLanguage,即可扩展的标记语言。（二）XML语法（三）XML在电子政务中的应用二、内容管理（一）内容管理的基本概念（二）内容管理体系的基本功能结构（三）内容服务的关键技术（四）内容管理和知识管理的比较第五节XML与内容管理一、XML31了解XML的原因随着Web文件越来越大，越来越复杂，HTML暴露出几个方面的缺陷：①扩展性很差，不允许用户设定自己文件的标签或者属性；②不支持描述数据库和面向对象层次的深层结构规范；③不支持检查输入数据合法性的语言规范。这些特性严重限制了它的应用。所以XML（extensiblemarkuplanguage）应运而生了解XML的原因随着Web文件越来越大，越来越复杂，HTML32XML是SGML的一个子集，其设计目标是使SGML能够像HTML一样通过Web发送、接收与处理，它充分利用SGML特征并且简单易用，保留了SGML80％的功能，却使复杂度降低了20%.XML文件可以独立于Internet存在，其平台无关性将对Web产生巨大的影响。XML保留了SGML在可扩展性、结构以及数据确认方面的主要优点，可支持建立用户定义的Web文件类型。XML文件与HTML相比，XML在以下3个方面都予以改进：①信息提供者能根据需要自行地定义新的标识及属性名；②XML的描述具有结构性，文件结构的嵌套可任意复杂；③应用程序不用外部定义概念就可以检查XML文档结构的正确性和有效性。XML文档由字符数据（characterdata）和标记（markup）组成。一方面，利用XML可以生成各种用于不同目的的元数据：导航图、内容评价、流路径、定义、著者等。另一方面XML被广泛应用于文件及元数据格式的编码，成为众多元数据格式的基础，如“频道定义格式”(CDF),“源内容框架”(MCF),“资源描述框架”(RDF),“因特网内容选择平台，"(PICS),"Web集合”(Webcollections)。XML是SGML的一个子集，其设计目标是使SGML能够像HT33XMLGMLSGMLHTMLXML很难懂的语言，能对数据进行约束比较容易懂，提供了大量的预定义标记，对数据无法约束结合HTML和SGML，能对数据进行约束，可自定义标记XMLGMLSGMLHTMLXML很难懂的语言，能对数据进行34数据交换Web服务内容管理Web集成系统配置.............XMLXML数据交换Web服务内容管理Web集成系统配置........35XML的应用背景信息孤岛问题所谓“信息孤岛”，就是指相互之间在功能上不关联，信息不共享、不交换，以及存在信息资源与业务流程和应用相脱节的计算机应用系统，又称为烟囱式系统。有各种各样的信息孤岛，如企业内部的信息孤岛、政府内部的信息孤岛、行业内或行业间的信息孤岛等。必须建立一种跨平台、能打破信息孤岛的内容管理系统（或平台），无论企业有多少个应用系统和多少内容，也无论这些内容存放在何处，谁在更新或使用这些内容，都可以借助这个平台对所用内容进行转换、重新定向和提供。这样，企业才能真正有效地利用自己内部的所有信息和数据，这对于大企业集团尤其重要。XML的应用背景信息孤岛问题36内容管理的含义内容管理是指对各种非结构化或半结构化的信息资源的采集、加工、传递和利用，并集成到结构化数据的商业智能环境中。它包括记录管理、文档管理、数据管理、网站内容管理等，突破了传统的办公自动化、MIS,ERP,CRM以及工作流管理等系统的应用范围、使用效果，覆盖了内联网、外联网和因特网上的资源和应用。内容管理就是要在使用端建立一个跨系统、跨平台的系统，让各种操作系统、应用系统、数据库（如Windows,Linux,LotusNotes,MicrosoftOffice）等都能在这个跨平台的系统上运行，让人力资源管理、销售、营销等不同部门和不同需求的用户都能使用它。

XML的应用背景内容管理的含义XML的应用背景37内容管理内容管理的目标就是要解决信息分析、过滤、阅读权限和安全管理等问题，实现从内容采集、创建、传播到分析等整个产业价值链的整合。内容管理平台（系统）要以信息共享为目的，面向海量信息处理，集信息数字化、分布式存储、管理、传播、查询为一体的管理平台。XML的应用背景内容管理XML的应用背景38电子政务理论与技术主讲：马国峰电子政务理论与技术主讲：马国峰39第八章电子政务数据管理技术学习重点数据管理技术的发展阶段及各个阶段的特点几种典型的数据库产品多媒体数据的特点及管理技术多媒体数据的检索技术数据仓库的原理及体系结构XML技术内容管理的理念及技术第八章电子政务数据管理技术学习重点40第八章电子政务数据管理技术第一节数据管理概念第二节数据库管理技术第三节多媒体数据管理技术第四节数据仓库及商务智能技术第五节XML与内容管理第八章电子政务数据管理技术第一节数据管理概念41第一节数据管理概念一、什么是数据管理数据：在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。

数据处理时将科研领域、生产领域和经济领域等的原始数据运用一定的工具转换成所需的另一种形式的数据，是人们对数据进行收集、组织、存储、加工、传递和利用等一系列活动的总和。第一节数据管理概念一、什么是数据管理42第一节数据管理概念数据管理技术的发展阶段数据管理经历了人工管理、文件管理、数据库管理三个阶段。每一阶段的发展以数据存储冗余不断减小、数据独立性不断增强、数据操作更加方便和简单为标志，各有各的特点。在应用的驱动下，在计算机硬件、软件发展的基础上，有了如下数据管理的三个阶段：人工管理阶段文件系统阶段数据库系统阶段第一节数据管理概念数据管理技术的发展阶段43数据冗余:在一个数据集合中重复的数据称为数据冗余数据独立性包括数据的物理独立性和逻辑独立性。物理独立性：物理独立性是指用户的应用程序与存储在磁盘上的数据库中数据是相互独立的。逻辑独立性逻辑独立性是指用户的应用程序与数据库的逻辑结构是相互独立的，即，当数据的逻辑结构改变时，用户程序也可以不变。数据冗余:在一个数据集合中重复的数据称为数据冗余44（一）手工管理阶段财政部门财政部门数据集工商部门工商部门数据集财政部门财政部门数据集（一）手工管理阶段财政部门财政部门数据集工商部门工商部门数据45（一）手工管理阶段（一）手工管理阶段46（一）人工管理阶段特点1（1）数据不保存，数据最小，数据无结构由于数据是面向应用程序的，在一个程序中定义的数据，无法被其他程序利用，因此程序与程序之间存在大量的重复数据。（2）用户直接管理，且数据缺乏逻辑组织（3）没有软件系统对数据进行管理数据管理任务，包括存储结构、存储方法、输入输出方法等完全由计算机自负其责。这就给应用程序设计人员增加了很大的负担。（4）只有程序概念，没有文件的概念（5）一组数据对应一个程序，数据是面向应用的，缺乏独立性（6）数据与程序不具有独立性一组数据对应一组程序。这就使得程序依赖于数据，如果数据的类型、格式或者数据量、存取方法、输入输出方式等改变了，程序必须做相应的修改。（一）人工管理阶段特点147（二）文件管理文件系统财政部门工商部门税务部门财政部门数据集财政部门数据集财政部门数据集（二）文件管理文件系统财政部门工商部门税务部门财政部门数据集48（二）文件管理阶段（二）文件管理阶段49（二）文件系统阶段特点（1）数据可以长期保存在计算机外存上，可以被反复处理，并支持文件的查询，修改、插入和删除等操作（2）有软件（文件系统）对数据进行管理，程序和数据有了一定的独立性（数据不再属于某个特定的程序，可以重复使用）（3）文件的形式多样化（4）文件系统实现了记录内的结构化，数据的存取基本上以记录为单位，但从文件的整体来看确实无结构的（5）数据共享性仍然不高，且数据冗余度大，管理和维护的代价也很大（二）文件系统阶段特点50（三）数据库管理阶段特点（1）面向全组织的复杂的数据结构，具有整体的结构性（2）用综合的方法组织数据（3）数据具有较高的独立性（4）可控数据冗余度（5）数据共享性（6）统一数据控制功能（三）数据库管理阶段特点51（三）数据库管理阶段政府数据库系统财政部门工商部门税务部门……（三）数据库管理阶段政府数据库系统财政部门工商部门税务部门…52三个阶段的区别三个阶段的区别53三个阶段的区别三个阶段的区别54三个阶段的区别三个阶段的区别55第二节数据库管理技术一、什么是数据库二、数据库系统三、数据库的分类四、数据库技术的研究应用及发展方向五、电子政务中几种常用的数据库（政府网站的构建与运作）第二节数据库管理技术一、什么是数据库56数据库的基本概念：“型”和“值”的概念型（Type）对某一类数据的结构和属性的说明值（Value）是型的一个具体赋值例：学生记录为（学号、姓名、性别、系别、年龄），称为记录型，也称之为字段，而（001101，张立，男，计算机，20）称记录值，也称之为记录。数据库的基本概念：“型”和“值”的概念例：学生记录为（57第二节数据库管理技术一、什么是数据库数据库是存储数据的仓库，很明显它不同于一般意义上的仓库，它是按一定格式存储在计算机存储设备上的相关数据的集合，简言之就是统一管理的相关数据的集合。

第二节数据库管理技术一、什么是数据库58第二节数据库管理技术二、数据库系统数据库系统是实现有组织地、动态地存储大量关联数据，方便多用户访问的计算机化软件、硬件和数据资源组成的系统，即采用数据库技术的计算机系统。（一）数据库管理系统数据库建立数据库操作数据库查询数据库控制第二节数据库管理技术二、数据库系统59数据库最终用户应用系统数据库管理员(DBA)应用程序员应用开发工具DBMS操作系统数据库系统的组成图数据库最终用户应用系统数据库管理员应用程序员应用开发工具DB60第二节数据库管理技术（二）数据库管理数据库管理员(DataBaseAdministrator,DBA)管理内容:（1）参与数据库设计的全过程（2）决定数据库的存储于读取策略（3）定义数据的安全性和完整性（4）监督控制数据库的使用和运行，及时处理运行程序中出现的问题（5）改进和重新构造数据库第二节数据库管理技术（二）数据库管理61第二节数据库管理技术三、数据库的分类（一）层次数据库（二）网状数据库（三）关系数据库（四）面向对象的数据库第二节数据库管理技术三、数据库的分类62数据库的历史•数据库的历史就是数据模型的发展历史，典型的数据库模有：–1969年，层次数据库；–70年代初，网状数据库；–70年代后，关系型数据库取代了网状、层次；–80年代后，数据库技术与面向对象技术、多媒体技术，网络技术、人工智能技术相结合，使面向对象的关系型、数据库、多媒体数据库、分布式数据库成为新的发展趋势。数据库的历史•数据库的历史就是数据模型的发展历史，典型的数63第二节数据库管理技术四、数据库技术的研究应用及发展方向1）技术研究：集中管理和分布管理结合2）发展方向：多模式结合如c/s,b/s等模式结合第二节数据库管理技术四、数据库技术的研究应用及发展方向64第二节数据库管理技术五、电子政务中几种常用的数据库（政府网站的构建与运作）（一）Oracle：甲骨文公司出品:大型平台（二）DB2:IBM公式出品：大型平台（三）Sybase：Sybase出品：大型平台（四）MicrosoftSQLServer：中型平台（五）informix：大型平台（六）MySQL：小型平台第二节数据库管理技术五、电子政务中几种常用的数据库（政府网65第三节多媒体数据管理技术一、什么是多媒体数据管理技术二、常用的多媒体数据管理技术三、高效、实用的多媒体数据管理模式四、多媒体数据检索技术第三节多媒体数据管理技术一、什么是多媒体数据管理技术66第四节数据仓库及商务智能技术一、什么是数据仓库二、数据仓库的体系结构三、数据仓库的特征四、商务智能技术第四节数据仓库及商务智能技术一、什么是数据仓库67数据仓库的概念数据库是一个装数据（信息的原材料）的地方。数据仓库是一种系统，这种系统也是用数据库装东西。数据仓库系统（用数据库装东西）与其他基础业务系统（例如财务系统、销售系统、人力资源系统等，也是用数据库装东西）的区别是：基础业务系统的特点是各管各的，例如财务系统生产了白菜，那么用一个数据库来装，人力资源系统生产了猪肉，再用一个数据库来装。我要做一道菜，需要分别到各个数据库去取，比较麻烦（现实的情况是大部分时候让种菜的农民伯伯送过来，但送过来的东西不一定是我想要的，而且不同的时候我想要不同的东西，经常会被农民伯伯骂，弄得双方都不开心）。另外一方面，各个数据库中放的是一些比较原始的东西，我要拿过来做菜，还需要经过很麻烦的清洗过程，一不小心里面可能就藏着一条大青虫。那么，数据仓库系统就是建立一个大的超市，将各地农民伯伯出产的东西收集过来，清洗干净，分门别类地放好。这样，你要哪种菜的时候，直接从超市里面拿就可以了。数据仓库的概念数据库是一个装数据（信息的原材料）的地方。68第五节XML与内容管理一、XML（一）XML简介XML全称为ExtensibleMarkupLanguage,即可扩展的标记语言。（二）XML语法（三）XML在电子政务中的应用二、内容管理（一）内容管理的基本概念（二）内容管理体系的基本功能结构（三）内容服务的关键技术（四）内容管理和知识管理的比较第五节XML与内容管理一、XML69了解XML的原因随着Web文件越来越大，越来越复杂，HTML暴露出几个方面的缺陷：①扩展性很差，不允许用户设定自己文件的标签或者属性；②不支持描述数据库和面向对象层次的深层结构规范；③不支持检查输入数据合法性的语言规范。这些特性严重限制了它的应用。所以XML（extensiblemarkuplanguage）应运而生了解XML的原因随着Web文件越来越大，越来越复杂，HTML70XML是SGML的一个子集，其设计目标是使SGML能够像HTML一样通过Web发送、接收与处理，它充分利用SGML特征并且简单易用，保留了SGML80％的功能，却使复杂度降低了20%.XML文件可以独立于Internet存在，其平台无关性将对Web产生巨大的影响。XML保留了SGML在可扩展性、结构以及数据确认方面的主要优点，可支持建立用户定义的Web文件类型。XML文件与HTML相比，XML在以下3个方面都予以改进：①信息提供者能根据需要自行地定义新的标识及属性名；②XML的描述具有结构性，文件结构的嵌套可任意复杂；③应用程序不用外部定义概念就可以检查XML文档结构的正确性和有效性。XML文档由字符数据（characterdata）和标记（markup）组成。一方面，利用XML