新一代数字校园的数据环境建设ppt课件.ppt

新一代数字校园的数据环境建设,1,提纲,新一代数字校园建设理念高校信息化进入信息集成阶段新一代数字校园建设理念顶层设计方法与信息资源规划集成数据环境建设探索数据管理的实践,2,高校信息化进入信息集成阶段,系统集成很少考虑数据共享,应用集成要求数据交换,信息集成需要数据整合,3,高校信息化进入信息集成阶段,在信息集成阶段，用户对信息服务的要求越来越高：对业务的信息化支持更加深入：“局部信息化”-“全面信息化”简单的“数据管理”-“电子校务”、“决策支持”信息化关注的重心发生转移：关注应用系统的功能；关注业务部门管理的数据；关注以用户为核心的信息服务。,4,高校信息化进入信息集成阶段,然而，我们面临的却是多年来积累的大量分散的信息系统与数据孤立而不关联的数据库；缺乏全局的数据视图；缺乏统一的信息标准；缺乏统一的数据管理。,5,高校信息化进入信息集成阶段,彻底消除信息孤岛，有效整合现有、及未来的业务系统的数据已成为当前信息化建设的重中之重！,6,新一代数字校园建设理念,新一代数字校园的特征：以用户为核心组织信息资源与服务，以提高用户工作效率为目的；以信息资源的开发、共享、利用为目标建设信息系统，充分发挥信息资源的作用；增加对于教学、科研活动的支持；增加对于业务过程的支持，实现信息的采集、加工、管理与利用的全过程（双向交互的电子校务）；加强对于信息的综合利用，如统计、分析、评价、决策支持；以构建与现实校园有机衔接的数字空间为重心，实现跨部门的校级业务系统；加强顶层设计，建设一体化数字校园；注重流程整合，贯通现实与数字空间。,7,新一代数字校园建设理念,新一代数字校园建设目标：以人为本的用户环境：建立按需访问的用户界面；建立个性化的用户应用环境；建立全局的用户权限模型。关联的应用环境：业务系统的合理划分，系统间的规范访问；跨业务系统的信息内容关联、管理流程关联、信息服务关联，实现全局畅通的信息流。,8,新一代数字校园建设理念,新一代数字校园建设目标：集成的数据环境：运行数据库支持教学、科研、管理与服务根据职能域划分主题数据库，按主题数据库存储、管理，实现数据的集成化与有序性；建立数据元标准，建立全局（语义）数据视图，确保数据的标准化与准确性；建立畅通的数据共享机制，实现全局数据交换与共享，保持数据的高度一致性；数据仓库决策支持归档数据库历史归档高可用的运行环境：机房、网络、服务器、备份、安全、数据库、系统软件、应用软件、,9,新一代数字校园建设理念,新一代数字校园建设思路：通过信息资源规划，加强顶层设计；建立高校的业务模型、功能模型、数据模型、用户模型、权限模型、信息模型和数据标准；强化统一建设，设计统一的系统架构；数据、流程、技术，信息系统三要素；通过三要素的分离，实现业务与技术发展的无关性，达到良好的可扩展性；整合数据资源，构建集成数据环境；分析用户行为，规划良好的用户环境；充分了解用户需求，建立以人为本的用户环境。,10,数字校园顶层设计流程,11,IRP全校业务模型,12,IRP-全校职能域划分,13,IRP-全校职能域划分,14,IRP|一级数据流图,15,IRP二级数据流图,16,IRP学生管理域功能模型,17,IRP|全域数据模型,18,提纲,新一代数字校园建设理念集成数据环境建设探索数据整合的几种方案关于最终目标的探讨集成数据环境的探索数据管理的实践,19,数据整合的几种方案,限制：接口数量按照系统数量的指数增长开发和维护费用高数据传输需不同的技术不同系统中的数据不一致,接口数量=(n2-n)/2,“岛网式”数据整合：,增加新的系统会增加新的分散数据、新的接口,20,数据整合的几种方案,方法：以EAI等方式完成数据传输通过元数据描述数据的逻辑映射和转换关系优势：减少接口数量限制：不同系统中数据依然不一致元数据的数量按照系统数的指数增长EAI性能有限只适合小量数据传输,接口数量=n元数据描述的数据转换=(n2-n)/2,增加新的系统仍然会增加新的分散数据,“岛链式”数据整合：,21,限制：谁来管理DataHub？,数据整合的几种方案,方法：以统一的数据模型将整合后的数据集中存储在数据中心(DataHub)中原有各系统保留各自数据，与数据中心同步优势：减少接口数量DataHub成为向未来全面统一数据、统一存储的过渡新的应用可以直接建立在DataHub上，避免进一步产生重复的数据,DataHub,新的系统建立在DataHub之上，不会产生新的分散数据,“大岛式”数据整合：,接口数量=n元数据描述的数据转换=n,22,关于最终目标的探讨,方法：将所有关键信息整合在一个数据库中优势：减少接口数量简化数据定义和转化的元数据整个校园内只有一份主数据(MasterData)，没有重复各系统通过共享的数据达到完全、实时的交互突破系统间数据交换的性能瓶颈,接口数量=n元数据描述的数据转换=n,新的系统可以直接建立在整合后的数据之上，不会产生新的分散数据,数据整合最终目标：,？如何实现,23,关于最终目标的探讨,有效的数据整合需要解决的问题数据源问题：来自不同部门、不同系统的数据谁是权威数据？数据组织问题：数据标准如何落实到数据组织？如何建立和维护一个集成有序的全局数据库，保证数据的完整性与唯一性？数据共享问题：不同系统之间的数据如何充分共享，保证数据的一致性？“完全的信息共享就是完全的依赖”，如何解耦？数据管理问题：如何实现数据全生命周期的管理？,24,关于最终目标的探讨,如何进行有效数据整合？要在信息资源规划的指导之下，对学校各类信息的采集、处理、传输、利用进行全面分析与规划；通过梳理学校业务流程，搞清信息需求，建立学校的业务模型、功能模型、数据模型和信息标准，用这些标准和模型来指导现有的信息系统改造、优化或选购；通过整体数据规划建立起结构稳定、信息全面、更新及时的共享数据库，真正实现学校各应用系统间数据的流动、共享和应用；通过建立集成数据环境，实现学校业务数据的有机组织和管理。,25,集成数据环境的探索,建设目标：通过集成数据环境对数据进行有序组织和集中管理，实现学校数据管理的标准化、集成化、权威化，确保数据的完整性、一致性、有序性、共享性和可管理性；为业务系统和最终用户提供方便、高效、安全的数据存储和访问服务。,26,集成数据环境的探索,建设内容：建立和维护统一的数据标准，并且落实数据标准的使用；按职能域划分，以主题数据库模式组织数据，建设集成化、标准化、权威化的运行数据库，以保证全校所有业务数据的有序性、准确性和一致性，确保数据的质量；建立全局的数据共享机制，实现全域范围内的数据共享，解决信息孤岛问题；,27,集成数据环境的探索,建设内容：逐步建立数据仓库：对一些主题数据库进行萃取和深加工，形成各个职能域的数据集市，并通过业务间的有机联系，将各个数据集市关联起来，为高层查询和辅助决策提供良好的数据基础；建立归档数据库：主动将一些历史的数据实施归档管理，以优化运行环境，有效地降低数据运行的成本，实现数据的全生命周期管理；建立完善数据的安全管理机制，建设高效可靠的数据库管理系统、数据备份和容灾系统、数据审计系统，确保数据安全；建立系列数据管理制度和技术规范，为全生命周期的数据管理建立保障机制。,28,集成数据环境的探索,一个模型一套标准三类数据库,一个共享平台一套支撑软件一套管理和技术规范,集成数据环境组成示意图,29,集成数据环境的探索,一个模型：根据信息资源规划，划分不同的职能域，分析各职能域数据流程，建立各职能数据模型；综合各职能域数据模型，通过分析、归纳、提炼与整合，建立全域的数据模型；基于全域的数据模型，为应用系统的数据库规划和设计提供指导，实现全域数据的统一管理。,30,全域数据模型,31,集成数据环境的探索,一套标准：根据CELTS-33高等学校管理信息标准，建立学校统一的数据标准，确保所有业务系统的数据的标准化；通过统一数据标准的实施，实现全域数据规范的一致性，保障业务系统之间数据的可共享和交换性。,32,CELTS-33的体系结构,高等学校管理信息标准,管理数据集,通用/标准数据子集,代码集,学校管理数据子集,学生管理数据子集,教学管理数据子集,教职工管理数据子集,科研管理数据子集,财务管理数据子集,资产与设备管理数据子集,办公管理数据子集,33,集成数据环境的探索,三类数据库：运行数据库支持教学、科研、管理与服务各职能域的数据按主题数据库进行组织，通过数据模型定义的关联构成全局共享数据库，实现数据的集成化与有序性；业务系统建立在整合的全局共享数据库之上；数据仓库决策支持根据业务需求，建立若干数据仓库和数据集市，对信息进行深加工，为管理部门提供数据挖掘和决策支持；统计分析与决策支持系统建立在数据仓库之上，即可减轻运行库的压力，又可提高辅助决策数据的质量；归档数据库历史归档建立一个专用的数据归档环境，实现历史数据的归档和迁移，既保障归档数据的安全，又保证运行环境的效率。,34,运行数据库,35,数据仓库,36,数据归档1.运行库减肥2.法规遵从,归档数据1、只读2、加密3、长期保存,运行数据,数据备份,运行数据,备份数据,备份数据,数据备份,数据恢复,数据恢复,归档数据库,检索工具,37,集成数据环境的探索,一个数据共享与交换平台：在职能域内部，业务系统直接访问主题数据库；在职能域之间，通过数据共享与交换平台，实现各职能域之间的数据共享与交换；采用主题数据库数据共享与交换平台的方案，实现了全局统一的共享数据库，构成了逻辑上的全域主数据库；各职能域之间的业务系统不直接跨域访问数据，降低了数据的耦合程度，切断了跨域的“脏”数据传播。,38,集成数据环境的探索,一套支撑软件：采用先进、成熟的DBMS/DWMS管理系统，确保数据存储和访问的高效、可靠；建立完备的备份和容灾体系，确保数据存储的安全；建立完善的数据审计管理体系，保证数据访问的安全。,39,集成数据环境的探索,一套管理和技术规范：建立一套行之有效的数据管理规范和策略，以保证科学的数据组织和安全的数据存储及使用：数据库设计数据库运行和维护数据备份与恢复数据容灾数据归档数据安全,40,提纲,新一代数字校园建设理念集成数据环境建设探索数据管理的实践建立数据管理体系模型与标准建设数据库建设保障措施与管理规范建设,41,建立数据管理体系,有了高水平的数据环境，还需要有完整的数据管理体系：要建立学校数据信息的收集、维护与发布的管理机制，并建立全局的数据字典；要建立数据管理部门，明确数据管理部门的职责，确定数据管理人员的职务及其在学校中的地位与作用；要制定维护数据环境的完善的管理规章制度，并严格的落实执行；要重视数据管理的长期性和复杂性，要使之作为学校管理的重要组成部分。,42,建立数据管理体系,建立了如下的数据管理部门：数据工作小组数据库设计小组数据库管理小组用户服务小组,43,建立数据管理体系,数据工作小组：数据标准管理根据CELTS-33HEMIS标准，制定学校的管理信息标准，并且在标准的实施过程中不断地修订和完善，以保持标准的完整性和前瞻性；建立和维护全局的数据字典；负责监督标准执行情况，保证数据标准的实施；数据库设计规范管理制定数据库设计规范，统一索引/主键/外键使用原则，加强数据SQL优化；制定数据对象设计规范、命名规范，包括表、视图、存储过程等；文档管理和技术培训数据管理相关文档统一管理和维护；组织数据库设计、规范、标准等技术培训。,44,建立数据管理体系,数据库设计小组：基于学校的IRP划分的不同主题，定义主题数据库模型；制定数据的共享和交换方案，建设数据的共享和交换平台；定义数据仓库和数据集市模型；设计逻辑数据结构，根据数据标准对设计结果进行审查；制定数据的归档方案，部分业务系统实现一定程度的归档；制定数据库结构过渡方案。,45,建立数据管理体系,数据库管理小组：负责数据库/数据仓库的日常运行和维护；维护数据共享和交换平台，实现业务系统的数据共享和交换需求；数据库/数据仓库(包括归档库)物理设计；数据库/数据仓库的实施与运行维护；ETL平台的建设和维护；数据审计平台的建设和维护；数据容灾、数据备份与恢复体系的建设与维护。,46,建立数据管理体系,用户服务小组：协助用户进行数据处理，包括数据清理、转换、查询、统计等。,47,模型与标准建设,进行了清华大学信息资源规划，将学校划分为12个职能域，在每个职能域内划分不同的主题，规划相应的主题数据库；利用985二期子项目“现代化教学支撑平台”建设的机会，对教学域和学生域进行了重点设计，全部基于主题对数据库进行规划、建模和实施。,48,模型与标准建设,数据标准建设根据CELTS-33高等学校管理信息标准（CD1.1）建立了清华大学管理信息标准，包括数据标准和代码标准两部分；数据标准应用所有共享库严格遵循标准；所有业务数据库基于标准，可以根据业务需要对标准进行扩充；数据标准的审核和维护由数据工作小组审核数据库设计是否遵循数据标准，以及维护数据标准本身。,49,数据库建设,职能域内数据库建设模型,50,数据库建设,域内逐步减少交换，增加共享,域间交换为主，不轻易共享，减少耦合,基于主题相对稳定逐步完善,全域数据库建设模型：,51,数据库建设,数据仓库实践学科建设评估项目：数据仓库管理系统：Oracle10g(10.2.0.3)维度建模工具：PowerDesignerETL工具：OWB+PL/SQL数据展示工具：Oracleawm10.2.0.3,52,数据库建设,学术队伍主题维度模型：,53,数据库建设,从年龄、学历角度分析教师人数：,54,数据库建设,从性别、籍贯角度分析教师人数：,55,保障措施与管理规范建设,运行及备份环境：数据库管理系统Oracle10G+RAC；数据仓库管理系统Oracle10G；数据库的备份与恢复体系根据各个应用系统对数据备份的需求，对数据库备份进行整体规划，制定合理的备份策略；根据不同版本Oracle数据库，采用相应的备份和恢复技术，包括物