新一代数字校园的数据环境建设

新一代数字校园的数据环境建设清华大学计算机与信息管理中心蒋东兴jdx@/二○○七年六月第一页，共62页。第一页，共62页。提纲新一代数字校园建设理念高校信息化进入信息集成阶段新一代数字校园建设理念顶层设计方法与信息资源规划集成数据环境建设探索数据管理的实践第二页，共62页。第二页，共62页。高校信息化进入信息集成阶段系统集成很少考虑数据共享应用集成要求数据交换信息集成需要数据整合第三页，共62页。第三页，共62页。高校信息化进入信息集成阶段在信息集成阶段，用户对信息服务的要求越来越高：对业务的信息化支持更加深入：“局部信息化”->“全面信息化”简单的“数据管理”->“电子校务”、“决策支持”信息化关注的重心发生转移：关注应用系统的功能；关注业务部门管理的数据；关注以用户为核心的信息服务。第四页，共62页。第四页，共62页。高校信息化进入信息集成阶段然而，我们面临的却是多年来积累的大量分散的信息系统与数据——孤立而不关联的数据库；缺乏全局的数据视图；缺乏统一的信息标准；缺乏统一的数据管理。第五页，共62页。第五页，共62页。高校信息化进入信息集成阶段彻底消除信息孤岛，有效整合现有、及未来的业务系统的数据已成为当前信息化建设的重中之重！第六页，共62页。第六页，共62页。新一代数字校园建设理念新一代数字校园的特征：以用户为核心组织信息资源与服务，以提高用户工作效率为目的；以信息资源的开发、共享、利用为目标建设信息系统，充分发挥信息资源的作用；增加对于教学、科研活动的支持；增加对于业务过程的支持，实现信息的采集、加工、管理与利用的全过程（双向交互的电子校务）；加强对于信息的综合利用，如统计、分析、评价、决策支持；以构建与现实校园有机衔接的数字空间为重心，实现跨部门的校级业务系统；加强顶层设计，建设一体化数字校园；注重流程整合，贯通现实与数字空间。第七页，共62页。第七页，共62页。新一代数字校园建设理念新一代数字校园建设目标：以人为本的用户环境：建立按需访问的用户界面；建立个性化的用户应用环境；建立全局的用户权限模型。关联的应用环境：业务系统的合理划分，系统间的规范访问；跨业务系统的信息内容关联、管理流程关联、信息服务关联，实现全局畅通的信息流。第八页，共62页。第八页，共62页。新一代数字校园建设理念新一代数字校园建设目标：集成的数据环境：运行数据库——支持教学、科研、管理与服务根据职能域划分主题数据库，按主题数据库存储、管理，实现数据的集成化与有序性；建立数据元标准，建立全局（语义）数据视图，确保数据的标准化与准确性；建立畅通的数据共享机制，实现全局数据交换与共享，保持数据的高度一致性；数据仓库——决策支持归档数据库——历史归档高可用的运行环境：机房、网络、服务器、备份、安全、数据库、系统软件、应用软件、……第九页，共62页。第九页，共62页。新一代数字校园建设理念新一代数字校园建设思路：通过信息资源规划，加强顶层设计；建立高校的业务模型、功能模型、数据模型、用户模型、权限模型、信息模型和数据标准；强化统一建设，设计统一的系统架构；数据、流程、技术，信息系统三要素；通过三要素的分离，实现业务与技术发展的无关性，达到良好的可扩展性；整合数据资源，构建集成数据环境；分析用户行为，规划良好的用户环境；充分了解用户需求，建立以人为本的用户环境。第十页，共62页。第十页，共62页。数字校园顶层设计流程第十一页，共62页。第十一页，共62页。IRP｜全校业务模型第十二页，共62页。第十二页，共62页。IRP-全校职能域划分第十三页，共62页。第十三页，共62页。IRP-全校职能域划分序号职能域名职能域描述涉及部门1决策域学校发展规划；规章制定；学科规划与评估校务委员会、专业委员会、党办、校办、党办、政策研究室2学生域学生从招生；入学；在校培养；毕业的全程管理本招办、研招办、、留学生办、学生处、研究生工作部、就业中心、物业中心（住宿）、各院系3教学域教学活动；教学管理研究生院、教务处、注册中心、各院系4人力资源域教工招聘、入校；职称；酬金；干部任免；党派；出国；户籍；离退休人事处、离退休处、组织部、统战部、国际合作与交流处（部分）、保卫部（部分）、各院系5科研域全校科研项目管理；科研合同管理；科研成果管理；科研机构管理；科研交流与协作科研院、文科处、各院系6财务域学校所有的经费业务财务处、结算中心（后勤会计核算中心）、会计核算中心、审计室、各院系7资产域全校国有资产管理；实验室及其设备管理；房产管理实验室与设备处、房产处、各院系8思想文化建设域思想教育；文化宣传宣传部、新闻中心、国际合作与交流处（部分）、各院系9学术支撑域信息化建设；信息管理；信息交流与服务图书馆、计算中心、网络中心、电教中心、学报、信息服务室10后勤保障域对教工、学生的后勤支援总务办、基建处、工会、校医院、物业中心、饮食中心、保卫部（部分）11档案域人事档案；科研档案；文书档案档案馆12社会服务域以继续教育学生为主体的教学服务活动；对外科研咨询服务；国内外校友联络教培处、继续教育学院、科技开发部、各院系、校友会第十四页，共62页。第十四页，共62页。IRP

|

一级数据流图第十五页，共62页。第十五页，共62页。IRP｜二级数据流图第十六页，共62页。第十六页，共62页。IRP｜学生管理域功能模型第十七页，共62页。第十七页，共62页。IRP

|

全域数据模型第十八页，共62页。第十八页，共62页。提纲新一代数字校园建设理念集成数据环境建设探索数据整合的几种方案关于最终目标的探讨集成数据环境的探索数据管理的实践第十九页，共62页。第十九页，共62页。数据整合的几种方案限制：接口数量按照系统数量的指数增长开发和维护费用高数据传输需不同的技术不同系统中的数据不一致学籍人事图书馆后勤接口数量=(n2-n)/2新系统“岛网式”数据整合：增加新的系统会增加新的分散数据、新的接口第二十页，共62页。第二十页，共62页。数据整合的几种方案方法：以EAI等方式完成数据传输通过元数据描述数据的逻辑映射和转换关系优势：减少接口数量限制：不同系统中数据依然不一致元数据的数量按照系统数的指数增长EAI性能有限－只适合小量数据传输接口数量=n元数据描述的数据转换=(n2-n)/2新系统增加新的系统仍然会增加新的分散数据EAI/逻辑映射学籍人事图书馆后勤“岛链式”数据整合：第二十一页，共62页。第二十一页，共62页。限制：谁来管理DataHub？数据整合的几种方案方法：以统一的数据模型将整合后的数据集中存储在数据中心(DataHub)中原有各系统保留各自数据，与数据中心同步优势：减少接口数量DataHub成为向未来全面统一数据、统一存储的过渡新的应用可以直接建立在DataHub上，避免进一步产生重复的数据DataHub新系统新的系统建立在DataHub之上，不会产生新的分散数据学籍人事图书馆后勤“大岛式”数据整合：接口数量=n元数据描述的数据转换=n第二十二页，共62页。第二十二页，共62页。关于最终目标的探讨方法：将所有关键信息整合在一个数据库中优势：减少接口数量简化数据定义和转化的元数据整个校园内只有一份主数据(MasterData)，没有重复各系统通过共享的数据达到完全、实时的交互突破系统间数据交换的性能瓶颈接口数量=n元数据描述的数据转换=n新系统新的系统可以直接建立在整合后的数据之上，不会产生新的分散数据整合的主数据学籍人事图书馆后勤数据整合最终目标：？如何实现第二十三页，共62页。第二十三页，共62页。关于最终目标的探讨有效的数据整合需要解决的问题——数据源问题：来自不同部门、不同系统的数据谁是权威数据？数据组织问题：数据标准如何落实到数据组织？如何建立和维护一个集成有序的全局数据库，保证数据的完整性与唯一性？数据共享问题：不同系统之间的数据如何充分共享，保证数据的一致性？“完全的信息共享就是完全的依赖”，如何解耦？数据管理问题：如何实现数据全生命周期的管理？第二十四页，共62页。第二十四页，共62页。关于最终目标的探讨如何进行有效数据整合？要在信息资源规划的指导之下，对学校各类信息的采集、处理、传输、利用进行全面分析与规划；通过梳理学校业务流程，搞清信息需求，建立学校的业务模型、功能模型、数据模型和信息标准，用这些标准和模型来指导现有的信息系统改造、优化或选购；通过整体数据规划建立起结构稳定、信息全面、更新及时的共享数据库，真正实现学校各应用系统间数据的流动、共享和应用；通过建立集成数据环境，实现学校业务数据的有机组织和管理。第二十五页，共62页。第二十五页，共62页。集成数据环境的探索建设目标：通过集成数据环境对数据进行有序组织和集中管理，实现学校数据管理的标准化、集成化、权威化，确保数据的完整性、一致性、有序性、共享性和可管理性；为业务系统和最终用户提供方便、高效、安全的数据存储和访问服务。第二十六页，共62页。第二十六页，共62页。集成数据环境的探索建设内容：建立和维护统一的数据标准，并且落实数据标准的使用；按职能域划分，以主题数据库模式组织数据，建设集成化、标准化、权威化的运行数据库，以保证全校所有业务数据的有序性、准确性和一致性，确保数据的质量；建立全局的数据共享机制，实现全域范围内的数据共享，解决信息孤岛问题；第二十七页，共62页。第二十七页，共62页。集成数据环境的探索建设内容：逐步建立数据仓库：对一些主题数据库进行萃取和深加工，形成各个职能域的数据集市，并通过业务间的有机联系，将各个数据集市关联起来，为高层查询和辅助决策提供良好的数据基础；建立归档数据库：主动将一些历史的数据实施归档管理，以优化运行环境，有效地降低数据运行的成本，实现数据的全生命周期管理；建立完善数据的安全管理机制，建设高效可靠的数据库管理系统、数据备份和容灾系统、数据审计系统，确保数据安全；建立系列数据管理制度和技术规范，为全生命周期的数据管理建立保障机制。第二十八页，共62页。第二十八页，共62页。集成数据环境的探索一个模型一套标准三类数据库一个共享平台一套支撑软件一套管理和技术规范集成数据环境组成示意图第二十九页，共62页。第二十九页，共62页。集成数据环境的探索一个模型：根据信息资源规划，划分不同的职能域，分析各职能域数据流程，建立各职能数据模型；综合各职能域数据模型，通过分析、归纳、提炼与整合，建立全域的数据模型；基于全域的数据模型，为应用系统的数据库规划和设计提供指导，实现全域数据的统一管理。第三十页，共62页。第三十页，共62页。全域数据模型第三十一页，共62页。第三十一页，共62页。集成数据环境的探索一套标准：根据《CELTS-33高等学校管理信息标准》，建立学校统一的数据标准，确保所有业务系统的数据的标准化；通过统一数据标准的实施，实现全域数据规范的一致性，保障业务系统之间数据的可共享和交换性。第三十二页，共62页。第三十二页，共62页。CELTS-33的体系结构高等学校管理信息标准管理数据集通用/标准数据子集代码集学校管理数据子集学生管理数据子集教学管理数据子集教职工管理数据子集科研管理数据子集财务管理数据子集资产与设备管理数据子集办公管理数据子集第三十三页，共62页。第三十三页，共62页。集成数据环境的探索三类数据库：运行数据库—支持教学、科研、管理与服务各职能域的数据按主题数据库进行组织，通过数据模型定义的关联构成全局共享数据库，实现数据的集成化与有序性；业务系统建立在整合的全局共享数据库之上；数据仓库—决策支持根据业务需求，建立若干数据仓库和数据集市，对信息进行深加工，为管理部门提供数据挖掘和决策支持；统计分析与决策支持系统建立在数据仓库之上，即可减轻运行库的压力，又可提高辅助决策数据的质量；归档数据库—历史归档建立一个专用的数据归档环境，实现历史数据的归档和迁移，既保障归档数据的安全，又保证运行环境的效率。第三十四页，共62页。第三十四页，共62页。运行数据库第三十五页，共62页。第三十五页，共62页。数据仓库第三十六页，共62页。第三十六页，共62页。数据归档1.运行库减肥2.法规遵从归档数据1、只读2、加密3、长期保存运行数据数据备份运行数据备份数据备份数据数据备份数据恢复数据恢复归档数据库检索工具第三十七页，共62页。第三十七页，共62页。集成数据环境的探索一个数据共享与交换平台：在职能域内部，业务系统直接访问主题数据库；在职能域之间，通过数据共享与交换平台，实现各职能域之间的数据共享与交换；采用主题数据库＋数据共享与交换平台的方案，实现了——全局统一的共享数据库，构成了逻辑上的全域主数据库；各职能域之间的业务系统不直接跨域访问数据，降低了数据的耦合程度，切断了跨域的“脏”数据传播。第三十八页，共62页。第三十八页，共62页。集成数据环境的探索一套支撑软件：采用先进、成熟的DBMS/DWMS管理系统，确保数据存储和访问的高效、可靠；建立完备的备份和容灾体系，确保数据存储的安全；建立完善的数据审计管理体系，保证数据访问的安全。第三十九页，共62页。第三十九页，共62页。集成数据环境的探索一套管理和技术规范：建立一套行之有效的数据管理规范和策略，以保证科学的数据组织和安全的数据存储及使用：数据库设计数据库运行和维护数据备份与恢复数据容灾数据归档数据安全……第四十页，共62页。第四十页，共62页。提纲新一代数字校园建设理念集成数据环境建设探索数据管理的实践建立数据管理体系模型与标准建设数据库建设保障措施与管理规范建设第四十一页，共62页。第四十一页，共62页。建立数据管理体系有了高水平的数据环境，还需要有完整的数据管理体系：要建立学校数据信息的收集、维护与发布的管理机制，并建立全局的数据字典；要建立数据管理部门，明确数据管理部门的职责，确定数据管理人员的职务及其在学校中的地位与作用；要制定维护数据环境的完善的管理规章制度，并严格的落实执行；要重视数据管理的长期性和复杂性，要使之作为学校管理的重要组成部分。第四十二页，共62页。第四十二页，共62页。建立数据管理体系建立了如下的数据管理部门：数据工作小组数据库设计小组数据库管理小组用户服务小组第四十三页，共62页。第四十三页，共62页。建立数据管理体系数据工作小组：数据标准管理根据CELTS-33HEMIS标准，制定学校的管理信息标准，并且在标准的实施过程中不断地修订和完善，以保持标准的完整性和前瞻性；建立和维护全局的数据字典；负责监督标准执行情况，保证数据标准的实施；数据库设计规范管理制定数据库设计规范，统一索引/主键/外键使用原则，加强数据SQL优化；制定数据对象设计规范、命名规范，包括表、视图、存储过程等；文档管理和技术培训数据管理相关文档统一管理和维护；组织数据库设计、规范、标准等技术培训。第四十四页，共62页。第四十四页，共62页。建立数据管理体系数据库设计小组：基于学校的IRP划分的不同主题，定义主题数据库模型；制定数据的共享和交换方案，建设数据的共享和交换平台；定义数据仓库和数据集市模型；设计逻辑数据结构，根据数据标准对设计结果进行审查；制定数据的归档方案，部分业务系统实现一定程度的归档；制定数据库结构过渡方案。第四十五页，共62页。第四十五页，共62页。建立数据管理体系数据库管理小组：负责数据库/数据仓库的日常运行和维护；维护数据共享和交换平台，实现业务系统的数据共享和交换需求；数据库/数据仓库(包括归档库)物理设计；数据库/数据仓库的实施与运行维护；ETL平台的建设和维护；数据审计平台的建设和维护；数据容灾、数据备份与恢复体系的建设与维护。第四十六页，共62页。第四十六页，共62页。建立数据管理体系用户服务小组：协助用户进行数据处理，包括数据清理、转换、查询、统计等。第四十七页，共62页。第四十七页，共62页。模型与标准建设进行了清华大学信息资源规划，将学校划分为12个职能域，在每个职能域内划分不同的主题，规划相应的主题数据库；利用985二期子项目“现代化教学支撑平台”建设的机会，对教学域和学生域进行了重点设计，全部基于主题对数据库进行规划、建模和实施。第四十八页，共62页。第四十八页，共62页。模型与标准建设数据标准建设根据《CELTS-33高等学校管理信息标准》（CD1.1）建立了《清华大学管理信息标准》，包括数据标准和代码标准两部分；数据标准应用所有共享库严格遵循标准；所有业务数据库基于标准，可以根据业务需要对标准进行扩充；数据标准的审核和维护由数据工作小组审核数据库设计是否遵循数据标准，以及维护数据标准本身。第四十九页，共62页。第四十九页，共62页。数据库建设职能域内数据库建设模型第五十页，共62页。第五十页，共62页。数据库建设域内逐步减少交换，增加共享域间交换为主，不轻易共享，减少耦合基于主题相对稳定逐步完善全域数据库建设模型：第五十一页，共62页。第五十一页，共62页。数据库建设数据仓库实践——学科建设评估项目：数据仓库管理系统：Oracle10g()维度建模工具：PowerDesignerETL工具：OWB+PL/SQL数据展示工具：Oracleawm第五十二页，共62页。第五十二页，共62页。数据库建设学术队伍主题维度模型：第五十三页，共62页。第五十三页，共62页。数据库建设从年龄、学历角度分析教师人数：第五十四页，共62页。第五十四页，共62页。数据库建设从性别、籍贯角度分析教师人数：第五十五页，共62页。第五十五页，共62页。保障措施与管理规范建设运行及备份环境：数据库管理系统Oracle10G+RAC；数据仓库管理系统Oracle10G；数据库的备份与恢复体系根据各个应用系统对数据备份的需求，对数据库备份进行整体规划，制定合理的备份策略；根据不同版本Oracle数据库，采用相应的备份和恢复技术，包括物理备份、逻辑备份、Oracle10g闪回查询等。设计数据中心数据库的备份方案，实现对多个数据库备份的统一管理；制定数据库备份和恢复的管理制度等。

第五十六页，共62页。第五十六页，共62页。保障措施与管理规范