共享数据中心

共享数据中心目录共享数据中心 1术语和符号说明 11. 概述 21.1. 什么是共享数据中心 21.2. 数据共享的难点 21.3. 解决方案 31.3.1. 统一全校信息标准 31.3.2. 动态管理共享数据库 41.3.3. 严格管控共享数据库对外开放的接口 41.3.4. 通过DCI执行数据交换 52. 产品技术架构 52.1. 设计理念 52.2. 系统架构 73. 产品特色功能 73.1. 信息标准的数字化管理 73.2. 从元数据生成中心库的SQL语句 83.3. 逆向生成中心库元数据 83.4. 业务数据的无缝整合 83.5. 面向多层面的数据查询 83.6. 可订制的对外数据服务 93.7. 基于角色的用户权限控制 93.8. 标准数据的一键式导入导出 93.9. 标准的备份与还原 93.10. 完善的平台日志 103.11. 高效的监控手段 104. 产品功能体系 114.1. 共享数据中心平台 114.1.1. 信息标准体系 124.1.2. 共享数据库 134.1.3. 数据集成 134.1.4. 数据流分析 144.2. 管理工具 154.2.1. 信息标准管理 154.2.2. 中心库元数据管理 194.2.3. 数据查询 244.2.4. 数据服务管理 264.2.5. 系统管理 274.2.6. 监控中心 30概述什么是共享数据中心共享数据中心包括信息标准管理工具、共享中心库管理工具、数据服务管理工具，它与数据清洗转换中间件DCI一起协作实现各类应用管理系统间数据共享，逐渐形成全校权威数据中心库，是为部门领导、学校领导提供全面权威信息查询统计和数据挖掘分析的重要基础。数据共享的难点当前，各高校现有应用系统来源不同：主管部门下发、委托校外公司开发或自行开发，没有统一的数据标准，存在各种不同的数据存储方式和结构，在数据整合过程中造成了：系统间对称数据找不到映射规律，只能通过人工维护中间表；系统间有业务关联的数据因为使用了不同的基础数据表也不能直接链接，需要依赖于基础数据表间的关联关系……大量基础数据在各系统重复管理且没有进行同步，存在大量数据不一致，学校也难以确定以那个部门的数据为准。正是因为存在以上难题，现有数字校园厂商尽管都能提供相应的数据整合服务，但一方面，厂商数据整合成本高，只能为少数学校提供数据整合服务；另一方面，学校没有认识到信息孤岛间的数据整合重要性和难度，不肯花钱购买服务。最终导致目前我国大多数高校信息化仍然处于“信息孤岛”状态。解决方案统一全校信息标准信息标准的制定信息标准的内容应该满足：继承性《JYT1006_高等学校管理信息》是教育部为高等学校信息化制定的通用标准，各校信息标准应该参照该标准及其规范性引用的国家标准、行业标准、教育部其他标准。实用性为保证信息标准能够真正应用于学校的信息管理，各校需要根据高校信息化的实际情况动态扩增信息标准，包括本校自定义数据子集管理、本校自编代码子集管理。信息标准体系如下图所示：信息标准的应用通过元数据管理工具将数据标准中规定的数据项、数据子类生成数据库表、字段；在数据库设计过程中参照信息标准，这时信息标准可以当作数据字典使用。动态管理共享数据库标准化描述共享数据资源，让用户能够读懂共享数据及其结构，为用户管理共享数据库提供了有利条件。学校初建共享数据中心平台时，可以先满足旧系统间的数据交换，后续新建应用系统、综合统计查询、数据分析挖掘等功能时，可以通过元数据管理工具扩展共享数据库存储，再用数据清洗转换工具配置新的数据抽取作业，将数据抽取到共享数据库，最终达到灵活管控共享数据库的目的。严格管控共享数据库对外开放的接口共享数据库集中了全校丰富的数据，保证数据安全是共享数据中心正常运行的重要前提，因此需要严格管控共享数据库的写入、读取功能。产品可视化选择共享数据并结合数据操作功能，研制了数据接口设计工具及可视化授权管理功能帮助普通用户快速掌握共享数据库安全管理技能，自行维护本校共享数据中心读写权限。通过DCI执行数据交换通过信息标准管理、共享数据库管理，保证了共享数据的标准化存储设计，通过DCI（数据整合中间件）按照共享数据读写权限，将各应用系统的数据抽取到共享数据库或将共享数据库中的数据推送到各应用系统。产品技术架构设计理念康赛共享数据中心通过“统一全校信息标准”、“集中全校权威数据”、“规范化数据服务”三大功能体系，建立起高校“开放、灵活、可视化”的共享数据中心。“统一全校信息标准”全校信息标准是全校信息化数据字典，信息化项目之间通过使用同一套数据字典对公共数据达成统一认识，从而解决不同应用系统间信息共享时，数据“对不上”的问题。全校信息标准的建立遵循“循序渐进，逐步完善”的原则。“集中全校权威数据”遵循全校信息标准，结合元数据管理工具实现标准、开放的共享数据中心库设计。“规范化数据服务”为第三方系统提供可自定、统一规范的数据写入接口和数据查询接口，前者定义为数据推送服务，后者定义为数据查询服务。遵循“一数一源”原则设计数据服务、管理数据服务授权，并动态生成的数据服务说明文档。系统架构产品特色功能共享数据中心是学校业务数据共享与交换的重要枢纽，是学校业务数据和信息资源的有效整合的基础。包括信息标准管理工具、共享中心库管理工具、数据服务管理工具，它与数据交换平台一起协作实现各类应用管理系统间数据共享，逐渐形成全校权威数据中心库，是为部门领导、学校领导提供全面权威信息查询统计和数据挖掘分析的重要基础。共享数据中心的主要功能特色如下：信息标准的数字化管理系统提供了对教育部、省、市等教育主管部门制定各类教育信息化标准的集中管理，主要包括信息标准文档导入、查询、浏览；从EXECL导入信息标准到数据库表，并提供查询和浏览等功能；为学校领导以及信息化建设部门提供学校信息化系统设计、开发、实施等活动提供参照标准，为上级教育主管部门采集学校的教学活动信息奠定基础。从元数据生成中心库的SQL语句学校在开发新的应用系统时，在设计应用系统的数据库结构时，需要参照共享数据中心的结构等相关信息，康赛共享数据中心提供了从元数据生成创建中心库的SQL语句，为系统设计员设计应用系统参照中心库的结构提供方便；当学校新建立共享数据中心时，该功能为新建中心库提供了方便。逆向生成中心库元数据系统在设计共享数据中心时，考虑部分学校已有具有用于数据共享与交换的简易中心库，而没有对国家和学校信息标准管理的功能，同时更不具有对中心库的元数据进行管理能力。当学校需要采用康赛共享数据中心提升学校信息化水平时，利用中心库逆向元数据生成功能，容易将原有的中心库平滑地整合到现有共享数据中心。业务数据的无缝整合康赛共享数据中心结合自主研发的DCI，整合学校各业务系统的数据，将业务应用共享的基础数据转化成标准的、权威的数据，通过数据抽取或同步方法，将数据采集到共享数据中心，同时制作数据更新报告，定期分发推送到相关的应用系统。面向多层面的数据查询信息查询是应用系统的重要功能之一，康赛共享数据中心在设计中心库的查询功能时，既考虑到普通用户对中心数据浏览的需要，同时考虑到共享数据中心的系统管理员对数据复杂查询的需要。对普通用户提供了一键式的简易查询的数据浏览功能；同时为具有较好计算机技术基础的系统管理员提供了可灵活编辑SQL语句的查询处理功能。可订制的对外数据服务为了学校业务应用系统能访问共享数据中心的共享数据，共享数据中心的业务系统提供了WebService访问的数据服务接口。由于各应用业务系统需要访问共享数据中心的数据是不相同的，需要的访问服务接口也不一样，因此，共享数据中心管理员可以根据各应用系统的需求，灵活订制出符合业务系统需要的数据服务接口。基于角色的用户权限控制为了阻止非法用户访问共享数据中心的数据，共享数据中心提供了基于角色的授权访问控制策略。主要功能包括：创建用户及权限分配，系统功能资源的管理，角色创建以及权限分配，管理员可以将角色分配给用户，也可以直接将系统功能的使用权授予给用户，实现了用户授权简洁性和灵活性。标准数据的一键式导入导出相同类型的不同学校，参照或引用的教育主管部门颁布的信息标准相同，与信息标准相关的元数据也基本相同的。为了方便用户或实施人员快速部署共享数据中心，系统提供了信息标准及相关元数据的导出和导入功能。标准的备份与还原信息标准是共享数据中心的基础数据，大多数学校采用的教育主管部门的信息标准是相同的，学校自定义内部信息标准存在许多共性；同时与信息标准相关的元数据存在很大的相似性。为了方便用户使用，以及快速部署。系统提供了一键式的信息标准及元数据的备份与还原。完善的平台日志平台提供了系统安全日志、系统日志和事件日志，能全方位的记录平台运行状况，提供问题溯源机制。高效的监控手段平台提供图表等多形式的直观监控画面，对共享数据中心的性能、负荷和运行状态进行全方位的监控，并根据运行的监控结果进行智能分析，能有效提高监控质量，当故障发生时及时作出应急预警。产品功能体系共享数据中心平台数据中心是学院业务的重要枢纽，数据和资源的有效的交流与合作离不开数据中心。数据中心不但能提高机构的生产力，改善业务流程，还能加快变革的进程。数据中心已经成为IT部门优化、保护的战略重点，教育行业信息中心也成长为参与决策的重要部门。数据中心资源的整合和虚拟化正在不断发展，这需要高度可扩展的永续安全数据中心网络基础。网络不但能让用户安全访问各种数据中心服务，还能根据需要实现共享数据中心组件的部署、互联和汇聚，包括各种应用、服务器、设备和存储。适当规划的数据中心网络不仅能保护应用和数据完整性，提高应用可用性和性能，还能增强对不断变化的市场状况、业务重要程度和技术先进性的反应能力。建立统一的数据中心，解决数据无法及时更新，产生大量信息孤岛，数据重复采集、系统重复建设，无法获取地理信息资源的问题，将政府机关、事业单位的应用系统数据集中统一起来。学院建立统一共享数据中心作为校内基本数据的唯一共享平台，集中整理各个业务部门的基本数据，实现统一管理，保证数据的权威和准确，为各个业务应用系统和各类服务系统提供数据支持。共享数据库提供以下主要的功能：数据采集负责采集学校各个业务系统的数据，利用通用的数据抽取/同步工具将数据采集到共享数据中心，同时生成数据更新报告。数据的整理按照学校数字化校园制定的信息标准对更新的数据进行整理，报告数据异常，保证数据的一致性和准确性，保留历史数据。数据的共享对数据中心的部分或全部资源进行共享和利用。共享数据中心实时提供数据使用情况报告。数据的挖掘分析通过数据挖掘工具对共享数据和历史数据的分析和评估，形成各种报表或根据需要展现分析结果，为决策提供参考。信息标准体系构建高校共享数据中心，首先要关注的是信息的标准化问题。整个高校的数据表示需要按照一定的标准编码，方便校内数据和行业之间数据流通。目前存在国家标准、行业标准、市级标准和高校内部自己标准。如何根据这些标准，兼顾各个标准之间的兼容性，和标准的一致性，以及标准的可扩展性，给出具体高校的信息分类编码规格说明书成为高校共享数据中心建设的前提。目前在建数字化校园高校的数据标准一般分为基础代码数据标准、学校各信息子集信息标准、部门数据信息标准等。基础代码数据标准主要记录一些基础代码表，例如民族、籍贯等，这些通常有国家标准或相关权威部门的标准。学校各信息子集信息标准主要以教育部标准为主,部门数据信息标准是根据学校各信息子集标准然后结合学校的部门业务所产生的，该部分集中反映了学校各部门的业务信息标准，是信息标准的核心部分，各学校的差异也比较大。同时，康赛共享数据中心的信息子集管理提供了基于国家标准《高等教育管理信息标准》的参照标准：共享数据库共享数据中心的共享数据库是所有共享数据的存放容器，所有应用系统的共享数据在这里集成。它从数据源集成数据并保持更新同步，成为各个应用系统之间的共享数据通道。同时，他被用作统计分析服务的数据源，为统计分析服务提供从各个应用系统集成过来的共享数据。共享数据中心库通过数据集成工具从数据源的各个应用系统数据库抽取数据，并根据数据类型分类存储数据。康赛共享数据中心库支持市面上主流数据库。如：Oracle、IBMDB2、Sybase、MySQL、SQLServer、MSAccess等。数据集成共享数据中心库的数据是从多个数据源集成而来，对于数据符合数据规范应用系统，这个集成的过程就是数据抽取的过程；对于数据不符合数据规范的现有应用系统，集成的过程就是实现将不规范的数据源通过整合转化成规范的数据并保证数据的准确。数据集成的前提条件是对于每一个要接入的应用系统的数据源进行评估和调研。首先需要确定要从应用系统抽取哪些数据，提供相应的数据字典，并且确定对应于数据中心的数据表。数据源应具有可访问的数据接口，可接入的数据接口模式包括：1、直接开放数据库只需要只读的账户权限。需要在保证原有系统数据安全性和完整性，不影响原有系统。2、中间文件数据源如应用系统不能对外开放数据库，则可以导出差异数据文件到指定的位置。3、前置机数据库将原有系统数据定时备份至指定的前置数据库服务器，特别适用于网络隔离以及数据安全性高的数据环境。数据流分析学校的应用系统比较多，彼此间的数据交换和数据共享也是错综复杂。绘制了U/C矩阵，通过使用U/C矩阵的方式可以直观、形象、清晰的表现出一个过程对相关的一些数据的使用或者在这个过程中所产生的一些数据，从而进一步具体分析学校哪些部门产生哪些数据提供给数据中心，哪些部门需要从数据中心共享哪些数据，明确数据来源和流向。（“U”表示对数据信息的使用，“C”表示数据信息的提供或产生。）以教师的数据流向为例，U/C矩阵表如下图：管理工具信息标准管理信息标准的管理主要包括信息标准的创建、删除、修改、查看，信息标准内容的创建、删除、修改、查看，因为信息标准在制定或修改过程中不能公布，所以将未公布的、处于编辑状态下的信息标准定义为标准草案；将公布的、不能编辑的信息标准定义为执行标准。在制定各高校信息标准的过程中，可以查看并取用国家标准《高等教育管理信息标准》。由于该标准在各高校信息标准的制定过程中起到了参照作用，因此将其命名为参照标准。制定好的标准草案发布成为执行标准后，学校新建应用系统或旧系统升级都应该基于本校执行标准设计数据库结构。共享数据中心库将为各应用系统提供数据，尤其应该基于全校统一的信息标准，因此当执行标准更新时需要提醒中心库元数据管控中心更新信息标准。标准数据集管理创建数据子集、数据类、数据子类：创建数据项的界面如下图所示：值空间可以不限制，也可以进行取值限制、代码化：取值限制取值限制系统默认给出了日期、电子邮箱、url、电话号码、IP地址、身份证号、银行卡号。也可以根据实际情况自定义取值格式：代码化公共代码库管理公共代码库与数据集所不同的是，代码项一般只存储编码对象的代码、名称（、说明）。公共代码库按不同职能域将代码表划分为不同代码子集。创建代码子集、代码类：创建代码表的界面如下图所示：创建代码时，只按代码规则输入代码和名称即可：取用参照标准不管是创建数据子集、数据类、数据子类、数据项、代码子集、代码类或者代码表，都可以取用参照标准，取用成功后，相应的表单内容自动填写所要取用数据对象的内容及下级元数据：中心库元数据管理中心库数据集管理数据集按照不同职能域分为不同数据子集，如教学管理数据子集。数据子集按照职能域中的不同业务分为不同数据类，教学数据类可能是一张表，如排课数据类；也可能是多张表，如教学计划数据类又细分为计划课程子类、计划学分学时要求子类、总体计划子类。创建数据集时，按照以上逻辑关系分级创建：创建数据子集、数据类、数据子类：上图为创建数据子集、数据类、数据子类的界面，创建时，需要填写：是否为数据对象、中文简称、编号、描述信息、编辑部门。创建字段创建字段的界面如下图所示：创建字段时，需要填写：中文简称、字段名、长度、数据类型、值空间、约束、主键、索引、引用编码、业务说明。同一标准数据表中，中文简称、字段名不能重复。字段名规定为中文简称的大写首字母，当同一标准数据表中出现了相同的字段名，应该在大写首字母后补充出现的序号。编号是指本信息标准内各数据对象的唯一标识符，编号采用分层级的编码方式，即下级标准数据对象的编号前几位将继承上级标准数据对象的编号，如教学编号为GXJX，而教学计划数据类的编号为GXJX03。值空间可以不限制，也可以进行取值限制、代码化：取值限制取值限制系统默认给出了日期、电子邮箱、url、电话号码、IP地址、身份证号、银行卡号。也可以根据实际情况自定义取值格式：代码化中心库公共代码库管理公共代码库与数据集所不同的是，代码项一般只存储编码对象的代码、名称（、说明）。公共代码库按不同职能域将代码表划分为不同代码子集。创建流程如下图所示：共享数据中心公共代码库在系统初始化时自动生成，在公共代码库进行编辑。创建代码子集、代码类：创建时需要填写：名称、编号、描述信息、编制部门。名称在整个公共代码库中不能重复。创建代码表的界面如下图所示：创建时需要设置代码的编码规则：字段名称、编码类型、编码方式、编码长度、是否生成代码表、描述信息、编制部门。字段名称是指，当这个代码表中的内容需要进行分类时，应该从代码上将分类上下级关系确定出来。创建代码时，只按代码规则输入代码和名称即可：取用执行标准只有创建数据表、字段、代码表，代码才可以取用执行标准：取用成功后，相应的表单内容自动填写所要取用数据对象的内容并自动生成下级元数据。从已有中心库结构获取元数据从中心库读取数据表及表设计信息，并将其与标准元数据关联起来。如：将数据表移至数据子集或数据类中，再将数据表中的字段与已有标准进行关联。表数据查看在管理中心库元数据中的数据子类或数据表时，可以查看数据表中存储的数据，查看流程图下图所示：查看表数据的功能界面如下图所示：数据查询共享数据中心提供数据查询工具，系统管理员可以编写查询语句查询中心库数据。SQL编码区用户可通过SQL语句操作共享数据库中的数据。运行结果SQL编码区中的SQL语句操作结果可显示在此处。数据服务管理数据服务是指共享数据中心对第三方应用系统开放的数据查询接口，数据服务管理主要包括数据服务新增、删除、修改；应用系统管理；数据服务授权管理及数据服务调用。数据服务发布、停用只有处于发布状态下的数据服务才能被应用系统成功调用，只有处于停用状态下的数据服务才能进行修改、删除。数据服务创建成功后，处于发布状态，可以发布停用状态下的数据服务；可以停用发布状态的数据服务。应用系统安全信息管理创建应用系统信息时，需要输入以下信息：应用系统名称、IP地址。创建时的业务判断有，应用系统信息保存成功后，自动生成授权序列号。对应的应用系统在调用数据服务时需要提供该授权序列号。数据服务授权管理数据服务调用应用系统发起数据服务调用命令时，数据服务相关模块应该进行以下条件判断：授权信息判断：该应用系统是否从规定的IP发布调用命令、是否提供了正确的授权序列号、是否具有命令中的数据服务授权；数据服务是否发布，只有发布