校园数据共享平台的软件工程设计与实现

校园数据共享平台的软件工程设计与实现本人认为校园数据共享平台的建立，在管理层面上确定了全校的数据标准，使用统一规范的标准去建立核心业务系统，逐步以服务代替了管理；在数据层面上实现了数据的共享，消除了业务系统间的“数据孤岛”，逐步迭代掉了老化和功能低下的业务系统；在业务层面上改变了原本数据导入导出的数据维护模式，打破了业务系统之间的壁垒，逐步淡化了业务部门边界。第1章绪论1.1数字化校园建设背景随着计算机技术的日益普及，各行各业的信息化发展突飞猛进。其中，教育行业作为社会的重要组成部分，教育信息化与企业信息化、政府信息化一起组成了国家信息化发展的三个核心。并且，教育作为教书育人的重要行业，应当在教与学的过程中更好地运用先进技术，发挥前沿优势。因此，教育信息化应当是信息化发展的重中之重，对于教育行业而言，引入信息化手段，可以更加有效地促进教育的发展，有效的提高学校的管理手段。早在20世纪60年代，国外信息化的理念便开始产生，主要以日本学者梅田忠夫在《信息产业论》中率先提出“信息化”概念为标志，“教育信息化”的概念直到在20世纪90年代才开始被关注。在1990年，美国的克莱蒙特大学教授凯尼斯.格林发起的“信息化校园计划”被普遍认为是“高校信息化”的第一步，也是“数字化校园”理念的最早雏形。直到1998年美国前总统戈尔发表关于“数字地球：二十一世纪认识地球的方式，演讲之后，相继出现“数字城市”、“数字校园”的思想和概念。因此，从广义上讲，教育信息化的发展略早于数字化校园的建设，并且范围更广，涵盖了数字化校园建设的相关内容。教育信息化的发展主要经历了基础物理线路搭建、业务系统集成、信息的整合与服务的集成三个阶段，对于基础物理线路的建设，由于长期基础工作的积累，一边进行校园建设一边修正过去的网络建设方案，使得基础网络建设日渐成熟，逐步转为向软件服务的技术支撑。然而，对于业务系统的部署，则大多是由各个业务部门主导，自主建立的分散的、标准不一的系统。这些业务系统上线时间不一、标准规范不同，厂家对系统的维护程度也不同，因此，各个业务系统皆存在“各自为政”情况。.............................1.2国内外研究现状现阶段国内外各大高校的信息化进程大部分都集中在数字化校园建设阶段，即“信息的整合与服务的集成”阶段。作为全球信息化发展较为领先的美国，更加注重数字化校园建设的效率，2000年前后便成立了ITS信息技术服务部门，针对校级的信息化建设统一规划和部署实施，对业务系统使用统一标准的数据库作为底层数据支撑，同时配置统一的中间件、标准的数据和系统开发接口，从而为校园内数据的整合和数据的标准规范提供技术支撑。同时期的英国、日本等发达国家的高校与美国教育信息化发展水平相当，逐步探讨和研究出新的教育信息化的格局。统一规划、整合资源后的数据平台与统一身份认证平台一起服务于教学、考试、在线答疑等，真正做到以师生需求为导向、应用为核心、数据流转为驱动的应用场景。我国高校的教育信息化发展，整体起步稍晚于美英日等发达国家。随着2002年5月高校数字化校园建设工作研讨会在中山大学的召开，标志着我国高校教育信息化发展进入了一个崭新阶段一一数字化校园建设阶段，逐渐从硬件网络设施建设转变到以应用为核心的资源整合上来。这一阶段主要面对的是基于现有业务系统的数据的整合和应用的集成，需要将零散的业务系统从数据层面逐渐整合到一起，结合现在较为流行的大数据及云存储，把数据统一抽取到数据中心，并进行梳理和整合，去除数据中的冗余，实现数据的共享、数据仓库及数据分析等功能，逐步实现教育信息化到数字化校园的过渡。作为国内高校的翘楚，清华大学早在2007年便率先提出了新一代数字校园建设和发展的规划，提出了数字化校园建设要以用户服务为核心、以信息资源整合为目标、实现跨部门数据流转的新理念，强调了应用环境的关联性和数据环境的集成性。在此基础上，清华大学用了近一年的时间，对数字资源进行了自顶向下的整体设计，将业务系统进行了数据的整合和汇总，从而建立起现代化的教学支撑平台。..........................第2章校园数据共享平台需求分析2.1数据共享平台概述2.1.1数据共享平台项目背景在校内业务系统的逻辑架构之上建立数据共享平台，其中涉及到跨不同业务系统间异构数据库的数据整合和汇总。平台遵循标准的数据规范，对从各个系统中抽取来的数据进行数据转换。同时，根据建立的数据标准，在平台内部建立起与各业务系统相对应的数据子集，实现数据的汇总。在数据共享平台中，对汇总后的数据进行统一的权限管理和数据字段的梳理。将数据共享平台与目标数据库关联，配置相关的权限，进行数据的抽取和推送操作。对于数据共享平台而言，主要用来解决“数据孤岛”的问题，将不同业务系统的数据打通，以数据流的形式，实现相关数据的转换、汇总和流转功能，平台本身并不具备生产数据的能力。2.1.2统一数据标准，建立数据规范通过统一的数据标准和数据交换规范，建立起一套符合ESB的数据共享和交换机制，根据国家标准形成科学的数据规范，保证信息在采集、转换、传输的过程中有统一的、规范的分类和描述，能够使数据资源更加有序流通，并且能够最大程度上发挥出信息资源的综合效益。1.确定组织机构及编码规则：通过召开校级主要领导会议，确定校内的组织机构、部门名称以及校区之间组织机构的相互关系。确定校内组织的编码方式，明确教职工工号的编码规则，确保编码规则的一致性。考虑到编码规则的可扩展性，要有足够的预留码供今后使用，应对实时更新的需求。对于已部署上线、陈旧的业务系统，其中己有的数据将保持原有编码规则不变，通过系统内部对组织架构的调整，使其与校级组织机构匹配。对于新建的业务系统，统一按照校内组织机构代码的规范来创建组织机构，划分部门层级，保证组织机构的一致性。.....................2.2可行性研究目前的数据共享平台的建设思路，并不是使用新的平台替代已有系统，而是对现有系统的整合，使用一套身份信息验证登陆，在同一界面显示不同系统的信息，建立单个系统数据库之间的关联。在软件即服务的理念下，校级的信息化建设，应当改变以往业务系统只为了本部门日常工作和数据管理而开发部署的思想，将服务对象由业务部门转变成了全校师生。项目的可行性具体如下：1.技术可行性：（1）基于面向服务架构的设计理念，采用组件化开发的框架，基于J2EE标准，建立分布式的集成平台。通过标准的接口对接，将异构的数据库集成到统一的平台下。（2）基于WEB2.0技术，建立统一的ｗｅｂ界面，方便查看数据的汇总和相关操作，将数据以元数据和数据集的方式展现出来。（3）基于EAI（企业应用集成），使用ｗｅｂ服务标准、中间件及其接口实现消息的传递，通过构建中间表或视图的方式同步数据库中的相关字段实现数据的整合。（4）基于ETL的理念，实现数据的抽取、装载、转换等操作。使用ODI、触发器及定时器等工具对数据库进行操作，实现数据的流转。图2-1数字化校园项目中统一身份认证、信息门户、数据共享三大平台用例图.......................第3章校园数据共享平台架构设计.................213.1数据共享平台设计目标和原则.................213.2数据共享平台架构设计.................21第4章校园数据共享平台详细设计.................274.1数据共享平台技术概况................274.2数据共享平台的表结构及其设计.....................34第5章校园数据共享平台实现与测试....................555.1数据共享平台总体实现.................555.1.1数据共享平台的实现过程........................555.1.2数据共享平台的实现结果......................68第4章校园数据共享平台详细设计4.1数据共享平台技术概况按照已经制定的数据标准建立数据共享平台，保证校级业务系统的数据整合和共享。通过数据共享平台，对数据进行抽取、转换、清洗和加载到数据库的操作。这种数据之间的流转，可分为实时和非实时的数据交换服务。这里的ETL操作，主要是针对结构化数据和关系型数据库。1.结构化数据库和关系型数据库数据在结构和存储方面分为结构化数据、半结构化数据和非结构化数据三类。其中结构化数据指的是使用传统的二维表的逻辑架构和存储模式下有固定结构的数据；半结构化数据是结构化数据的一种表现形式，可以使用可扩展标记语言和轻量级的数据交换格式这两种标记语言来表示和存储数据；非结构化数据是文档、图片、音/视频等不能使用确定结构存储的数据，通常将其整体转换成二进制的数据格式进行存储。在保证原有数据库完整性和独立性的情况下，可以使用中间件技术实现数据的透明访问、集中和共享。中间件是在操作系统和应用程序之间部署的软件或服务，针对分布式系统下不同的业务系统间相互协作，可以实现基于不同操作系统间的资源整合和数据共享。中间件的加入，使不同的业务系统和异构的数据库相对于数据共享和交换变得统一和规则。..........................第6章结论通过近三年的调研、部署、实施和完善，直到2017年，校园数据共享平台逐步建立并使用起来。初步实现了以下功能：1.数据共享平台的建立，实现资源共享和数据同步，打破了传统业务系统之间的壁垒，通过数据共享平台将各个系统的数据连接起来，统一管理各系统的历史数据，并通过数据流的方式将业务系统之间的数据流转起来；2.通过将业务系统中的部分数据展示出来，促进了各部门对各自业务的梳理和对各自系统的自检自查，校验了学校业务系统数据的及时性、准确性和正确性；3.这是数字化校园建设的初步尝试，是软件即服务理念下的系统整合。整个项目的建设，初步探索了信息化服务的新道路，改变了以往将服务对象对准业务部门的思想，让广大师生参与进来，共统完成数字化校园的建设。同时，这也可以为高校教育信息化的可持续建设和发展奠定基础。4.通过校园共享数据平台的建立，加强了各职能部门对信息化的普及程