东深数据资产平台白皮书

东深数据资产平台白皮书 6 6 7 8 9 10 10 11 11 11 13 13 13 13 15 16 17 18 18 19 20 21 22 23 23 23 25 26 27 28 28 29 29 29 30 31 32 33 33 34 34 34 35 35 36 37 38 38 38 39 40 41 41 42 43 43 44 45 45 45 46 46 47 47 47 49 51 51 53 54 54 541.1项目背景下行压力,近期中央密集部署新型基础设施建设,中共中央政治局常务委员会会议将推动高校数据中心迎来新的建设高潮,在此被背景下高校建设数据中心应避免“一哄而上”,需坚持科学规划与顶层设计，那么在“新基建”浪潮下,面向十四数据中心被纳入新基建后，本身被赋予新内涵，学校的长期发展数据中心的建设，高校新型数据中心需要更加普适地为师生的学习、教学作、科研、生活提供服务。面向数字经济时代的需求，高校新型数据中分满足云计算、大数据等技术和应用的发展需求，支撑学校各业务部门数据中心是高校智慧校园的基石，随着智慧校园建设的持续深入用和物联应用不断繁荣发展，整个学校每天产生的数据量与日俱增，科的采集、管理、应用好学校的各类数据是当前高校信息化建设的重中之型高校数据中能够推动算力提升孵化诸多创新，比如让“漫步在云端”术更快落地应用，助力高校科研创新；比如让“孕育于数字”的新需求大程度释放，让教师的教学管理效率更高，让学生的生活服务更加便捷新型数据中心建设要避免传统数据中心建设遇到的问题，包括行不严格带来的管理混乱，应用数据采集不全面带来的个别数据缺失量管理不到位带来的业务不通畅，数据服务开放不友好带来的数据应等问题。另外，对于数据资产管理平台、大数据存储计算平台、大数台这些相对成熟的设置，学校可以创造条件进行建设；对于人工智能这些还处于发展中的基础设置，应采取不同的策略，不提倡蜂拥而上1.2建设目标通过数据资产平台建设，解决部分数据的数据源缺失、数据项不据不准确等数据质量问题，从源头把控数据质量，形成良性的数据通过数据资产平台建设形成数据的常态化治理体系，构建校级服务动化运行监控、数据修改/问题反馈等机制，在数据资产、行为数上，量化分析与评价，驱动业务数据融合创新，推动数据建设1.3产品概述1.4建设原则数据资产管理平台建设从实际出发，遵循统一领导、相互协调；计、分步实施；互联互通、资源共享；突出重点、注重实效；技术数据资产管理平台规划和建设将在校领导及信息化工作小组统一领导下相按照国家和省市规定的运行机制，充分利用国内外大数据技术研究的成果，1.5产品诉求2、数据交换子系统如何实现了这个迫切的功能，并且达到了数据交换及可1.6设计理念支持完整的事务控制策略，跨数据库事务控制，保证数支持多数据源的多表对多数据源的多表的复杂支持数据过滤器，通过自定义的数据过滤器可以实现复杂的数据交换规则；2技术架构及体系2.1系统架构2.2架构介绍2.3运行环细设计内容3.1标准管理3.1.1代码标准1.支持查看代码变更记录，信息包括变更人.变更时间.变3.提供代码分类及代码管理功能，对代码分类及代级编码.本级编码.简码.标准类型.标准来源.代码名称.代码描述.编码方法.描述举3.1.2数据标准1.支持对数据项标准的搜索功能，可按照数据分类.数据表.审核状态.关键字3.提供数据分类及数据表管理功能，根据数据标准5.支持查看数据标准代码变更记录，信息包括变更人.变更时间.变更类型.变3.1.3版本管理3.1.4数据库建模6.支持对引用标准进行物理表核验，可以根据对物理表的7.支持根据创建人.创建时间.数据表名.引用标准名称等条件对数据库建模的3.2元数据管理3.2.1数据源管理4.支持数据对多数据源进行动态加载.动态切换使用.动态增删改及连接测试3.2.2元数据对象4.支持根据创建人.创建时间.数据表名.对象名称等条件对数据库建模的列表3.2.3元数据检测4.支持根据检测人.检测时间.检测对象名称等条件对元数据检测列表进行筛3.2.4元数据版本管理字段长度.默认值.是否主键.是否允许空值7.支持选择任意两个不同的版本进行差异对比，对比报告包3.2.5影响分析2.用户可以自行订阅元数据对象，当订阅的元数据发生变3.3数据集成管理3.3.1集成数据源管理4.支持数据对多数据源进行动态加载.动态切换使用.动态增删改及连接测试3.3.2结构化数据采集1.支持数据采集任务的新增.修改.删除及根据任务名称3.支持采集任务管理功能，通过添加业务数据表，型列。在任务列表中可以对选择任务进行相关操作，包括手动运行.自6.支持对当前库任务批量开启/关闭功能，用户对当前库.当前页面的采集任3.3.3自动化数据采集接口2.支持数据采集接口任务可以根据需要设置定时运行，按照分钟.小时.天.周.3.数据采集接口提供设置全量更新.增量更新.以时间戳的方式设置增量更新行状态.任务执行进度.开始时间.结束时间.总耗时.导入数据量.成功的数据量.失务状态；日志信息包括任务名称.所属系统.目标数据库名称.任务状态.开始时间.结束时间.耗时，可查看每条日志采集数据的详情，包括采集成功数.采集失败数表数据包括任务名称.目标数据库名称.采集开始时间.采集结束时间.新增数据量.更新数据量.删除数据量，提供通过.不通过操作，只有审核通过的数据才能正式3.3.4ETL建模3.支持常用的数据处理方式，需包含：去重.合并.过滤.替换.加密.求和.平均.3.3.5调度管理2.任务配置主要对调度任务进行添加.修改.删除，添加信息主要有调度名称.3.支持自定义配置调度任务，支持在调度任务中配3.3.6调度日志3.3.7实时计算6.支持对计算结果进行存储至MPP高性能分布式数据库，包括但不限于3.3.8数据导入2.支持导入数据审批功能，相关主管人员进入数据审批列3.支持对定义模板的增加.修改.删除及根据创建人.创建时间.模板名称3.4主数据管理3.4.1主数据库管理2.提供主数据整体情况汇总功能，默认根据当时截止时间3.支持查看主数据量变化趋势，提供主数据3.4.2开放接口管理3.提供接口测试功能。在线模拟接口请求功能，便3.4.3数据资产编目1.提供数据资产目录管理功能。支持对资产目录进行新增.编辑等维护操作，2.资产信息包括资源分类.资源名称.API接3.提供添加数据对象功能。支持根据从数据5.提供发布数据资产功能。选择欲发布上3.4.4数据资产查询1.展示数据资产中心数据信息，包括：数据总量.数据表总量.数据目录数.数4.支持数据目录的在线申请以及下载申请，申请信息填写页面，需要填写申3.4.5数据资产审核状态的申请列表。可进一步查看资产目录申请信息，包含基本信息.申请人.申请3.4.6个人资产中心2.支持查看本人申请的详情记录，包括接口名称.下载按钮.数据预览按钮.申3.4.7历史库管理2.支持查看备份清单中每个对象的最近备份状态.备份时间.备份版本数.不同3.5数据质量管理3.5.1检测对象管理2.支持对检测进行新增.修改.删除及根据创建人.创建时间.对象名称等条件进3.支持检测对象可以一次对单个或多个字段增加质4.支持手动对检测对象执行检测，系统能根据配置好的检测规则，启动执行3.5.2检测任务管理形式列出展示，支持根据创建人.创建时间.任3.执行检测任务后，系统自动按照配置的检测规则3.5.3检测规则管理1.支持检测规则的增加.修改.删除及根据创建人.创建2.支持预置以下检测规则：取值范围约束规则.非空检查规则.代码检查规则.唯一性检查规则.大小值检查规则.长度校验规则.及时性校验规则.电话号|手机号3.5.4检测历史查询以前的检测结果信息。检测历史信息列表主要有检测日期.检测项数.检测项3.5.5质量报告管理3.6数据安全管理3.6.1用户管理1.支持维护用户基本信息(姓名.类型.账号.性别.邮箱.电话号码.2.支持用户新增.修改.删除.查看及根据用户姓名.账号等条件进行筛选查询等3.6.2角色管理1.支持角色的新增.修改.删除.查看及根据角色名称2.角色权限控制支持菜单权限控制，支持根据不同角色自院系各级管理员.院系各口管理员等各类角色，除此之外还要提供超级管理员角4.支持角色的成员维护，能将角色赋予用户从而使该用户拥有相应的菜单及3.6.3组织机构管理3.6.4应用管理3.6.5外部接口管理2.主要接口参数需包含接口名称.业务系统名称.联系人.联系电话.联系人部门.3.6.6接口授权管理3.支持应用维度授权展示所有的应用列表，可以查3.6.7接口统计3.6.8接口日志1.支持接口调用日志记录功能，包括接口名称.接口类型.接口描述.接口调用3.6.9白名单3.6.10黑名单3.7数据运维管理3.7.1数据备份1.支持备份新增.修改.删除.查看及根据备份名称.创建时间.创建人等条件进5.可查看备份清单中每个对象的最近备份状态.备份时间.备份版本数.不同版3.7.2任务管理3.7.3任务日志3.7.4文件管理3.7.5运维监控1.支持对数据资产集群主机及组件的运行监控和管理，包括但不限于2.支持图形化配置功能，可管理平台下的各组件的配置项4.提供对底层架构组件进行运维管理功能。包括主机.H3.8数据分析与预警3.8.1结构化数据分析预警1.失联预警。通过校园卡消费情况.上网数据情况.图书借阅情况.学生请假情4.网瘾预警。通过上网时间.连续上网时长.日均上网时长.一周累计上网时长5.心理预警。通过学生的心理问卷普查情况.心理咨询情况.学业成绩.社交活归.未出寝.异常留宿等预警；支持查看全校宿舍异常行为预警学生名单，并对学7.疫情防控检测预警。通过疫情防控填报数据，对有确诊.现有无症状.现有发热.现有隔离.居家隔离.集中隔离.所在中高风险地区的3.8.2领导驾驶舱1.教育教学。分析内容围绕学生培养计划.学习兴趣.学习容包括：教授上课学时按院系分布.教授上课率.教授上部级教学成果获奖统计.教学成果获奖趋势.精品课程统计.教材建设统计.培养层布.年龄分布.性别分布.年龄分布.学历分布.任教类型分布.入校人数.人员来校趋3.学生概况。主要分析内容包括：各学院学生人数.年龄分布.生源地分布.性级项目数量.纵向项目数量.横向项目数量.纵向项目年度趋势.横向项目年度趋势.累计鉴定成果数量.不同鉴定类别成果分布.累计论文发表总数.年度论文发表数量.论文类型数.近五年发表日期趋势.累计著作权成果数量.各单位著作权成果分布.出版社排行.近五年出版日期趋势.累计专利成果数量.年度专利成果分布.累计量.年度采购资产值分布.进口资产统计分析.各部门拥有资产分布.资产类别分布.资产购入数量趋势.资产购入价格趋势.资产来源国别分布.资产来源统计.总床位比.消费类型占比.年度图书入馆数量分布.图书总量.年度人均借阅量.学生今年各月份图书借阅分布.教职工今年各月份图书借阅分布.本年度男女生借阅分布.本年度借阅总量.本年度热门图书TOP.本年度学生借阅总量.本年度教职工借阅总7.财务概况。内容包含财务收入.财务