融合式数据服务中台建设需求

融合式数据服务中台建设需求一、具体参数融合式数据服务中台招标参数产品名称功能模块详细技术指标要求融合式数据服务中台数据集成中心提供可视化的高效智能ETL工具，针对本项目实现将不同的校园软件业务系统、硬件设备、校园互联网数据的釆集。支持采集数据类型包括：http接口、FTP接口、webservice接口、oracle数据库、SQLServer数据库、mySQL数据库、流式数据采集、多格式数据采集（CVS、XML、Excel、ASN.1、自定义）、多协议数据采集（高性能关系型数据仓库、MPP分布式数据仓库、Hadoop）等。支持可视化釆集功能，并可以看到不同数据源抽取情况，并提供可视化数据釆集日志报告，以及整体釆集状态监控。结构化数据采集针对不同的业务数据釆集应支持増量釆集、采集频率管理、釆集日志管理、釆集调参等功能。半结构化数据采集应包含网页内容爬取和API接口内容爬取。支持查看所采集的API接口的数据情况。支持多个抽取任务发布到集群中并行处理，控制并发数和任务优先级。解析规则管理中解析规则类型应支持正则表达式和python两种类型。数据处理中心提供对数据进行预处理的整套工具，包括数据过滤、类型转换、文件拆分与合并、维度转换等，针对错误数据、重复数据、表合并、表拆分、多表关联等脏数据，主要通过数据清洗模块、数据集成模块以及数据分类模块中的处理工具进行数据清洗工作。同时支持对不可用数据提供数据处理规则配置，主要提供的数据转换规则设置包括：对数据进行计算、合并、拆分的规则配置、对空值替换规则的配置、对数据格式化规则的配置等；支持对数据处理过程的日志记录，记录的信息主要包括：元数据记录、转换后数据记录、运用的转换规则、转换的时间等内容；支持校验点，当外部数据记录特别庞大时，如果因为某种原因发生故障中断后，可以从最近的校验点开始恢复处理。数据处理组件内容包含：支持任意合理的数据格式转换，包括但不限于：时间类型的转换、字符编码转换；支持任意合理的数据类型转换；支持数据内容转换，如通过关联关系，将A数据源中的数据转换为数据源B中的数据；支持多字段的混合运算，运算规则可灵活配置，包括但不限于：sum、max、min、avg等；支持各种字符操作，包括但不限于：字符替换、字符截取、字符连接；支持记录和字段的抽取，支持对抽取的数据进行字段扩展；支持数据粒度的转换：将业务系统数据按照数据仓库粒度进行聚合。保证转换后的误差在规定的范围内；支持空值处理：捕获空值，根据规则替换为对应数据；支持数据格式化：统一数据源中同类数据的格式，具体包括时间、数值、字符、计量单位等数据；支持数据替换：根据规则用标准数据替换原来的数据，支持各种码表映射，例如用标准编码替换业务系统自定的编码；支持复杂条件过滤，过滤条件可灵活配置；支持脏读；支持环境变量动态修改；支持数据去重处理，可按照用户定义的规则自动判断重复数据，并按照用户定义的规则处理重复的数据；支持记录间合并、支持将一条记录按照可配置的规则拆分为多条记录，支持行、列变换；支持一个数据表中多个列的合并；支持跨异构数据库的关联；支持将多个异构数据表合并为一个表；支持将一个数据表拆分为多个数据表；支持多种规则排序；支持多种统计方式；具备度量衡等常用的转换函数；在转换过程中支持数据比较的功能；支持数据预览；支持数据清洗及标准化；支持按行、按列的分组聚合；具备良好的参数处理机制等；ETL处理过程支持各种字符集的转换；支持样品数据抽取。数据计算中心采用基于Hadoop生态圈的Flume日志系统进行实时流数据釆集，采用Yarn、Mesos或Zookeeper实现离线/实时数据流调度处理，通过实时流数据聚合，以Spark、Storm、Flink三种计算引擎实现离线、实时数据流计算功能，实现大数据实时计算与分析能力。针对实时性要求比较高的数据，支持对数据的实时釆集、实时计算、实时查询功能。数据存储中心基于改造后的分布式文件系统HDFS作为存储海量数据的分布式存储软件架构。支持Hive、Hbase、hdfs三种分布式存储技术，实现对数据仓库平台中的数据分类存储。提供Hadoop、Mysql、Oracle—体化异构数据仓库，并构建原始库、标准库、主题库三个主题数据库。提供ElasticSearch和自定义分片技术进行数据检索，同时提供数据聚合建模分析功能。釆用数据分片技术及并行入库的方式保证数据访问的高效率，同时保证数据仓库的无缝扩展及数据的可靠性要求。支持通过标准的SQL语句统一査询数据。数据运维中心数据仓库的图形化管理运维中心，负责平台中的用户管理、存储管理、集群管理和用户管理等工作，釆用图形化的工具，实现对节点的运维管理，同时支持平台性能、访问等异常告警功能并上报系统管理员，降低用户运维管理的技术难度。提供大数据平台的图形化配置功能，管理平台下的各组件的配置项，并自动维护组件间的記置依赖。提供大数据平台集群和服务的自动化故障诊断功能。数据资产管理平台数据资产公示数据公示：提供数据管理界面，展示学校数据资源情况，釆用高等职业院校人才培养工作状态数据的数据标准（教育行业标准JY/T1006—2012）和学院专有数据标准（校标）进行制定，包括数据资产的相关规范及学校可用于共享展示的数据字典信息，数据字典信息包含数据编号、数据项名、中文简称、类型、长度、约束、值空间、解释/举例、引用编号、备注（投标时需提供系统数据字典）；业务数据将按照系统数据分类及业务域分类信息展示，包含数据子集如下：学校概况：院校单位信息、班级数据、学科点数据、委员会领导小组信息；学生管理：学生信息、本专科新生、研究生信息、体检防疫、学籍信息、学位学历、实践活动、经济资助、社团协会、就业辅助等；教学管理：专业信息、课程信息、教学计划、排课信息、选课信息、教室管理、教材管理、教学成果、研究生专业培养方向、评教信息、考试安排等；教职工管理：教职工基本信息、教学科研、岗位职务、教职工考核、聘用管理、工资数据、离校数据、专家管理辅助、兼职数据、学习进修、住房数据等；科研管理：科研项目、科研机构、科研成果、学术交流；财务管理：财务数据、项目经费、往来账据、教职工个人收入、学生收费、票据信息；资产与设备管理：学校用地、学校建筑物、设施数据、实验室管理数据、仪器设备管理数据、图书期刊；办公管理：公文数据、收发文处理、公文保管、公文归档、网上信息发布、会议管理、公章管理、日常办公；外事（港澳台事务）管理：国境外院校及机构单位数据、来华留学数据、出国境留学工作数据、来访/出访数据、外籍专家数据、国际交流数据、国境内人员护照证件签证注管理、国境外人员证照变更；档案管理：文件实体、机构人员实体、业务实体、实体关系；高职院校专用数据子集：学校概况、教师管理、教学管理、实训管理、技能鉴定；支持通过全局列表查看所需数据，同时支持通过业务属性配置，展示数据的详细信息，支持查看数据表、表字段；支持对整体存储库中的数据进行统一管理；数据申请：我的收藏：支持用户在对不同业务系统和业务域的数据进行统一的调用申请。我的申请：支持业务部门向数据中心提交数据申请，通过数据公示网查看所需数据信息，可批量收藏所需数据，支持查看数据申请进度和数据审批的明细。我的审批：支持数据管理者进行数据审批管理，可查看数据申请详情，数据审批根据申请数据的共享级别进行数据审批管理，支持数据批量审批，审批通过后申请人可通过数据申请进度页面查看数据申请审批情况，也可通过审批页面查看数据审批明细。流程管理：支持根据定义好的流程条件对相关的数据信息进行审核，最终把审核结果返回给申请者和执行者，对审核通过的（或不通过）的数据进行处理。在流程执行过程中，支持管理员通过流程管理监控所有流程的执行，暂停或删除流程实例，如果流程设计需要更新，管理员可通过流程模型的编辑功能，调整流程的执行顺序，增加或删除流程的审批环节等操作，管理数据审核过程。发布流程：平台支持系统管理员进行流程发布，支持新建模型，可进行编辑与发布。流程定义：支持查看流程的状态、以及操作。其状态包括激活或挂起，操作包括可查看流程的流程图以及支持进行删除操作。流程实例：支持查看流程的状态、以及操作。状态包括激活或者挂起，操作主要支持删除和删除（包含历史）操作。系统管理：对整个数据资产管理平台进行日常运维管理操作。主要涵盖以下功能：数据资源配置、用户管理、角色权限管理、日志审计、部门管理、系统管理等。系统用户角色信息管理，支持对系统用户进行管理，分配用户角色，控制系统用户权限等信息。部门信息：学校部门信息维护，支持新增、修改、删除、查询部门名称。同时支持下钻查看具体的部门用户数，查看用户信息。用户信息：系统用户信息维护，支持新增、修改、删除、查询用户信息。支持分配角色、设置部门、停用账户以及重置密码。角色信息：为不同的用户分配角色信息，支持新增、修改、删除、查询角色信息。同时支持对菜单权限、元数据权限进行操作设置。系统设置：支持对系统LOGO、页脚、系统名称、元数据同步调度进行设置。操作日志：支持对用户账号、操作时间段进行查询具体用户操作的内容，保障系统的安全性。支持对操作次数进行下钻，可查看到操作明细，以及操作时间。大数据分析平台数据调研服务针对本次涉及到的12个系统的信息标准与规范调研：学生工作管理信息系统、迎新系统、教务管理系统、课堂教学质量评价系统、OA办事系统、图书馆管理系统、平安校园安全保卫运维管理系统、校园一卡通系统、科研管理系统、设备及固定资产管理系统、教学平台系统、人事管理系统等业务系统进行数据交换、应用、数据治理架构的搭建、需求调研，调研内容要求包括上述系统的基础情况、现有应用系统的数据状态、部门遇到的关于数据方面的工作难点、期望达到的数据分析效果等；数据对接1.本项目需支持与第三方教育应用系统的对接（数据库、数据字典收集、数据字段整理），支持范围至少包含：部门系统、厂商、部署情况、对应需求是否收集、原有数据中心对接情况、数据字典收集情况、数据库登录方式、管理员联系方式等；2.本项目需支持以下业务系统的数据采集：包括但不限于“学生工作管理信息系统（江苏金智）、迎新系统（江苏金智）、教务管理系统（正方教务）、课堂教学质量评价系统（尚强科技）、OA办事系统（北京致远）、人事管理系统（江苏达科）、图书馆管理系统（北京金盘）、平安校园安全保卫运维管理系统（海康威视等）、校园一卡通系统（正元智慧）、科研管理系统（易普拉格）、设备及固定资产管理系统（上海紫悦）、教学平台系统（超星教学平台）”；并分析以上第三方教育应用系统的业务数据、建立学校标准的数据中心数据表、对数据中心的数据进行挖掘再利用，以及常态化数据备份数据安全管理；基于学校现有数据标准以及国标，形成定制化的学校数据标准。实现标准体系，实现数据统一共享的标准规划，提供治理后的数据字典。协助学校建立数据管理办法，协助学校建立学校数据管理体系；数据分析应用通过汇集各类管理与教学数据，采用科学方法建立多维数据模型和预警模型。本期共建设数据画像、数据分析、学业预警推送和数据大屏四大类数据分析应用，采用合适的呈现形式，如统计图、表格、雷达图、仪表盘等，或组合形成不同业务方向的数据大屏进行集中展示。从状态、横向、纵向等维度进行分析对比，描绘学生、教师个人或群体画像并展示个人层面在某一时间段的各项能力变化趋势。数据预警推送根据教务系统应用中设置的关键数据质控点配置的后台数据预警规则，提供实时的学业、职称预警消息提醒功能。数据画像具体内容包含：1.学校画像：采集校内基础信息概况，根据学生、教职工、院系、专业、往届毕业生信息等，对学校整体学生、师资情况进行数据画像描绘，内容包含：

（1）学校基本信息：采用数字形式展示全校教职工人数、学生人数、学校院系数量、专业数量，对应数据下方用不同颜色环状图按类别切换展示；

（2）教师职称：采用金字塔统计图直观展示校内各级别职称教职工数量，职称需包含（教授、副教授、讲师、助教），点击可查看该职称下所有教师信息列表，内容需包含教师姓名、职称、性别、本校执教年限、所属院系；

（3）教师年龄分布：采用颜色渐变块统计图（数量增序—颜色渐深）直观展示校内各院系教师年龄分布统计，X轴（学院院系）、Y轴（年龄）；同时在对应坐标方框内用数字展示校内各院系对应年龄教师数量，支持鼠标移动位置采用浮标展示（院系：人数）；

（4）各院系部处教职工人数：采用条形统计图形式展示校内各院系部处教职工人数，X轴（学院院系）、Y轴（人数），支持鼠标移动位置采用浮标展示（院系：人数）；

（5）在校学生性别对比：支持按照院系筛选查看男女学生人数比值，采用环形占比图形式用不同颜色直观展示男（绿色）女生（红色）人数、占总人数比值，图形中间展示学生总人数；同时采用条形占比图用不同颜色展示历届学生中男女生人数变化趋势，X轴（年级）、Y轴（人数），男（绿色）女生（红色）；

（6）专业设置概况：采用旭日图形式用不同颜色直观展示校内各院系专业设置情况，院系/颜色包含：人文旅游系/紫色、国际贸易系/红色、应用工程系/黄色、信息技术系/绿色、工商管理系/蓝色、财务会计系/深蓝色，点击扇叶图形可查看对应院系专业概况；同时展示各院系现状列表，包含院系名称、专业数量、学生人数、教师人数、师生比；2.教师个人画像：采集校内各院系教师基础信息概况，根据教师基本信息、学术成果、职称情况、教学成果、任课门数、学生评价、学生成绩、社会兼职等信息分析并描绘教师个人档案及数据画像；支持根据院系部门跳转教师列表查看，或直接搜索教师姓名查看，内容包含：

（1）教职工个人档案：包含教职工个人基本信息、在校信息、岗位职务信息等；

（2）个人发展分析：包含教师科研成果雷达统计图、科研项目进程环形统计图、教师个人奖励信息统计列表、教师获奖级别、类别、及数量占比趋势图、网课教学情况数据分析（授课数、教学资源贡献数、开课统计数）；3.学生个人画像：采集校内各院系、专业、年级、班级的学生基础学籍信息概况，根据学生基本信息、学籍学历、奖惩违纪等信息输出学生个人档案并分析描绘学生画像；支持根据院系、专业、年级、班级、学生类别筛选学生列表查看，或直接搜索学生姓名查看，内容包含：

（1）画像列表：包含学生所在院系、年级、专业、班级、姓名、学号、学生类别；

（2）学生个人档案：支持筛选查看学生个人档案，包含学生个人基本信息（个人基础信息、宿舍、个人联系方式、家庭成员）、学籍学历（学籍、学习经历、结业信息）、奖惩违纪（获奖、奖学金、违纪处分、助学金、困难补助、勤工俭学信息）等；数据分析具体内容包含：1.线上课程教学质量监测：采集学生网课平台数据基础信息，根据学生参与网课流程节点：登录-加入课程-章节学习-完成任务点-参与讨论-提交作业/任务；描绘数据模型并分析得出学生网课课程活跃值，作为关键质控点进行分析结果呈现，可按照时间段、课程筛选进行对比，内容包含：

（1）课程活跃度排行：采用列表展示课程排行名单，内容包含课程排名、名称、所属院系、活跃值；采用旭日图展示各院系课程数量占比，包含院系（一级）、教师名称（二级）、课程（三级）；

（2）活跃度待提升统计图：采用条形统计图形式展示各院系待提升活跃值的课程数量，点击对应院系查看所有活跃值待提升课程列表，内容包含课程名称、任课教师、班级数、学生数、创建时间、活跃值2.图书资产分析：采集学校图书管理系统基础数据，根据校内书籍资产总览、馆藏分类、借阅情况等基础数据，分析学生、教师借阅书籍偏好、识别冷门书籍，内容包含：

（1）图书资产总览：采用数字直观展示校内总藏书量、期刊量、书籍量；同时按照国标书籍分类目录对校内各类书籍数量进行列表展示，并以环形柱状图形式直观展示馆藏各分类书籍数量

（2）借阅情况分析：按照时间段、院系、年级/部门筛选查看学生/教师借阅图书类别偏好统计分析图，采用条形图形式展示图书类别和借阅次数的关系，点击对应类别的图形查看冷门书籍列表，包含借阅次数、图书编号、图书名字、图书出版号、图书类型、作者、价格；

数据预警具体内容包含：

1.教师职称申报提醒：系统同步人事、科研系统内各院系教师基础信息概况，根据教师基本信息、学术成果、职称情况、教学成果、执教年限等人事、科研信息分析校内各院系教师个人能力，进行职称申报推荐及备选；名单内容包含：

（1）学校教师能力统计：采用能力矩阵雷达图形式用不同颜色线条包围区域展示各职称教师能力水平，包含教授能力水平/蓝色、副教授能力水平/绿色、讲师能力水平/黄色、助教能力水平/红色、无职称/灰色；矩阵维度包含教师年限（年）、授课数量（节）、论文数量（篇），鼠标移动对应位置展示数据浮窗；同时支持按照职称（教授、副教授、讲师、助教、无职称，同时展示对应职称人数）筛选查看统计列表，内容包含职称等级、教师姓名、当前学期授课数、发表学术论文数、教学年限；支持鼠标浮窗至姓名处查看教师个人能力详情，包含教师基本信息以及采用矩阵雷达图展示教师个人能力值（蓝色线条矩阵区域）与所在职称的能力均值（绿色线条矩阵区域）对比情况，矩阵维度包含教师年限（年）、授课数量（节）、论文数量（篇）；

（2）职称申报名单：系统根据分析对比结果，分别以推荐、备选展示教师名单列表，可按照申报职称（同时展示对应职称申报人数）进行筛选查看，职称包含教授、副教授、讲师、助教；列表信息包含排名、当前职称等级、教师姓名、当前学期授课数、发表学术论文数、教学年限；鼠标移动至对应教师区域展示教师个人能力详情，包含教师基本信息以及采用矩阵雷达图展示教师个人能力值（蓝色线条矩阵区域）与申报职称的能力均值（绿色线条矩阵区域）对比情况，矩阵维度包含教师年限（年）、授课数量（节）、论文数量（篇）；

2.学业预警：采集学生教学、学籍基础信息概况，根据学业成绩、上课考勤、图书借阅、科研任务、竞赛情况、挂科记录、学籍异动七个指标分析学生学业情况，根据校标制定预警规则，提供对应预警功能，内容包含：

（1）以数字直观展示校内各级预警人数，并通过环形占比图形式展示预警人员男女和预警级别占比统计图；展示预警人员男女比例、人数、各级预警人数、比例；

（2）支持根据学院、年级、预警等级筛选查看预警学生名单，列表包含学院名称、年级、预警等级（一级：绿色、二级：黄色、三级：红色）、学生姓名、预警事项；

（3）支持根据年级、预警等级筛选查看各学院与各级预警人数统计条形图，横向对比各学院/院系所有预警人数中各级别人数比例；3.信息变更提醒：同步人事系统中各院系所有教职工基本信息变更、入职情况，将变更状态信息自动推送至校内指定人员钉钉端，包含教师个人信息变更提醒、教职工入职提醒；支持同步的数据字段/表包含职称、所在院系、岗位、当前状态、基础数据子类表；

（1）教师个人信息变更通知内容包含：标题、姓名、工号、变更数据源、变更前信息、变更后信息；

（2）教职工入职通知内容包含：标题、姓名、工号、性别、所在院系部处；数据大屏具体内容包含：

1.访客中心：采集校内所有访客基础信息，根据访客系统中的访客信息对访客数量、事由、受访部门、做出横向对比趋势统