校园数字中台需求方案

校园数字中台需求方案数据治理服务1、数据治理范围：提供多种类型、开放可拓展的数据对接方式，对校内现有及新建应用系统进行数据治理，包含：1）校内原有：食堂管理系统、安防管理系统、智慧校园平台；2）数据治理范围包括：数字孪生系统、AI智慧体育系统；整体实现学校已建和新建系统的全域数据的收集、汇总和分析，数据充分融合、开放，消除“信息孤岛”，要求经过清洗和整合的数据可支撑实现数据挖掘、应用集成、正确决策分析等内容。2、数据标准设计：根据国家标准、行业标准和学校实际业务建设情况，兼顾各个标准之间的兼容性、一致性以及标准的可扩展性，并结合采购人数据特点进行归纳整理，建设和完善学校的各项数据标准，搭建本地数据仓，制定学校自定义的编码规范，建设一套符合学校实际业务需求的《智慧校园教育大数据标准》，并能够基于服务期限内使用的情况根据学校建设需求进行调整；3、需求调研：1）对本次项目数据治理范围内业务系统进行信息标准与规范的调研，调研内容要求包括基础情况、现有应用系统的数据状态、部门遇到的关于数据方面的工作难点、期望达到的数据分析效果等；2）了解校园各个相关业务部门数据现状，有效数据源的确定，数据交换需求，数据质量评估，制定合适的数据标准；3）完成校园各个相关业务部门需求调研后，汇总形成数据调研表，调研表需经校方需求部门审核（签字）确认后作为最终需求调研结果。大数据开发平台1、数据运维模块1.1功能要求：要求支持对关系型数据库、大数据存储数据进行质量校验，需支持对分区表按分区进行质量校验，需能够及早发现数据治理过程中的数据质量问题；1.2多集群部署与运维：1）要求平台支持创建、运维多个大数据集群；可采用传统物理/虚拟机方式部署，或部分应用Kubernetes容器方式部署；2）要求支持兼容第三方引擎，开源Hadoop、CDH、TDH、HDP、FusionInsight、EMR、LibrA、Greenplum、Oracle、TiDB、AnalyticDBforPostgreSQL引擎；1.3部署向导：要求支持图形化、流程化的部署向导，需快速完成产品部署，并要求支持实时查看服务部署进度及状态；1.4安装包制作与上传：1）要求支持可根据规则制作schema安装包，进行第三方产品部署监控，且产品安装包需支持界面化接入2）要求支持增量patch包，以轻量包升级产品，方便快速；1.5资源快速配置：部署时系统要求支持可自动分配主机资源，可快速完成资源配置，完成安装部署；要求支持引入外部服务，可直接使用集群外已部署的服务，不需要重新部署；要求支持主机角色自动编排服务；需支持服务继承，继承已部署的其它产品服务；1.6部署日志查看：要求支持查看历史部署记录以及历史部署快照，方便回顾历史部署情况，需记录部署日志，方便查看安装过程错误；1.7集群\服务运行状态监控：1）要求支持查看集群性能指标，如集群CPU使用率、内存使用率、I/O读写速率；2）要求支持查看各服务的运行状态、健康状态、性能指标、配置文件、安装日志；3）要求支持查看主机的状态、最近心跳时间、及性能指标；1.8集群/服务停止与启动：要求支持集群停止与启动、且支持断电回复后服务自动拉起；要求支持服务停止与启动；要求支持服务滚动重启；1.9参数配置：要求支持界面化新增、修改、删除各服务配置参数，修改完成后可及时生效，服务要求支持自动更新；1.10健康检查：要求支持对各服务进行定时健康检查，及时查看健康检查状态；1.11节点扩容缩容：要求支持为服务进行扩容、缩容；1.12产品升级与回滚：1）支持产品升级；2）支持版本回滚；1.13日志查询：要求支持查看各组件、各服务、各主机的运行日志，及时排查故障；1.14事件诊断：要求支持系统记录JavaHeapDump、服务被动重启等时间的全景统计以及事件发生日志记录，方便回溯问题；1.15配置变更：要求支持对产品包发生变更的内容进行记录，方便运维同学下次打包以及升级；1.16巡检报告：要求支持查看下载巡检报告；1.17备份管理：要求支持查看、删除备份文件；1.18dashboard监控：要求支持为产品及服务新增dashboard，并自行配置监控指标；要求支持dashboard的导入与导出；要求支持查看与配置各组件服务（如hive\hdfs\spark等）的多种性能指标；1.19集群告警：1）要求支持为组件服务的各指标配置告警；要求支持公有云短信、钉钉、邮件告警通道；2）同时要求支持学校内部告警网关，满足专有云内部告警的需求；1.20告警规则：要求支持查看告警规则；2、数据离线开发模块2.1数据源管理：1）数据源连接配置：要求支持多种异构数据源之间的数据读写，可选择常用的关系型数据库，或大数据存储进行测试；2）连接状态监测：需检测系统与数据源之间的网络连通情况，当无法连通时，页面给予提示；3）应用状态监测：需记录此数据源的应用状态，已被应用的数据源不可被删除；4）开发/生产环境映射：支持开启发布模式之后，可配置测试/生产环境数据源的映射关系；支持发布同步任务时，系统自动替换数据源配置；2.2要求数据同步数据源须支持：1）关系型数据库：MySQL、Oracle、SQLServer、PostgreSQL、DB2、达梦、AnalyticDBPostgreSQL；2）分析型数据库：TiDB、Greenplum、Clickhouse、Kudu、Impala、Doris(http)；3）大数据存储：HDFS、Hive、MaxCompute、Inceptor、phoenix；4）NoSQL存储：ElasticSearch、HBase、MongoDB、Gbase；5）其他存储：FTP、Redis、AWSS3、Solr、SAPHANA；6）国产数据库支持：达梦、Gbase、DB2、GaussDB、KingbaseES8；7）时序数据库：Influxdb、OpenTSDB，以上数据源需保证大部分能够支持向导模式读写；2.3同步任务配置：1）向导/脚本模式：需同时支持可视化配置、脚本模式配置同步任务；在可视化配置模式下，需支持便捷的选择数据源、数据目标、字段映射等；2）源表配置：需支持各类数据源作为源表配置（除Redis），其中，MySQL需支持分库分表同步、视图同步，ftp数据源需支持excel格式；3）结果表配置：要求支持各类数据源作为结果表配置；4）字段映射：要求支持大部分数据源的可视化字段映射配置，以支持用户可快速完成源与目标之间的字段映射5）通道配置：需支持同步速度配置、同步并发度配置、脏数据阈值配置等；6）整库同步、分库分表同步：要求支持MySQL到Hive数据源的整库同步、分库分表同步；7）定点增量同步：需支持对关系型数据库进行定点增量同步；同时，支持下一次同步时，可从上一次同步成功的点位继续开始运行；8）断点续传：要求支持断点续传功能，解决由于资源问题引起的同步任务失败，为节省时间与资源无需从头同步，在任务下一次同步时可继续上次失败的标记点进行同步；9）分布式并发同步：要求支持对关系型数据库进行切片，需实现并发读取，提高同步速度；10）同步任务运维：要求支持同步任务运行状态监控与执行结果统计，包括读取记录数、读取字节数、同步速度、写入记录数、写入字节数等；11）脏数据管理：要求支持脏数据表管理，包括表的基本信息查看，需支持脏数据产生趋势统计、脏数据产生原因分析；2.4全局搜索：需支持按名称、描述、负责人、代码内容等方式进行任务、函数、临时查询、组件等对象的搜索；2.5任务创建：1）任务类型支持：支持丰富的任务类型，包括SparkSQL、GreenplumSQL、InceptorSQL、ImpalaSQL、HiveSQL、TiDBSQL、GaussDBSQL、OracleSQL、AnalyticDBPostgreSQL、MySQL、SQLServer、虚节点、数据同步、PySpark、HadoopMR、Python、Shell、ShellonAgent、条件分支、事件任务、工作流、虚节点、文件拷贝等；2）要求支持将Shell、Python任务提交至YARN运行；同时，需支持将Shell任务经Agent提交至某节点运行3）控制节点；4）要求支持通过组件创建任务，组件代码逻辑修改后引用组件的任务同步变更；5）任务基本管理：要求支持任务创建、删除、存储目录管理、任务目录编辑等；6）任务克隆：需支持将任务代码及配置完全复制；7）批量操作：要求支持按任务名称、类型、责任人、目录、提交状态、使用组、使用数据源进行搜索；需支持批量做任务的提交、责任人修改、目录修改和资源组替换；8）版本管理：每次提交时，部分类型的任务支持保存版本快照，包括代码及配置参数，并支持版本回滚；2.6任务编辑区：1）SQL编辑器-基本功能：要求支持基于WEB的SQL代码编辑，需支持SQL代码编辑区的代码高亮、关键字自动补全、列块编辑模式、编辑器主题颜色设置、代码折叠、支持代码缩略图显示；2）SQL编辑器-高级功能：要求支持编辑过程中，根据表名提示、字段名提示，支持智能识别SQL，并自动列出相关表信息，支持基础语法提示；3）对于工作流支持拖拽式配置任务间依赖关系，对于sparksqlhivesqlimpalasql要求支持根据sql内容进行依赖推荐和自动依赖设置；4）任务创建需支持指定引用环境参数；5）需支持设置运行超时时间；6）要求支持任务上下游参数传递；7）任务属性面板：需显示任务基本信息，包括责任人、修改人、修改时间、版本记录等；8）调度依赖：需支持任务重试次数配置、周期性调度配置（支持分钟、小时、天、周、月、Cron表达式和上传自定义调度日期）、上游依赖任务配置（支持跨集群、跨租户、跨产品、跨项目的任务依赖、跨周期调度配置等、任务需支持选择运行的hadoop资源组；9）hadoop任务需支持选择运行的资源组；10）依赖视图：要求支持显示任务DAG图；11）任务运行参数：需支持配置系统运行参数、自定义运行参数；12）环境参数：要求支持不同类型的任务可配置不同的执行环境参数，例如CPU、内存等；2.7任务/临时查询：1）即时运行：需支持页面点击任务后立即运行，并支持整体运行与分段运行两种运行调试模式；2）结果/日志打印：需显示任务运行的过程日志；3）输出结果下载：对SQL任务，要求支持可按表格形式显示输出后的结果集，同时，需支持对结果集进行下载；2.8数据上传：要求支持将数据上传至表，上传本地文件：需支持上传本地的CSV/text格式文件，支持指定字符集，可将本地文件写入至某张表或分区中；2.9脚本管理：要求支持进行脚本创建、删除、运行、存储目录管理、定位等；2.10资源管理：需支持进行资源的上传、替换、删除等；2.11函数管理：1）系统函数：需支持系统函数展现，包括parksql\hivesql\gaussdbsql\tidbsql\greenplumsql\oraclesql的系统函数；2）自定义函数：需支持自定义函数的注册、资源引用等，要求支持sparksql和greenplumsql的自定义函数和存储过程；2.12表查询：需支持在任务开发模块查看本项目表，或本租户内所有表的元数据查看，包括字段、分区和数据预览信息；2.13调度引擎：1）周期性调度：要求支持不同粒度的调度周期：天、周、月、小时、分钟、Cron表达式及上传自定义调度周期；2）上下游依赖调度：要求支持跨集群、跨租户、跨产品（质量、算法和标签）跨项目的多个任务间上下游的依赖关系；需支持手动依赖配置、推荐依赖与自动依赖。3）跨周期依赖：要求支持同一任务的不同周期进行依赖，例如不依赖、依赖上一周期实例成功/完成等；2.14任务运行参数：1）系统参数：系统需内置多种系统参数，如业务日期、计划时间、当前月、上个月等，可自定义全局参数；2）自定义参数：要求支持基于任务计划时间、业务日期、运行时间生成自定义参数；同时，要求支持自定义常量参数（相较于其他产品来说，自定义参数的基准时间丰富）；3）参数替换：要求支持当任务周期性运行或按时间补数据（重刷数据）时，自动能够将系统/自定义参数替换为目标值；2.15任务运维：1）实例运行情况汇总：要求支持汇总统计当日运行的周期实例的状态，直观地掌握当天任务运行的情况；2）当日实例完成情况：要求支持按时段统计当日实例的完成情况，用于评估实例的延迟执行情况；3）执行时长排行：要求支持按日统计实例的执行时长，并显示执行时间较长的任务，便于用户筛选大任务，进行针对性的代码优化；4）近30天出错排行：要求支持统计近30天内出错次数较多的任务，便于用户排查代码问题；5）任务管理：要求支持任务的冻结、解冻和下线操作，已冻结的任务禁止运行，且已冻结的任务才可删除；6）要求支持数据重刷操作（任务级别和项目级别补数据），支持选择业务日期时间段并批量生成相关实例运行，并进行补数据实例的运维，如任务重跑、任务杀死、置成功等；7）任务运行历史统计：要求支持自动生成运行报告，统计各任务最近时间段内的执行时长、读取/写入数据量等信息；8）周期实例管理：要求支持统计周期实例的运行状态、运行时长、任务运行日志、实例操作记录；需可查看任务DAG图，对上下游任务一目了然，并可逐级展开更多层级的任务；要求支持对部分选定任务进行重跑、杀死等操作；要求支持单个、批量终止任务运行、紧急去除上游任务依赖；2.16监控告警：1）告警记录：要求支持记录系统已发出的告警信息；2）告警配置：需支持对每个任务设置告警，支持按照失败/停止状态、定时未完成、超时未完成等状态触发告警；3）要求支持默认短信、邮件、钉钉发送告警，同时，要求支持可对接自定义通道告警；4）告警开启/关闭：要求支持开启/关闭告警配置，且关闭后不会发出告警；5）要求支持通过基线进行任务优先级管理和智能告警；2.17测试生产双项目：1）单项目模式：要求支持单项目开发的模式，无需发布操作，简单快捷；2）双项目模式：要求支持双项目模式，通过建立2个项目实现生产与开发环境的隔离，可进行一键发布或任务的导出导入；3）隔离性：要求支持生产/开发环境的代码隔离、数据隔离，开发环境必须通过类似“发布”的动作，将代码传递到生产环境；2.18数据资产总览：要求支持对租户内的项目数量、表数量、占用存储等指标进行统计总览；2.19查找数据：要求支持按类目、项目等多种条件查找数据表，并支持查看表的基本信息、数据预览和血缘信息；2.20数据表管理：要求支持按个人管理的表、被授权的表、收藏的表进行表分类，方便快速查找；要求可进行表信息的编辑、操作记录查看；2.21权限管理：要求支持对hive表支持申请审批、权限回收管理；Oracle等数据库需支持系统账号与数据库账号的绑定；2.22数据类目管理：要求支持数据类目的构建与管理，每张表关联唯一叶子节点，便于数据检索与数据维护；2.23数据文件治理：要求支持对hive表进行小文件合并，提高任务运行速率；2.24数据脱敏：要求支持创建脱敏规则（支持字符覆盖、转义和算法加密）并进行字段脱敏；2.25项目管理：1）要求支持创建项目时可创建新的Database/schema，也可对接集群中已经存在的Database/schema；2）项目支持删除：要求支持项目成员管理：需支持添加成员/移除成员/分配成员角色等；3）项目全局配置：要求支持打开/关闭整个项目周期调度、开启/关闭下载SELECT结果、选择项目内可创建的任务类型、发送任务运行情况报告；4）项目级Kerberos认证：要求支持可为项目上传Kerberos证书，同项目下所有用户将使用此证书进行任务运行和提交；3、数据API模块3.1数据源：要求支持MySQL/Oracle/SQLServer/PostgreSQL/DB2/ADSTiDB/Impala/Kylin/ES/MongDB/Solr/HBase/KingbaseES8/ClickHouse/Greenplum/AnalyticDBMySQL/Phoenix/Redis多种数据源查询；3.2API基本信息：1）要求支持在API市场中查看API基础信息、订购调用情况、请求返回参数等，帮助API申请者判断该API的适用性，同时支持API申请的发起；2）要求支持从API管理者、API使用者不同的角度，整体掌握用户调用量TOP排行、接口调用量TOP排行、接口失败率TOP排行、调用耗时等；3.3API申请：1）要求支持用户按照API调用次数、调用周期申请，超出申请的次数时或超出时间段时，系统自动为此用户停止API服务；2）需支持选择出参内容；3.4向导模式生成：要求支持向导模式生成API，stepbystep填写API配置参数，支持大于、等于、小于等至少8种以上操作符；3.5自定义SQL模式生成：脚本模式要求支持创建API：支持自定义SQL生成API，支持多张表的关联表输出、子查询、复杂查询及函数计算，需支持灵活配置；3.6API分页配置：要求支持API接口分页查看，可支持自行设置分页大小；3.7API超时时间配置：要求支持设置各API的超时时间；3.8API测试：要求可在产品上进行API传参测试，查看返回结果是否正确；3.9API注册：1）要求支持外部API注册至API网关，要求支持post、get、put、delete请求，可进行API统一管理、发布、调用；2）需支持HTTP\HTTPS协议，同时需支持Webservice协议；3.10服务编排：要求支持通过可视化节点API、函数节点配置灵活实现API创建；3.11API发布与禁用：1）需支持API不停服务二次编辑后再发布；2）要求支持禁用、启用API服务；3.12API调用情况：要求支持可查看最近24h、最近7天、最近30天、历史累计维度的调用次数统计、调用耗时统计、错误日志统计；3.13API订购查看：API订购情况统计：要求支持可查看该API订购用户数，每个订购用户的使用情况；3.14API文档导出：要求支持导出每个分类下API的基本信息、入参出参、调用示例等信息，方便对外提供；3.15API授权：需支持查看所有API申请、执行审批/拒绝操作，支持取消某用户的API授权；3.16API告警：要求支持对API调用失败进行告警配置及告警通知发送；3.17API分组：要求支持对API进行分组，通过流量分配实现不同灰度版本API的测试；3.18安全组设置：要求支持设置API访问的黑白名单；3.19行级权限：要求支持控制API的行级权限，使得每个用户在使用API时，若输入参数不符合行级权限标识，须实现无法获得相应内容的输出；3.20AK/Sk加密方式调用：APP、Key、APPSecret加密后的签名填写在Header中需支持进行调用，以便API调用具有更高的安全性，适合应用系统间、跨域名等安全性要求高的使用场景；3.21Token加密方式调用：要求支持将API-TOKEN填写至Header中进行调用，适合API测试等使用场景；3.22创建项目&项目管理：要求支持从项目角度管理不同组织的API，可创建新项目&对项目进行管理；3.23成员管理：要求支持添加成员/移除成员/分配成员角色等；3.24角色管理：要求支持划分不同的用户角色，进行产品使用权限管控；3.25API结果数据缓存：要求系统支持将上一次的查询结果缓存在系统的HBase数据库，之后发起同样的请求，可通过查HBase数据库的方式快速得到结果返回，适用于生成和注册API的查询场景；3.26API限流：针对API，控制单秒调用次数；3.27RSA+AES传输加密：需支持对请求/返回结果的传输内容进行加密处理，保障数据安全性；3.28要求同时支持API向导式、脚本模式、注册方式实现API创建；4、数据资产模块4.1平台管理：1）要求支持自动接入离线平台的sparkthrift2.x数据源，并可自动采集元数据；2）数据源引入，元数据采集要求需支持：SparkThrift2.x、Hive1.x、Hive2.x、TiDB、MySQL、Oracle、SQLServer、Phoenix5.x、HBase、Vertica、Kafka2.x、Kafka_0.10、Incecptor、Doris0.14.x、MongoDB、ES7.x、SAPHANA1.x、Impala；数据质量校验需支持：SparkThrift2.x、Hive1.x、Hive2.x、Hive3.x、TiDB、MySQL、Oracle、SQLServer、Maxcompute、Kafka2.x、Kafka_0.10、Greenplum、KingBaseES8、Inceptor、Trino、SAPHANA1.x；规范建表需支持：SparkThrift2.x、Hive1.x、Hive2.x"3）虚拟数据源：要求支持导入线下维护的各类非结构化元数据信息；4）要求支持用户/用户组/角色管理；4.2元数据同步：1）要求支持sparkthrift2.x/hive2.x元数据的实时同步；2）要求支持维护管理元数据的周期同步任务、同步实例；3）要求支持自定义同步过滤条件、配置同步失败告警；4.3元模型管理：1）要求支持定义每个数据源元数据采集时自动获取的信息项；2）要求支持自定义拓展元数据业务属性项，如数据表的一些业务属性：主题域、业务线、数仓层级等；4.4元数据管理：1）要求支持根据元模型规范，单表、批量维护元数据属性；2）要求支持导入线下维护的元数据文件；3）要求支持导出线上元数据信息，支持EXCEL/CSV/HTML；4.5数据地图：1）要求支持全局元数据搜索查询，包括接入采集的数据源中的库表信息，以及系统其他子产品如离线任务、实时任务、标签、api等元数据信息；2）要求支持元数据基础信息查看，包括技术属性、业务熟悉、表结构等信息；3）要求支持自定义维护资产目录、资产标签、资产描述等辅助信息；4）要求支持预览限制条数的数据内容；支持任务级、表级、字段级血缘解析；5）要求支持系统自动解析和人工维护的两种方式；6）要求支持血缘图谱的查看与下载；7）要求支持自动记录元数据的变更版本，并支持跨版本比对，查看变更内容；8）要求支持查看当前资产表的相关任务列表，包括产出任务、依赖任务等；4.6订阅的数据：要求支持元数据的订阅，且订阅后可及时收到元数据变更通知，通知方式需支持站内信、短信、邮箱、钉钉；4.7元数据质量：要求支持多维度自动统计元数据完整度，并支持查看指定数据库中所有表的血缘数据；4.8数据标准统计：要求支持多维度统计数据标准的数量、热度、分布等情况；4.9数据标准管理：1）要求支持数据标准的新增、导入、维护、发布、下线等管理功能，要求支持维护标准的技术信息、业务信息、自定义信息；2）要求支持数据标准的目录管理；3）要求支持数据标准的搜索查询、信息查看；4）要求支持数据标准的变更版本自动记录，要求支持版本差异比对；5）要求支持自动映射数据标准和平台采集的字段元数据（Hive）进行比对，并生成差异明细；4.10标准基础管理：1）需支持词根的新增、导入、维护、删除等管理操作；2）需支持码表的新增、导入、维护、删除等管理功能；3）需支持码表的目录管理；4）需支持码表的变更版本自动记录，需支持版本差异比对；5）需支持在新建数据标准时，可自动引入词根、码表数据；6）系统内置教育行业数据标准模版文件，需支持直接引入自己的标准目录中；7）需支持在平台已采集的字段元数据中识别共性、标准的信息，用户可根据重复情况判断是否需要引入数据标准；4.11数据模型：1）标准化建表（Flink）：需支持映射MySQL、Oracle、Kafka创建FlinkTable，维护FlinkTable参数信息并对外提供元数据服务；2）标准化建表（Hive）：需支持标准化规范建表，通过配置化的方式，借助规范设计和数据标准，完成Hive建表操作；3）需支持管理规范约束，如数仓层级、主题域等信息，在建表时需根据规范约束自动完成规范表名的拼接；4）需支持在建表过程中输入字段中文名自动匹配数据标准，自动完成字段的新增；5）需支持导入建表SQL语句，自动解析并匹配数据标准，完成表结构的设计；6）需支持数据模型的发布、审批等流程性管理功能；4.12数据质量规则配置：单表校验规则：需支持完整性、准确性、规范性、唯一性、自定义SQL五类规则设定；2）需支持表行数、空值数、空值率、重复数、重复率等二十余种统计函数；需支持固定值、1天波动、7天波动值变化、30天波动值、7天平均波动、30天平均波动等不同的校验方法；需支持用户自定义过滤条件、告警阀值；需支持强弱规则设定；3）多表比对规则：需支持对同一数据源的两张表进行一致性、存在性校验；需支持可视化的配置两表的字段映射关系、主键选择，支持按照相同字段名、所在行数快速配置映射；需支持对对比过程中的数据量微小差异、字符大小写、数值微小差异等情况忽略处理；4.13跨数据源多表比对：需支持比较不同数据源下两张表的整体差异数量、差异比例，并多种维度记录比对不一致的数据，需支持明细数据的查看与下载；4.14数据质量规则调度：1）需支持小时、天、周、月、手动触发五种调度周期，支持手动触发执行；2）需支持邮件、短信、钉钉等不同告警方式，支持告警接收人的配置；3）需支持配置关联离线开发任务，根据质量校验结果影响离线任务运行；4.15单表校验报告：需支持字段级的数据监控，并提供监测字段近一段时间的指标波动图，当检测值偏离设定值时发出告警，便于快速定位数据异常；当校验未通过时，要求支持可查看校验简报，简要了解数据表校验未通过的原因；不规范数据查看：校验未通过时，要求支持将异常数据保存至数据表，并支持在产品上查看与下载；表级报告：要求支持记录数据表某个时刻发生的错误和错误数，图表化的呈现表数据波动图。并对最近执行的校验进行分析，包括记录数平均波动、平均记录数、日平均告警数、平均告警率等；4.16多表比对报告：需支持统计两边的整体差异数量、差异比例；需支持按多种维度记录比对不一致的数据，如「主键相同，但数据不一致」、「左表数据在右表未找到」等维度，需支持明细数据的查看与下载；4.17远程触发：需支持对监控规则配置远程调用服务，第三方系统可通过接口触发校验任务的执行，用户可将其集成至其他平台；4.18实时数据校验：要求支持对Kafka数据进行定时定量抽检，校验数据内容是否符合规则配置，规则配置逻辑同「单表校验规则」；4.19质量统计：要求支持同多种维度统计整体数据质量情况，如告警率、告警趋势、告警top等维度；4.20资产盘点：需支持多维度统计分析学校数据资产情况。大数据可视平台要求支持全量数据的可视化能力，基于各类主题域数据仓库，将采集到的各业务系统内的结构化数据、技术及设备日志类非结构化数据进行可视化建模展示，能够根据实际业务需求对数据模型进行定制化设计，与本地数据中心对接形成一体化的数据可视化展示中心。具体支持：1、项目管理：1）建立数据可视化大屏的运行车间，在有效期内支持数据可视化大屏项目的导入、编辑、数据接入及发布；永久支持已导入数据可视化大屏项目的查看、运行2）可视化项目预览：对快速对可视化应用进行全屏预览；3）可视化应用发布、分享：支持将可视化应用对外「公开/加密分享」；4）项目分组管理：支持创建应用文件夹对可视化应用进行分组管理；5）可视化项目检索：支持搜索功能快速检索已有可视化应用文件；6）可视化应用快速导入：支持将本产品其他环境设计或配置好的可视化应用快速导入当前运行环境，且包含应用内数据源及其他资源配置信息，以提升可视化应用开发效率；7）可视化应用排序：支持排序功能，对已有可视化应用文件进行修改时间/新建时间排序；2、编辑-图层管理：1）图层创建：通过界面点选拖拽方式，选取系统内置组件进行应用搭建，一个组件即对应一个图层，应用根据图层当前所在上下层级排布顺序进行展示；2）图层显示隐藏：支持对现有图层进行显示隐藏操作，便于整体项目编辑；3）图层分组管理：支持对现有图层进行编组管理，并可通过快捷键快速进行操作；4）图层置顶、置底：支持对现有图层顺序进行调整，一键置顶、置底，并可通过快捷键快速进行操作；5）图层独显：支持对项目内所选中的图层进行独立显示，帮助使用者以聚焦模式进行项目编辑，同时省去不必要的性能消耗；6）图层锁定：支持对现有图层进行锁定，锁定状态暂时无法选取、编辑，便于整体项目编辑；7）全局检索：支持对项目内图层进行模糊检索、快速定位，且支持对平台组件进行搜索、快速选用；8）图层跨屏复制：支持将当前项目内图层复制并转发到其他大屏，且维持组件配置及坐标不变，便于项目内多大屏间组件复用；5、编辑-画布操作：1）画布及组件缩放：支持对画布及组件自由进行缩放或控制；2）一键适应画布大小：应用配置过程中，画布区域支持一键控制应用显示区域且适应当前可视窗口；3）快捷键：编辑过程中支持使用快捷键对图层及画布功能进行操作，如图层置顶、分组、组件复制等；4）鼠标右键操作：编辑过程中支持使用鼠标右键对图层及画布功能进行操作，如组件显示隐藏、锁定、跨屏复制等；5）鼠标快速选择图层：画布内支持快速选择数据当前位置下对应的图层；6）画布移动、过界：支持鼠标抓手对画布进行移动，同时允许画布过界操作，便于整体项目编辑；7）画布框选操作：支持通过鼠标对画布现有内容进行快速框选；8）标尺、参考线：画布区域提供标尺及参考线功能，且支持对参考线一键显示隐藏；6、编辑-组件配置：1）组件样式编辑：支持对各组件样式进行自定义编辑，如组件色彩、大小、字体、特殊效果等，且不同组件包含不同的配置项，同类型组件有标准统一配置项；2）数据联动、动态传参：支持配置数据联动，可实现数据联动或切换功能，如Tab页切换、时间轴联动切换数据等；3）事件交互配置：可交互组件支持对组件事件进行定义，通过事件方式对应用或组件进行状态操作，如单击组件控制对话框或其他内容的显示、隐藏等；4）数据映射：编辑过程中根据组件场景可对接不同数据源、进行数据关联映射，如MySQL、API、CSV等数据源的字段获取、映射等，支持SQL查询语句编写、API参数定义等；5）数据过滤、格式转换：平台支持数据源过滤功能，可通过编写JS语句，创建数据过滤器，对获取到的数据格式进行后期转换，如公网天气数据API格式固定，无法满足要求，即可通过数据过滤器对API返回的数据结果或格式进行转换；数据大屏（1）要求支持根据学校需求定制数据可视化展示内容、展示形式，支持定制替换其中的数据，增加图表，文字，指标，地图等设计组件，设计后的大屏支持导出和导入，可将数据大屏挂载到本地大数据综合服务门户进行统一展示或生成外网链接进行分享。（2）要求投标产品具备成熟教育信息化领域的数据可视化模板库，至少包含：「智慧校园」、「综合驾驶舱」、「校园安全态势」、「AI预警中心」、「访客监控中心」、「车辆调度中心」、「能耗管理中心」、「接送监控中心」、「学生轨迹监控」、「学生行为表现」、「招生与升学」、「空中课堂」、「教师群体画像」、「教师个人画像」、「教师档案」、「学生个人画像」在内的16个主题的可视化模板。数据报表平台支持智能化的数据处理和建模技术，降低数据的获取成本和使用门槛，使得用户可自主完成数据透视分析、自助取数、业务数据探查、报表制作等工作，仪表板设计支持拖拽式操作和提供丰富的可视化图表控件，具体功能要求如下：1.1数据源：要求支持MySQL、ClickHouse等云数据源与Excel、CSV等文件数据源接入，具体功能如下：(1)支持对数据源进行添加、编辑、删除等操作。(2)支持MySQL、Clickhouse等云数据源连接。(3)支持本地Excel、CSV等文件数据源连接。1.2数据集：要求支持用户自主选定校内数据库表和表间关系，或者用EXCEL表格形式批量导入数据的形式构建多维数据集；支持按学校管理需求自定义主题域数据集，具体功能如下：(1)支持对数据集进行创建、编辑、移动、删除等操作，可通过托拉拽数据库表和sql创建两种方式创建数据集，并提供数据集表结构预览功能。(2)支持表左外连接、内连接、关联字段等数据关联操作，进行模型构建。(3)支持数据预览刷新和数据集过滤（条件过滤、枚举过滤）等功能。1.3仪表板：要求提供拖拽式的在线分析与可视化报表开发功能，支持拖拽式页面布局且一次制作多端自适应显示，支持线图、柱图、组合图、雷达图、饼图等图表组件，支持设置全局参数和查询控件，控制用户的数据查看范围，支持图表联动设置实现组件联动分析。(1)支持对仪表板进行新建、编辑、移动、删除、分享等操作，可通过文件夹对已创建的仪表板进行分类，支持关键字模糊搜索查看；(2)拖拽式操作进行组件选择和布局，自动调整和适配各种屏幕大小，实现PC端、移动端等多终端自适应显示。(3)支持仪表盘、明细表、线图、面积图、堆积面积图、百分比堆积面积图、组合图、柱图、堆叠柱状图、百分比堆积柱状图、条形图、堆积条形图、百分比堆积条形图、环形柱状图、瀑布图、饼图、玫瑰图、雷达图、词云图等22种图表组件。(4)支持对图表进行精细化过滤操作，包含按条件过滤、按枚举过滤。(5)支持图表组件的样式控制，比如标题重定义及显示控制、链接跳转、自定义背景填充、卡片边距、可视化样式、数据标签显示控制、图例显示控制等操作。(6)支持图表联动分析，即一个查询组件可控制多个图表组件，并且支持跨库、跨数据集的关联查询，实现多图表联动分析。(7)支持设置查询控件方便用户对仪表板中的图表进行查询操作，提供复合式查询控件，支持多个组合条件进行查询。(8)支持对设置好的仪表盘进行保存、发布等操作，并可支持PC端、移动端一键预览，已分享的仪表盘可实时同步至开放集成，以提供给上层应用。1.4电子表格：要求支持实现复杂报表样式，能够采用类Excel的方式提供在线的数据分析能力，以单元格为数据单元，支持本地复制录入及数据集方式获取和分析数据。(1)支持对电子表格进行新建、编辑、移动、删除、分享等操作，可通过文件夹对已创建的电子表格进行分类，支持关键字模糊搜索查看；(2)支持二维表格类Execl的界面风格，并支持类Excel的拖拉拽式填充；(3)支持冻结窗口、筛选、过滤等基本操作。冻结功能，支持行/列冻结；(4)支持数据验证，可进行单元格范围、验证条件、多选、远程获取、无效值禁录、选中提示等自定义设置。(5)支持快速截图功能，选中需截图单元格，单击截图控件即可实现。(6)支持样式控制，可以进行边框、字体、背景等各种样式控制，需包含至少24种交替色样式格式。(7)支持函数运算，可按函数名称/功能描述搜索函数、按函数类别筛选（包含数学、统计、查找、Luckysheet内置、数据挖掘、数据源、日期、过滤器、财务、工程计算、逻辑、运算符、文本、转换工具、数组、其他等16个类别）；(8)支持跨Sheet的查询控制，可对表格进行添加/删除/复制/重命名/更改标签色/隐藏/取消隐藏/移动等操作。(9)支持数字格式化、货币格式化、日期与时间格式化等快捷操作；(10)支持查询控件，可对查询条件、关联图表及字段、基础配置等进行自定义配置，基础配置功能需包含是否必填、展示类型、选项值来源、查询方式、查询时间、筛选默认值等；(11)支持自动按照日期、文本和数字的格式匹配查询控件，查询方式提供单选、复选等查询控制；(12)提供复合查询控件，支持多个组合条件进行查询；(13)支持柱状图、折线图、饼图、环形图、条形图、面积图多种图表组件；(14)支持图表组件的样式控制，比如标题重定义及显示控制、颜色自定义、XY轴切换、图例显示控制等操作；(15)支持打印功能，可自选打印区域、打印标题行、打印标题列；(16)支持全局参数配置，可自定义添加全局参数列表、选择参数关联控件与图表、设置参数名称，并自动进行参数配置冲突校验；(17)支持对设置好的电子表格进行保存、发布等操作，已分享的电子表格可实时同步至开放集成，以提供给上层应用。1.5数据API：(1)支持对数据API进行新建、编辑、移动、删除、分享等操作，可通过文件夹对已创建的API进行分类，支持关键字模糊搜索查看；(2)支持设置API名称和别名；(3)支持自定义选择需开放接口的数据、数据维度、度量值，并对字段进行编辑（包含行、列、过滤器、聚合、明细等功能）操作；(4)支持插入/编辑数据集并进行行列字段分配，行/列切换，字段过滤；(5)支持设置聚合/明细两类状态预览数据，可手动刷新预览配置后的图表结果；(6)支持配置全局参数。(7)支持对设置好的数据API进行另存为、保存、发布等操作，已分享的数据API可实时同步至开放集成，以提供给上层应用。1.6开放集成：支持将已发布的成果（电子表格、仪表板、数据API）向上层应用分享，用户可在此界面按对接系统对分享内容进行分组，用户可对分享内容进行参数设置并生成分享链接。(1)支持按对接系统对分享内容进行分组；(2)支持对接系统的增删查改，并以分组列表形式展示对接系统内可分享的成果（电子表格、仪表板、数据API）；(3)支持分组查看分享内容列表，分组包含全部/电子表格/仪表板/数据API，列表包含名称、状态、修改时间、操作，支持按报表名称搜索；(4)支持对分享内容进行编辑、启用、停用、删除、查看参数等操作。(5)支持对分享内容设置“名称/参数”并生成分享链接。大数据综合服务平台1、用户认证要求支持将学校使用的各类系统集成在统一的信息门户中，并使用统一的身份认证，免除繁琐的登录步骤，并需支持将某些常用功能直接集成展示在门户内；要求支持管理端对展示的系统入口及功能入口进行管理及配置；要求支持在管理端可对用户身份进行管理，并可分配对应的角色权限，具体包含：1）组织管理：支持关联钉钉内人员组织身份，可对下属用户单独/批量修改关联组织、简称，支持一键解除组织关联；2）用户管理：支持一键同步钉钉组织内用户，核验用户身份，展示用户ID、姓名、手机号、身份证号码、所属钉钉部门、角色、身份核验状态，支持一键重置用户核验状态；3）内置角色权限管理功能，支持分配管理角色成员和功能权限，管理可查看的模块范围；4）支持单独配置组织内各个学校用户管理员，支持一键重置；5）支持在线查看审计日志，查看人员操作记录，包含操作时间、操作者、事件对象、事件类型、详细数据，支持按日期范围筛选查看日志；2、消息推送1）要求支持自定义设置统一的预警消息推送方式，分类分层向不同的角色用户统一推送业务消息。2）要求具备独立的业务消息推送中心，支持兼容钉钉推送渠道，实现业务应用消息的统一分发，用于实现各类应用场景下一对一、一对多、指定角色/成员组的消息推送与通知，串联业务流程；3）要求支持提供基于用户身份的个性化消息推送内容，支持根据预警内容定制消息推送模板；3、客户端应用要求支持对于PC端能够提供对应的应用服务，需实现在web登录系统并查看、管理数据；支持兼容钉钉端工作台，实现钉钉端应用的在线免登、管理和查看数据功能；4、数据资产管理4.1数据管理：支持对校内现存系统内信息采集与集成，并制定对于学校适用的数据标准，将数据资产按照数据标准进行收集、整理、清洗、入库。提供数据管理界面，可展示数据子集、数据类、数据表的各项情况，可查看到某张数据表对应的数据条数。针对各类业务系统或者主体，可划分不同的数据子集进行数据资产存储。4.2元数据管理：1）提供元数据管理功能，要求支持对数据进行数据溯源分析，同时可对表进行数据链路追踪功能，可查看每个字段和表的上下游关系。2）提供数据高效检索及查询功能，支持通过表名、字段名进行检索，支持自定义设置数据查询条件，支持多条件设置，支持查看元数据模型、元模型代码、名称、创建人和创建时间，元数据编码类列表、元数据表等。3）支持根据数据采集和交换情况自动生成血缘信息表，血缘信息表追踪颗粒度精细到字段级别，支持血缘信息表字段级别溯源，可查看每个字段和表的上下游关系，当需要提高数据质量或处理数据问题时方便学校进行追踪。4）支持表的元数据查看，包括表的名称、注释、分区、字段数量等功能。支持表级、字段级血缘关系展现，支持沿血缘链路的逐层追溯；4.3代码集管理：1）提供代码集管理功能，支持根据国家标准、行业标准和学校实际业务情况（校标），兼顾各个标准之间的兼容性、一致性以及标准的可扩展性，并结合学校数据特点进行归纳整理，针对学校、学院、学科、专业、性别、籍贯、民族等校内数据进行统一管理；2）要求建设和完善校内各项数据标准，形成代码集，制定学校自定义的编码规范并给出数据分类编码规格说明书，建设一套符合学校实际业务需求的《学校数据标准》，并可基于服务期限内使用的情况根据需求进行调整；3）代码集管理要求统一展示校内数据字典包含的所有代码集列表，列表字段需包含编号、数据项名、中文简称、备注、并支持按中文简称搜索代码集，对代码集内数据标准进行查看，同时可编辑代码集内数据标准项名称，支持按标准代码号和标准项名称进行搜索；代码集列表中须体现不同代码集的标准来源（至少包含国标、学校新增）；5、数据治理看板5.1运维总览：1）支持展示当日任务情况，包括：任务失败个数、运行中的个数、任务成功个数、未运行个数；2）支持以折线图形式展示完成任务的时间分布概览，同时支持点击折点查看今日该时段内任务同步详情，详情须包含任务时间、任务名称、定位表、结束时间；3）支持以表格形式展示任务执行时长排行以及任务类型、定位表、任务开始时间、任务结束时间、任务执行时长，可根据任务执行时长对序号采用不同颜色标注；5.2数据备份：1）支持展示当前数据备份计划，包括备份模式、快照备份个数、备份时限；2）可按不同日期查看当日数据备份记录，以列表展示数据库名称、注释、备份结果、备份日期、备份数据量；5.3数据源管理：提供数据源管理功能，支持以对接或导入形式采集数据，并以列表展示两种类型的数据采集情况，包括对接型数据库列表和导入型数据库列表，列表需展示数据库名称、注释、负责业务部门、管理员、对接厂家名称、对接状态、导入日期、最近更新日期；5.4同步任务管理：提供同步任务管理功能，支持按日期查看当日同步数据库、数据表、数据字段、数据量的总览，并以列表展示数据库同步任务执行记录，同时展示任务详情，包括：数据库名称、注释、任务结果、同步开始时间、同步结束时间、任务执行时长；5.5清洗任务管理：提供清洗任务管理功能，支持按日期查看当日同步数据子集、数据表、数据字段、数据量的数量，并以列表展示数据库清洗任务执行记录，同时展示任务详情，包括：数据子集名称、任务结果、清洗开始时间、清洗结束时间、任务执行时长；6、智能预警模块利用数据中心治理后的数据结果，构建完善的大数据智能预警体系，从学校各个角度的管理目标入手，集成校内各个部门的核心管理业务，用于建立完善的大数据智能预警分析模型，通过数据开发、数据服务管理，实现自定义监控对象、监测指标、质控规则，根