2023数据管理平台术方案

数据管理平台详细技术方案1数据管理平台整体架构及部署方式2 数据管理平台应用解决方案32数据管理平台实施策略和运维机制数据管理平台整体架构多维数据库DW数据库/数据仓库映射元数据应用映射管理

数据导入导出 分摊配置接口调度流程管理用户管理元数据管理控制

日志管理ERP业务系统Excel数据管理平台交互层逻辑层存储层数据仓库层应用层Others其他数据文件数据模板制作架构介绍3非独立存在，是辅助企业数据管理的面向用户的工具采用B/S架构，使用方法简洁产品实现分层规划Web页面完成配置和管理操作Excel数据导入导出功能可配置化的管理平台和权限通过元数据实现各个功能模块的校验及权限配置等的协同工作存储层有两种存储方式，保证数据安全性数据管理平台如何匹配业务目标映射/元数据校验数据仓库ETL数据补录导入/ETL财务管理系统人事管理系统工程管理系统销售数据表行政办公费用表成本数据……..……..对接数据源辅助管理数据源接入界面化、分角色控制数据补录与导入，方便非技术人员使用异构数据源系统接入的调度管理映射/元数据校验数据接入/导入自动化完成有效性校验映射关系与元数据联动4数据管理平台数据存储方式客户验证渠道验证科目验证客户元数据渠道元数据科目元数据客户ID渠道ID科目ID其它ID值A001C001AC01 TH01001 100A001C001AC02TH010012001数据仓库对接数据终端辅助管理输出数据按需定制导出格式，方便对接数据终端集成第三方工具导出到数据仓库则可按需保存数据格式系统内校验映射和元数据的数据源表可以星型架构的形式导出至数据仓库或多维数据库ID客户编码客户名称属性1A001孩子王ID渠道编码渠道名称属性1C001商超ID科目编码科目名称属性1AC01积分ID其他编码其他名称1TH01001大型妈妈班2TH01002消费者促销源表客户活动渠道积分大区费用孩子王大型妈妈班商超1002000华润苏果消费者促销药线20018905数据管理平台部署方式数据管理平台服务器数据库服务器（资料库）数据管理平台数据库服务器（业务/财务数据）数据库服务器配置：支持的数据库版本：Oracle

11gR2及以上独立的数据库实例或schema表空间：10G及以上注.

以上均为经验值，据具体业务需求调整。终端6应用服务器配置要求：OS：windows

server

2008R2及以上CPU：4核及以上内存：16G级以上磁盘：100G及以上1数据管理平台整体架构及部署方式2 数据管理平台应用解决方案37数据管理平台实施策略和运维机制应用模块功能介绍用户管理及用户权限机制性能评估及测试数据备份及恢复策略数据补录流程在web页面自定义模板字段将定义好的模板上传至服务器用户根据需求下载相应模板填报数据复核导入数据系统校验数据校验不通过数据上传到系统补录模板可前端自定义在前端配置好模板字段以及字段属性可设置字段级别校验规则8版本管理，模板上传至服务器供其他用户下载使用

填报并核对完后数据提交审核系统会根据校验规则进行数据校验最后数据正式上传到系统补录模板配置配置模板字段时需要选择字段属性、字段类型、字段长度，是否为主键、是否为主数据列名：为数据库字段编码说明：为数据库或模板字段名称排序：是可以定义模板的字段顺序字段长度：表示要补录数据的长度类型：代表补录数据是数字还是字符设置主键：用来标识数据的唯一性和增量存储数据设置主数据：开启企业主数据校验，如果将字段设置为关联企业主数据，在上传数据时系统会与企业主数据表进行校验主数据表：指定与上传数据进行校验的企业主数据表表名数据库名称：用户在配置模板的时候可以指定数据存储的数据库表名：指定数据库的存储表名9补录模板数据导入用户通过在Excel模板中将数据补录完成，然后通过上传文件的方式将数据导入到数据库，主要压力为数据库，准备数据可在线下完成校验规则：用户在通过web页面补录数据时，页面会对用户录入的数据进行有效性校验，如：正则表达式及常规校验：非空，字段类型与格式，长度限制、有无重复，邮箱/手机/身份证等格式判断可提供范围区间限制包括但不限于：日期范围、数值期间SQL校验，对数据库内已存在主数据比较校验，例如：组织架构、产品信息、会员信息、财务预算科目/项目可对一些个性化的规则进行匹配：包括但不限于指定表的某些字段匹配，例如发票红冲等10操作步骤:选择需要上传的表点击上传数据，选择数据文件，将数据导入到系统在日志记录模块查看上传结果，有无报错数据校验规则企业主数据校验数据仓库数据补录导入/ETL企业主数据表校验规则类型应答对导入的数据需先进行有效性校验。正则表达式及常规校验：非空，字段类型与格式，长度限制、是否重复，邮箱/手机/身份证等格式判断可提供范围区间限制包括但不限于：日期范围、数值期间SQL校验，对数据库内已存在主数据比较校验，例如：组织架构、产品信息、会员信息、财务预算科目/项目可对一些个性化的规则进行匹配：包括但不限于指定表的某些字段匹配，例如发票红冲等。枚举值校验，不属于主数据且在上传数据需要做有效性校验的内容，可通过此页面配置枚举值。如事业部、付款方式、来源系统等字符长度校验重复值校验数据格式校验数值期间校验映射校验非空、字符类型校验数据管理平台映射数据表错误日志输出11数据上传错误输出数据日志显示：上传结果可弹出错误页面提示或者已上传成功提示提供执行结果查询页面上传成功则数据写入，日志显示会话执行成功上传未成功的提示导致失败的原因数据规则校验、映射校验、企业主数据校验未通过，数据行不可写入错误信息输出：错误信息中提供错误描述提供年、月及任务作为查询条件默认展示最新100行错误信息，更多信息需翻页展示输出错误信息的行次和内容，用于定位数据行及单元格提供下载全部错误信息的功能可按照不同的错误类型，查找错误信息，且错误信息分用户权限进行查看12补录数据查询及下载功能描述：如果用户有下载权限，系统按照期间和有权限的数据进行导出选择期间和权限范围，点击导出数据，选择存储位置，将数据表导出到Excel可按照上传时间进行数据下载13调度后台数据ETL处理链路用户在不依赖IT人员介入的情况下，通过web页面调用后台处理流程，可按照用户权限、输入不同的参数触发后台数据处理链路，完成数据处理过程后台数据链路处理完成后，会反馈运行状态信息，并记录上次操作时间及操作人通过调用ETL工具发布的Webservice服务实现对数据处理流程调度的功能，目前比较匹配度较高的ETL工具为ODI14此功能为附加功能，为完成数据集成调度，不属于数据补录和映射维护等主要功能模块用户审计线索及操作日志管理记录用户在平台做的所有操作做记录，管理员可查询所有用户的操作信息，根据用户不同权限，可查询看的错误日志范围不同。可按照操作类型或模板名称进行精确查询151数据管理平台整体架构及部署方式2 数据管理平台应用解决方案316应用模块功能介绍用户管理及用户权限机制性能评估及测试数据备份及恢复策略数据管理平台实施策略和运维机制用户安全机制管理用户在PC端通过浏览器访问数据管理平台用户在登录界面输入用户名和密码通过校验之后成功登录到数据管理平台用户初始登录需要强制修改密码并且校验密码强度最低8位（包含符号、字母、数字、大小写）密码输入错误3次系统锁定当前登录用户，需要联系管理员同时可对接企业统一认证管理平台，实现统一认证登录，用户信息统一管理17用户权限管理对功能、数据设置不同层次的用户权限，确保安全性用户组的方式分配权限，使权限管理更加清晰用户可分组管理，并对用户组赋予权限用户权限可复制，权限可细分到功能权限（操作菜单、模板权限）数据权限（数据输入、下载）组织元数据（输入、查询、无）用户分组管理营销费用组大数据平台积分商品管理外部订单导入数据权限组功能权限组输入、查询、下载输入、查询、下载菜单/模板权限配置模板1模板2模板3…..菜单/模板权限配置模板1模板2模板3…..18单点登录认证用户认证集成– 统一域认证的用户登录模式– 可直接登录数据管理平台，也可通过AD集成单点登录– 可在其他应用系统嵌入URL实现点击后跳转到数据管理平台数据管理平台AD认证系统单点登录Token用户登录Token验证Token验证SAML2.0协议19用户权限架构扩展USER1(一级用户)可管理所属用户的权限，并继承所属用户权限用户A二级用户，可拥有平台具体的操作权限用户B二级用户，可拥有平台具体的操作权限用户C二级用户，可拥有平台具体的操作权限所属功能权限上传下载错误日志查看所属单体及模板权限公司：HH01模板组：营运1组所属功能权限1.上传查看操作记录查看公司：HH02模板组：大数据平台组所属单体及模板权限所属功能权限上传下载模板配置映射管理所属单体及模板权限公司：HH03模板组：分销平台组如图，对用户权限进行了分级管理，细化权限控制，极大提升数据的保密性和平台的稳定性一级用户可对下属用户用户拥有下属用户的所有权，用户所属权限记性灵活配置同时A、B、C用户平台实际操作权限，可操作的数据范围受所属权限控制管理员201数据管理平台整体架构及部署方式2 数据管理平台应用解决方案321应用模块功能介绍用户管理及用户权限机制性能评估及测试数据备份及恢复策略数据管理平台实施策略和运维机制系统交互方式分解，性能评估分析数据仓库平台资料库Web服务用户量大压力集中在web服务层面，多用户并发请求页面登陆用户量大压力集中在数据仓库导入临时表，数据校验关联映射关系，映射校验数据导入导出用户量小单一进程执行DML操作。入库配置化第三方集成映射导入导出用户权限管理用户量大压力集中在数据仓库，批量写入、查询或导出用户量小读写平台资料库用户量小/中读写平台资料库数据管理平台的应用服务器是基于J2EE服务器进行开发，采用B/S架构构建；基于Java语言的数据管理平台系统，遵从SPECjbb2005性能指标开发；22性能测试示例测试环境：服务器：windows

2012（虚拟机）内存：14GCPU:双核，1.8GHz网络：测试环境内网测试文件：文件格式：Excel字段数量：13行数：100000文件大小：4MB加载方式：通过Excel模板文件加载到数据库耗时：2-3min

左右231数据管理平台整体架构及部署方式2 数据管理平台应用解决方案324应用模块功能介绍用户管理及用户权限机制性能评估及测试数据备份及恢复策略数据管理平台实施策略和运维机制备份恢复策略数据管理平台服务器数据库服务器（资料库）服务环境备份与恢复方法1：备份：异地保存数据管理平台程序包、环境所需的配置文件；恢复：当需要恢复时，迁移至任何环境进行安装部署调试。方法2：25

备份：生产环境网段中搭建一台备用机，设置与生产机的共享磁盘，将系统文件、日志等信息安装至共享磁盘，安装部署调试完毕，不启动服务；(也可以启动服务，作为高可用节点备用）恢复：修改服务器IP（设置域名登陆数据管理平台则无需修改），启动服务。数据资料库备份与恢复备份：数据库导出成文件，保存至异地或共享磁盘进行备份；恢复：数据库备份文件导入。1数据管理平台整体架构及部署方式2 数据管理平台应用解决方案326数据管理平台实施策略和运维机制实施方工作量实施方参与度客户方负责人客户参与度产品安装2人天100%IT管理员20%产品培训3人天100%IT管理员100%补录模板配置0.5人天100%IT管理员100%映射模板配置0.5人天100%IT管理员100%主数据校验0.5人天100%IT管理员100%数据校验0.5人天100%IT管理员100%用户管理0.5人天100%IT管理员100%集成链路管理0.5人天100%IT管理员100%技术支持5人天1个月内，非定期支