详细设计-数据管理平台

系统开发项目-详细设计 详细设计-数据管理平台版本修订历史日期作者/修订人章节修改内容版本2018.06.01李斌1.0目录第一章综述11.1 阅读前的注意事项11.2 规范要求1第二章系统详细功能设计22.1 统一安全系统22.1.1 概述22.1.2 限制条件22.1.3 界面设计22.1.4 业务流程42.1.5 输入数据结构42.1.6 处理过程52.1.7 输出数据结构52.1.8 物理及数据存储122.1.9 接口设计122.1.10 备注262.2 元数据处理系统272.2.1 概述272.2.2 限制条件272.2.3 界面设计272.2.4 业务流程302.2.5 输入数据结构312.2.6 处理过程322.2.7 输出数据结构322.2.8 物理及数据存储342.2.9 接口设计342.2.10 备注482.3 数据集成系统492.3.1 概述492.3.2 限制条件492.3.3 界面设计492.3.4 业务流程542.3.5 输入数据结构562.3.6 处理过程572.3.7 输出数据结构582.3.8 物理及数据存储582.3.9 接口设计592.3.10 备注672.4 运维监控系统682.4.1 概述682.4.2 限制条件692.4.3 界面设计692.4.4 业务流程732.4.5 输入数据结构732.4.6 处理过程742.4.7 输出数据结构742.4.8 物理及数据存储762.4.9 接口设计762.4.10 备注76第三章系统错误处理设计773.1 系统访问异常77第一章 综述1.1 阅读前的注意事项本文件涉及具体的业务知识和大量的技术知识，需要掌握相应的业务和技术知识才能正确完全地理解本文。1.2 规范要求GB/T 9385-2008计算机软件需求说明编制指南中华人民共和国计算机信息系统安全保护条例（国务院令第147号 1994.2.18）计算机信息系统保密管理暂行规定（国保发19981号）计算机软件保护条例（2001年12月20日中华人民共和国国务院令第339号公布根据2011年1月8日国务院关于废止和修改部分行政法规的决定第一次修订根据2013年1月30日国务院关于修改计算机软件保护条例的决定第二次修订）第二章 系统详细功能设计22.1 统一安全系统2.1.1 概述基于统一开发接口， 实现对统一开发接口进行运行质量监控、 安全控制及统计分析等管理功能。对统一开发接口进行实时监控及定期调用验证等多种手段，保证统一开发接口的有效、有序、 有质量的对外服务的提供。2.1.2 限制条件用户登陆权限2.1.3 界面设计系统登陆组织结构管理角色管理用户管理2.1.4 业务流程统一的认证系统是SSO的前提之一。认证系统的主要功能是将用户的登录信息和用户信息库相比较，对用户进行登录认证；认证成功后，认证系统应该生成统一的认证标志（ticket），返还给用户。另外，认证系统还应该对ticket进行校验，判断其有效性。要实现SSO的功能，让用户只登录一次，就必须让应用系统能够识别已经登录过的用户。应用系统应该能对ticket进行识别和提取，通过与认证系统的通讯，能自动判断当前用户是否登录过，从而完成单点登录的功能。2.1.5 输入数据结构组织机构管理序号参数数据类型是否必填参数说明1dept_codeString(255)是组织机构代码2dept_name_enString(255)是组织机构名称34角色管理序号参数数据类型是否必填参数说明1ranger_user_codeString(255)是角色名称234用户管理序号参数数据类型是否必填参数说明1accountString(255)否账号2real_nameString(255)否真实姓名342.1.6 处理过程2.1.7 输出数据结构组织机构管理数据名称属性名称属性类型默认值返回数据DataObject对象执行IDexecutionId字符型返回消息Message字符型返回数据状态编码RetCode数值型角色管理数据名称属性名称属性类型默认值返回数据DataObject对象执行IDexecutionId字符型返回消息Message字符型返回数据状态编码RetCode数值型用户管理数据名称属性名称属性类型默认值返回数据DataObject对象执行IDexecutionId字符型返回消息Message字符型返回数据状态编码RetCode数值型表名称idatrix_unisecurity_user业务分类表用户表数据主键字段名类型&长度备注PRIidbigint(20)用户idrenter_idbigint(20)业务系统iddept_idbigint(20)usernameString(20)real_nameString(128)sexbigint(20)ageint(11)emailString(512)card_idString(20)phoneString(20)pswdString(32)create_timedatetimelast_login_timedatetimestatusbigint(1)login_tokenString(256)out_datedatetimelast_updated_datedatetimeq_onetextq_twotextq_threetexta_onetexta_twotexta_threetextvalidate_codeString(256)visit_timesbigint(20) unsigned表名称idatrix_unisecurity_role_sys业务分类表角色系统表数据主键字段名类型&长度备注role_idbigint(20)用户idclient_system_idString(100)业务系统id表名称idatrix_unisecurity_role_permission业务分类表角色权限表数据主键字段名类型&长度备注ridbigint(20)角色IDpidbigint(20)权限IDcreate_timedatetime表名称idatrix_unisecurity_role业务分类表角色表数据主键字段名类型&长度备注PRIidbigint(20)renter_idbigint(20)codeString(20)nameString(32)角色名称typeString(10)角色类型is_activetinyint(4)remarktextcreate_timedatetimelast_update_timedatetime表名称idatrix_unisecurity_renter业务分类表租户表数据主键字段名类型&长度备注PRIidbigint(20)租户idrenter_nameString(200)租户名称admin_accountString(20)管理员账号admin_nameString(20)管理员姓名admin_emailString(512)admin_phoneString(20)管理员电话opened_serviceString(1000)开通服务opened_resourceString(500)开通资源renter_statustinyint(1)create_timedatetimelast_updated_bydatetime表名称idatrix_unisecurity_organization业务分类表部门表数据主键字段名类型&长度备注PRIidbigint(20)部门idparent_idbigint(20)renter_idbigint(20)dept_codeString(100)部门编码dept_nameString(100)部门名称remarktextis_activetinyint(1)是否有效(1表示有效，0表示无效)create_timedatetimelast_updated_bydatetime表名称idatrix_unisecurity_import_msg业务分类表导出信息表数据主键字段名类型&长度备注PRIidbigint(10)batch_idString(10)msgString(200)user_nameString(20)file_nameString(50)importorString(20)create_timedatetimepasswordString(20)密码real_nameString(20)真实姓名sexint(1)1-男， 2-女ageint(2)年龄emailString(100)邮箱card_idString(20)身份证phoneString(20)手机表名称idatrix_unisecurity_pwd_question业务分类表密码问题列表数据主键字段名类型&长度备注PRIidbigint(20)主键idquestion_numString(5)问题序号question_nametext问题名称表名称idatrix_unisecurity_permission业务分类表权限表数据主键字段名类型&长度备注PRIidbigint(20)parent_idbigint(20)typeString(20)权限类型(菜单,按钮)urlString(256)url地址nameString(64)url描述is_showtinyint(4)show_orderint(11)url_descString(256)client_system_idString(100)表名称idatrix_unisecurity_organization业务分类表部门表数据主键字段名类型&长度备注PRIidbigint(20)部门idparent_idbigint(20)renter_idbigint(20)dept_codeString(100)部门编码dept_nameString(100)部门名称remarktextis_activetinyint(1)是否有效(1表示有效，0表示无效)create_timedatetimelast_updated_bydatetime表名称mc_data_resource资源信息数据主键字段名类型&长度备注PRIIdint(10)type_idint(10)1、 行业TypeString(255)PrefixString(255)keywordString(255)parent_idString(255)2.1.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.1.9 接口设计资源管理接口接口名称资源列表请求地址List请求方式http get返回值类型json报文请求参数参数名参数类型是否必填说明无返回结果说明资源列表返回参数参数名参数类型说明idint(10)type_idint(10)1、行业 2 主题 3 标签typevarchar(255)Prefixvarchar(255)keywordvarchar(255)parent_idvarchar(255)接口名称添加资源请求地址AddResource请求方式http get返回值类型无请求参数参数名参数类型是否必填说明idint(10)是资源详情type_idint(10)是1行业 2 主题 3 标签typevarchar(255)是Prefixvarchar(255)是keywordvarchar(255)是parent_idvarchar(255)是返回结果说明无接口名称变更资源请求地址UpdateResource请求方式http get返回值类型无请求参数参数名参数类型是否必填说明type_idint(10)是1行业 2 主题 3 标签typevarchar(255)是Prefixvarchar(255)是keywordvarchar(255)是parent_idvarchar(255)是返回结果说明无接口名称删除资源请求地址deleteResource请求方式http get返回值类型无请求参数参数名参数类型是否必填说明资源数据主键ResourceIdInt是数据主键返回结果说明无租户管理接口接口名称组织机构列表请求地址List请求方式http get返回值类型无请求参数参数名参数类型是否必填说明返回结果说明组织机构列表参数名参数类型是否必填说明无idbigint(20)PRIparent_idbigint(20)部门idrenter_idbigint(20)dept_codevarchar(100)部门编码dept_namevarchar(100)部门名称remarktextis_activetinyint(1)是否有效(1表示有效，0表示无效)create_timedatetimelast_updated_bydatetime接口名称添加组织机构请求地址addOraganization请求方式http get返回值类型无请求参数参数名参数类型是否必填说明组织信息parent_idbigint(20)部门idrenter_idbigint(20)dept_codevarchar(100)部门编码dept_namevarchar(100)部门名称remarktextis_activetinyint(1)是否有效(1表示有效，0表示无效)create_timedatetimelast_updated_bydatetime返回结果说明无接口名称变更组织机构请求地址updateOraganization请求方式http get返回值类型无请求参数参数名参数类型是否必填说明组织信息parent_idbigint(20)部门idrenter_idbigint(20)dept_codevarchar(100)部门编码dept_namevarchar(100)部门名称remarktextis_activetinyint(1)是否有效(1表示有效，0表示无效)create_timedatetimelast_updated_bydatetime返回结果说明无接口名称删除组织机构请求地址updateOraganization请求方式http get返回值类型无请求参数参数名参数类型是否必填说明组织信息OraganizationIdint是数据主键返回结果说明无组织机构用户关联接口接口名称组织机构用户关联接口请求地址addUserToOrg请求方式http get返回值类型json报文请求参数参数名参数类型是否必填说明组织idOrgIdint是组织id主键用户idsuserIdsList(int)是用户id列表返回结果说明用户关联的组织机构参数名参数类型是否必填说明idint(20)序列metaidint(10)元数据表ID（OR文件存储表）table_namevarchar(255)表名称table_name_envarchar(255)child_idint(10)父表ID,如果为引用关系，则child_id为idchild_tablevarchar(255)父表名称child_table_envarchar(255)table_typevarchar(255)表类型（文件表OR数据表）statusint(255)默认为0，1为删除 2为根据child metaid删除rs_typevarchar(255)关系类型，1为引用关系 2为生成关系creatorvarchar(50)创建人create_timedatetime创建时间modifiervarchar(50)修改人modify_timedatetime修改时间角色管理接口接口名称角色管理接口请求地址List请求方式http get返回值类型json报文请求参数参数名参数类型是否必填说明无返回结果说明角色列表参数名参数类型是否必填说明idbigint(20)renter_idbigint(20)codevarchar(20)namevarchar(32)角色名称typevarchar(10)角色类型is_activetinyint(4)remarktextcreate_timedatetimelast_update_timedatetime接口名称添加角色接口请求地址addRole请求方式http get返回值类型无请求参数参数名参数类型是否必填说明角色信息renter_idbigint(20)codevarchar(20)namevarchar(32)角色名称typevarchar(10)角色类型is_activetinyint(4)remarktextcreate_timedatetimelast_update_timedatetime返回结果说明无接口名称变更角色接口请求地址UpdateRole请求方式http get返回值类型无请求参数参数名参数类型是否必填说明角色信息renter_idbigint(20)codevarchar(20)namevarchar(32)角色名称typevarchar(10)角色类型is_activetinyint(4)remarktextcreate_timedatetimelast_update_timedatetime返回结果说明无接口名称删除角色接口请求地址deleteRole请求方式http get返回值类型无请求参数参数名参数类型是否必填说明角色信息roleIdInt是角色信息主键返回结果说明无角色用户接口接口名称角色用户接口请求地址addUsersToRole请求方式http get返回值类型无请求参数参数名参数类型是否必填说明角色idroleIdInt是角色ID用户idsuserIdsList(int)是用户id列表返回结果说明无角色授权接口接口名称角色授权接口请求地址addPermissionToRole请求方式http get返回值类型无请求参数参数名请求参数参数名请求参数角色idroleIdInt是角色ID用户idspermissionIdsList(int)是权限ID列表返回结果说明无用户管理接口接口名称角色授权接口请求地址list请求方式http get返回值类型json报文请求参数参数名参数类型是否必填说明返回结果说明用户信息列表参数名参数类型是否必填说明idbigint(20)renter_idbigint(20)dept_idbigint(20)部门IDusernamevarchar(20)用户昵称real_namevarchar(128)真实姓名sexbigint(20)性别emailvarchar(512)邮箱|登录帐号pswdvarchar(32)密码create_timedatetime创建时间last_login_timedatetime最后登录时间statusbigint(1)1:有效，0:禁止登录login_tokenvarchar(256)登陆TOKENout_datedatetime超时时间last_updated_datedatetime最后登陆时间validate_codevarchar(256)visit_timesbigint(20) 访问次数接口名称添加用户接口请求地址Adduser请求方式http get返回值类型无请求参数参数名参数类型是否必填说明用户信息renter_idbigint(20)dept_idbigint(20)部门IDusernamevarchar(20)用户昵称real_namevarchar(128)真实姓名sexbigint(20)性别emailvarchar(512)邮箱|登录帐号pswdvarchar(32)密码statusbigint(1)1:有效，0:禁止登录返回结果说明无接口名称变更用户接口请求地址updateUser请求方式http get返回值类型无请求参数参数名参数类型是否必填说明用户信息renter_idbigint(20)dept_idbigint(20)部门IDusernamevarchar(20)用户昵称real_namevarchar(128)真实姓名sexbigint(20)性别emailvarchar(512)邮箱|登录帐号pswdvarchar(32)密码statusbigint(1)1:有效，0:禁止登录返回结果说明无接口名称删除用户接口请求地址deleteUser请求方式http get返回值类型无请求参数参数名参数类型是否必填说明用户主键idUserIdInt是数据主键信息返回结果说明无接口名称上传用户文件请求地址Upload请求方式http get返回值类型无请求参数参数名参数类型是否必填说明资源idresource_idbigint(20)资源idorigin_file_namevarchar(40)原始库中的文件名pub_file_namevarchar(100)发布出来的文件名file_descriptionvarchar(200)文件描述data_batchvarchar(20)数据批次，格式为yyyy-MM-dd返回结果说明无接口名称下载用户接口请求地址Download请求方式http get返回值类型File文件请求参数参数名参数类型是否必填说明用户文件resource_idbigint(20)资源id返回结果说明用户文件返回参数参数名参数类型是否必填说明用户文件FileFile资源文件组织角色关联接口接口名称用户角色关联接口请求地址addUserToRoles请求方式http get返回值类型无请求参数参数名参数类型是否必填说明用户IduserIdInt是用户主键ID角色IdsroleIdsList(int)是角色Id列表返回结果说明无接口名称组织用户关联接口请求地址addUserToOrgs请求方式http get返回值类型无请求参数参数名参数类型是否必填说明用户IduserIdInt是用户主键ID组织IdsorgIdsList(int)是组织Id列表返回结果说明无2.1.10 备注2.2 元数据处理系统2.2.1 概述元数据管理模块包括：数据目录子系统、元数据管理子系统、元数据数据库、对外服务接口，与外部系统交换，通过对外服务接口来完成。元数据管理，元数据管理包括数据系统注册、元数据管理、数据关系管理、版本管理。数据标准管理，数据标准：对数据质量的标准化进行设置处理。元数据展现，元数据查询：展示各表的数据字典情况。2.2.2 限制条件用户登陆权限2.2.3 界面设计前置机资源管理数据系统注册数据库SFTP用户元数据定义数据地图数据关系管理数据关系查询2.2.4 业务流程通过一定的方法解析出数据之间的关联映射关系，映射关系的上下游连在一起形成数据地图。通过数据地图可以进行数据的血缘分析（向上游查询）和影响分析（向下游查询）；保证元数据定义与实际情况的一致性。通过每天的元数据采集比对，可以知道发生变化或异常的表，及时提醒相关人员关注，同时可以保留多个元数据历史版本供查阅；通过可视化界面，可以多层级，多角度地查询、展现元数据信息；支撑数据质量与数据标准模块，提供接口调用。2.2.5 输入数据结构数据关系查询序号参数数据类型是否必填参数说明1table_nameString(255)否表中文名称2table_name_enString(255)否表英文名称3deptString(255)否组织名称4元数据定义序号参数数据类型是否必填参数说明1table_nameString(255)否表中文名称2table_name_enString(255)否表英文名称3deptString(255)否组织名称42.2.6 处理过程2.2.7 输出数据结构数据关系查询序号参数数据类型是否必填参数说明1metaidint(10)是元数据表ID（OR文件存储表）2table_nameString(255)是表名称3table_name_enString(255)是4child_idint(10)是父表ID,如果为引用关系，则child_id为id5child_tableString(255)父表名称6child_table_enString(255)7table_typeString(255)表类型（文件表OR数据表）8statusint(255)默认为0，1为删除 2为根据child metaid删除9rs_typeString(255)关系类型，1为引用关系 2为生成关系10creatorString(50)创建人11create_timedatetime创建时间12modifierString(50)修改人13modify_timedatetime修改时间元数据定义序号参数数据类型是否必填参数说明1ds_idint(10)是数据系统ID2ds_nameString(255)是数据系统名称3db_hostnameString(255)是数据系统主机名称4ds_typeint(10)是数据系统类型 （mysql oracle）5db_usernameString(255)是来源单位6db_passwordString(255)是密码7db_portString(255)是数据库端口8db_databasenameString(255)是数据库名称9db_instancenameString(255)是实例名称10db_resourceString(255)是odbcdsn数据源,db所在资源11statusint(255)是状态 为1废弃 2删除 12remarkString(255)是备注13create_timedatetime是创建时间14creatorString(255)是创建人15modify_timedatetime是修改时间16modifierString(255)是修改人17front_end_server_idint(11)是前置机编号18department_idString(255)是表空间19department_nameString(255)是索引表空间20source_idint(11)是数据系统来源渠道,1前置机 2平台21platform_server_idString(255)是平台资源编号22namespaceString(255)是hbase命名空间23renter_idString(11)是租户编号24db_odbcdsnString(255)是db_odbcdsn数据源dsn2.2.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.2.9 接口设计数据系统注册查询接口接口名称数据源系统注册查询接口请求地址queryByname请求方式http get返回值类型数据列表请求参数参数名参数类型是否必填说明db_instancenamevarchar(255)是实例名称返回结果说明数据源列表返回参数参数名参数类型是否必填说明1ds_idint(10)数据系统ID2ds_namevarchar(255)数据系统名称3db_hostnamevarchar(255)数据系统主机名称4ds_typeint(10)数据系统类型 （mysql oracle）5db_usernamevarchar(255)来源单位6db_passwordvarchar(255)密码7db_portvarchar(255)数据库端口8db_databasenamevarchar(255)数据库名称9db_instancenamevarchar(255)实例名称10db_resourcevarchar(255)odbcdsn数据源,db所在资源11statusint(255)状态 为1废弃 2删除 12remarkvarchar(255)备注13create_timedatetime创建时间14creatorvarchar(255)创建人15modify_timedatetime修改时间16modifiervarchar(255)修改人17front_end_server_idint(11)前置机编号18department_idvarchar(255)表空间19department_namevarchar(255)索引表空间20source_idint(11)数据系统来源渠道,1前置机 2平台21platform_server_idvarchar(255)平台资源编号22namespacevarchar(255)hbase命名空间23renter_idvarchar(11)租户编号24db_odbcdsnvarchar(255)db_odbcdsn数据源dsn25typevarchar(10)数据源系统注册新建/修改接口接口名称数据源系统注册新建接口请求地址CreateDatasource请求方式http get返回值类型无请求参数参数名参数类型是否必填说明1ds_namevarchar(255)数据系统名称3db_hostnamevarchar(255)数据系统主机名称4ds_typeint(10)数据系统类型 （mysql oracle）5db_usernamevarchar(255)来源单位6db_passwordvarchar(255)密码7db_portvarchar(255)数据库端口8db_databasenamevarchar(255)数据库名称9db_instancenamevarchar(255)实例名称10db_resourcevarchar(255)odbcdsn数据源,db所在资源11statusint(255)状态 为1废弃 2删除 12remarkvarchar(255)备注13create_timedatetime创建时间14creatorvarchar(255)创建人15modify_timedatetime修改时间16modifiervarchar(255)修改人17front_end_server_idint(11)前置机编号18department_idvarchar(255)表空间19department_namevarchar(255)索引表空间20source_idint(11)数据系统来源渠道,1前置机 2平台21platform_server_idvarchar(255)平台资源编号22namespacevarchar(255)hbase命名空