详细设计-数据共享交换平台

系统开发项目-详细设计 详细设计-数据共享交换平台版本修订历史日期作者/修订人章节修改内容版本2018.06.01李斌1.0目录第一章综述11.1 阅读前的注意事项11.2 规范要求1第二章系统详细功能设计22.1 交换前置管理22.1.1 概述22.1.2 限制条件22.1.3 界面设计22.1.4 业务流程32.1.5 输入数据结构32.1.6 处理过程42.1.7 输出数据结构52.1.8 物理及数据存储62.1.9 接口设计62.1.10 备注72.2 数据上报功能82.2.1 概述82.2.2 限制条件82.2.3 界面设计82.2.4 业务流程92.2.5 输入数据结构102.2.6 处理过程112.2.7 输出数据结构112.2.8 物理及数据存储112.2.9 接口设计122.2.1 备注132.3 数据交换132.3.1 概述132.3.2 限制条件132.3.3 界面设计132.3.4 业务流程152.3.5 输入数据结构152.3.6 处理过程172.3.7 输出数据结构182.3.8 物理及数据存储192.3.9 接口设计192.3.10 备注212.4 业务系统接口重构222.4.1 概述222.4.2 限制条件222.4.3 界面设计222.4.4 业务流程222.4.5 输入数据结构222.4.6 处理过程232.4.7 输出数据结构232.4.8 物理及数据存储242.4.9 接口设计242.4.10 备注242.5 信息资源订阅支持242.5.1 概述242.5.2 限制条件242.5.3 界面设计242.5.4 业务流程242.5.5 输入数据结构252.5.6 处理过程262.5.7 输出数据结构272.5.8 物理及数据存储272.5.9 接口设计272.5.10 备注29第三章系统错误处理设计303.1 系统访问异常30第一章 综述1.1 阅读前的注意事项本文件涉及具体的业务知识和大量的技术知识，需要掌握相应的业务和技术知识才能正确完全地理解本文。1.2 规范要求GB/T 9385-2008计算机软件需求说明编制指南中华人民共和国计算机信息系统安全保护条例（国务院令第147号 1994.2.18）计算机信息系统保密管理暂行规定（国保发19981号）计算机软件保护条例（2001年12月20日中华人民共和国国务院令第339号公布根据2011年1月8日国务院关于废止和修改部分行政法规的决定第一次修订根据2013年1月30日国务院关于修改计算机软件保护条例的决定第二次修订）第二章 系统详细功能设计22.1 交换前置管理2.1.1 概述交换前置管理管理功能维护交换单位或者业务系统与前置服务器的对应关系。2.1.2 限制条件平台管理员帐号登录。2.1.3 界面设计前置机列表页面前置机新增/编辑页面2.1.4 业务流程1 管理员登录系统2 查询前置机列表；3 注册/编辑前置机信息；3.1 选择部门3.2 选择服务器3.3 选择数据库实例3.4 保存全部信息4 删除前置机信息。2.1.5 输入数据结构1. 查询前置机列表-输入序号参数数据类型是否必填参数说明1deptNameString否部门名称2deptCodeString否部门代码2. 查询前置机详情-输入序号参数数据类型是否必填参数说明1tmIdint是前置机ID3. 保存前置机信息-输入序号参数数据类型是否必填参数说明1tmIdint是前置机ID2deptCodeString是部门编码3serverIdint是服务器ID4dbIdint是数据库ID5dbUserString是数据库用户名6dbPasswordString是数据库密码7fileRootString是sFTP根目录2.1.6 处理过程前置机注册过程：2.1.7 输出数据结构1. 查询前置机列表-输入序号参数数据类型是否必填参数说明1deptNameString否部门名称2deptCodeString否部门代码2. 查询前置机详情-输入序号参数数据类型是否必填参数说明1tmIdint是前置机ID3. 保存前置机信息-输入序号参数数据类型是否必填参数说明1tmIdint是前置机ID2deptCodeString是部门编码3serverIdint是服务器ID4dbIdint是数据库ID5dbUserString是数据库用户名6dbPasswordString是数据库密码7fileRootString是sFTP根目录2.1.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.1.9 接口设计接口名称查询服务器列表请求地址serverList请求方式http get返回值类型无请求参数参数名参数类型是否必填说明部门信息deptCodeString是部门编码返回结果参数名参数类型说明服务器信息serverIdint服务器IDservierNameString服务器名称ipAddressStringip地址接口名称查询数据库列表请求地址dbList请求方式http get返回值类型无请求参数参数名参数类型是否必填说明服务器信息serverIdint是服务器ID返回结果参数名参数类型说明数据库信息dbIdint服务器IDdbNameString服务器名称portStringip地址dbUserString数据库用户名dbPasswordString数据库密码2.1.10 备注2.2 数据上报功能2.2.1 概述提供用户手工上报数据的入口，支持用户上报数据库类和文件类的数据，上报的数据能够自动的传输到规定的文件路径或者数据库表中。2.2.2 限制条件普通用户登录。2.2.3 界面设计数据上报资源选择页面数据上报文件上传页面(数据库类)数据上报文件上传页面(文件类)2.2.4 业务流程1 用户登录系统2 查询上报任务列表；3 新增上报任务；3.1 选择资源3.2 数据库类资源3.2.1 下载模版excel3.2.2 上传数据excel3.2.3 填写数据批次3.3 文件类资源3.3.1 上传文件3.3.2 填写文件发布名称、文件描述3.3.3 填写数据批次3.4 保存任务3.5 调用数据集成系统任务创建接口3.6 数据集成系统返回任务状态2.2.5 输入数据结构1. 数据库类文件任务序号参数数据类型是否必填参数说明1resourceIdint是资源ID2dataBatchString是数据批次3fileIdint是附件ID2. 文件类文件任务序号参数数据类型是否必填参数说明1resourceIdint是资源ID2dataBatchString是数据批次3fileIdint是附件ID4fileDescString否文件描述2.2.6 处理过程数据上报时序图：2.2.7 输出数据结构1. 查询前置机列表-输入序号参数数据类型是否必填参数说明1resultString是是否成功2rowCountint否处理的记录条数2.2.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.2.9 接口设计接口名称下载Excel模版请求地址/dataUpload/downloadTemplate请求方式http get返回值类型无请求参数参数名参数类型是否必填说明部门信息resourceIdint是资源id返回结果参数名参数类型说明文件流byte文件字节流接口名称根据数据上报ID查询对应的ETL任务状态请求地址/dataUpload/getETLTaskDetailInfoById请求方式http get返回值类型无请求参数参数名参数类型是否必填说明部门信息idint是任务id返回结果参数名参数类型说明任务信息messageString文件字节流codeString返回码dataObject任务详细信息2.2.1 备注2.3 数据交换2.3.1 概述平台提供三种类型数据的交换：数据库、文件、服务。交换流程自动生成，自动执行，可通过可视化的方式监控交换状态。2.3.2 限制条件无。2.3.3 界面设计交换总览界面任务执行记录任务监控画面2.3.4 业务流程1 查询交换任务；2 启动完成或这失败的任务；3 停止正在执行的任务。2.3.5 输入数据结构1. 数据库类交换任务新建-输入序号参数数据类型是否必填参数说明1taskIdString是任务名称，唯一2taskTypeString是任务类型3startTimeString否任务开始时间4endTimeString否任务结束时间5intervalint是执行周期6intervalUnitString是周期单位7fromDBString是源数据库8fromTableString是源表9columnsString是源字段10toDBString是目标数据库11toTableString是目标表12creatorString是创建人2. 文件类任务交换新建-输入序号参数数据类型是否必填参数说明1taskIDString是任务名称，唯一2taskTypeString是任务类型3startTimeString否任务开始时间4fromPathString是源文件路径5toPathString是目标文件路径6creatorString是创建人3. 查询任务列表-输入序号参数数据类型是否必填参数说明1taskIDString是任务名称，唯一2deptCodeString是部门编码3taskStatusString否任务状态4taskTypeString是任务类型4. 查询任务执行记录-输入序号参数数据类型是否必填参数说明1taskIDString是任务名称，唯一2.3.6 处理过程创建交换任务停止执行中的任务2.3.7 输出数据结构1. 数据库类交换任务新建-输出序号参数数据类型是否必填参数说明1jobIdString是调度任务Id2messageString否错误信息2. 文件类任务交换新建-输出序号参数数据类型是否必填参数说明1jobIdString是调度任务Id2messageString否错误信息3. 查询任务列表-输出序号参数数据类型是否必填参数说明1taskIdString是任务名称，唯一2taskTypeString是任务类型3startTimeString否任务开始时间4endTimeString否任务结束时间5dataCountint否交换数据量6statusString否任务状态7deptCodeString否部门编码4. 查询任务执行记录-输出序号参数数据类型是否必填参数说明1logString是执行日志2.3.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.3.9 接口设计接口名称创建ETL数据库任务请求地址createDBJob请求方式dubbo返回值类型String请求参数参数名参数类型是否必填说明任务实体taskIdString是任务名称，唯一taskTypeString是任务类型startTimeString否任务开始时间endTimeString否任务结束时间intervalint是执行周期intervalUnitString是周期单位fromDBString是源数据库fromTableString是源表columnsString是源字段toDBString是目标数据库totableString是目标字段creatorString是创建人返回结果参数名参数类型说明jobIdStringETL任务ID接口名称创建ETL文件任务请求地址createFileJob请求方式dubbo返回值类型String请求参数参数名参数类型是否必填说明任务实体taskIDString是任务名称，唯一taskTypeString是任务类型startTimeString否任务开始时间fromPathString是源文件路径toPathString是目标文件路径creatorString是创建人返回结果参数名参数类型说明jobIdStringETL任务ID接口名称启动一个任务请求地址startJob请求方式dubbo返回值类型String请求参数参数名参数类型是否必填说明任务实体jobIdStringETL任务ID返回结果参数名参数类型说明接口名称停止一个任务请求地址endJob请求方式dubbo返回值类型String请求参数参数名参数类型是否必填说明任务实体jobIdStringETL任务ID返回结果参数名参数类型说明2.3.10 备注2.4 业务系统接口重构2.4.1 概述该功能能够快速生成多个应用系统的数据API接口开发及封装工作，无需协调源系统开发商的前提下，通过对接口服务的调用，实现各系统内部及外部系统数据的获取，实现跨部门跨系统的数据对接。2.4.2 限制条件1. 接口使用方系统已经完成相关系统功能与接口集成；2. 通过数据接口对应信息资源的订阅审核。2.4.3 界面设计无。2.4.4 业务流程1. 业务系统主动调用平台接口2. 平台接口校验调用方权限 3. 校验通过再调用燕云Daas接口2.4.5 输入数据结构1. 接口调用-输入序号参数数据类型是否必填参数说明1appKeyString是调用识别码2requestObject是Daas输入参数2.4.6 处理过程重构接口调用过程2.4.7 输出数据结构2. 接口调用-输出序号参数数据类型是否必填参数说明1successBoolean是是否调用成功2errorCodeString是错误码3dataObject是Daas输出参数2.4.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.4.9 接口设计2.4.10 备注2.5 信息资源订阅支持2.5.1 概述与政务信息资源目录系统结合，实现信息资源的编目、订阅、发布、管理、查询等功能，实现对信息资源的管理。2.5.2 限制条件普通用户登录。2.5.3 界面设计无。2.5.4 业务流程1. 资源目录系统发送订阅信息到数据共享交换平台；2. 共享交换平台根据信息中的资源ID访问访问资源目录系统视图，获取物理表信息；3. 共享交换平台根据1、2步获取的信息产生交换任务报文；4. 调用数据集成系统接口产生交换任务；5. 数据集成系统基于任务调度策略调度任务。2.5.5 输入数据结构1. 资源订阅-输入序号参数数据类型是否必填参数说明1subscribeIdString是订阅ID2resourceIdint是资源ID3startTimeString否任务开始时间4endTimeString否任务结束时间5intervalint是执行周期6intervalUnitString是周期单位7columnsString否订阅字段8deptCodeString是订阅方部门编码2. 资源查询-输入序号参数数据类型是否必填参数说明1resourceIdint是资源ID2.5.6 处理过程发送订阅任务交换任务执行2.5.7 输出数据结构1. 资源订阅-输出序号参数数据类型是否必填参数说明1taskIdString是交换任务Id2messageString否错误信息2. 资源查询-输出序号参数数据类型是否必填参数说明1dbNameString是数据库名称2dbTypeString是数据库类型3ipString是ip地址4portString是端口号5userString是用户名6passwordString是密码7tableNameString是表名2.5.8 物理及数据存储采用华为云分配的虚拟硬盘，硬盘采用LVM格式；业务数据采用数据库存储，文件采用HDFS存储；备份策略：数据库采用MasterSlaver主从备份，实时备份；HDFS采用多副本存储。2.5.9 接口设计接口名称订阅任务创建请求地址/subscribe/create请求方式http post返回值类型无请求参数参数名参数类型是否必填说明订阅信息subscribeIdString是订阅IDresourceIdint是资源IDstartTimeString否任务开始时间endTimeString否任务结束时间intervalin