DB15T 1872-2020 大数据平台 接入技术要求

DB15内蒙古自治区市场监督管理局发布 1 1 1 2 2 3 3 5 6 7 9 I科技有限公司、内蒙古跃晨科技有限公司、内蒙古纵横云技术有限大数据平台接入技术要求本标准规定了大数据平台与各数据提供单位管理支撑系统进行数据接入的技术要求及数据采GB/T29262信息技术面向服务的体系结构（SOA）术语GB/T35274信息安全技术大数据服务安全能GB/T37973信息安全技术大数据安全管理b)多样性variety：数据可能来自1FTP：标准的文件传输协议（FileTransferProJDBC：java数据库连接（JavaDataBaseConneHTTPS：超文本传输安全协议（HyperTextTransferProtocoloverSecureSocketLayer或HypertextTransferProtocolSecu2b)服务网关服务；大数据平台数据仓库数据接入服务数据仓库数据源关系数据库抽取关系数据库结构化数据存储服务网关服务接口数据文件接收FTP服务半结构化管理信息管理信息FTP服务文件拉取FTP服务实时消息队列管理信息非结构化数据存储流数据管理信息非结构化数据存储直报系统关系数据库抽取应提供管理信息系统关系数据库中的结构化数据到大数据平台数据存储的定时批b)支持“全量”和“增量”两种数据抽取模式；“全量”模式是指一次性将关系数据库中物理c)支持关系数据库中结构化数据抽取到大数据平台,包含结构化数据存储、半结构数据存储、非3固定时间间隔运行、指定时间点运行、指定时h)应提供完善的监控机制，运行过程中出现异常可快速的定位及解决。b）数据抽取吞吐量：在千兆带宽的网络条件关系数据库大数据平台>关系数据库大数据平台>大数据平台关系数据库抽取a)抽取元数据信息b)配置数据传输任务c)配置数据传输任务运行策略d)平台运行数据传输任务，数据抽取>>应用场景描述如下:d)关系数据库抽取服务运行数据传输任务，从数据源的数据库抽取数据到平台4a)关系数据库抽取服务适用于关系数据库定时批量抽取场景，详细说明参见b)数据源须提供关系数据库的访问链接c)数据源提供的数据库访问用户应具备数据库的元数据信息定义a)支持接入Webservice、RESTfu管理信息系统大数据平台管理信息系统大数据平台大数据平台服务网关服务a)提供接口信息b)接口编排c)配置数据传输任务运行策略d)平台运行数据传输任务，数据抽取>>5应用场景描述如下:c)服务网关服务配置数据传输任务运行策略，包括运行的开始时间、结束时间d)服务网关服务运行数据传输任务，从a）应提供分布式消息队列的管理功能，支持消息主题的创建g）具备完善的日志审计能力，可以记录消息发送和消费时6大数据平台实时消息队列大数据平台大数据平台实时消息队列大数据平台管理信息系统a)申请实时消息队列服务b)创建消息主题<<返回消息配置信息c)业务系统开发业务处理程序，发送或接收消息>>c)管理信息系统应依照大数据平台提供的实时消息队列采集接口完成自身数据发送或接收接口文件接收FTP服务应提供外部系统文件数据的接收并存入到大数据平台数据仓库的功能。文件采集f）支持图形管理功能，支持认证配置、文件目标位置7大数据平台管理信息系统大数据平台管理信息系统文件接收FTP服务a)分配业务系统a)分配业务系统ftp账号 b)业务系统通过标准FTP协议连接大数据平台服务 c)业务系统检查目标临时文件是否存在d)业务系统发起全量或续传命令f)大数据平台接收文件数据g)大数据平台接收校验文件e)业务系统发送数据到大数据平台f)大数据平台接收文件数据g)大数据平台接收校验文件g)业务系统发送数据校验文件h)大数据平台校验内容i)数据平台按配置的规则存储接收到的数据文件j)大数据平台回写数据存储状态k)业务系统获取数据存储状态8a)管理信息系统须在大数据平台注册并b)管理信息系统须按平台协议规范开发上传功能；c)管理信息系统生成文件数据时须同时生成对应的d)具体文件接收FTP服务API接口参见附录D.1，具体实现逻a）支持顺序型断点续传功能，支持外部文件存储断点续传能力的自动识别f）支持指定目标文件存储位置、文件名，提供文件类型转换规则，支h）支持定时轮询文件采集，采集新增的文件，支持文i）支持图形管理功能，支持FTP连接配置、文件源配置、文件目传输规则配置、文件同步/异步传输规则配置、文件传输并行度配置、文件定时及实时策略配9管理信息系统大数据平台文件拉取FTP管理信息系统大数据平台文件拉取FTP服务大数据平台a)将业务数据写入指定的文件区域b)分配ftp账号>c)配置FTP协议的数据采集服务d)运行基于FTP协议的数据采集服务>e)进行文件校验并写入大数据平台数据仓库a)管理信息系统应提供初始文件存储位置并将业务数据写入到文b)管理信息系统搭建FTP服务并为大数据平台分配FTP账号c)大数据平台全量文件采集提供基于FTP协议的采集任务配置，包括：存储文件位置、采集文件、列表方式、是否文件校验、存储目标位置及文件存储命名规c)管理信息系统生成文件数据时须同时生成对应的d)具体文件拉取FTP服务API接口参见附录E.1，具体实现逻b)支持用户仅能同时登录一次功能；c)支持模板管理功能，应具备模板的新增、删除、修改f)应具备熔断管理机制，保证服务整体可用，是直报系统访问异常情况下的大数据平台大数据平台数据接入单位大数据平台a)打开浏览器b)访问直报系统在线注册 c)用户审批 d)分配权限及下发模板下载模板e)根据模板填写数据 f)上传数据文件d)审批通过后为注册用户分配权限并根据业务需求数据接入单位用户上传请求后进行数据格式校验，a)对信息化建设较弱且有计算机基本操作知识的数据接入单位安全要求须满足GB/T35274规范中“数据服务安全要求”。开始1.配置执行器2.配置数据源3.配置任务4.配置作业是否立即执行否是结束7.执行日志查看5.立即执行传输6.作业调度配置与执结束7.执行日志查看5.立即执行传输行a)大数据平台配置执行器，用于作业调度执g)配置数据源，分别配置源数据库及目标数据库。根据业务源端的数据库的IP、端口、实例i)配置作业，根据抽取任务执行的先后顺序配置成作业；j)立即执行传输，手动开启作业输立即执行；l)执行日志查看，提供作业执行结果信息查看，包括作业开始执行时间、结束时间、运行时长、通过大数据平台的服务网关服务提供的Web界面进行操作。首先服务网关通过服务编排进行接口的编排，生成新的数据接口进行调度发布。服务网关服务应用流程见图1.登记接口信息开始2.1.登记接口信息开始3.调度发布管理信息系统通过Java代码开发方式调用大数据平台提供的实时消息队列API接口，往消息队列主1.大数据平台与管理信息系统方约定消费队列主题名称1.大数据平台与管理信息系统方约定消费队列主题名称开始息队列主题3.管理信息系统应用方开发程序调用大数据平台实时消息队列API，封装数据发送消息3.管理信息系统开发程序调用大数据平台实时消息队列API，封装数据往消息队列主题中发送消1Integerport,Stringusern2publicbooleanupload3publicbooleanCreateDirecroty(String管理信息系统在生成好文件后，编写代码实现上传文件到大数据平台的FTP服务中，调用服务示例publicvoidinitFtpClient(Stringhostname,Integerport,Stringusername,StringpaftpClient.setControlEncoding("ftpClient.connect(hostnftpClient.login(username,intreplyCode=ftpClSystem.out.println("connectfailed...ftp服务器:"+this.hostnam}}publicbooleanuploadFile(Stringpathname,StringfileNamSystem.out.println("开始上ftpClient.setFileType(FTP.BINARY_CreateDirecroty(patftpClient.makeDirectoryftpClient.changeWorkingDirectorftpClient.storeFile(fileName,iSystem.out.println("上传文System.out.println("上传文}}}}}publicbooleanCreateDirecroty(Stringremote)throwsIOE//如果远程目录不存在，则递归创建远}Stringpaths="";StringsubDirectory=newString(remote.substring(start,end).getBytes("GBK"),"iso-8859-1"changeWorkingDirectory(suSystem.out.println("创建目录["+schangeWorkingDirectory(su}changeWorkingDirectory(su}}}}}1username,Stringpass23CreateDirecroty(StringrpublicvoidinitFtpClient(Stringhostname,Integerport,Stringusername,StringpaftpClient.setControlEncoding("ftpClient.connect(hostnftpClient.login(username,intreplyCode=ftpClSystem.out.println("connectfailed...ftp服务器:"+this.hostnam}}publicbooleandownloadFile(Stringpathname,StringfbooleanchangeFlag=ftpClient.changeWorkingDirectory(patSystem.err.println("changeFlag=="+chftpClient.enterLocalPasftpClient.setRemoteVerificationEnabledString[]a=ftpClient.lisFTPFile[]ftpFiles=ftpClient.listFios=newFileOutputStream(lftpClient.retrieveFile(file.get}}System.out.println("下载文System.out.println("下载文}}}}}}publicbooleanCreateDirecroty(Stringremote)throwsIOExcep//如果远程目录不存在，则递归创建远