版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
13I本文件主要起草人:安军锋、李清华、闫海涛、滕桂法、张军力、曹倩、郭振环、侯岩隆、任丽、张晓俭、王春山、张璠、王忠、李静、杨阳、张1农业农村大数据采集和交换共享规范下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用NY/T3987农业信息资源分类与编码;4缩略语CCKS:组合诚信密钥系统(CombinedCreditKeySystCPK:组合公钥(CombinedPublicETL:数据异构任务调度平台(Extract,TransformandFTP:文件传输协议(FileTransferProtocoHTTP:超文本传输协议(HyperTextTransferProtocHTTPS:超文本传输安全协议(HyperTextTransferSafeProtocol)JDBC:Java数据库连接(JavaDataBaseConnecMQTT:消息队列遥测传输(MessageQueuingTelemetryTransport)2ODBC:开放数据库互连(OpenDatabaseConnecOPC:对象连接和嵌入技术在过程控制规范(ObjectLinkingandEmbeddingforProcessPKI:公钥基础设施(PublicKeyInfrastructurPDA:数据采集器(PersonalDigitalAssistaREST:表述性状态转移(RepresentationalStateTranTCP:传输控制协议(TransmissionControlProtUDP:用户数据报协议(UserDatagramProtocol)VPN:虚拟专用网络(VirtualPrivateNetwor——业务数据,包含农业农村活动过程中产生的业务信息资源。——针对结构化数据,可通过数据库表复制、文件导入、API接口调用等方式进行数据采集。——针对非结构化数据(如文件、图像、音频、视频等),可采用先进的语音图像识别、编解码技术将非结构化数据转化为可分析的格式,并通过F——针对网页数据,可利用高效的网络爬虫技术或API接口调用方式,对动态和静态网页数据——针对复杂网络环境和不同异构数据,可通过其他相关方式实现。人工采集系统对接通过ETL平台从不同结构的数据源中抽取(Extract)数据,对数据进行复杂的加工处理),3b)时效性较强的数据,如农产品价格等根据实际进行更新;c)从文件数据源抽取的数据,6个月更新一次;d)年鉴数据,如历年主要农作物播种面积等更新周期为1年;b)定义清洗规则,应给出空值、非法值、不一致数据、相似重复记录等的检测和处理规定;c)执行数据清洗规则,依据定义的清洗规则,补足残缺和空值,纠正不一致数据,完成数据d)清洗结果验证,对定义的清洗方法正确性和效率进行验证与评估,对不满足清洗要求的清洗方法进行调整和优化。数据清洗过程宜多次迭代并进行分析、对数据的标准代码、格式、类型等进行转换——定性评价法,根据事先确定的完整性、准确性、一致性、安全性、可用性等评价指标,对——定量评价法,采用专业软件工具检测数据质量,也可通过辅助工具结合人工识别分析方法进行人工检测。一般可分为全数检测和抽样检测,针对国家强制要求、特殊要求、其他可能导致严重影响的数据质量项目进行全数检测,——应符合GB/T22239对数据安全的相关要求;——数据在整个采集、转化、传输过程中应依据授权使用,防止非法冒充、窃取、篡改、抵——应明确数据采集过程中个人信息和重要数据的知悉范围和安全管控措施,并采取必要的技4——应采用加密传输(如TLS/SSL)来保护数据在传输过程中的安全;——应遵守数据最小化原则,只采集完成既数据采集过程中应采用全方位防御措施,避免网络攻击——建立安全管理制度,避免人为因素导致数据泄露、损坏等安全事件;——制定数据采集原则,明确采集数据的目的和用途,确保数据采集的合法性和正当性;——采用安全技术维护数据安全,包括但不限于对称与非对称密码技术及其硬化技术、VPN技5c)一级分类代码:采用序列顺序码用2位阿拉伯数字表示,从“10”开始整十递增编码。一级分类中“其他”类目代码用“99”表示,以便扩展;扩展时,从“11”开始整十递增编d)二级分类代码:采用递增顺序码用2位阿拉伯数字表示,从“1”开始顺序递增编码,不足2位时,前面用“0”补齐。二级分类中“其他”类目代码用“99”表示,以便扩展;扩展时,在本层二级类目最大代码后顺序递增编码;e)三级分类代码:采用递增顺序码用3位阿拉伯数字表示,从“1”开始顺序编码,不足3位时,前面用“0”补齐。三级分类中“其他”类目代码为“999”,以便扩展;扩展时,在本层三级类目最大代码后顺序递增编码;f)四级分级代码:采用递增顺序码用3位阿拉伯数字表示,从“1”开始顺序编码,不足3位时,前面用“0”补齐。四级分类中“其他”类目代码为“999”,以便扩展;扩展时,在本层四级类目最大代码后顺序递增编码;g)“扩展码”:用于四级编码下的细分编码,默认01,可采用自定义递增顺序码用2位阿拉伯数字表示,从“1”开始顺序编码,不足2位时,前面用“0”补齐。采用扩展码时,应给出扩展码说明。6.1.3农业信息资源编码类目代码参照《农业农村数据分级分类规范》进行编制,农业农村信息资源类目代码见附录B。6.1.4信息资源目录管理信息资源目录管理架构及活动包括三个角色和六项活动,见图2。目目录使用者注册查询发布编目录提供者规划目图2信息资源目录管理架构及活动六项活动:a)规划:信息资源目录中心梳理、规划本级信息资源目录,制定本部门政务信息资源目录体系建设工作方案,保证各目录系统的互联互通;6b)编目:目录提供者依据本标准中“农业信息资源类目代码”,结合本部门实际,对信息资源进行编辑与整理,形成信息资源目录。目录提供者依法对信息资源目录和目录内容设置c)注册:目录提供者向信息资源目录中心注册信息资源目录内容,并负责定期更新;信息资d)发布:目录中心向目录使用者发布在本中心注册的可公开信息资源目录,向部门发布授权对元数据进行编码是为了对每个元数据进行区别和标识,便于元数据的维护与管理。元数据编码又称内部标识符,每个元数据有且只有一个永久标识符。每个元数据均对应一个18位的标识符,DEXXXXXXXXXXXXXXXXb)“数据资源目录一级码”参照信息资源目录的一级分类代码,c)“数据资源目录二级码”参照信息资源目录的d)“数据资源目录三级码”参照信息资源目e)“数据资源目录四级码”参照信息资源g)“顺序码”元数据的排序顺序编码,用4位阿拉伯数字表示,从0001开始顺序编码。应按照统一的标准注册和控制数据元属性,保证数据元在信息交换汇总时保持一致性,并且能够在不同的数据管理环境中进行数据元的比较。数据元属性常规描述符见7说明约束数据类型名称(中、英文)数据元属性标记,名称是唯一的。字符串短名字符串内部标识符由注册机构分配,与语言无关的唯一标识符。字符串定义对数据元所表示的业务含义的精确描述,定义歧义,避免使用模糊或主观的语言字符串数据类型“日期”。字符串描述数据元数据格式,从应用的角度规定数据元值的格字符串字符串示例:yzt(项目名称)_my(数据库类型)示例:河北省智慧农机决策管理信息平台的监理站信息表(info_station)命名为:6.4码表规则a)根据对已对接的数据进行分析、归纳结果,将诸如分类代码、行业代码等反应数据类别且b)依据相关法律法规、行业标准提炼出码表数据,形成码表。数据共享前需进行数据基本约定即数据组成、数据脱敏、授权管理三部分工作,数据基本约定共享数据可以以“目录服务、数据共享接口”两种在线方式进行数据共享,也可以以“存储媒体复8数据数据质量b)负责本部门共享数据的组织、管理和更新;b)负责数据共享工作日常管理、监控、维护;d)负责配合提供者更新数据,并及时公布共享目录;f)负责保证数据共享服务环境的安全。b)负责与提供者、管理者协商并确定数据共享实体、交换模式、更新周期;d)在数据使用过程中若发现问题和疑义,应及时向管理者反馈;d)应对数据脱敏操作过程进行记录,记录内容至少包括操作时间、操作人、操作对象等。9数据交换服务方)对授权管理的安全要求包括但不限于:a)应支持针对用户访问权限、数据操作权限、应用访问数据权e)资源目录发布应获得授权,明确授f)共享数据发布应获得授权,明确授权目的和范围,保留授权记录,并遵照授权执行;g)共享数据申请应获得授权,明确授权目的和范围,保留授权记录,并遵照授权执行;h)应遵循数据共享最小化原则,仅授权对业务必需的数据共享访问;j)应设定授权的有效期并定期检查授权有效性;k)应根据安全策略,生成共享数据访问授权凭证、安全配置信息,并将这些配置信息安全分共享数据内容必填字段无缺失,数据覆盖一定的使用元数据和数据说明应遵循本规范要求,数据目录编制应符合6.1要求,元数据应符合6.2要求。数据提供者按本规范对数据进行初审,确认无误后向管理者提交数据。管理者对提交的数据进行复审,如发现问题,应向数据提供者提出修改意见。数据提供者根据修改意见进行修改补充,审核无误后重新提交,数据通过复审后,方数据共享宜采用在线方式,因条件限制不宜在网络上传输的数据,应采数据访问包括访问服务、访问接口两种形式。访问服务应提供数据服务的访问地址、账户、密A.1接口协议A.1.1传输协议Header头设置要求:Content-type:application/json;charset=utfHTTP协议,JSON数据交换格式(鉴权消息除外)鉴权接口(获取Token)
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 消防安全文明检查表模板
- 临床老年进食误吸预防与应急处理
- (正式版)DB36∕T 606-2011 《烟花爆竹电子监管码RFID标签应用规范》
- 高一数学湘教版(2019)第2周必修二周测
- 医院医保信息系统管理制度
- 2026电子厂技术面试题及答案
- 2正投影的特性
- 工业机器人售后服务合同协议2026
- 输注药品安全管理制度2026
- 教师招聘(中学)考试通关秘籍题库及答案(易错题)
- 南方区域电力现货市场出清原理宣贯培训
- 2026年湖南省政工专业职称考试(新时代思想政治工作)测试题及答案
- 2026年中国电池液冷板行业发展现状及市场前景分析预测报告
- 数据的分组课件2025-2026学年人教版八年级数学下册
- 2025四川省宜宾市中考数学试题(解析版)
- 2026中国农业大学后勤保障处东区物业服务部合同聘用制人员招聘1人备考题库(含答案详解)
- 2025中国旅游集团战略发展部副总经理公开招聘1人笔试历年参考题库附带答案详解
- 2026年新版七年级下册道德与法治期末复习全册主要知识点提纲
- (正式版)DB32∕T 5389-2026 太阳能光伏与建筑一体化应用技术规程
- 2025-2026统编版四年级语文下册第八单元综合素养测评卷(含答案)
- 2025~2026学年浙江杭州市拱墅区八年级上学期期末道德与法治、历史、地理试卷-初中地理
评论
0/150
提交评论