JTT1594-2026航运大数据平台数据管理通 用技术要求

JTJT/T1594—JTJT/T1594— 前 范 规范性引用文 术语和定 缩略

………………………………………………………参考文 GBT11—2020《标准化工作导则1》的规定请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件起草单位:中远海运科技(北京)有限公司、中国远洋海运集团有限公司、交通运输部科学研究院。本文件主要起草人:金颖、蒋时飞、张宇、吴晓锋、孙哲、张辉、李云浩、魏明明、李浩宁、刘文文、荀媛、黄莉莉、王涛、黄海涛、曹剑东、彭洁思、刘娜、李慧娟、王娜、郭亚茹、白紫秀、张平。JTJT/T1594—JTJT/T1594—航运大数据平台数据管理通用技术要求本文件规定了航运大数据平台数据管理的总体框架、功能要求和性能要求。本文件适用于主管部门和航运企业大数据平台的规划、设计、建设和管理。下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GBT52711信息技术词汇1GBT35295信息技术大数据术语GBT38673信息技术大数据JTT15223.

GBT52711GBT35295航运大数据平台shippingbigdata利用现代信息技术,对航运大数据进行汇聚、存储、开发、治理、服务和运维的平台注:航运大数据指航运行业在运营、管理、监控等全流程中产生的多维度、多来源数据的集合,涵盖船舶数据、港口数据、航道数据、航运物流数据、船员数据、水文气象数据、航运监管数据、航运市场数据等。下列缩略语适用于本文件AISAutomaticIdentificationSystem)XMLExtensibleMarkupLanguage)航运大数据平台由数据汇聚、数据存储、数据开发、数据服务、6个部分组成,1。数据汇聚:实现数据库同步、API接口调用、文件传输和前置机同步等多种模式的数据汇聚数据存储:实现元数据存储、数据湖存储和数据仓库存储能力数据开发:实现批处理计算、流处理计算、交互式计算和图计算能力,并提供开发项目管理和多环境开发工具。数据服务:实现API接口调用、数据库同步和文件传输等多种模式的数据服务能力数据治理:实现数据标准管理、数据质量管理、数据安全管理、数据资源管理和元数据管理平台运维:实现资源管理、系统管理和监控告警能力图 航运大数据平台总体框GB/T38673支持对AIS、电子海图、雷达图像、支持数据库同步、API接口调用、支持接收和处理实时数据流GB/T38673的要求,还满足以下要求航道信息、航标信息、水文信息应支持JSON、XML航道水质监测数据应支持文本、图像、音频、港口监控视频或照片应支持根据数据的重要性和变化频率制定数据冗余存储和备份策略,并具备数据恢复能力,能够在数据丢失或损坏时恢复数据。应支持使用国密算法对涉及个人隐私或商业机密的敏感数据进行加密存储宜支持分区存储,元数据区存储全部汇聚数据的元数据信息,数据湖区存储结构化、半结构化和非结构化的全部原始数据,数据仓库区存储对数据湖区原始数据进行处理和分析后的结构化数据。GB/T38673应支持分布式并行计算框架实现计算任务的多节点协同处理,可自动拆分计算任务或数据分片至不同计算节点,并能采用动态资源调度策略,根据任务优先级和资源负载情况自动分配计算资源;应支持流式数据的窗口计算及实时聚合、过滤、转换等操作,满足任务资源动态扩缩容,能够根据数据流量自动调整计算资源;宜支持对数据开发项目的统一管理和空间隔离,对任务、模型、脚本、安全规则、质量规则等相关开发成果,提供项目级权限管理,针对不同用户设置项目的访问和操作权限;宜支持多环境开发,提供开发环境、测试环境和生产环境的自动发布GB/T38673提供数据服务目录,支持数据服务开放,提供数据需求方浏览、支持多种数据共享开放模式,包括API接口调用、数据库同步、支持加密传输、数据脱敏、访问控制等技术,并支持数据共享日志审计应支持建立统一的数据标准,包括数据命名规范、数据定义规范、数据格式规范、数据编码规应支持数据质量管理,对数据规范性、完整性、唯一性、一致性、应提供数据安全分类分级管理功能,符合JT/T1522的规定,支持数据生命周期的数据安全应支持数据资源分层、分域管理模式,按照船舶数据、港口数据、航道数据、航运物流数据、船员数据、水文气象数据、航运监管数据、航运市场数据等分类形成统一的数据目录;宜提供统一的元数据管理功能,实现业务元数据、技术元数据和管理元数据的管理和维护,并提供元数据的版本管理和变更记录功能。平台运维功能应满足GB/T38673的要求,还应支持对AIS、VTS等实时性要求强的数据交换通道GBT38673采用分布式架构部署,节点之间的网络延迟不超过50ms,确保平台整体可用性达到999支持系统与数据库平滑切换,保障数据