T-CESA《物联网操作系统平台运行规范 第2部分:数据处理》_第1页
T-CESA《物联网操作系统平台运行规范 第2部分:数据处理》_第2页
T-CESA《物联网操作系统平台运行规范 第2部分:数据处理》_第3页
T-CESA《物联网操作系统平台运行规范 第2部分:数据处理》_第4页
T-CESA《物联网操作系统平台运行规范 第2部分:数据处理》_第5页
已阅读5页,还剩9页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.240.01

CCSL77

团体标准

T/CESAXXXX—202X

物联网操作系统平台运行规范

第2部分:数据处理

OperationalspecificationsforIoToperatingsystemplatform

Part2dataprocessing

征求意见稿

在提交反馈意见时,请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页,已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页,未公开的专利申请的证明材料为专利申请

号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

目次

前言.........................................................................III

引言...........................................................................IV

1范围............................................................................1

2规范性引用文件..................................................................1

3术语和定义......................................................................1

4总体要求........................................................................2

4.1总体目标......................................................................2

5数据处理要求....................................................................2

5.1数据类型和格式................................................................2

5.2数据质量......................................................................6

5.3数据压缩......................................................................2

5.4数据格式转换..................................................................3

5.5字符编码转换..................................................................7

5.6多媒体数据处理................................................................7

5.7数据备份和恢复................................................................3

5.8数据隐私......................................................................3

5.9数据安全......................................................................3

附录A.........................................................................4

附录B.........................................................................6

II

T/CESAXXXX—202X

物联网操作系统平台运行规范第2部分:数据处理

1范围

本文件规定了物联网操作系统平台(以下简称“平台”)的运行环境应具备的数据处理能力,包括

数据格式和类型、数据备份和恢复、数据隐私、数据安全数据质量等要求,以支撑平台数据处理相关需

求。

本文件适用于平台的设计者、开发者以及操作系统环境的提供者和在物联网环境中实现数据处理相

关功能的相关人员。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

GB/T35273-2020信息安全技术个人信息安全规范

GB/T41479-2022信息安全技术网络数据处理安全要求

GB/T37964-2019信息安全技术个人信息去标识化指南

GB/T37025-2018信息安全技术物联网数据传输安全技术要求

GB/T28181-2022公共安全视频监控联网系统信息传输、交换、控制技术要求

GB/T29765-2021信息安全技术数据备份与恢复产品技术要求与测试评价方法

3术语和定义

下列术语和定义适用于本文件。

3.1

数据data

信息的可再解释的形式化表示,以适用于通信、解释或处理。

[来源:GB/T33745-2017,2.5.1]

3.2

数据清洗datacleaning

发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值

等。

3.3

压缩算法compactionalgorithm

在电子与通信领域也常被称为信号编码,包括压缩和还原(或解码和编码)两个步骤。

3.4

字符编码characterencoding

1

T/CESAXXXX—202X

将字符集中的字符映射到数字值或二进制序列的方法,以便计算机能够处理和存储文本数据。

3.5

加密算法encryptionalgorithm

将明文转换为密文的算法

[来源:GB/T25069-2022,3.280]

3.6

元数据metadata

描述数据及其环境的数据。

[来源:GB/T33745-2017,2.5.7]

4总体要求

4.1总体目标

平台运行时应提供数据处理相关能力,旨在保证平台数据的完整性、安全性、一致性和可靠性。

5数据处理要求

5.1数据类型和格式

平台运行时宜支持附录B中B.1和B.2所提供的常见的数据类型和格式。

5.2数据质量

平台运行时应提供以下保证数据质量的能力:

a)数据清洗:

应建立数据清洗机制,包括:

1)识别错误、不一致或不完整的数据:应保证能够及时识别错误、不一致和不完整的数据。

宜实现自动化数据验证和检查机制。

2)纠正和删除不良数据:应提供数据纠正功能,自动或者手动修复数据中的错误。应提供对

重复、冗余或者过时数据的删除机制。

b)数据格式标准化:

平台运行时宜实现数据格式标准化,使用规范的字段命名、数据编码规则和单元标准。

c)数据审计

应建立数据审计机制,记录、监视和审查数据活动,跟踪数据访问、修改该和处理活动,并生

成审计日记以供审查。应确保数据的安全性、合规性、可追溯性和完整性

5.3数据压缩

平台运行环境应满足下列数据压缩要求:

a)压缩算法:宜支持附录B中B.3所提供的常见压缩算法。

b)压缩模式:应支持无损压缩和有损压缩。

c)数据可用性:应保证压缩前后的数据仍保留有价值的信息,不影响用户对数据的使用。

d)高压缩率:宜提高压缩率,减少存储和传输成本。

2

T/CESAXXXX—202X

e)数据访问性:应支持快速访问和搜索压缩后的数据。

5.4数据格式转换

平台运行环境应支持数据格式的转换,具体要求包括:

a)数据机密性:在数据格式转换过程中,保护敏感信息的隐私和安全性。

b)数据可用性:转换后的数据保持可用性,原始数据和转换后的数据应具有相同的信息价值。

c)数据完整性:转换后的数据保证完整性,确保数据在转换过程中不受到篡改,或支持迅速发现

篡改。

d)数据元数据管理:确保转化过程中元数据的等价性。

e)数据处理效率:确保数据转换的效率和速度,减少转换过程对系统性能的影响。

f)数据验证:在格式转换后,应进行数据类型检查、范围检查、唯一性检查以确保数据符合目标

格式的规则和标准。

g)兼容性:确保转换后的数据能够与目标系统或应用程序相兼容。

5.5字符编码转换

平台运行时应支持不同字符编码之间的文本数据转换,确保应用程序能够正确处理和现实来自不同

地区和语言的文本,确保文本数据的正确性和一致性。

5.6多媒体数据处理

平台运行时应支持处理多媒体数据,对多媒体数据的传输、交换和控制符合GB/T28181-2022的要

求。

5.7数据备份和恢复

平台运行时应具有数据备份和数据恢复策略,以应对数据丢失、系统故障和灾难性事件。应符合

GB/T29765-2021的数据备份和恢复技术要求及测试方法。

5.8数据隐私

平台运行时对于包含敏感信息的数据,须遵守数据隐私法规和规定,应符合GB/T37964-2019的要

求和GB/T41479-2022中的数据删除和匿名化处理要求,保障数据的隐私。

5.9数据安全

平台运行时应符合GB/T41479-2022的要求,在处理个人信息时应符合GB/T35273-2020的要求,

以防止未经授权的访问、泄露和数据破坏,确保数据的安全可靠。

3

T/CESAXXXX—202X

附录A

(规范性附录)

系统环境

A.1libbz2

系统应提供libbz2库,其共享对象名应为libbz2.so.1。函数库的存放位置是实现定义的,但在

动态连接器的搜索目录中。

说明:libbz2是用于数据压缩和解压缩的C语言库,实现了Bzip2压缩算法。Bzip2是一种常用数

据压缩算法,用于文件压缩和数据存储中,以减小数据的大小。libbz2提供用于在应用程序中进行数

据压缩和解压缩的函数和工具。

A.2libexpat

系统应提供libexpat库,其共享对象名应为libexpat.so.1。函数库的存放位置是实现定义的,

但在动态连接器的搜索目录中。

说明:libexpat是用于解析XM文档的C语言库,其提供了高效、轻量级的XML解析功能。

A.3libiconv

系统应提供libiconv库,其共享对象名应为libiconv.so.2。函数库的存放位置是实现定义的,

但在动态连接器的搜索目录中。

说明:libiconv是用于字符编码转换的C语言库,用于处理不同字符编码之间的文本数据转换。

开发人员可以使用它来确保应用程序能够正确处理和显示来自不同地区和语言的文本。

A.4liblzma

系统应提供liblzma库,其共享对象名应为liblzma.so.5。函数库的存放位置是实现定义的,但

在动态连接器的搜索目录中。

说明:liblzma是用于数据压缩和解压缩的C语言库,提供了数据压缩和解压缩的功能,实现了LZMA

压缩算法。LZMA是一种高效的压缩算法,能够实现较高的压缩比率。

A.5libpng16

系统应提供libpng16库,其共享对象名应为libpng16.so.16。函数库的存放位置是实现定义的,

但在动态连接器的搜索目录中。

说明:libpng16是用于处理PNG图像的C语言库,提供了读取、写入和处理PNG图像的功能。

A.6libxml2

系统应提供libxml2库,其共享对象名应为libxml2.so.2。函数库的存放位置是实现定义的,但

在动态连接器的搜索目录中。

说明:libxml2是用于解析、生成和操作XML文档的C语言库。它提供了处理XML数据的工具,使

开发人员能够在各种应用程序中有效地处理和交换结构化数据。

A.7libz

系统应提供libz库,其共享对象名应为libz.so.1。函数库的存放位置是实现定义的,但在动态

连接器的搜索目录中。

说明:libz是用于数据压缩和解压缩的C语言库。它实现了DEFLATE压缩算法,这是一种常用的

无损数据压缩算法,通常用于文件压缩、网络传输和数据存储中。libz提供了用于在应用程序中进行

4

T/CESAXXXX—202X

数据压缩和解压缩的函数和工具

A.8libcharset

系统应提供libcharset库,其共享对象名应为libcharset.so.1。函数库的存放位置是实现定义

的,但在动态连接器的搜索目录中。

说明:libcharset是用于字符集和字符编码处理的C语言库,提供了一种可移植的方法来确定文

本的字符编码,以适应多种区域设置和编码要求,使跨不同系统的文本处理更加一致和可靠。

A.9liblber-2.4

系统应提供liblber-2.4库,其共享对象名应为liblber-2.4.so.2。函数库的存放位置是实现定

义的,但在动态连接器的搜索目录中。

说明:liblber-2.4实现了ASN.1基本编码规则的LDAP版本,是OpenLDAP的一部分。

A.10libunistring

系统应提供libunistring库,其共享对象名应为libunistring.so.2。函数库的存放位置是实现

定义的,但在动态连接器的搜索目录中。

说明:libunistring是用于处理Unicode字符和字符串的C语言库。Unicode是一种国际标准,用

于表示世界上几乎所有已知的字符和符号,包括不同语言的字符、表情符号、技术符号等等。

libunistring提供一组在C程序中处理和操作Unicode的函数和工具,在处理不同字符编码和字符串

操作时提供一致性。

A.11libuuid

系统应提供libuuid库,其共享对象名应为libuuid.so.1。函数库的存放位置是实现定义的,但

在动态连接器的搜索目录中。

说明:libuuid是用于生成和管理UUID的库。UUID是一种用于标识对象或实体的唯一标识符,通

常用于分布式系统、数据库、文件系统和许多其他应用中,以确保标识的全局唯一性。

A.12Brotli相关库

系统应提供Brotli相关库,包括libbrotlicommon和libbrotlidec,其共享对象名应分别为

libbrotlicommon.so.1和libbrotlidec.so.1。函数库的存放位置是实现定义的,但在动态连接器的搜

索目录中。

说明:Brotli相关库提供Brotli压缩算法支持。Brotli算法是谷歌公司开发的一种无损数据压缩

算法。

5

T/CESAXXXX—202X

附录B

(规范性附录)

常见数据格式和压缩算法

B.1常见数据类型表

表1常见数据类型

日期时间字符串布尔值整数

B.2常见数据格式表

表2常见序列化数据格式

XMLProtocolBuffersJSONMessagePack

表3常见文本文件数据格式

txtCSVTSVINI

B.3常见压缩算算法表

表4常见压缩算法表

Bzip2LZMADEFLATEBrotli

6

中国电子工业标准化技术协会

团体标准《物联网操作系统平台运行规范第2部分:数据

处理》(征求意见稿)编制说明

一、工作简况

近年来,我国物联网产业蓬勃发展,物联网在制造、交通、医疗、民生等领

域加速应用,有力推动各行各业数字化、智能化、绿色化、融合化发展。作为物

联网产业的核心基础设施之一,物联网操作系统平台正在加快与产业发展的深度

融合。为完善物联网操作系统平台标准化生态,响应工信部《物联网新型基础设

施建设三年行动计划(2021—2023年)》政策号召,北京航空航天大学、中电信

数智科技有限公司、慧之安信息技术股份有限公司成立物联网操作系统平台软件

接口标准体系研究组(以下简称研究组),开展本标准前期调研准备工作。

根据中国电子工业标准化技术协会《关于公布2024年第二批团体标准制修订

项目的通知》(中电标通[2024]004号),中国电子工业标准化技术协会24年第

二批团体标准项目中第22项标准《物联网操作系统平台运行规范第2部分:数据

处理》(项目编号:CESA-2024-045)于2024年3月12日立项,该标准由北京航空

航天大学主办,由中国电子工业标准化技术协会(以下简称中电标协)归口,参

编单位包括北京航空航天大学,中电信数智科技有限公司,慧之安信息技术股份

有限公司,云南电网有限责任公司,国家石油天然气管网集团有限公司。

2、编制过程

2023年6月,召开标准启动会,明确了标准制定原则,就标准立项背景、范

围内容、技术架构以及进度要求,组织与会人员进行了充分探讨,并提出了技术

建议。此次会议确定了标准草案范围,制定了标准编制计划。

2023年9月,召开第一次标准编辑会,介绍了标准的前期调研工作情况,讨

论标准草案内容。经探讨,提出增加IaaS服务技术作为物联网操作系统平台的关

键运行环境,并就草案粒度的问题提出了改进措施。

2023年11月,召开第二次标准编辑会,研究组汇报了第一次编辑会中的问题

改进情况及草案进度,中电标协从标准形式和内容两方面提出多个修改建议。会

后研究组完成草案形式和内容修改。

中国电子工业标准化技术协会

2024年1月,召开《物联网操作系统平台运行规范》共5项标准立项论证会,

对项目的必要性、可行性、与现有标准的协调情况和产业化情况进行论证。项目

经专家评委审核,一致同意立项,并给出题目、引言、引用版本等5条关键修改

意见。

2024年3月,研究组根据标准立项会议中5位专家评审意见,完成《物联网操

作系统平台运行规范》共5项标准的标准修订草案,并提交归口单位中电标协。

二、标准编制原则和确定主要内容的论据及解决的主要问题

1、编制原则

a)实用性原则:标准制定应考虑物联网操作系统平台在制造、交通、医疗、

民生等领域的应用需求,以及对数字化、智能化、绿色化、融合化发展的推动作

用。应吸收先进的技术和经验,包括企业、高校、科研院所等的研究成果,以确

保标准的实用性。

b)前瞻性原则:标准制定过程中,应充分考虑物联网操作系统平台未来发

展趋势,确保标准具有前瞻性。

c)可行性原则:标准制定应充分考虑可行性,使用经过实践检验的成熟技

术或经过实验验证的成熟理论。

d)协调性原则:标准应与现行法律法规及有关政策相协调,符合相关法律法

规及政策要求。

e)实施推广原则:在标准的起草过程中,应积极征集产业界的意见,并确保

标准的可实施性。

2、确定主要内容的论据

确定《物联网操作系统平台运行规范第2部分:数据处理》标准的主要内容

是依据物联网操作系统平台运行环境需要提供的必要数据处理能力确定。

物联网操作系统平台需要处理来自不同物联网设备传输的数据,涉及多种数

据类型和格式。因地区和语言不同,文本数据会涉及到字符编码的转换。平台运

行时也会频繁处理各种多媒体数据,需要对其进行约束。

物联网操作系统平台还需对收集到的数据进行传输和处理,需要支持常见的

数据处理功能,包括数据压缩、格式转换等。在处理和传输过程中还需要保证数

据质量,提供相应的数据质量保障能力。

中国电子工业标准化技术协会

除此之外,物联网操作系统平台必须保证数据的安全,防止敏感信息泄露,

要具备数据备份和恢复策略,以应对可能出现的数据丢失、系统故障和灾难性事

件。

(三)解决的主要问题

2023年全球物联网连接数增长20%以上,预计到2030年,全球将会超过800

亿的物联网连接数。全球承载物联网数字经济的通讯基础传输网络将向5G、6G、

星链网络、量子传输、光子传输方向发展,连接形式也正在由万物互联走向万物

智联。物联网支撑的数字经济产业化巨大浪潮正在扑面而来,其上的设备也将在

全球范围内产生成倍增长的数据。数据处理在物联网操作系统平台的泛在感知、

智能应用等方面发挥重要作用。虽然物联网操作系统平台的数据处理相关技术及

产业较为成熟,但是针对物联网操作系统平台的数据处理标准化工作仍在起步阶

段,缺乏相关标准。具体表现为以下问题:

数据交换与互操作性问题:物联网操作系统平台在与多种数据源进行数据交

换时,面临着数据多样性和互操作性的挑战。众多设备和传感器采用不同的数据

格式和类型,如温度、湿度、位置、图像、声音等,数据源的多样性增加了操作

系统整合和处理信息的复杂性。此外,数据的字符编码格式不一致,如UTF-8、

ASCII等可能导致在不同系统间传输数据时出现编码错误,影响数据的准确读取

和解析。

数据安全与隐私保护问题:随着物联网设备的广泛部署,从个人健康追踪器

到工业控制系统,其收集的数据量激增,且包含大量敏感信息。然而,许多物联

网操作系统尚未集成必要的端到端加密技术,缺乏对数据访问的严格控制,个人

隐私和企业数据面临较大风险。

数据加密、压缩、质量保障机制:目前,数据加密、数据压缩以及数据质量

保障相关的标准相对较为成熟,但现有标准均普遍针对传统操作系统场景下的数

据处理,尚未覆盖物联网场景下操作系统应提供的数据加密、数据压缩、数据质

量保障机制。

三、主要试验[或验证]情况分析

为对物联网操作系统平台的运行规范进行验证,研究组以慧安蜂巢物联网操

作系统平台为技术基础,开展相关研究,具体如下:

中国电子工业标准化技术协会

1、物联网操作系统平台运行环境依赖研究。利用python脚本抽取平台的运

行库依赖,研究组获得共92个动态库的依赖关系。通过对以上动态库的功能进

行分析归纳,研究组总结出平台依赖的通用操作系统环境以及数据处理、网络通

信等面向物联网场景的定制化操作系统环境,为标准的制定提供了实验基础。

2、面向物联网操作系统平台的IaaS服务技术研究。结合中国电信企业标准,

研究组对计算、存储、网络三种主要服务进行深入研究,制定云主机、云硬盘、

对象存储、文件存储、云网络等关键服务的测试方案和测试基准。

四、知识产权情况说明

五、产业化情况、推广应用论证和预期达到的经济效果

物联网操作系统平台具备广泛的产业化基础,以慧安蜂巢物联网操作系统平

台为例,该平台在多个行业中得到应用,包括海上油田、智慧园区、空管局园区、

燃气热电公司、油田安全监管、煤矿智慧矿山以及矿业数字矿山基础设施管理等。

慧安蜂巢操作系统平台的建设,有效消除了数据孤岛现象,信息流在各个环节中

无缝对接,确保了决策的数据支持。

物联网操作系统平台的推广与应用,提高了相关行业的智能化水平。随着技

术的进一步成熟和市场的不断扩大,该平台将在更多领域得到应用,推动整个社

会的数字化转型。

本标准对物联网操作系统平台数据处理技术的发

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论