T-ZGCSC 004-2023 智慧社区物联网平台感知数据管理技术要求

T/ZGCSC

004—2023智慧社区物联网平台感知数据管理技术要求Technical

Data

the

Smart

Platform

发布

实施 发

布T/ZGCSC

— 前 言

............................................................................I1

范围

................................................................................ 12

规范性引用文件

...................................................................... 13

术语和定义

.......................................................................... 14

缩略语

.............................................................................. 25

管理框架

............................................................................ 36

接入服务

............................................................................ 3通用要求

........................................................................ 3设备接入

........................................................................ 4设备管理

........................................................................ 4场景联动

........................................................................ 4数据转发

........................................................................ 4日志管理

........................................................................ 57

数据存储

............................................................................ 5通用要求

........................................................................ 5元数据

.......................................................................... 5数据编码

........................................................................ 7存储管理

........................................................................ 88

数据治理

............................................................................ 8通用要求

........................................................................ 8数据降维

........................................................................ 8数据质量

........................................................................ 9数据检索

........................................................................ 9数据资产服务

.................................................................... 9安全管理

....................................................................... 10数据治理评估

................................................................... 119

业务应用

........................................................................... 11系统功能

....................................................................... 11业务应用场景

................................................................... 11T/ZGCSC

— 本文件按照GB/T

1.1—2020《标准化工作导则

第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由中关村智慧城市产业技术创新战略联盟提出并归口。(厦门)联科技集团有限公司、北京五一视界数字孪生科技股份有限公司、北京北航天汇科技孵化器有限公司、北京软通智慧科技有限公司、北京邮电大学。新新、金程、陈文江、陈阳、孙沁田、董南、杨扬。T/ZGCSC

—1 范围本文件提出了智慧社区物联网平台数据管理整体框架，规定了面向智慧社区的物联网感知终端设备接入服务、存储、治理和应用的各项技术要求。2 规范性引用文件文件。GB/T

信息技术

词汇

第1部分：基本术语GB/T

数据元和交换格式

信息交换

日期和时间表示法GB/T

25000.12-2017

系统与软件工程

系统与软件质量要求和评价（SQuaRE）

第12部分：数据质量模型GB/T

物联网参考体系结构GB/T

信息技术服务

外包

第2部分：数据保护要求GB/T

信息安全技术

个人信息安全规范GB/T

信息技术

大数据

术语GB/T

信息技术

数据质量评价指标GB/T

感知控制设备接入

第2部分：数据管理要求GB/T

智慧城市

建筑及居住区

第1部分：智慧社区信息系统技术要求3 术语和定义下列术语和定义适用于本文件。3.1智慧社区

smart

运用信息通信技术,有效整合各类社区管理系统,推动社区管理和服务精细化,提升社区管理和服务水平,实现可持续发展的一种新型社区。[来源：

定义3.1]3.2数据管理

data

在数据处理系统中,提供对数据的访问,执行或监视数据的存储,以及控制输人输出操作等功能。[来源：

定义01.08.02]3.3T/ZGCSC

—数据治理

data

对数据进行处置、格式化和规范化的过程。1:2:[来源：

定义3.4数据字典

具之一。active

(passive

data

dictionary)

3.5感知数据

通过数据采集获取的原始数据或在此基础上进行加工处理的表征对象信息的数据统称。[来源：

定义3.11]3.6结构化数据

structured

一种数据表示形式,按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。[来源：

定义3.3]3.7非结构化数据

不具有预定义模型或未以预定义方式组织的数据。[来源：

定义3.8半结构化数据

data义元素以及对记录和字段进行分层的一种数据化结构形式。[来源：

定义3.5]4 缩略语T/ZGCSC

—下列缩略语适用于本标准：DBMS：数据库管理系统（DataBase

Management

）API：应用程序编程接口

(Application

Programming

Interface)5 管理框架图1所示。图1

智慧社区物联网平台感知数据管理整体框架图a)

接入服务：应支持多源的物联感知能力和数据输入，支持平台级标准协议以及私有协议对接，包括设备接入和管理、数据转发等；b)

数据存储：应实现对感知数据存储格式的规范管理，包括数据字典、数据编码、元数据治理、多模态存储等；c)

理；d)

规则引擎以及基于场景的各项应用。6 接入服务通用要求接入服务应由各种传感器、识读器、读写器、摄像头、终端、北斗、等智能模块和设备构成，下基本要求：a) 对结构化数据﹑非结构化数据、半结构化数据等类型数据的采集﹔b) 多种异构数据源的接入并实现数据格式的转换；c) 多种通讯协议接入，包含但不限于

、、LwM2M/CoAP

等；d) 有线和无线的多种网络接入方式，包括但不限于宽带、5G、NB-IOT、

等；T/ZGCSC

—e) 物联感知设备直接接入、系统接入、边缘端接入、第三方平台接入多种接入形式。设备接入感知终端在接入网络时，要求如下：a) 应符合

b) 可利用网络传输技术周期性的发送采集数据；c) 应在接入网络中设置具有唯一网络身份标识；e) 应支持手工准入和规则自动准入等接入方式；f) 应能向接入网络证明其网络身份，至少支持如下身份鉴别机制之一：1) 基于网络身份标识的鉴别；2) 基于

地址的鉴别；3) 基于通信协议的鉴别；4) 基于通信端口的鉴别；5) 基于对称密码机制的鉴别；6) 基于非对称密码机制的鉴别。设备管理感知设备接入平台的设备管理技术应符合如下要求：a) 提供统一外设访问能力和驱动开发、管理框架；b) 设备接入感知网络或其他系统时支持与系统时钟同步；c) 具有良好的协议对接、转换能力；d) 支持

、、、

等主流通信协议；e) 网络层

IP

协议支持

IP

化

PLC

通信；f) 支持设备系统或软件在线升级，升级过程中如发生异常情况，应能恢复到升级前状态；g) 支持对感知设备的运行、安全状态进行监测，对异常状态进行告警；h) 支持动态展示感知设备的数量及类型分布；i) 支持面向物联网的设备或网关身份认证服务，为设备或网关与云端提供双向身份认证和链路加密等功能；j) 远程维护等设备管理服务；k) 网络层宜支持

和

协议。场景联动场景数据采集应满足互联互通、资源共享，应支持如下要求：a) 不同场景感知终端设备数据流转；b) 近端设备的发现功能，包括主动发现和被动发现；c) 与近端设备组网功能，设备间通过绑定认证后，后续可彼此发现、无感知连接；d) 与近端设备建立安全可信的传输通道，如连接认证、鉴权校验；e) 不同类型数据的传输，包括但不限于消息、文件、数据流等；f) 云端场景联动、边缘场景联动，满足不同场景算法模型数据要求。数据转发智慧社区物联网平台应支持将感知终端数据通过平台数据推送、主动调取公开API发给经过授权且对应的感知终端应用，具体要求如下：a) 数据推送（HTTPS）。HTTPS推送用于实现物联网平台与第三方平台之间的数据通信，通过HTTPS请求方式，将平台下设备数据推动给第三方平台应用服务器。b) 主动调用（公开API）。物联网平台提供公开API，用户通过对应密钥鉴权后，能调取功能丰T/ZGCSC

—富的API，能实现消息推送，消息分发等功能。日志管理智慧社区物联网平台日志管理应符合如下要求：a) 记录操作用户的登录、登出信息；b) 全面收集平台及相关设备的运行日志，包括系统日志、操作日志、错误日志等；c) 记录关键处理逻辑的处理结果，处理失败时需记录明确原因；d) 对日志进行分析，并支持系统异常情况的提示；e) 提供统一的日志存储、管理、查询、监控、审计、导出等功能；f) 原始日志信息和归一化处理后的日志信息分别进行存储。7 数据存储通用要求储服务，数据存储通用应达到如下要求：a) 支持存储实时数据；b) 支持存储历史数据；c) 支持存储结构化、半结构化、非结构化数据；d) 具备数据存储调度、存储监控、存储管理、存储备份、存储安全的能力；e) 支持级数据存储能力，可满足海量时序数据的毫秒级存储及毫秒级查询；f) 支持灵活定义数据的存储周期，支持多种数据源存储类型，包含但不限于关系型数据库、时序数据库、文档数据库、列式数据库、对象云存储等；g) 覆盖所能支持数据类型，包括：1) 字符串型；2) 数字型；3) 对象型；4) 数组型；5) 布尔型；6) 空。元数据7.2.1 数据接入核心元数据要求 数据接入核心元数据内容、核心元数据内容如下：a) 物联网数据标识符b) 物联网数据名称c) 物联网数据采集时间d) 物联网数据关键字e) 物联网数据传送方式 物联网数据标识符a) 中文名称：物联网数据标识符b) 定义：物联网数据的唯一标识c) 英文名称：

iot

data

T/ZGCSC

—2023d)

数据类型：由采用的物联网标识标准确定e)

值域：由采用的物联网标识标准确定f)

名称缩写：

Iot-Idg)

备注：物联网数据标识符应按照相关物联网标识标准,如

26231。 物联网数据名称a)

中文名称：物联网数据名称b)

定义：物联网数据的名称c)

英文名称：iot

data

d)

数据类型：字符串e)

值域：不限长文本f)

名称缩写：

Iot-Title 物联网数据采集时间a)

中文名称：物联网数据采集时间b)

定义：感知设备所采集的物联网数据时间c)

英文名称：

iot

date

d)

数据类型：日期e)

值域：按照GB/T

7408定义的日期和时间格式f)

名称缩写：Iot-DateTime 物联网数据关键字a)

中文名称：物联网数据关键字b)

定义：描述物联网数据主题的词语c)

英文名称：iot

data

d)

数据类型：字符串e)

值域：不限长文本f)

名称缩写：Iot-Keyword 物联网数据传送方式符a)

中文名称：物联网数据传送方式b)

定义：获取物联网数据的传送方式c)

英文名称：iot

data

d)

数据类型：字符串e)

值域：不限长文本名称f)

缩写：Iot-Transfer7.2.2 数据接入扩展元数据要求 数据接入扩展元数据名称a)

物联网数据摘要b)

物联网数据标准c)

感知设备标识d)

感知设备名称e)

感知设备地理位置 物联网数据摘要a) 中文名称：物联网数据摘要b) 定义：对物联网数据内容进行概要说明的文字T/ZGCSC

—c)

英文名称：abstractd)

数据类型：字符串e)

值域：不限长文本名称f)

缩写：abstract 物联网数据标准a) 中文名称：物联网数据标准b) 定义：对所采集的数据按照国际标准、国家标准、行业标准等要求进行处理,所采用的国际标准、国家标准或行业标准。c) 英文名称：standardd) 数据类型：字符串e) 值域：由标准编号和标准名称组合而成的不限长文本名称f) 缩写：standard 感知设备标识a)

中文名称：设备标识符a)

定义：感知设备的唯一标识b)

英文名称：sensing

identifierc)

数据类型：字符串d)

值域：不限e)

长文本名称缩写：

f)

备注：感知设备标识符应按照相关物联网标识标准,如

。 感知设备名称a)

中文名称：设备名称b)

定义：感知设备的名称c)

英文名称：sensing

named)

数据类型：字符串e)

值域：不限长文本f)

名称缩写：senDev-Name 感知设备地理位置a)

中文名称：设备地理位置a)

定义：感知设备的地理位置b)

英文名称：sensing

geographic

positionc)

数据类型：geopointd)

值域：不限长e)

名称缩写：senDev-posi数据编码7.3.1 通信协议要求通信协议要求如下：a) 对于智能感知控制设备感知单元,其输出的感知数据是通信协议封装的二进制数字信号形式，可使用不同的通信协议封装；b) 对于非智能感知控制设备感知单元,其输出的感知数据是模拟量形式,可被网关接收和处理；c) 网关输出的感知数据是经过网关对原始感知数据处理后的数据,对各种不同的感知单元通信协议进行解析,使用统一的通信协议封装,并以二进制数字信号形式输出处理后的感知数据。T/ZGCSC

—7.3.2 控制数据编码要求控制数据具体要求如下：a) 控制数据由物联网平台生成，直接或经网关发给控制单元；b) 对于智能感知控制设备控制单元，接收的控制数据是通信协议封装的二进制数字信号形式；c) 对于非智能感知控制设备控制单元，接收的控制数据是模拟量形式。存储管理7.4.1 存储调度存储调度应符合如下要求：a) 执行；b) 支持动态调度存储服务；c) 支持存储权限的划分，并通过资源排队﹑时间划分等机制进行存储服务的优化；d) 能够根据当前集群的配置来处理请求，当请求超过集群能承载的请求量时仍然能够保证集群可用；e) 具备集群扩展能力和备集群缩减能力；f) 支持存储分级策略，包括支持单机级﹑跨平台级等级分类的划分；g) 支持数据隔离机制；h) 支持各类数据模型融合；i) 支持数据批量更新、删除等功能；j) 支持本地和远程的数据导入和导出等。7.4.2 存储监控存储监控应符合如下要求：a) 按照需求定制存储监控计划；b) 存储状态监控；c) 对监控﹑追踪各存储服务使用方对存储部位执行的所有操作﹔d) 获取存储资源信息、文件信息以及历史操作等数据；e) 通用型的视频抽帧、ROI区域裁剪、图片转换等；f) 多源事件感知、图像分析研判以及物联数据规则定义等；g) 联动策略配置。8 数据治理通用要求数据治理的目标应包括如下内容：a) 保障数据及其运用过程运营合规、风险可控和价值实现；b) 按照数据资源的多维特征及其相互间客观存在的逻辑关联进行科学和系统化的分类；c) 以数据资源最稳定的特征和属性为依据制定分类方案，以确保与国家数据分类体系的统一；d) 支持基于标准化的数据实现即时的查询和报表体系的建立、问题的分析、预测；e) 支持元数据管理，确定数据上下文和含义的参考框架；f) 支持提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义。数据降维8.2.1 数据分级方法数据分析方法如下：T/ZGCSC

—a) 结构化数据等级划分以库表为单位，结合字段的含义和库表的业务应用场景进行综合判定实施定级；b) 非结构化数据根据业务应用场景，对待定数据进行等级划分，确定安全等级；c) 出现下列情形之一时，需进行相关数据的安全级别变更：1) 数据内容发生变化，导致数据安全级别不再适用；2) 数据安全级别不再适用；3) 因数据聚合，导致数据安全级别不再适用；4) 因国家或行业主管部门要求，导致数据安全级别不再适用；5) 需要对数据安全级别进行变更的其他情形。8.2.2 数据降维方法通过特征筛选或聚类等方式对高维度数据降维，应符合如下要求：a) 支持线性降维和非线性降维；b) 支持无监督降维、有监督降维和半监督降维；c) 支持全局保持降维、局部保持降维和全局与局部保持一致降维。数据质量数据质量管理应达到如下要求：a) 提供数据质量指标的定义、升级、废除和归档等功能；b) 提供数据质量可度量性指标，且能够在离散值域也围内量化；c) 提供对定义数据质量指标符合度的跟踪机制，确保数据质量持续可版测；d) 支持数据质量规则的定义、执行、结果反馈管理；e) 支持

命令、谓词逻辑、正则规则、字典规则和值域规则等形式；f) 支持批量导入和交互输入的质量规则形成方式；g) 支持对规则的语法正确性进行检查和结果反馈，对不正确的规则可以进行更正编辑功能；h) 支持数据特征、特征属性及特征关系存在或不存在等属性的数据完整性管理；i) 支持数据在数据结构、数据格式和属性编码正确性、拓扑关系等的数据一致性管理；j) 提供数据唯一性、数据时效性和数据异常值等检奇规则管理。数据检索数据检索功能应达到如下要求：a) 对事件信息的检索，包含设备检索、事件检索、图像检索；b) 动态检索、流媒体检索、倒排序检索共不少于

3

种方式；c) 多种适配

NoSQL

的时空索引；d) 结构化数据的精确检索和模糊检索；e) 对文件的检索功能；f) 全文检索功能；g) 多用户并发检索能力。数据资产服务8.5.1 数据资产识别资产信息，确保其准确、有效，具体要求如下：a) 数据资产及信息要素包括基本信息、业务信息、管理信息和价值信息等；b) 和审计等过程的实施；T/ZGCSC

—c) 对数据资产的变化进行识别，并执行数据资产变更过程。8.5.2 数据资产确权数据资产确权的具体要求如下：a) 符合

GB/T33770.2-2019

的规定；b) 性和时间属性。8.5.3 数据资产应用数据资产应用具体要求如下：a) 用登记划分，并给予相应的保障措施；b) 建立数据资产服务保障、效益评估、效果评价等机制；c) 确保数据资产应用过程安全可控、合法合规；d) 对数据资产应用的行为进行完整记录，确保可追溯、可审计。安全管理8.6.1 存储备份存储备份应达到如下要求：a) 备份进程并行的容错机制﹐备份进程的宕机不影响数据的可用性；b) 数据备份的集中控制，应针对不同使用要求制定具体的数据备份策略；c) 镜像备份、冗余备份等方式提高数据存储可靠性；d) 数据自动备份、手动备份；e) 备份程序与应用程序的分离；f) 压缩存储备份数据；g) 对数据进行在线及离线的全量备份；h) 按备份时间点恢复数据。8.6.2 存储安全存储安全应达到如下要求：a) 数据加密存储能力；b) 敏感和隐私数据加密存储；c) 具备恶意访问识别能力，具备动态配置黑名单、白名单等访问拒绝策略；d) 用户身份鉴别；e)

为进行检测、识别和告警。8.6.3 服务安全应支持以下安全控制机制：a) 数据的加密和签名；b) 身份鉴别方式。8.6.4 管理制度管理制度应达到如下要求：a) 按照数据的敏感度和重要程度等进行分级分类，不同级别的数据应采用不同的安全防护策略；b) 建立采集、传输、存储、处理、