征求意见稿-《场景驱动的产品生态数据空间管理要求》

1场景驱动的产品生态数据空间管理要求本文件规定了场景驱动的产品生态数据空间的资源管理、数据采集管理、数据存储规范管理、数据安全管理、场景管理和服务管理要求。本文件适用于场景驱动的产品生态数据空间的设计、建设和日常管理。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。产品生态系统ProductEcosystem在一定的环境条件下，根据一定的消费需求构建而成的产品系统。数据空间集成演化DataspaceIntegrationandEvolution使用数据空间的实体解析技术，处理产品数据空间中的信息，实现数据的有序集成。可以对实体的深度解析，能够更全面、准确把握数据本质。自适应纠删码AdaptiveErasureCode通过时序预测对自适应条件进行判断，对多个数据进行监测，收集数据被读取的次数，将此数据作为原始数据输入模型之中，输出该数据的热度趋势，在数据热度变化时，对其进行纠删码的自适应转换。智能合约时间戳漏洞检测SmartContractTimestampVulnerabilityDetection基于数据流传播路径学习的智能合约时间戳漏洞检测方法。可识别和防止智能合约中可能出现的时间戳漏洞，确保生态数据交易记录的精准和可信，可以进一步增强了跨企业生态数据交换的安全性和可信度。4资源管理资源管理分为数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理等部分，见图1。资源管理数据标准管理数据模型管理元数据管理主数据管理数据质量管理图1资源管理流程24.2数据标准管理应构建包含标准类型和标准定义的标准管理模块，主要功能包括但不限于以下内容：a)在标准类型中维护标准类型编码、标准类型名称；b)在标准定义中维护标准类型、标准定义编码、标准定义名称、标准的定义信息。4.3数据模型管理构建主题库进行数据模型的管理，主题库分为产品库、用户库、企业库、场景库4个模型库，各主题库主要管理内容如下：a)产品库：包含商品名称、商品版本号、商品图片、所属品牌编码、所属品牌名称、商品类型编码、商品类型名称、商品状态、供应商公司编码、商品供应商名称、商品价格、是否逻辑删除、是否虚拟商品、是否传海极网、商品材质、商品尺寸、是否有升级版本；b)用户库：包含用户ID、上链凭证、用户年龄、用户性别、用户账号地址、用户种类、用户生日、删除标志、用户状态、岗位代码、用户来源、用户类型、用户偏好、创建人id、创建时间、更新人id、更新时间；c)企业库：包含企业id、合作模式、公司名称、统一社会信用代码、法人代表、经营期限、营业执照照片、隶属地区省份代号、隶属地区城市代号、隶属地区区代号、隶属地区街道代号、详细地址、注册资本、成立日期、是否海尔商户、创建人id、创建时间、修改人id、修改时d)场景库：包含评价编码、上链凭证、评价名称、评价评分、改善建议、创建人名称、创建时间、更新人名称、更新时间。4.4元数据管理元数据管理应包括但不限于以下内容：a)建立资源目录，定义产品库、企业库、用户库、场景库的概念。b)管理产品信息、销售信息、运维信息、运行信息、协同信息、企业信息、企业订单交易、用户信息、用户订单交易、用户需求推荐、用户行为信息、评价数据的详细属性定义。c)形成资源目录与资源文件的定义映射，明确数据意义。4.5主数据管理应构建基础库进行主数据的管理。基础库分为产品域、用户域、企业域、场景域4个数据标准域。各基础库主要管理内容如下：a)产品域：包含产品信息、销售信息、运维信息、运行数据、协同数据；b)用户域：包含用户信息、用户订单交易、用户需求推荐、用户行为信息；c)企业域：包含企业信息、企业订单交易；d)场景域：包含评价数据。4.6数据质量管理应构建数据质量自动管理模块，该模块包含测量指标定义功能、数据质量分析评估功能、数据清洗与纠正功能。各功能应具备以下要求：a)测量指标定义功能：维护测量指标编码、测量指标名称、测量指标定义规则；b)数据质量分析评估功能：将收集的数据进行多维分析并给出综合评价，并将分析数据与评价结果传到数据清洗与纠正功能中；c)数据清洗与纠正功能：清洗指标差异较大的数据，并对轻微磨损数据根据算法进行尝试性纠正，纠正失败则进行清洗流程。4.7资源管理角色权限分配模式4.7.1组织结构为促进生态系统的共同发展和实现资源的协同管理与共享，在整个产品生态数据空间中，应建立完善的数据管理架构和角色分配机制。3组织架构包括产品生态数据空间管理委员会、产品生态数据空间管理中心和各跨公司业务部门。组织架构划分如图2所示。角色职责组织架构数据消费者场景开发者数据提供者图2产品生态数据空间管理保障措施组织架构4.7.2角色职能为了确保组织架构中的各个角色相互配合、各司其职，需要明确各自的职责，并将这些工作职责融入到日常的产品生态数据空间管理和使用工作中。与上述管理架构相适应的角色职责如表1所示。表1角色职能表组织结构角色主要职责产品生态数据空间由生态中各公司数据主导组成负责领导产品生态数据空间管理工作；决策产品生态数据空间管理重大工作内容和方向。在数据角色方出现问题时负责仲裁。产品生态数据空间管理中心台运营人员负责牵头制定产品生态数据空间管理的政策、标准、规则、流程，协调认责冲突；监督各项数据规则和规范的约束的落实情况；负责产品生态数据空间管理平台中整体数据的管控流程制定和平台功能系统支撑的实施；负跨公司各业务/技术部门生态合作企业)数据规范。作为数据出现质量问题时的主要责任者。员负责数据开发，有责任执行数据标准和数据质量内容，负责从技术角度解决数据质量问题。作为数据出现质量用户起人。5数据采集管理5.1数据分析数据分析应包括以下内容：a)业务分析：对数据来源业务进行探查分析。b)接入方式分析：对源数据存储位置、提供方式进行分析。c)结构分析：对数据的含义、类型、长度、结构进行分析。d)内容分析：对数据内容进行分析，包括数据总数、分别情况、平均值、中位数、最大值、最小值等数据统计分析。4e)关联分析：对数据之间存在的依赖关系、主外键关系进行分析。f)通信协议管理：对数据传输交换的协议进行维护与管理。g)集成演化：充分运用实体解析技术，以便更好地支持产品生态的数据资源集成演化。5.2采集定义5.2.1存储结构：应根据源数据选择合适的类型、长度、精度对数据进行存储。5.2.2存储逻辑介质应符合以下要求：a)结构化数据存储到Mysql中。b)半结构化数据应转为结构化数据后存储到Mysq1中。c)非结构化数据应根据存储量选择合适的非结构化数据库进行存储。5.2.3存储物理介质应根据对数据的读写频率选择合适的存储介质。访问频率低的数据可进行数据归档或使用搜索引擎。5.2.4采集策略应根据数据更新要求制定不同的采集策略。5.3数据读取应符合以下要求：a)根据业务场景拆分读取与写入时间段，避免大量或频繁的同时间读写操作；b)对海量数据，支持分批或增量读取，宜采用分布式方式对数据源进行读取。5.4数据写入应符合以下要求：a)根据业务场景拆分读取与写入时间段，避免大量或频繁的同时间读写操作；b)《具备异常回滚机制，保证写入事务的ACID特性。5.5采集方法应符合以下要求：a)源数据介质与目标数据介质之间的数据采集可使用ETL工具；b)实时性要求高的数据应使用实时采集，实时性要求低的数据可以使用批量采集；c)单批量采集较大数据量可能会造成系统故障时，应使用分批采集。5.6通讯协议通讯协议应包含http、tcp、udp、modbus/tcp、opc-ua、mqtt、opc-da,并应构建协议管理功能模块，该模块应包括一下功能：a)协议类型功能：维护协议类型编码、协议类型名称；b)协议定义功能：维护协议类型、协议编码、协议格式。5.7集成演化应使用基于关联分析和深度实体解析的数据空间集成演化技术，支撑产品生态的数据资源集成演化。着重考虑场景驱动的方法，确保对数据空间的深度理解和适应性，高效地处理产品数据空间中的信息，实现数据的有序集成。6数据存储规范管理6.1数据命名规则5a)在数据模型中的内聚模块中具有唯一性；b)字段名称的字符采用26字母、0~9的自然数及下划线‘_’组成；c)不使用存储实例的保留关键字；d)应使用简练的英文单词；e)表命名由前缀+“_”+业务名称的方式进行命名，前缀为一类业务的统称；f)非结构化数据字段数据使用小驼峰的形式，数据集名称使用大驼峰的形式。6.2存储要求a)为单个机构提供独立的逻辑存储空间；b)具备可弹性伸缩、高可用的分布式对象存储服务的能力；c)为结构化、半结构化、非结构化类型数据提供不同级别的存放策略；d)提供数据导入、导出和数据迁移功能。6.3存储格式应满足以下要求：a)支持多种格式的内容数据存储；b)同一条记录可有关联的多个字段。6.4存储介质a)云存储介质可使用云磁盘、高效磁盘、对象存储；b)数据可在不同存储介质间转移。6.5可靠存储为防止数据篡改、泄露和侵权，应使用基于时序预测的自适应纠删码技术。对多个数据进行监测，收集数据被读取的次数，将此数据作为原始数据输入模型之中，输出为该数据的热度趋势，在数据热度变化时，对其进行纠删码的自适应转换。7数据安全管理7.1基础要求企业应通过数据安全管理，制定和执行安全政策与措施，以确保数据的安全性，包括提供适当的身份验证、授权、访问控制和审计功能，以确保只有合法授权的人员能够访问和使用数据。企业应通过合理的安全等级设定、风险评估和安全管理制度的实施，确保数据的保密性、完整性和可用性，防范数据安全风险，并提供可信赖的数据环境。7.2安全管理目标应建立完善的体系化的安全策略措施，全方位进行安全管控，通过多种手段确保数据资产在“存、管、用”等各个环节中的安全，做到“事前可管、事中可控、事后可查”。7.3关键措施数据安全管理的关键措施包括：a)理解数据安全需求及监管要求；b)定义数据安全策略；c)定义数据安全标准；d)定义数据安全控制及措施；e)管理用户、密码和用户组成员；f)管理数据访问视图与权限；6g)监控用户身份认证和访问行为；h)定义数据安全强度，划分信息等级；i)部署数据安全防控系统或工具；j)审计数据安全。应使用基于产品生态数据流传播路径学习的智能合约时间戳漏洞检测技术，以识别和防止智能合约中可能出现的时间戳漏洞，确保生态数据交易记录的精准和可信。8场景管理8.1流程场景管理流程分为场景类型管理、场景库管理、场景挖掘管理、场景编排管理，见图3。图3场景管理流程8.2场景类型管理应构建场景类型管理功能，用于维护场景类型编码、场景类型名称，并可针对每个场景类型维护类型明细编码和类型明细名称。8.3场景库管理应构建场景库管理功能，用于维护场景名称、场景类型、是否已推送、租户、描述，并能对维护好的场景进行评价。8.4场景挖掘管理应构建场景挖掘管理功能，用于维护场景名称、场景类型、场景所属、描述、是否采纳状态，并可以对当前系统中的场景进行内置与挖掘的分类区分。8.5场景编排管理构建场景编排管理功能，该功能可以维护场景中条件性的控制节点，并创建命令与设备的关联关系，通过系统内置算法对场景中的设备下发命令。8.6场景管理角色权限分配模式8.6.1组织架构在跨企业场景管理中，应建立明确的组织架构，制定合理的角色分工和对应的责任。组织架构宜由生态系统管理层、数据管理团队、技术支持团队等组成，每个团队都应具备不同的技能和知识，以便实现有效的数据管理和协同管理。各层级职责分工应符合以下要求：7a)生态系统管理层应该负责制定整个生态系统的管理策略和规划，并负责与各参与方进行沟通和协调；b)数据管理团队应该负责具体的场景数据管理和服务数据管理，包括数据采集、存储、清洗、处理、分析和共享等工作；c)技术支持团队则应该负责支持数据管理和协同管理所需的技术平台和工具的开发和维护。在角色分工和对应责任方面，每个角色都应清楚地知道自己的责任和职责，并积极参与协同管理，以确保生态系统的有效运行，可以根据具体情况进行调整，应该包括以下角色：a)生态系统管理层：负责制定生态系统管理策略和规划，协调各参与方之间的关系，推动生态系统的共同发展b)数据管理负责人：负责场景数据管理和服务数据管理的具体工作，包括数据采集、存储、清洗、处理、分析和共享等；c)数据分析专家：负责对数据进行深度分析，提取有用的信息和洞见，为生态系统管理层和其他参与方提供决策支持；d)技术支持人员：负责开发和维护数据管理和协同管理所需的技术平台和工具，确保系统的稳定性和可靠性。9服务管理服务管理流程分为场景市场管理、订阅管理、订阅日志管理、意见库管理，见图4.图4服务管理流程9.2场景市场管理应构建场景市场管理功能，用于维护场景名称、发布类型、分类、适用类型、是否上架、联系人、联系电话。并可以进行场景的上架、下架，控制用户在场景市场中对场景的订阅功能。9.3订阅管理应构建订阅管理功能，该用于用户进行场景订阅并记录订阅状态，对已订阅的场景可重复订阅，方便将场