互联网公共安全数据处理流程-编制说明

PAGE公共安全科学技术学会团体标准《互联网公共安全数据处理流程》编制说明起草单位：北方工业大学、公安部一所、清华大学2021年6月9日

目录一、工作简况 11.任务来源 12.编制目的 13.标准编制过程 14.标准编制原则 2二国内外研究现状 3三标准内容和分析 4四国内外相关标准研究及制修订情况 61.国内相关标准情况 62.国外相关标准情况 6五与有关现行法律、法规和强制性标准的关系 7六重大分歧意见的处理经过和依据 7七标准执行要求 7八执行贯彻国家标准的要求和措施建议 8九废止现行有关标准的建议 8十其他予以说明的事项 8PAGE\*Arabic8一、工作简况1.任务来源2018年8月，国家科技部重点研发计划项目《国家公共安全应急平台》完成项目立项，其中课题《基于“互联网+”的社会公共安全风险防控技术》要求编制互联网公共安全数据处理流程标准规范（送审稿），完成时间为2021年，标准类别为公共安全科学技术学会团体标准。2.编制目的随着信息技术的飞速发展，互联网已经成为人们发布信息和获取信息最主要的媒介，这使得人们可以从互联网上快速了解到实时发生的事情。同时，这些网络大数据中包含着大量的公共突发事件信息，如果能够实时地从网络大数据中挖掘突发事件信息，将会为政府相关部门快速处理事件和做好舆论引导赢得宝贵的时间，因此这种变化也为公共安全预警和管理提供了新的途径。然而当前网络承载的数据呈现出爆炸式增长的态势，表现为数据种类多种多样、结构复杂、规模庞大。“数据爆炸”使得数据的价值密度较低且无标准格式，因此无法直接地使用网络数据。为了提高从互联网中实时获取公共突发事件信息的能力，需要编写互联网公共安全数据处理流程，指导相关的数据获取和数据清洗工作。3.标准编制过程1）立项启动阶段2018年6月份，根据课题研究计划，由北方工业大学、公安部一所、清华大学共同组成标准研究工作组，承担标准研究工作。2020年5月，向公共安全科学技术学会提交团体标准立项申请。2020年7月，该标准正式获得公共安全科学技术学会团体标准立项。2）起草编制阶段2019年7月-12月，标准编制组通过对现有相关标准和数据采集与清洗技术进行调研，总结调研结果并于2019年12月完成标准草案第一稿。2020年3月-6月，继续对标准进行修改完善，形成标准草案第二稿。2020年7月至2021年6月，继续完善标准草案，进行专家咨询，综合专家意见进一步完善标准，正式形成标准征求意见稿。4.标准编制原则1）客观性应客观、真实地反映互联网公共安全数据。2）科学性应采用科学的方法，依据本标准及国家现行有关标准的规定进行。3）系统性应综合分析互联网公共安全数据的特征和后续数据应用需求，制定系统的、完整的数据处理流程。4）可实施性标准中指导使用的措施和方案应具有可实施性。二国内外研究现状2011年，国际标准化组织（ISO）发布了ISO22320:2011EN《SocietalsecurityEmergencymanagementRequirementsforincidentresponse》，该标准对应急信息制作和发布的过程中应包含的活动说明，以基于互联网的公共安全多源异构数据做为数据源，并根据包含的活动说明中的计划与指导、收集、处理与使用等部分展开制定。2013年，YD/T2673：2013《面向舆情分析的互联网数据采集与交换格式定义》针对新闻、博客、论坛和微博这四个社交网络平台，进行了互联网结构化数据采集与交换格式的定义，为后续网络数据采集提供了借鉴。2019年，GB/T37722：2019《信息技术大数据存储与处理系统功能要求》规定了大数据存储与处理系统的分布式文件存储、分布式结构化数据存储、流处理框架等的功能要求，在技术层面对数据存储进行了规范。此外，ISO/IEC20546：2019EN《Informationtechnology-Bigdata-Overviewandvocabulary》和GB/T35295：2017《信息技术大数据术语》的出版使数据处理领域的大部分术语得到了明确的定义。这些指标体系的提出为进行互联网公共安全数据处理提供了有益的探索。三标准内容和分析1.标准的主要内容和框架《互联网公共安全数据处理流程》共分7章。1）范围 本标准适用于建设社会公共风险应急平台过程中的数据提供单位和数据处理单位，用于指导各单位的数据采集和清洗工作。2）规范性引用文件 下列文件对本标准的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T1.1-2020《标准化工作导则第1部分：标准的结构和编写》GB/T38673-2020《信息技术大数据大数据系统基本要求》SJ/T11615.1-2016《网络数据采集分析软件规范第1部分：框架》SJ/T11615.2-2016《网络数据采集分析软件规范第2部分：数据格式描述》3）术语和定义本标准给出9条术语，其他一些术语由于在《GB/T35295-2017信息技术大数据术语》有定义，本标准未再列出。4）总体说明 本标准对网络数据的分类、互联网公共安全数据的来源以及相应的数据格式进行了概述。5）网络数据采集 本标准详细阐述了互联网公共安全数据的采集流程，包括数据获取、数据传输和数据存储。6）数据清洗流程基于对互联网公共安全数据的特征和后续数据应用需求的分析，本标准对在此基础上规范提出了数据清洗流程，该流程主要包括数据抽取、数据清洗和数据加载三部分。7）数据清洗过程管理在进行互联网公共安全数据处理的同时，本标准对数据清洗过程管理规范提出了相应的原则和要求，包括数据清洗角色要求、数据审核管理要求、数据更新总体原则和数据校正处理要求。2.重点内容分析1）网络数据采集流程 主要流程包括三部分：数据获取、数据传输和数据存储。第一，数据获取主要是通过对网页结构或App框架进行分析，设计对应的爬虫程序并进行数据抓取。第二，数据传输明确了数据传输程序应能实时、高效地处理所有采集点发送过来的数据包，同时提出相应的策略包括环形缓存机制、双向队列式的内存分配方式、高并发收发、传输安全性保障、多副本策略等。第三，数据存储提出了选择数据库和存储方式的考虑因素，并列举了部分存储策略。2）数据清洗流程主要流程包括三部分：数据抽取、数据清洗和数据更新。第一，数据抽取提出了从数据源中抽取数据的方式，主要是增量抽取。第二，数据清洗主要是进行校验、格式转换、去重、修复、过滤，以及依据相关要求进行信息提取和数据标注。第三，数据更新提出了使用文本文件存储结合脚本处理程序进行实现的方法。数据更新的更新方式为增量更新。3）数据清洗过程管理主要包括四部分：数据清洗角色要求、数据审核管理要求、数据更新总体原则和数据校正处理要求，其中数据清洗角色要求包括数据提供者管理要求和数据管理者管理要求。四国内外相关标准研究及制修订情况1.国内相关标准情况《YD/T2673-2013面向舆情分析的互联网数据采集与交换格式定义》《SJ/T11615-2016网络数据采集分析软件规范》《GB/T38673-2020信息技术大数据大数据系统基本要求》2.国外相关标准情况《ISO-22320:2011SocietalsecurityEmergencymanagementRequirementsforincidentresponse》《ISO-20546:2019Informationtechnology-Bigdata-Overviewandvocabulary》五与有关现行法律、法规和强制性标准的关系本系列标准与有关现行法律、法规和强制性标准无抵触。六重大分歧意见的处理经过和依据无重大分歧意见。标准起草组与多家单