互联网公共安全数据处理流程

ICSFORMTEXT35.240FORMTEXTA90FORMTEXT     T/FORMTEXTCAPSAT/FORMTEXT×××FORMTEXT××××—FORMTEXT××××FORMTEXT     FORMTEXT互联网公共安全数据处理流程FORMTEXTInternetPublicSafetyDataProcessingProcessFORMTEXT点击此处添加与国际标准一致性程度的标识FORMDROPDOWNFORMTEXT     FORMTEXT××××-FORMTEXT××-FORMTEXT××发布FORMTEXT××××-FORMTEXT××-FORMTEXT××实施FORMTEXT公共安全科学技术学会发布T/×××××××—××××目次TOC\z\o"1-3"\u\h25006目次 12961前  言 25668互联网公共安全数据处理流程 365051范围 3132002规范性引用文件 347173术语和定义 3251664总体说明 440784.1网络数据分类 4182234.2互联网公共安全风险数据来源 4228454.3数据格式描述 4212675网络数据采集 438985.1数据采集流程 5288635.2数据获取 544705.3数据传输 625375.4数据存储 6208556数据清洗流程 6261236.1数据清洗流程 7114666.2数据抽取 7144706.3数据清洗 7279256.4数据更新 984697数据清洗过程管理 9177307.1数据清洗角色要求 9144987.2数据审核管理要求 1075457.3数据更新总体原则 10220127.4数据校正处理要求 1019340附录A 1120734附录B 12前  言本标准按照GB/T1.1-2020给出的规则起草。本标准由公安部第一研究所和北方工业大学“社会公共安全风险数据管理技术研究”课题组提出。本标准由公共安全科学技术学会归口。本标准起草单位：北方工业大学、公安部一所、清华大学本标准主要起草人：徐继宁、武国亮、雷振伍、李超、刘硕、曲亚鑫、史运涛、焦彦宗、丁函本标准为首次发布。

范围本标准定义了公共安全互联网数据采集和清洗的标准流程，并为数据的加工及管理过程提供方法建议和指导。本标准适用于建设社会公共风险应急平台过程中的数据提供单位和数据处理单位，用于指导各单位的数据采集和清洗工作。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T1.1-2020《标准化工作导则第1部分：标准的结构和编写》GB/T38673-2020《信息技术大数据大数据系统基本要求》SJ/T11615.1-2016《网络数据采集分析软件规范第1部分：框架》SJ/T11615.2-2016《网络数据采集分析软件规范第2部分：数据格式描述》术语和定义GB/T35295-2017界定的以及下列术语和定义适用于本文件。3.1数据处理dataprocessing本标准的数据处理是指将来自互联网的原始数据按照需求进行数据采集，数据清洗和初步打标等工作。不包括大数据的高效传输，以及数据统计等数据处理工作。3.2数据采集dataacquisition对数据资源进行收集并形成原始记录的过程。注：大数据平台的数据来源包括政府平台的业务数据、物联网平台的传感器数据、互联网平台的用户活动记录数据等。本标准涉及到的数据采集指通过技术手段而非管理手段从互联网平台获取数据，即从互联网上通过爬虫程序获取符合需求的相关数据信息的过程。3.3脏数据dirtydata脏数据是指系统中的数据在其相应特定领域下值域超限，数据格式不规范或不一致，或者业务语义模糊或矛盾，或者已经过期等。3.4数据清洗datacleaning数据清洗是指利用现有的数据挖掘手段和方法，发现和清洗“脏数据”，将“脏数据”转化为满足数据质量要求或应用要求的数据的过程。它是发现并纠正数据文件中可识别错误的一道重要程序。3.5文本情感分析opinionmining对文本信息的主题、意见持有者、主客观性、情绪态度等情感信息的挖掘和分析，进而识别出主观性文本的情感趋向。3.6突发公共安全事件publicsafetyemergency指造成或者可能造成严重社会危害，需要采取应急处置措施予以应对的突发事件，按照社会危害程度、影响范围等因素分为自然灾害、事故灾难、公共卫生和社会安全事件。3.7数据完整性准则dataintegrityfundamentals对数据进行有关存在性、有效性、结构、内容及其它他基本数据特征的测量标准。3.8表达质量presentationquality如何进行有效信息表达以及如何从用户收集信息的测量标准。3.9问题数据abnormaldata指数据迁移或数据库交换数据过程中无法正常存储的格式错误数据。总体说明4.1网络数据分类网络数据可以分为结构化数据和非结构化数据，其具备以下特点：a）结构化数据1）相对结构规范；2）语义确定；3）获取方式通用；b）非结构化数据1）信息不易抽取，语义不确定；2）复杂多样，结构不规范；3）获取方式多样，4.2互联网公共安全风险数据来源互联网公共安全风险数据资源，主要来自于社交平台，视频网站和新闻媒体的以网络舆论为主体的实时数据，包含文字、图片、音频和视频等数据以及阅读数、评论数等用户行为数据，常见于论坛、博客、微博、微信、视频、新闻和平面媒体等平台。4.3数据格式描述为了数据的统一存储和管理，针对不同网络数据来源的同一语义属性，应定义统一的数据属性和格式。定义的数据格式将为数据存储和处理作支撑，因此需遵循可存储、可扩展、可转换的原则。互联网公共安全数据抓取格式规范见附录A。网络数据采集5.1数据采集流程网络数据采集是对互联网平台数据进行筛选、采集以及存储的过程。数据类型包括文本、图片、视频和音频等，并将静态信息和动态信息保存在媒体上。互联网相关数据源作为输入，经过数据获取、数据传输和数据存储最终存放至采集库（存储源数据）中，如图1所示。采集库可根据数据存储的要求选择关系型或非关系型数据库。图1互联网公共安全数据采集流程图5.2数据获取互联网公共安全数据的获取建立在不损害个人、组织与数据有关权益的基础上，遵守数据安全保护相关的法律法规，以保障数据获取的合法性。针对不同平台来源的数据，应分别对网页结构或App框架进行分析，进而设计对应的爬虫程序进行数据抓取。具体的数据采集流程如图2所示：图2数据获取流程图在数据源分析阶段应该分析考量数据源平台的反爬虫设置，应包含但不限于以下几项：a）检查爬虫程序是否能够有效抓取数据；b）该网页或App是否有针对大量爬虫行为进行的反爬虫行为限制；c）定期更新爬虫程序以适应数据源平台的变化。5.3数据传输数据传输程序应能实时高效地处理所有采集点发送过来的数据包。常用的策略有：环形缓存机制、双向队列式的内存分配方式、高并发收发、传输安全性保障、多副本策略等。若使用了多副本策略和数据库阵列负载均衡，数据接收软件还需要提供单点故障容错的机制：a）单个数据库若发生故障，任何数据读写都不应该受到影响；b）数据接收程序能自动忽略受损数据库节点，并提供对应的系统监控警报。5.4数据存储网络数据存储数据库中存储记录数量在百亿条甚至千亿条以上的数据集，应根据数据量和数据结构，考虑成本、可伸缩性和可扩展性选择相应的数据库和存储方式。例如，针对非结构化数据可采用Hbase+分布存储的方式，即把数据存放到多台Hbase数据库服务器上，每台服务器存储一部分的数据。考虑分布式数据库存在单点故障恢复和可管理性等问题，采取一个多副本存储的分布式数据库方式，该方式可在非人工干预下完成自动化副本复制和数据版本校验的工作。在数据进行存储的同时应生成作用于数据全生命周期、全局唯一的主记录ID和附件记录ID（如果存在附件），并建立主记录和附件记录的关联，以便进行数据查询。数据清洗流程6.1数据清洗流程在数据存储后应进行数据清洗，以方便用户识别、判断、分析或者可视化处理等后续操作。数据清洗流程包括数据抽取、数据清洗和数据更新。数据清洗总体流程如图3所示：图3数据清洗总流程图6.2数据抽取数据抽取是从数据源中抽取数据的过程，抽取方式为增量抽取。增量抽取是指在上次抽取完成后，对数据库中新增或修改数据的抽取。6.3数据清洗6.3.1数据清洗概述数据清洗是实现数据标准化的主要处理环节，需要根据清洗规则对数据进行校验、格式转换、去重、修复、过滤等操作，将其转化为满足标准及质量要求的数据，最后依据相关要求进行信息提取和数据标注。6.3.2缺失值检测和格式校验缺失值检测：缺失值是在数据采集时由于某种原因应该得到而没有得到的数据。缺失值检测通过检测数据属性值中的空或“-”来判断是否含有缺失值。格式校验：通过检查表中属性值的格式是否正确来衡量有效性，如时间格式、多余字符、乱码等。6.3.3字段标准化字段标准化是根据数据标准把非标数据转换成统一的标准格式进行输出。针对不同来源同类数据的同一语义属性，按照统一规则进行标准化，例如时间、地址、经纬度等属性的格式标准化。6.3.4脏数据处理6.3.4.1脏数据处理概述脏数据处理包括：重复数据去除、正面情感数据去除、缺失值数据处理和拼写错误修正。具体流程图如图4所示。图4脏数据处理流程图6.3.4.2重复数据去除当两条数据的主属性值（抓取时间、发布时间、来源平台、发布作者、标题、内容）全部相同时，判断为重复数据，并对其中一条重复数据判定为无效数据，并进行删除操作。6.3.4.3正面情感数据去除社会公共安全风险数据一般为带有负面或中性情感的舆论数据，因此需要通过对数据标题和内容属性值进行文本情感分析，对判定为正面情感的数据判定为无效数据，并进行删除操作。6.3.4.4缺失值数据处理针对缺失值数据，应根据缺失值属性的可修复性对数据进行缺失值修复，无法修复的数据判定为无效数据。例如：缺失值数据是如下情况时，判定该数据为无效数据，并进行删除操作：a）“抓取时间”和“发布时间”全部缺失；b）“内容”缺失；c）“来源平台”缺失。缺失值数据可修复规则如下：a）“抓取时间”缺失时，基于数据抓取的实时性，将“发布时间”属性值复制给“抓取时间”；b）“发布时间”缺失时，基于数据抓取的实时性，将“抓取时间”属性值复制给“发布时间”；c）“用户名”缺失时，将该属性值修改为“匿名”；d）“标题”缺失时，将该属性值修改为“unknown”。6.3.4.5拼写错误修正各个数据源平台通常会设置敏感词限制，导致发布内容中可能会出现故意的拼写错误以规避这种限制，因此需要对数据进行拼写错误修正。拼写错误包括如下情况：a）词语中穿插出现符号或字母；b）字词使用拼音或者同音、繁体或外文字词代替；拼写错误修正的主要方法是分离字符、替换同音词和同译词，通过对修正前后的文本语义概率进行计算判断是否进行修正，仅当语义概率提升时选择进行拼写错误修正操作。6.3.5信息提取和数据标注基于社会公共安全风险数据的特殊性，应对数据进行相关信息的提取和标注，以便于公安部门及相关研究机构进行使用、分析和处理。基于互联网数据中的内容属性，运用语音识别、图像分割与目标检测、事件抽取、命名实体识别等方法，同时依据扩展属性进行相关信息的提取。数据标注是将提取到的信息添加到数据相应的扩展列中，如未提取到相应信息则对应扩展列属性值标记为“None”。根据突发公共安全事件相关内容对所有数据进行属性列扩展，应包含但不限于以下3个公共属性列族和1个事件扩充属性项。公共属性列族包括事件信息、事件导致的损失/危害信息、事件处置信息。数据标注信息应按照上述事件属性信息进行标注，标注信息数据结构见附录B。6.4数据更新数据更新是将清洗后的数据加载到数据库中，依据数据存储方式使用文本文件存储结合脚本处理程序进行实现。数据更新的更新方式为增量更新，即仅更新源表变化的数据。设计增量更新机制时，因满足以下要求：a）将业务系统中的变化数据按一定的频率准确地捕获到，同时不能对业务系统造成太大的压力，影响现有业务；b）保证数据更新后目标表的正确性；c）保证作业失败后的可恢复重启的易维护性；数据清洗过程管理7.1数据清洗角色要求7.1.1数据清洗角色定义数据清洗管理涉及的数据管理角色有提供者和管理者。提供者负责提供清洗的网络数据，管理者负责数据清洗系统的基本运行管理、数据清洗规则制定、数据清洗发起等。7.1.2提供者管理要求提供者配合管理者根据接入数据指标规范与接入数据内容、接入数据流程要求，配置与部署接入服务，实现接入数据库的数据传输；发现并提供应接收数据清洗系统的问题数据，及时按规范处置，并通知管理者。7.1.3管理者管理要求管理者对数据清洗系统的管理要点应包括：管理者应负责协调并明确数据清洗规则；管理者应负责构建清洗后数据及问题数据各自的数据库和数据表的结构；管理者应负责将数据库发现的问题交给提供者，并协调提供者修改完善。此外，管理者应对数据清洗服务器的各项操作进行严格管理。7.2数据审核管理要求数据审核的目标使确保数据内容与被描述对象相一致，并且质量符合数据产品标准要求。数据审核可以贯穿于整个数据资源加工过程之中，可以量化评价的内容包括数据来源质量评价、数据加工模型与算法质量评价、数据产品质量评价等。数据审核可以由数据采集加工人员自检，也可以由数据库主要承建单位专门开展。适宜时，数据审核宜采取抽样检查或计算机辅助方法进行。数据库主要承建单位应明确审核所参照的评估模型和方法以及技术要求等。如果政府、上级管理部门、或学科领域内已存在相关的数据质量管理国际、国家规范或行业标准，数据审核宜采取这些相关标准。审核指标的设置应在符合实际的前提下尽可能不应与当前国际领先水平有太大差距。审核指标可以包括但不限于准确性，真实性误差等技术参数，特色数据和重点数据宜适当提高指标。数据资源审核通过后方可正式对用户提供服务，未能通过审核的数据一般应返回到必要的流程进行修正或重新加工。7.3数据更新总体原则数据更新前应订立数据更新计划，计划内容包括更新的频率和周期，数据更新的内容、范围和总量控制等。7.4数据校正处理要求数据校正应在数据接入阶段中解决问题。如原始数据提供者申请数据校正处理，经管理者同意后，应由原始数据提供者和管理者一起制定校正规则，在数据接入过程中清洗校正。原始数据提供者应定期对数据源系统进行检查。

附录A（规范性附录）互联网公共安全数据采集格式互联网公共安全数据采集格式见表A.1。表A.1互联网公共安全数据采集格式序号名称含义数据类型长度描述1GatherTime采集时间数值型14数据采集时间，采用时间戳形式，精确到秒级2Site采集平台字符型2，10采集平台的名称3URL采集页面链接字符型10，128原始页面链接4UserName发布者字符型1，50信息发布者的用户名、昵称、ID5UserCreateTime发布者创建时间数值型14发布用户账号创建时间，采用时间戳形式，精确到秒级6FansNum粉丝数数值型1，10发布者的粉丝数7ConcernNum关注数数值型1，10发布者的关注数8PublishNum内容发布数数值型1，10发布者原创内容发布数9PublishTime发布时间数值型14信息发布时间，采用时间戳形式，精确到秒级10Title信息标题字符型1，50发布的标题信息11ContentTable表格发布内容中的表格12ContentText文本字符型发布内容中的文本13ContentPicture图片发布内容中的图片14ContentAudio音频发布内容中的音频15ContentVidio视频发布内容中的视频16ReadNum阅读数数值型1，10发布内容的阅读/点击数17CommentNum评论数数值型1，10发布内容的回复/评论数18CopyNum转发数数值型1，10发布内容的转发数19GatherId采集器ID数值型当前采集器ID

附录B（规范性附录）互联网公共安全数据标注信息数据结构事件基本信息数据结构表见表B.1。表B.1事件基本信息数据结构表序号字段名称字段含义数据类型字段长度字段说明备注1EName突发事件名称字符型100描述突发事件的名称信息事件的信息2EID突发事件标识码字符型32使用唯一ID对当前标绘的突发事件进行标识3ECode符号编码字符型32突发事件对应标绘符号的代码4ExCoords经度数值型9，6描述突发事件点状符号所处位置的空间经度信息5EyCoords纬度数值型9，6描述突发事件点状符号所处位置的空间纬度信息6EHeight高程数值型7，3单位为米（m）7EType事件类型字符型60描述突发事件的类型信息8EGrade事件等级字符型10描述突发事件的等级信息，一般分为特别重大/重大/较大/一般9ETime事发时间数值型12描述突发事件的时间信息10EDesc事发地点字符型200描述突发事件发生地的基本信息11EBaseDesc事件基本信息描述备注型2000描述突发事件的基本信息12EPUDesc事件标绘单位信息字符型200描述事件标绘单位的基本信息，应包括单位名称，地址，联系人与联系电话事件导致的损失/危害信息数据结构表见表B.2。表B.2事件导致的损失/危害信息数据结构表序号字段名称字段含义数据类型字段长度字段说明备注1DeathNum死亡人数数值型10突发事件中的死亡人数。单位为人事件导致的损失/危害信息2EffectRadius影响半径数值型11，3突发事件影响范围的半径。单位为公里3EffectDegre影响程度字符型1000突发事件对自然环境、公共基础设施、居民生活、社会治安等的影响程度4EffectDesc影响范围字符型2000突发事件影响的范围描述5EcoLoss直接经济损失数值型20，4突发事件造成的直接经济损失。单位为万元表B.2（续）序号字段名称字段含义数据类型字段长度字段说明备注6LossDesc损失情况字符型1000突发事件已造成的各种损失的描述事件处置信息数据结构表见表B.3。表B.3事件处置信息数据结构表序号字段名称字段含义数据类型字段长度字段说明备注1Measures已采取措施字符型1000已经采取措施的描述事件处置信息2RescueState救助情况字符型1000已经进行的灾民救助情况描述3SupportRequest支援情况字符型1000向上级提出的支援信息请求自然灾害数据扩充属性项数据结构表见表B.4。表B.4自然灾害数据扩充属性项数据结构序号字段名称字段含义字段类型字段长度字段说明1DisasterNum受灾人口数值型10自然灾害中的受灾人数，单位为人2DeathNum因灾死亡人口数值型10自然灾害中的死亡人数，单位为人3MissingNum因灾失踪人口数值型10自然灾害中的失踪人数，单位为人4WoundedNum因灾伤病人口数值型10自然灾害中的伤病人数，单位为人5TransferNum紧急转移安置人口数值型10自然灾害中需紧急生活救助人口，单位为人6LifeAssistNum需紧急生活救助人口数值型10自然灾害中需过渡性生活救助人口，单位为人7TransitLifeAssisNum需过渡性生活救助人口数值型10自然灾害中需过渡性生活救助人口，单位为人8DroughtTrbNum因旱需生活救助人口数值型10自然灾害中因旱需生活救助人口，单位为人9WaterTrbNum因旱饮水困难需救助人口数值型10自然灾害中饮水困难，单位为人10SmlCropDmgArea农作物受灾面积数值型12，3自然灾害造成的农作物受灾面积，单位为公顷11CropDmgArea农作物成灾面积数值型12，3自然灾害造成的农作物成灾面积，单位为公顷12BigCropDmgArea农作物绝收面积数值型12，3自然灾害造成的农作物绝收面积，单位为公顷13DisasteFarmland草场受灾面积数值型12，3自然灾害造成的毁坏草场面积，单位为公顷14BuildCollps倒塌房屋数数值型10自然灾害造成的倒塌房屋数，单位为间15BuildDmg损坏房屋数数值型10自然灾害造成的损坏房屋数，单位为间表B.4（续）序号字段名称字段含义字段类型字段长度字段说明16LivestockDeadNum因灾死亡大牲畜数值型10自然灾害造成的死亡大牲畜数，单位为头只17AgricLoss农业损失数值