优化项目的建设计划

项目建设方案

一、项目背景与现实状况

近年来伴随金盾工程建设的展开，公安整体信息化水平迅速提高，在各级公安机关

和业务警种手中积累了丰富H勺业务数据资源，其种类不停丰富、总量展现爆发性增长，

公安行业的大数据体系已经初具雏形，信息资源已逐渐成为继警力资源、装备资源之

后的新一类公安关键资源。

同步伴随数据资源汇集、整合、存储、管理、共享、互换与应用需求的不停增长，

FI前存在I内数据不规范、质量不高、整合压力大、共享困难等问题也日益凸显，这些

问题最终制约着公安数据资源的应用深度和价值，导致数据运用价值低、难以管理、

应用范围窄、跨警种数据共享困难等一系列问题。迅速积累并不停增长的信息数据已

成为继警力资源、装备资源之后的新一类关键资源。怎样迅速挖掘其内在价值，转化

为现实战斗力，在更高更深层次服务保障公安工作时开展，已成为公安信息化迫切需

要处理日勺关键问题。

伴伴随公安信息资源的迅速增长，尤其是白云区大力推进出租屋电子门禁系统、视

频监控、物流数据、互联网数据建设后，大数据质量不高、处理能力不强、原则规范

局限性、共享应用不够、专业应用不深等问题已全面显现，迫切需要以新的思绪、新

的措施、新的技术处理存在的问题，应对数据资源海量化、异构化及应用需求多样化,

复杂化等带来的挑战。

为了适应时代变化，创新社会管理工作方式，提高警务运行效率，白云分局把“数

据工作”列为全局第三大基础工程。为了支撑分局数据工作的顺利开展，分局计划建设

白云大数据平台建设项

二、建设目的

本期项目建设目的是租赁便件设备为白云区辖内企业如大型物流园内部网络、城中

村和大型商场视频由部网络H勺“安全内网”抽取数据提供必要的运行环境，为大数据

平台提供鲜活数据支撑。另一方面对白云大数据一期项目所积累的监控数据、门禁数

据、物流数据等大数据进行清洗和原则化，以高质量的数据资源为基础，以信息资源

服务体系为支撑，建设信息查询、一键式搜索、信息关联、分析、挖掘及可视化展现

等应用，面向一般民警直接提供服务，提高小区治安防控水平，为发明友好小区打下

坚实基础。最终采购门禁系统办理电子钥匙过程所需口勺验证短信服务，实现门禁

号码登记过程的号码真实性验证。

三、项目现实状况

一是目前各重点企业地理位置分散，系统属于企业内网不具有联网条件，系统稳定性规

定高，数据存储量大，缺乏必要的便件运行环境。

二是缺乏对接公安内、外信息资源，按照大数据、云中心的架构总体设计，需要建立公

安数据仓库与数据集市，统一数据共享互换原则，开展对内对外原则化信息共享服务、信息

搜索集成、数据质量监控、数据记录分析，以及通过数据挖掘与分析开展警务预测、警务决

策支持服务，全面构建公安信息资源整合应用服务体系，更好地为基层民警、业务警种提供

全方位的信息资源服务支撑。

三是面向基层实战，提供情报信息服务支撑。平台•直以基层实战应用为引领，向整合

信息要实战效益。面向基层肩负侦查工作日勺干警，提供信息综合应用和分析研判功能。通过

落地侦查案件串并等线索，实现跨区域刑侦协作，有效服务基层，开展情报信息实战应用，

提高各级公安部门开展“信息战”的能力和水平。

四是需要重视科学规划，保证持续发展。平台设计以各警种信息化发展成果为指导，按

照金盾工程的统一规划和公安部H勺原则，明确平台和多种系统间H勺信息组织、数据互换、差

异化应用、共享互通服务等。在充足满足既有应用需求II勺同步，系统可支撑业务发展需求，

可以保证系统II勺稳定性和可发展性。

四、建设内容

4.1数据采集软件

重要实现如下功能：

1、电子门禁数据接口：对已经使用其他异类门禁系统进行管理的I电子门禁，提供门禁

数据批量导入接口，任何第三方顾客均以分局颁发日勺密钥字符串和数据原则，把门禁数据批

量提交给接口，即可导入系统，同步提供导入记录和质量反馈功能。

2、从业人员数据接匚：提供数据接口，让」授权的企业或企业按白云分局H勺数据原则，

向公共接口自动提交数据，

3、零碎资料数据接匚：提供数据接口，让已授权的企业或企业按白云分局II勺数据原则，

向公共接口自动提交数据或压缩文献。

4、管理门禁数据：提供网页，让没有门禁系统的单位录入门禁数据，并提供基本的新

增、注销、日志、记录等门禁管理基本功能。

5、在线录入企业从业人员信息：提供网页，让企业把其从业人员信息录入系统，并提

供基本的记录与管理功能,

6、批量导入企业从业人员信息：提供界面与接口，让企业按预设的格式把从业人员由

Excel批量导入系统，减轻企业反复录入人员工作量，页面提供数据模板和质量监控模块。

7、企业数据自动抓取器：在企业H勺网络中，布署一种自动运行软件，根据企业提供H勺

顾客名及密码，实时在线提取其客户数据库中的资料,然后传回位于互联网的警务数据库中。

8、大文献上传功能：提供数听阐明、联络人员等简要信息录入与大文献附件上传功能,

提供批量多文献同步断点续传功能。

9、异构网络数据摆渡：把互联网的数据从数据库导出并切分为小块文献，通过互联网-

公安网边界系统，以FTP的形式摆渡进入公安内网，重组文献后再导入数据库里。

10、零碎数据清洗和入库工具：根据多种数据格式，开发不一样口勺数据自动化清洗、提

取、入库工具，开发通用的数据处理工具，尽量减轻顾客人工清洗数据日勺工作量。

11、数据爬虫：根据不一样日勺数据种类，开发满足其需求的数据爬虫，把数据迅速写入

到Oracle,MongoDB和ElasticScarch里面。

12、精确杳询构造化数据库：根据输入的条件，精确查询Oraclc+MongoDB数据库日勺内

容并高亮显示关键字，其性能为查询10()亿条数据不大于1()秒。

13、模糊检索非构造化数据库+数据引擎：根据输入的条件，模糊检索\bngoDB数据库

+Lucene数据引擎的内容并富痉显示关键字，其性能为查询100亿条数据不大于10秒，

14、比对犯罪前科数据：读取新采集的数据与科技处大数据、刑警支队各系统、情报处

各系统进行碰撞比对，排查出追逃、前科、高危等人员，为派出所分类精确管理提供支持。

15、反馈展示犯罪前科数据：向各顾客展示其采集的数据与犯罪前科等系统比对之后的

成果，提供数据导出功能，

16、对外共享数据：为情报、刑警及其他单位提供根据权限访问日勺数据共享接口，提供

共享的数量记录及访问日志功能。

17、获取大数据平台的数据：根据输入条件或需要，通过大数据的WebService接口读

取或导出所需要的数据到本系统或文献中。

18、导出海量筛查成果：根据情报分析需要，输入筛查条件，然后把筛查成果导出为文

献，提供应12等专业分析软件使用。

19、上传案件文献：提供数听阐明、联络人员等简要信息录入与大文献附件上传功能，

提供批量多文献同步断点续传功能。

20、记录考核功能：提供各顾客及其下属顾客上传数据数量与质量口勺记录表。

21、权限与功能分派：管理顾客分单位、部门、组另J三个级别，第四级别是企业应用顾

客，顾客之间设置上下递属关系，并且能为每个顾客分派不一样的菜单、权限与管理区域，

为管理顾客提供新建辖内顽客口勺功能，顾客之间可以进行上下递属记录。

22、顾客的J监控、审计与记录：为各管理顾客和企业应用顾客提供其业务量和数据质量

的记录功能，顾客使用日志审计功能。

4.2数据清洗和原则化

为了开展数据清洗原则化建设，首先需要建立当地数据原则体系，原则体系的建设按照

公安大数据中心日勺体系进行规划和设计。

公安数据元原则：数据元信息以及有关的数据字典，其中数据元是进行数据整合的关健,

其在基础库建设中用于对源数据字段口勺含义进行精确描述，在关联库及专题库建设中用于规

范字段的类型、长度及命名方式，并基于数据元建立.数据间的自动关联关系。

元数据原则：在遵照公安部有关原则的基础上，根据当地数据实际状况，形成当地H勺元

数据原则。本系统口勺元数据规范和原则重:要包括业务元数据、技术元数据和数据元数据三类。

元数据重要记录数据的名称、资源标识、描述等基本信息以及数据更新信息、数据来源信息、

数据处理流程、有关业务系统等。

数据资源目录原则：对构造化数据与非构造化数据统一进行资源编码，针对资源名称、

资源标识码、数据表名、描述信息、字段信息等建立统一♦的原则，最终将所有数据资源汇总

到一种数据资源目录中，并按应用需求建立专题资源目录。

分类代码原则：结合公安数据元原则建立对应曰勺分类代码原则，并与各数据资源中对应

的字段进行关联，约束字段的取值范围，控制数据口勺质量。

数据分析

数据分析梳理对理解数据资源现实状况，开展数据元、限定词口勺分析梳理工作具有重要

意义，也是开展数据整合工作的前提条件，数据调研梳理过程可借助数据管理软件，建立当

地原则体系之后，安排专门的数据分析人员负责。

数据调研梳理过程波及到对数据资源的如下信息的调研：

•数据H勺物理存储位置

•有关字典表

•数据上游来源

•分析时间

•关键业务字段

•数据构造

•数据对应业务信息

•数据的时间、空间范围

•数据II勺更新状况

•数据量

•数据口勺质量

■反复率

■缺失状况

■错误信息

当地数据原则建立与管理

1.数据元及限定词原则导入及梳理

首先参照既有的公安数据元原则，导入到当地并进行梳理.，运用当地数据元管理机制进

行扩充。数据元原则导入II勺重要功能包括：导入数据元及限定词原则：批量导入excel格式

的数据元及限定词到当地数据原则中，以备后续的数据元分析及比对。数据元分类梳理：为

了便于使用及检索，对数据元进行分类梳理，按照描述对象及所属业务进行分类，并组织形

成树状构造。

2.数据元对标及扩充

在数据元梳理成果的基础之上，对未匹配成功口勺数据资源字段进行整顿分析及记录，确

定字段的来源警种及业务、产生原因、实际含义等，并与既有的数据元进行对照，寻找有关

联的数据元，并确定与否进行扩充。对于不确定的数据元，按照统一H勺流程历来源警种、描

述对象、特性词等方面依次进行分析，并搜索有关数据元项。

完毕数据元梳理之后，进入提交审核确认阶段，将数据元梳理成果及扩充提议整顿形成

汇报材料，按照公安部的统一规定通过数据元管理系统进行上报，提交审核。

根据审核成果，将确认口勺新增数据元更新到当地库中，为此后信息化系统设计提供参照

根据，并对未通过的数据元进行分析总结，以提高此后数据元申报的质量和成功率。

在数据元H勺对标和扩充阶段,重要通过人工、自动化相结合的方式按环节推进有关工作，

在该阶段将形成如下自动化工具辅助有关工作的开展，这些工具作为通用的数据元分析工

具，负责对既有梳理出来的数据表字段信息与公安数据兀原则进行匹配，建立自动关联机制，

并可输出详细H勺匹配成果及匹配度信息等。该工具可以大大减少人工梳理口勺工作量。

3.数据元及限定词管理

数据元原则是进行数据整合H勺关键，其在基础库建设中用于对源数据字段的含义进行精

确描述，在关联库及专题库建设中用于规范字段H勺类型、长度及命名方式，并基于数据元建

立数据间的自动关联关系，数据元原则建设过程需参照公安行业有关原则，包括：

GA/T543公安数据元

GA/T541-2023公安业务数据元素管理规程

GA/T542-2023公安数据元编写规则

数据元原则建设工作将结合珠海市数据原则化试点工作展开，按试点规定开展公安数据

元的梳理、编制和推广应用工作，建立全局统一的数据原则化管理和应用工作机制，深入推

进数据元的业务应用，统筹协调各警种的J数据原则化建设，有效支撑公安大数据资源的原则

化采集、管理和共享服务，详细试点工作包括数据元的梳理以及数据元应用H勺开展，并建设

当地数据元原则管理系统，开展原则化对标工作。

4.数据字典原则建设

结合数据元原则的建设工作，同步建立与数据元有关的数据字典原则，并与基础库数据

资源中对应的字段进行关我，以数据字典原则约束字段H勺取值范围，控制数据的质量。

数据字典管理功能如下图所示，重要包括：

•代码H勺分类组织和浏览

•字典代码的过滤杳找

•按代码名称、值提供搜索功能

•代码H勺新增维护

•代码H勺导入导出以及比对等功能

5.元数据原则建设

在遵照公安部有关原则的基础上，根据当地数据实际状况，形成当地口勺元数据原则。本

系统的元数据规范和原则重要包括业务元数据、技术元数据和数据元数据三类元数据体系是

信息资源体系的内在核。心和描述基础。资源体系中的多种资源都是由元数据进行描述及I,

并且基于其元数据属性进行管理和控制的。元数据体系的重要目U勺就是为了实现数据资源的

原则化和规范化，使不一样步期、不一样载体、不一样维度、不一样规格的数据可以被统一、

规范、科学、全面的描述，保证数据的一致性、可解释性、可追溯性，支持数据资源的统一

管理、共享和运用。

此外需要对元数据体系建立持续更新依J机制，通过和数据提供方、数据管理方H勺共同配

合，并结合软件的自动化更新机制，实现元数据的持续更新。通过建立持续更新的元数据体

系，实现对数据资源的来源去向精确的记录，并基于此实现数据资源的流向分析、数据溯源

等功能。

4.3大数据应用软件

大数据应用开发使用的分析措施要适应多渠道、多种类、多种访问方式、不停发展变化

的信息资源环境。针对实践中成熟的技战法要构建模型、固化应用。大数据研判如需构建主

题数据库，要认真规划主题数据库口勺维护机制，保证信息鲜活，防止过度建设。要保证应用

及资源访问口勺安全性。大数据研判应用需提供根据顾客角色控制对应用及各类数据资源H勺使

用。详细应实现如下功能：

（1）精确查询功能，是根据顾客输入口勺关键字返回精确杳询内容并提供成果导出功能;

（2）模糊检索功能，是根据顾客输入H勺多种组合条件，在搜索引擎中进行检索，返I口I

符合条件的内容并提供成果导出功能。

（3）犯罪前科比对功能，是把具有身份证号码的人员信息与市局科技处的追逃、前科、

涉案、重点、高危等数据库进行碰撞比对，把碰撞对比的成果返回给数据采集民警及数据采

集单位，以便于基层单位对辖内的人员进行分类管理，挤压犯罪空间。对有重新犯罪或潜在

犯罪的从业人员，合适知会数据提供的企业，让其加强防备，同步也是“警企共建，以服务

换取数据”的一种方式。

（4）情报数据筛查功能，是根据某些特定条件，筛查出符合条件日勺多种数据，然后导

入到情报独立分析系统中进行分析。

（5）模型预警分析，通过定义预警分析模型（犯罪团伙预警模型、人员轨迹预警模型

等），计算机后台计算发现模型关注状况，在符合预警条件时公布预警信息。可针对预警分

析成果信息继续研判。

（6）全景通查，全景通查是立足于平台所有可用信息资源，包括侦查应用基础信息库

数据资源、授权可使用的公安信息资源服务平台服务资源、授权可使用的各警种系统提供的

信息应用服务资源，运用信息检索服务，面向实战应用中各类查询、检索需要，提供一系列

有针对性的查询检索工具，

提供对人员及各类物品标识号、服务标识号在所有数据资源中背景信息的查询，支持数

据库、全文索引、祈求服务资源杳询；可选择成果信息展示方式、浏览详细信息、导出详细

信息、打印详细信息、导出检索成果、打印检索成果、嵌入使用其他专业工具和研判措施。

（7）关联查询，提供关联查询功能，能自由选择数据表和数据字段，配置选择项和查

询条件，自由进行逻辑组合，并能保留成方案。查询以列表显示，点击看记录详情，成果能

导出和打印。

（8）关系挖掘，运用关联挖掘服务，获取与关注充•象有直接关联关系、潜在关联关系

的其他各类对象信息。

（9）数据比对碰撞，使用集合运算服务，提供对多种、多种类数据资源（如当地文献、

数据库资源、祈求服务资源、全文索引数据）间的数据集合操作。

4.4大数据爬虫系统运行环境设备租赁

大数据平台系统除了在互联网H勺服务平台上布署原则数据接口，接受从各电子门禁、从

业人员等系统积极推送的数据之外，还要在各企业“安全内网”里面布署爬虫服务器，从企

业的数据库中抽取数据，并传播到互联网依J大数据平台.

因各企业内网R勺网络安全保护严格，严禁互联网程序侵入其企业内网爬取数据，因此大

数据平台需要在企业内网里面布署独立单机运行的服务器，并在其上安装爬虫程序，先由爬

虫程序从企业内网里自动运行，并根据企业提供H勺顾客名和密码爬取数据库的业务数据，然

后加密压缩、再穿过安全的路由器和防火墙安全系统，把数据传送到互联网上，由大数据平

台的web接口接受从企业内网发送来的业务数据。

本项目需要通过爬虫程序吸取数据H勺种类是大型物流园区的物流快递监管数据和公共

WIFI监管数据，要实现以上技术功能，其服务器必须在企业当地布署，因此计划租赁服务

方式处理硬件运行环境。租赁期为三年，到期后设备资产归白云区公安分局所有。详细如下

表：

序号布署位置数量

1大型物流园企业内部网络4

2城中村WiFi内部网络4

3公安网-互联网边界互换系统内网2

合计10

设备配置规定如下:

名称重要配置数量单位阐明

2x英特尔至强E5-2630v32.4GHz,20M缓

存,8.OGT/sQPI,Turbo,HT,8C,最大内存

1866MHz/64G内存/8块400GB固态硬盘SASMixUse

MLC12Gbps2.5英寸热插拔硬盘+8块1TB7.2KRPM

大数据爬虫系

NLSAS6Gbps2.5英寸热插拔硬盘，13G/DVD/PERC10套

统设备

H730P集成RAID控制器，2GB缓存/双个,热插拔冗

余电源(1+1),1100瓦/ReadyRails滑动导轨,带电

缆管理臂/WindowsServer2023R2原则版，工厂安

装,无介质，2插槽，2VMs,无CALs,简体中文

/iDRAC8Enterpi'isc/3年专业支持和关键任务：

（7x24）4小时上门服务3年硬盘不返回服务/加速软

件SanDiskDAS缓存,永久软件许可和3年软件维护

4.5大数据展示工具

为展示大数据应用功能需要，购置大屏显示屏2台，机房用工具推车2台。

参数规定如下表:

序号名称重要配置数量单位

国际著名品牌

屏幕尺寸80英寸

屏幕类别X超晶液晶面板

屏幕辨别率全高清（1920*1080）

网络参数

网络连接支持

连接方式无线/网线

屏幕比例16:9

1大屏显示屏2台

背光源侧光式LED

扫描方式逐行扫描

支持格式（高清）1080p或以上

水平视角（度）160-180度

垂直视角（度）160T80度

网络连接支持

连接方式无线/网线

含后背支架、HDMI连接线

机房用三层多功能折叠服务车

展开尺寸：664*380*863mm以上

2工具推车2个

折叠尺寸：1067*380*203mm

承重：25KG以上

4.6门禁系统验证短信采购

门禁系统实名制办卡时，需要登记顾客号码，为鉴别号码真伪需要使用短

信验证。估计每年登记顾客为80万户，为此需要购置短信发送费，数量80万条。

规定:

短信发送能力到达2023条/秒以上,满足高峰时期的需要。

接受成功率到达99%以上。

全网三网固定短信端口，支持上行答复。

提供CMPP、SMGP、SGIP、WEBService、等各类接入方式时接入接口。

以便顾客其他业务系统口勺接入。

支持子端口扩展。

五、技术规定

5.1并行指标

向分局内侦查办案顾客开放，规定支持顾客数2800,系统支持并发访问数2100。

5.2稳定性指标

系统必须稳定、可靠，不因系统自身的原因导致死机、停止等故障，系统有效运行时间2

99.9%,系统故障平均间隔时间218()天。

5.3系统操作性能指标

①、数据操作：一般时段响应时间W2秒，高峰时段W5秒。

②、简朴查询：一般时段响应时间W2秒，高峰时身W5秒。

③、复杂查询：一般时段响应时间W5秒；高峰时段W10秒。

④、特定复杂应用：响应时间不超过30秒。

⑤、数据比对响应指标：

源表（视图）的只读查询（以时间戳为条件）的I乔吐量为10MB（含）以上，如每条记录

为1K,每秒日勺可读10000条记录，每条记录为0.3K,每秒可读30000条记录；

数据库抽取的性能为20230条/秒；

20（）万VS2023万数据时，比对引擎的单次执行时间需要在800秒（含）以内。

⑥、关系检索指标：支持关系节点检索速度W3秒。

⑦、高性能接口指标

混合I0PS:100000（基于文献大小为8kb,80%读/20%写的J条件测试）；吞吐量:读：L2GB/s;

写:650MB/s；延迟:<lms；并发数：2500。

5.4安全方略规定

1.网络安全性

具有防火墙、防病毒,入侵检测等网络安全防备措施。系统不容许直接与非公安网互换

信息和服务。

2.操作安全性

设置三级安全控制，即：网络安全级、数据废安全级和顾客安全级。操作安

全性由网络登录验证、数据库登录验证、应用系统使用验证三级构成。网络登录

验证由信息通信部门负责；顾客安全级由顾客身份认证和顾客角色分派二部分构

成，顾客身份认证作为独立日勺一层，由统一顾客管理系统来实现，并实现向“金

盾工程”的CA认证体系对接；数据库登录验证由数据库服务器完毕，用于对具

有数据库访问权限顾客日勺验证；系统顾客角色分派由应用系统完毕；应用系统将

采用三种验证相结合的方式验证顾客。

3.系统安全性

任何客户端程序与数据库都没有直接的连接，均由应用服务器统一管理数据

库连接、数据接受、数据同步、事务处理和线程调度等工作，最大程度地保障了

数据的统一、完整和精确性能。顾客界面层与逻辑体现层之间采用协议通讯，可

采用不一样日勺数据加密措施，增强系统日勺安全性。

4数据安全性

提供数据库服务器、应用服务器日勺容错运行保障机制。对己口益积累日勺数据,

采用周期备份的措施，保障数据库万一在遭受损坏时，也有途径恢复数据。

5.应用安全性

①、身份认证：顾客必须通过数字证书PKI/PMI认证后方可访问平台。严格

记录访问日志，包括顾客PKI信息、IP地址、访问时间等。

②、访问授权：各项功能基于顾客身份进行授权管理和访问控制。

③、日志审计：提供对关键功能访问、关键数据操纵、数据互换、应用共享

服务等应用环节日勺日志记录和审计检查功能。

④、运行监控：提供对系统运行状态、数据库健康状况、数据互换通道、关

键功能压力状况等环节的I监控和预警。

6.防病毒措施

各级公安信息中心日勺统一规定采用防病毒措施，安装公安认证的杀毒软件，

并定期进行病毒库更新。

7.安全审计规定

严格按照《公安部公安信息系统应用安全审计平台技术规范VO.1》规定记录

并存储顾客操作行为和接口服务日勺日志信息。

按规定提供有关日志数据日勺服务接口。

生产日勺日志数据，必须包括安全审计规范规定的内容。

日志数据的保留按照规范中规定的时间。

5.4技术路线规定

公安数据类别繁多、服务压力较大，需要同步考虑与部省市级信息资源服务平台的对接

以及对分局应用U勺支撑，因此在平台建设过程中需要在数据整合、管理、服务等方面选择合

适的技术，详细如下。

1.大数据资源的）统一ETL技术

ETL（Extract-Transform-Load日勺缩写，即数据抽取、转换、加载的过程）负责将分

布的J、异构日勺数据源中的J数据抽取到临时中间层后进行清洗、转换、集成，最终加载到目日勺

数据源中。ETL技术日勺优势在于，其将数据的处理流程划分为源数据读取、处理器处理以

及目的数据更新三个重要阶段，通过定义源数据对象、处理器对象、以及目的数据对象，实

现数据处理、写入、更新与详细数据格式的分离。同步通过处理器对象的灵活挂接，实现数

据处理流程H勺灵活定制。

2.基于混合环境构建大数据统