GA大数据处理标准解读 v0.2

《GA大数据处理》标准解读1233.0与2.0标准对比3.0标准简介3.0标准详解目录标准对比2.0标准3.0标准包含内容数据元、数据代码、数据资源目录数据元、数据代码、数据资源目录数据接入、数据处理、数据治理、数据组织、数据服务。面向部门KX等非严格涉密部门KX、JZ、WA等落实情况落实不好，五花八门各地逐步开始推行3.0标准：即GA部19年发布的《大数据规范性技术文件》中的《GA大数据处理》标准。2.0标准：即3.0标准之前推出的数据方面的标准。3.0标准是完整的、体系化的、面向全体GA部门的数据处理标准023.0标准简介标准出台背景政策要求国家大数据战略公安大数据战略组织保障Lr副部长，原来在地方负责WA上调后继续负责WA，后来JZ和kx业务需求犯罪采用高科技手段JD需要网络/寄递数据，协调困难，时效性差项目积累浙江省厅“云上公安、智能防控”广东省厅大数据建设3.0标准蓝本-GA部大数据建设总体规划18年，部召集三所、一所、华为、太极、阿里等若干厂家报方案，最终三所作为牵头进行编写。统一运行网络统一基础设施统一数据资源统一服务平台统一安全策略统一标准规范一切资源化资源目录化目录全局化全局标准化公安大数据规范性文件公安大数据处理标准03GA大数据处理标准祥解数据接入1、模块化、可配置，需要要产品工具进行支撑2、对于多源（包括JZ和WA）异构（结构化、视音频、文档、流式数据等）的的支持3、智能化数据接入-产品支撑编辑数据来源及去向编辑字段映射关系编辑任务调度方式通过接入工具实现接入的配置和接入的任务管理数据处理1、对于各类异构数据的支持，2、强调人工智能技术的应用，3、强调实时性、大数据量计算等性能指标数据处理-视频数据处理视图库整合各类系统，整合后的数据完全依据GA/T1400标准对象结构化属性车辆行人人脸人体属性·上装、下装……·戴眼镜、背包……车辆属性·车牌、车型、品牌……·未系安全带、开车打电话人脸属性·性别、年龄……·带眼镜、带口罩……数据处理-数据清洗（数据标准化）1.字段名标准化ridsfzhmnamecsrq01330182199308291234小陈1993.08.29ridgmsfhmxmcsrq01330182199308291234小陈1993.08.292.字段值标准化ridgmsfzhmxmcsrq01330182930829123小陈1993.08.29ridgmsfzhmxmcsrq01330182199308291234小陈199308293.代码值标准化ridgmsfzhmxbmzdm01330182199308291234F汉ridgmsfhmxbdmxb_mcmzdm0133018219930829123401男01数据处理-数据清洗（数据标准化）4.数据去重rid旅馆代码身份证号码姓名入住时间016412311330182199308291234小陈2020010717:00:00025412311341182199308291234小方2020010717:00:00036412311330182199308291234小陈2020010717:00:00045412311341182199308291234小方2020010717:00:00rid旅馆代码身份证号码姓名入住时间016412311330182199308291234小陈2020010717:00:00025412311341182199308291234小方2020010717:00:00数据处理-数据关联各类数据资源库实体识别-建模-匹配IDMAPPING实体身份证驾驶证出入境证微信MACIMSI/IMEIQQ云上资源库数据处理层数据处理-数据关联身份证号入住时间住宿房间酒店名称……住宿信息主号码对方号码拨打时间基站……通话信息身份证号出发地到达地乘车时间……火车轨迹信息QQ群名QQ群号QQ成员网络社交信息数据处理-数据关联拥有同QQ群QQ:2*****配偶拥有住宿乘火车被告人张某QQ:3*******手机号:1388888****手机号:1377717****XX酒店Xx市-XX市案件通话记录赵某拥有陈某拥有（疑似）某年某月牟日某年某月某日1、关系分析：同住、同行、通联、家庭关系、群组关系2、犯罪团伙挖掘3、身份洗白……数据处理-文本数据处理应用非结构化文档数据案卷案档（doc、txt、pdf等）网页电子邮件即时通讯聊天信息自然语言处理技术语料库标注命名实体技术分词……提取内容要素提取，身份证号、法人统一信用代码、手机号码等关键词和摘要提取，案发时间、案发地点、作案手段关系提取，关联实体，犯罪人-受害人，同案犯等数据处理-文本数据处理应用运用语义分析引技术，实现案情知识图谱提取和分析，从案件中自动分析出包括案发时间、案发地点、作案手段、关联实体等结构化内容，为一案一档、智能串并案等应用提供坚实数据基础。熙菱信息智能案档数据处理-数据标识搜索画像数据组织1、强调面向应用需求2、强调数据关联融合3、强调数据复用能力数据组织-资源库要素关联库要素关系库要素行为库要素内容库要素分布库实体身份证驾驶证出入境证微信MACIMSI/IMEI……各类关键要素（如身份证号、车牌号、手机号、MAC等）以及各类要素之间关联、关系以及时空分布的公共集合数据组织-资源库要素关联库要素关系库要素行为库要素内容库要素分布库各类关键要素（如身份证号、车牌号、手机号、MAC等）以及各类要素之间关联、关系以及时空分布的公共集合重点人群监控团伙挖掘身份洗白挖掘…..数据组织-资源库要素关联库要素关系库要素行为库要素内容库要素分布库各类关键要素（如身份证号、车牌号、手机号、MAC等）以及各类要素之间关联、关系以及时空分布的公共集合实体身份证/护照驾驶证……MAC人脸+车牌火车、飞机、住宿…..交通检查…..出入重点场所…..卡口视频……全方位轨迹融合数据组织-主题库人员主题库场所主题案件主题信息主题组织主题物品主题事件主题反映工作对象全貌建立的融合各类原始数据、资源数据，围绕主题，长期积累形成的多种维度的公共数据集合人员基本信息关联身份信息受教育情况从业情况兵役情况拥有特长人员财产人员行为人员轨迹关系涉事案件业务标签全息画像数据治理1、模块化、可配置，需要要产品工具进行支撑2、智能化，包括数据建模和数据标签3、体系化，地市、省、部，数据目录汇聚分发数据治理-产品支撑元数据管理-数据元数据质量管理资源目录管理标签管理数据服务数据服务总线1、数据共享，数据汇聚下放2、数据复用和管理能力3、模块化、组件化数据服务数据服务/能力服务平台API资源服务池（资源生态圈）公共服务池、服务管理、服务发布与服务请求服务编排、访问控制、服务降级/熔断/限流服务监控