2016技术专题-华资大数据

华资大数据技术研发及应用汇

报广州华资 技术公共技术研发中心总监翁庄明2016年4月PART

1PART

2大数据概述华资大数据应用案例PART

3PART

4华资大数据技术研发历程华资大数据平台内容大纲大数据概述“大数据”开始才成为互联网技术行业中的热门词汇1980200120082009BigData

History高德纳（Gartner）公司的一份

首次出现

“大数据（BigData）”概念的提法《自然》杂志在9月推出了名为“大数据”的封面专栏著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将

“大数据”称颂为“第三次浪潮的华彩乐章”大数据概述大数据是指规模超出常用工具在容许时间内管理和处理能力的数据集大数据分析是指可处理传统分析方法因数据量过大、数据类型过于多样、速度数据。大数据是业务概念，属于理论层面，非技术概念，数据一直都有。大数据概述大数据解构互联网的大数据的大数据企业的大数据个人的大数据特征定义大数据思维价值探讨现在与未来大数据隐私云计算分布式处理平台（Hadoop）技术感知技术实践Utilization理论Theory技术Technology大数据概述VARIETYIBM最早提出的4V数据体量非常巨大数据结构呈现多结构化特点VOLUME“数据，已经渗透到每一个行业和业务职能领域，成为重要的生产因们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”--麦肯锡大数据概述全样而非抽样随机抽样耗时耗力，大数据让获取巨大的样本乃至全部数据成为可能效率而非精确抽样需要精确的计算，因为存在

“差之毫厘便失之千里”；而全样计算偏差不会被放大相关而非因果大数据时代只需要知道是什么，而无需知道为什么。分析结果喜欢A的人可能喜欢B，但不代表一定喜欢B全样而非抽样效率而非精确相关而非因果大数据概述城市医疗······未来大数据的身影应该无处不在，就算无法准确 大数据终会将人类社会带往到哪种最终形态大数据帮助

实现市场经济调控、公共卫生安全防范、、社会监督；大数据帮助城市预防，实现智慧交通，提升紧急应急能力；大数据帮助医疗机构建立患者的疾病风险机制，帮助

企业提升药品的临床使用效果，帮助

研究机构为患者提供定制的药物；大数据帮助

公司向用户推荐商品和服务，帮助旅游为旅游者提供心仪的旅游路线，帮助用户找到最合适的商品

时期、商家和最

价格；······大数据概述“火车”与“动车”大数据概述传统并行计算架构并行计算

+

分布式

运算传统 架构计算与

一体，计算向数据靠拢，高效

模式为程序员

通性、并发、同步与一致性等问题任务之间无依赖(share-nothing)，具有高系统延展性(scale-out)大数据概述互联网用户行为数据；用户消费数据；用户地理位置数据；互联网金融数据；用户社交等数据。“谷歌流感趋势”的工具PART

1PART

2大数据概述华资大数据应用案例PART

3PART

4华资大数据技术研发历程华资大数据平台内容大纲华资大数据技术研发历程2010201220142015-2016自然语言处理分布式全文检索Hadoop应用研发平台研发基于平台应用研发数据挖掘与华资大数据平台 技术Zookeeperkettle数据管理HBaseMongoDBHDFSMPPDBNeo4jRDBMSSolr数据处理MapReduceSparkStreamingMPPDB数据展现EchartsR

aphealFlex贯穿从 到价值呈现全生命链条，建立大数据服务完整生态圈。PART

1PART

2大数据概述华资大数据应用案例PART

3PART

4华资大数据技术研发历程华资大数据平台内容大纲华资大数据平台整体架构运维监控平台管理平台数据智能检索分析处理平台数据/服务共享平台可视化模型设计管道式数据采集过程告警数据字典转换质量 平台数据数据异常质量质量数据规则指标分析统计处理设置设定展示数据管理平台元数据管理数据台账管理数据

平台HadoopMPPDBneo4jRDBMS智能分词极速全文检索标准SQL引擎多语言联查关键词推荐关系网络智能分析多表

智能比对

轨迹碰撞

分析海量数据数据智能场景预处挖掘推荐推演理1

大当前大数据管理 的痛点（一）“数据是新型石油”呈几何增长、结构复杂、种类繁多、潜力巨大如何有效掌握数据总体情况，实现数据科学管理？MPPDBSyBaseHDFSHBase...

...OracleMySQL“挖掘数据

次的规律与价值”加工提炼后的石油，才是宝贵的当前大数据管理的痛点（二）监察卫生工商...

...医院民政地税大数据中心数据库复杂度高多数据源异构数据库多版本化吞吐量大缓冲库标准库大数据库全文检索库辨析、抽取、清理数据迁移路径长，“可追溯性”需求迫切当前大数据管理 的痛点（三）华资大数据平台—交换平台设计模型设计工具转换调试工具流程设计器性能 工具外部接口模型生成引擎作业生成引擎转换组件库增量抽取文本合并字段选择数据拆分数据排序数据过滤SQL执行过程调用大数据处理执行引擎任务自动执行

异常转移

流量并发执行

分布式处理调度引擎调度调度分发作业作业调度作业元数据库元数据管理（数据源、资源管理平台、实体结构、数据标准）、作业管理、数据质量、数据总账掌握数据账本，实现大数据有效治理华资大数据平台—交换平台主要特色提供预定义模版一次抽取、多次利用多数据源、 管理调度、运维可视化集成化管道化模版化集群化模型设计可视化、抽取过程可视化、抽取结果可视化多引擎并发执行，故障转移达到高稳定性华资大数据平台—交换平台特色（1）可视化事后整体概览事前可视化设计事中透明建立事前、事中、事后全方位可视化管理平台事前：利用设计器实现数据从

、转化到合并等处理过程的可视化操作，直观易用事中：提供

平台，对

、转化过程进行全程

，正常、异常数据直观展示事后：实现数据转化结果整体概览，帮助客户精准掌握转化情况华资大数据平台—交换平台特色（2）集成化Oracle

XOracle

1xHBaseHDFSMPPDBTextFilesybaseMySQL......多数据源、异构数据源ETC工具

HBase工具......Mpp工具Solr工具抽取转换加载传统 ，采用多套工具满足转换需要，管理复杂Oracle

xOracle

1xHBaseHDFSMPPDBTextFilesybaseMySQLSolr/ES......异构目标源华资大数据平台—交换平台特色（2）集成化Oracle

9Oracle

10HBaseHDFSMPPDBTextFilesybaseMySQL......多数据源、异构数据源抽取转换加载一套工具、 管理，所有转换过程一个平台Oracle

9Oracle

10HBaseHDFSMPPDBTextFilesybaseMySQLSolr/ES......异构目标源华资大数据平台—交换平台特色（3）管道化人社外部数据资源人社业务/应用系统数据库全文索引标识号分析……OGG/DSGOracle缓冲库oracle/mpp/hbase基础标准化引擎任务分发mpp/hbase数据分析

库骗保分析

人力资源分析人社云搜……“管道式”任务分发，保证时效性的同时，实现数据质量的可追溯一个工具一条链路华资大数据平台—交换平台特色（4）集群化......集群领导者任务队列任务1（1级）任务2（2级）任务3（3级）…任务n（1级…）多任务并发任务管理“集群

者”将任务分解、分配到运行引擎多任务并行，任务故障转移可横向扩展或收缩引擎规模优先级队列任务管理定时任务、周期任务、

任务优先级分成三级，同级按顺序任务置顶任务中断或取消华资大数据平台—交换平台特色（5）模板化A表A1表生成转换模型（X）字段选择、错误日志、字典转换、异常处理...

...抽取、B1表N表B表......N1表调用已有模型X调用已有模型X采集路径相似对、转换过程中的抽取方式进行模版化管理，通过简单调整参数，实现配置效率有效提升。新转换模型=参数+模板2

大数据 管理当前大数据的痛点结构多样性结构化半结构化非结构化实时查询模糊查询离线查询实时分析列存行存方式应用场景数据特点海量数据如何？模式如何定义？2

数据如何组织？13数据OracleMPP/内存DBHBaseHDFS热冷文件系统

多

文件常用业务数据管理平台设计(1)合理分层，科学管理华资大数据统计分析、决策类数据历史数据、非结构化数据数据管理平台元数据管理数据台账数据 平台HadoopMPPDBneo4jRDBMS数据组织RowKey设计大表设计宽表设计二级索引倒排索引……..文件管理文件组织文件服务华资大数据管理平台设计(2)3

大数据处理当前大数据处理 的痛点1、如何从海量数据中查询？2、如何支撑海量数据运算？3、如何解决大数据运算与实时结果的

？4、如何进行？数据处理MapReduceSolrSparkDM/AI数据挖掘、查询离线分析实时分析华资大数据处理平台设计华资大数据平台—智能检索平台管理平台HBaseHadoop平台抽取管理查询接口管理接口交换平台接口数据分发索引创建集群配置

索引配置红

词库设置系统

日志查询应用界面层接口服务索引片索引片索引片索引片索引片索引片索引片索引片索引片…权限控制数据缓存集群调度检索引擎检索器XMLJSONCSVPython检索统计热词器同音处理混合分器词红

过滤高亮处理华资大数据平台—智能检索平台检索模型模糊检索：全资源、全字段的单资源模糊查询智能检索：整合要素资源，实现专题检索权限模型：角色、组织结构、红功能特点：全：采用复合式分词法，查全率高，检索无死角活：动态展示字段，灵活定制组件智：拼音检索，同音检索，语义检索，要素检索，智能检索快：与Hbase无缝对接，索引与内容分开，数据查询效率高，数据抽取速度快易：电子

式查询结果界面，业务

易懂华资大数据平台—分析处理平台分布式计算平台MR/HadoopSpark分析算法库ARMAWekaMPPDBMMDB分析模块骗保分析关联关系关系分析集合运算趋势华资大数据平台—服务总线外部系统门户分析系统数据查询服务数据分析服务业务系统服务总线数据资源开放华资大数据平台—服务总线管理平台服务

服务发布总线引擎http/https、SOAP、JMS、FTP、JDBC、MQ外部接口设计器服务

服务编排消息转换

消息路由适配器

服务服务服务查找服务状态…….服务申请

服务审核服务

服务测试服务转换

统计分析流量控制集群配置系统管理服务中介数据转换消息路由服务创建安

日

流全

志

控插

插

插件

件

件高性能消息中间件JVM容器数据持久层总线基础平台服务状态质量分析PART

1PART

2大数据概述华资大数据应用案例PART

3PART

4华资大数据技术研发历程华资大数据平台内容大纲公司致力于大数据应用相关系统研发，包括综合、专业研判、大数据应用，有相关成功案例大数据应用综合山东综合

（省）福建综合（县级）福建警务云平台（省）大数据云平台（省）福建刑侦系统（省）刑事

研判系统（省）山东刑侦（省）福建禁毒（省）厦门大数据平台专业研判华资大数据应用案例灾备云计算池存储池网络池标准规范体系标准管理服务管理数据处理安全管理运行管理资源管理集成、标准 规范，资源 服务，接入 管理，管理 集成云搜索基础设施层（

）平台服务层（PaaS）应用层（SaaS）数据应用层（DaaS）业务支撑支撑服务集(消息中心、服务总线…)服务支撑云关联云串并云专题云比对办案治安管理社区警务刑侦研判禁毒研判队伍管理管控社会服务……研判分析业务应用数据

大数据资源 大数据分析 大数据挖掘 检索 比对 关联 文件数据 图像数据服务

服务 服务 服务 服务 服务 服务 服务 服务数据

并行处理（Spark、

数据集成

资源处理

Storm、M/R）

处理

管理数据

RDBMS

NoSql

MPP

内存数

对象数据库

数据库

数据库

据库

数据库全文索引库华资大数据应用案例数据层大数据应用区大数据虚拟化应用区环境Hadoop区类别数量说明OracleX综合库、关系库等；数据量约xxx亿条HadoopXX数据量约xx亿条MppXX数据量约xx亿条ETLX抽取、转换集群全文检索X全文检索；数据量约xx亿条应用xx（虚拟机）、比对、布控、 轨迹、可视化 、动态分析MppDB区Oracle区大数据ETL区大数据全文检索区大数据全文检索环境应用层华资大数据应用案例分类组件展示类型数据库串并列表MPP操作行为分析操作行为分析…BIMPP分类组件展示类型数据库全文检索云搜索列表、表单Hadoop电子同航班分析同

嫌疑人分析同住址分析列表、表单列表列表列表HadoopHadoop+HbaseMPPMPP分析迭代深挖分析类案分析线索撞线分析线索聚合分析列表列表列表列表MPPMPPHadoop+OracleHadoop+Oracle同机构分析同上网分析列表列表MPPHadoop+Hbase事件研判线索智能监测潜在事件自动识别列表列表Hadoop+OracleHadoop+Oracle同住宿分析列表Hadoop+Hbase事件 分析列表Hadoop+Oracle同车违章分析列表MPP涉事群体列表Hadoop+Oracle同订票分析列表Hadoop+Hbase话单分析可视化Oracle同户 分析列表MPP通讯分析帐单分析可视化MPP同暂住分析列表MPP…卡口分析多卡口碰撞列表Hadoop+HBase检索列表、表单、图表处理车分析列表Hadoop+HBase人脸检索列表、表单、图表图像处理伴随车列表Hadoop+Hbase图像列表、表单、图表处理区域对碰分析列表MPP复原表单、图表图像处理异常车辆分析列表MPP刑侦云盘Hbase+FDFS伴随车辆分析列表MPP资源碰撞混合Hadoop+MPP车轨分析异地车辆分析列表MPP信息布控混合MPP频繁出入分析列表MPP比对布控多点碰撞模型混合Hadoop+MPP昼伏夜出分析列表MPP一对多碰撞模混合MPP对碰分析列表MPP排除碰撞混合MPP车辆轨迹分析列表MPP两抢一盗分析BIMPP行车轨迹分析网络分析PGIS可视化MPPHadoop+Hbase治安动态接警数据统计高危 分析BIBIMPPMPP路径分析可视化Hadoop+Hbase…组合列表、表单Hadoop+Hbase刑侦专业分析串并…列表、表单、图表MPP…禁毒专业分析组合

…列表、表单、图表MPP分析关系挖掘华资大数据应用案例采用全文检索技术，数据来源于全文库，实现对

人、案、物、组织、地址五要素信息的模糊检索，支持高效率、智能化的检索模式按照

五要、案、物、组织、地址”进行分类支持

内、外，结构、非结构化资源查询，最大可支持上百亿条信息，最快可秒级响应华资大数据应用案例—全文检索展示分析目标所涉及的所有衣、食信息、物品信息、关联信息、轨迹模糊检索出

后，、住、行等相关信息，按信息全面展示该

所涉通照及华资大数据应用案例—全文检索华资大数据应用案例—可视化分析支持多种展示布局支持多种算法：关联分析网络分析路径分析时间序列社会网络第一层关系展示分析目标第二个分析目标第二层关系展示第N层关系展示关系分析以一个或者多个分析对象为起点，可同时扩展其10同关系的网络，并且可逐层进行挖掘分析，直至找到嫌疑关系人，并可通过图层关系，展示两者间的关系路径华资大数据应用案例—关系分析梳理 中的各类相关实体与关系，形成以15类实体为

，30多类战战法的关联关系分析；通过各类战法互通分析目标，实现嫌疑目标间的串联分析华资大数据应用案例—关联分析针对卡口过车数据信息实现专题研判分析，主要的分析模型：卡口 伴随

异地布控

车分

车辆

车辆管理

析

分析

分析高危地域车辆分析昼伏 频繁夜出

出入分析 分析华资大数据应用案例—卡口分析华资大数据应用案例—轨迹分析提取当前线索信息线索间关联度关联线索信息华资大数据应用案例—相似度分析华资大数据应用案例—人社云搜参保对象服务机构经办机构采用全文检索技术,可根据输入信息元素快速搜索人