大数据平台规划方案汇报_第1页
大数据平台规划方案汇报_第2页
大数据平台规划方案汇报_第3页
大数据平台规划方案汇报_第4页
大数据平台规划方案汇报_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、 大数据平台有助于提升现网分析能力 p 基于Hadoop构建 大数据的用户行为 分析系统 p 系统提供了核心的 分布式云存储、分 布式并行计算、分 布式数据仓库、分 布式列数据库整体 解决方案 路由器 路由 器 互联网 分光镜像 日志采集 网元设备(GGSN PDSNWAP网关、NET网关/ 数据采集Agent Apache日志 DPI 数据爬取 数据爬取 建设方案 防火墙 WWW网站 WAP网站 正向采集 用户行为 数据 反向采集 互联网数 据 方案延伸 p 基于Hadoop的大数据解决方案提供了 基础的云存储和云计算的能力，基于 该技术框架可进行应用的扩展和衍 生。 p 基于用户互联网访问

2、行为分析结果， 形成详细的户兴趣爱好列表，可进行 即时、精准的广告投放 collector Pcap数据（DPI） 核心设备话单 互联网页面数据 20 大数据平台有效提升数据查询速度 Ø 以手机上网详单查询为应用案例 关键性指标 数据存储 p 上网记录入库时间：一般 小于30分钟，实际约10分 钟 p 历史5个月+当前月 数据查询 p 上网记录查询速度：不高 于1秒（不含用户访问查询 页面的时间） p 并发查询数目：1000请求 /秒 系统 构成 p 系统主要包含数据采集子系统、数据入库子系统、数据存储子系统、 数据查询与分析子系统 p 采用Hadoop/HBase作为上网记录存储方

3、案 p 采用MapReduce/Hive作用统计分析和数据挖掘工具 21 大数据平台适应复杂数据结构的数据整合应用 n 项目背景 运营商建设有多套垂直的网管子系统，目前系统数据集中程度不够，还未形成统一的数据标准和数据 共享框架，对运营支撑的支撑力度不够，而网络运维分析在面向服务转型的过程中对数据的汇聚和共 享要求极为迫切，因此需要建立统一的网管资源池 p 网管资源池主要负责各个垂直网管子系统信令数据、日志数据的、告警数据的统一管理，实现跨平台 的数据整合、数据应用和数据共享等功能， p 网管统一资源池需提供海量历史数据的查询功能，满足运维人员日常信息查询和信息追溯的需要。 p 系统与呼叫中心

4、、工单系统对接，实现快速的数据交付（工单生成、告警触发） p n 难点分析 多个垂直网管系统的数据结构千差万别，抽取后的数据无法关联形成统一的数据集合，传统关系型数 据库优势无法体现 p 系统需要满足OLAP类应用分析，并面向上层应用提供一致性的数据查询，传统的关系型数据库受限 于数据体量和数据种类，无法满足多类型的海量数据的查询和分析要求 p 系统需同时从多个数据源实现数据库数据、信令数据和日志数据的采集，传统的ETL工具无法满足流 式数据的采集要求，导致进程拥塞。 p n 建设方案 基于不同的数据源及应用分析模式采用Flume、Sqoop等系统工具完成结构化和非结构化数据的导入 基于HDFS实现海量历史数据的存储 Hive组件可通过SQL命令完成大数据的统计分析，并与传统关系型数

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论