版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、面向电信领域的海量实时数据技术与实践目录CONTENTCONTENT01电信领域实时数据处理场景1324每天净增用户16.6万每秒无线上网流量33G每天话单数据10T每日信令数据100T电信领域实时数据处理场景2014简单实时营销2015+实时位置运营2016+复杂实时营销+内容业务处理CONTENT02Patent US 1242872实时处理平台基本架构业务输出标签附加数据接入平台架构数据接入flumeagent 12,3G位置信令flume agent2,3,44G位置信令flume agent 5内容信令 Kafka分区灵活的数据源转换Kafkatransformtransformtr
2、ansformSchema 2Schema 3SelectFilterSelect Expr 1 主被叫imsiFilter Expr 1 imsi!=0Select Expr 2Filter Expr 2Select Expr 3Filter Expr 3SelectFilterSelectFilterUniformSchema 18个字段附加标签流程复杂计算简单查询Codis所在区域驻留时间往来频次用户姓名imsi手机号码基站位置并发业务输出CodisKafka标签增强数据其他业务输出用户实时位置统计更换设备信息推送新办卡信息推送实时旅游信息推送易用的业务定制标签增强数据处理结束Check
3、IntervalFilterSelectOutputCodis平台架构插件SDTP Socket SourceHDFS I/OCodis I/O系统I/O可视化配置界面自劢化部署部署/配置 实时处理平台 CONTENT03性能表现平行扩展flumeflumeflumeflumeflumeCodisCodisCodis标签附加Spark数据接入kafKaSpark业务输出KafkaSpark性能表现平行扩展图一 测试环境Spark Streaming执行时间图二 任务详细执行时间性能表现速度场景30s数据量Spark集群Codis集群KafkaPartition业务数量案例160万条20/128G/32 core10/128G2003案例21000万条28/512G/64 core10/512G120011附加标签(与Codis交互)附加标签(计算)业务输出案例一 5秒0.5秒3秒1秒1.5秒数据转换1秒11秒3秒2秒案例二 17秒性能表现HAHA ProxyFlume AgentFlume AgentCodis HACodis ProxyCodis ProxyCONTENT04演进方向更多元化的场景同时支持Spark streaming,Storm等主流计算引擎以支持不同的需求 支持启劢多个实时处理作业,将每个作业的结果纳入事
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年车辆租赁协议参考范文(5篇)
- 2024年公墓合作协议模板(二篇)
- 2024年装修工程承包合同参考范文(三篇)
- 2024年培训合同模板(3篇)
- 2024年公司保洁员劳务合同范文(二篇)
- 2024年国家助学贷款合作协议常规版(4篇)
- 实验室生物安全实施标准操作规程sop
- 关于公司名称的英语翻译
- 2024年会议服务合同范文(2篇)
- 2024年施工人员劳动合同模板(二篇)
- 体育运动项目发展评价指标体系解读
- 给排水单机试运转记录
- 铸造工艺学浇口设计课件
- 中国黄土高原水土流失的治理PPT(优秀课件)10
- 混凝土强度检验评定标准10与标准的区别
- 车辆人员备案表-
- 西门子运动控制培训材料s120position
- 克隆生产机windchill环境方案
- 文艺节目汇演评分表
- 中国移动智能楼宇信息化解决方案
- 可燃气体报警系统操作规程
评论
0/150
提交评论