构建云服务大数据平台_第1页
构建云服务大数据平台_第2页
构建云服务大数据平台_第3页
构建云服务大数据平台_第4页
构建云服务大数据平台_第5页
已阅读5页，还剩15页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、构建云服务大数据平台1 2 3挑战 解决方案 收益 技术挑战直播实时性高、互动性强，对平台的稳定性、视频流的流畅度都有非常高的要求系统监控问题定位性能优化异常报警流量预警及时响应快速定位终端性能视频优化运营需求内容推荐用户运营主播价值市场营销平台营收解决方案ELKMysql+Web大数据平台面临困难工具繁多 如何选型海量数据 如何保证稳定如何保证数据安全成本紧张时间 紧迫人员 不足经验 不足经费 有限借助阿里云构建大数据平台运维成本低使用门槛低系统稳定高安全性非常灵活几乎零运维成本 支撑海量数据几乎无故障工作人员响应很及时组件即开即用用最少的资源去试错表级权限管理非研发人员也能独立 完成数据报

2、表需求全民大数据架构日志规范数据采集埋点用户事件载体规范先行信息齐全数据采集接收服务器Golang，单机QPS 2W+ 逻辑简单，存本地文件适当合并请求，支持protobuf，gzip压缩 终端断网时暂存本地，等待离线上传数据采集实时采集Logtail 高效稳定，资源占用少，几乎不会影响线上服务相比 Filebeats、Flume等开源工具，性能更优 配置简单，支持JSON、正则等多种模式部署方便，立即生效数据采集迅速定位用户行为轨迹日志服务提供海量日志分析能力，可进行业务监控实时查询数据采集投递到 MaxCompute 供离线计算StreamConpute可以直连日志服务，以监控业务，对直播

3、视频实时护航数据投递直播视频实时护航视频流是直播平台的核心服务，视频流的稳定性直接影响到用户体验，继而影响平台收益全链路实时监控 监控弹幕信息迅速响应 快速定位多方积极配合切换节点 切换线路完善监控 完善流程数据体系MaxCompute 提供一站式数据仓库解决方案数据集成DataX 结合 tunnel 简化数据同步权限管理通过ACL和角色管理，实现数据隔离数据清洗任务调度可以设置周期时间 可以定义依赖关系元数据管理DataWorks 数据管理提供完整的元数据信息2. 爬取 DataIDE 接口获取任务元数据1. 使用开放接口获取表结构信息表基本信息存储信息血缘关系通过爬取数据，完善元数据管理责任人信息数据分析挖掘支持Python直连PyOdpsHive2.0Hive- proxyROdps查询效率高使用方便支持更多开源工具支持R直连数据报表图表展示丰富通过Hive-proxy连接 MaxCompute开源数据分析工具 Zeppelin灵活易用 Hive-proxy实时报表，业务监

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论