实时计算平台1_第1页
实时计算平台1_第2页
实时计算平台1_第3页
实时计算平台1_第4页
已阅读5页，还剩10页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、实时计算平台及相关业务实践实时计算平台及相关业务实践Baidu.inf.dc ChaiHua大纲1. 我们现在的计算平台2. 我们平台上的业务3. 我们将来要做的工作大纲1. 我们现在的计算平台2. 我们平台上的业务3. 我们将来要做的工作实时计算平台实时计算平台1 支持毫秒级别至秒级别的计算延迟需求 高可靠性，高可伸缩性，高可扩展性 支持DAG描述的流式作业 支持已在线运行作业DAG修改与升级 Per-Record的计算模式与底层架构 Streaming模式支持多语言扩展实时计算平台实时计算平台1 机群规模：500+ - 1000 机群QPS：10M - 100M qps 延迟保证：99.9

2、% 50ms- 在线系统 统一平台服务众多（20+）业务方实时计算平台实时计算平台2 支持十秒级别至分钟级别的计算延迟需求 高可靠性，高可扩展性 支持DAG描述的流式作业/Queue-Worker模型作业 具备Transaction属性，保证计算数据的不重不丢 基于增量/小批量的计算模式与底层架构 Streaming模式支持多语言扩展实时计算平台实时计算平台2 机群规模：500+ - 1000 支持千级worker并发，百级业务流并发 多级Master架构设计 控制流与数据流分离 统一资源层大纲1. 我们现在的计算平台2. 我们平台上的业务3. 我们将来要做的工作实时计算平台实时计算平台1 广

3、告计算平台广告计算平台 主要需求： 真正的实时需求 ：百毫秒级别的延迟指标 灵活的拓扑变化：新增用户数据业务流，支持各种策略实验 高稳定性：跨机房故障时，优雅的服务降级实时计算平台实时计算平台1 检索端更新数据流检索端更新数据流 主要需求： 真正的在线需求 ：在线调整与升级，稳定 灵活的拓扑变化：新增用户数据业务流，支持各种策略实验 数据流频繁调整：分流，备份实时计算平台实时计算平台2 离线离线/ /在线云视频转码需求在线云视频转码需求 主要需求： 视频分段并行转码； 潜在资源需求量大，短期无预算 上线规模：worker并发数k级别 业务收益：提升时效性，利用空闲资源实时计算平台实时计算平台2 业务日志后端计算业务日志后端计算 主要需求： 分析前端Server日志，计算统计报表，精确 计算步骤较多：流式join，filter，aggregation，入库 业务收益：提升报表时效性（5hour+ - 30min-）大纲1. 我们现在的计算平台2.

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论