百度私有云建设及开发模式实践

1、百度私有云建设及开发模式实践技术创新，变革未来百度内部系统架构搜索广告社区业务云平台数据智能海量数据存储与处理软件基础架构数据中心、网络、服务器硬件基础架构云 计 算百度内部云特点快速迭代超大规模快速迭代特征离线在线离线分析与在线实验相结合算法A算法B通过反馈来验证算法优劣算法B互联网对快速迭代的需求原型系统快速开发测试产品部署 运维开发 框架数据收集A/B测试数据智能验证数据分析产品开发全过程方法论+流程+平台应用 引擎应用 引擎超大规模特征海量数据存储百P大规模数据计算大规模计算描述能力数据流优化 控制流管理资源分配优先级、并发控制 隔离、安全执行层模型层MapReduce表示层SQL-l

2、ike翻译JoinSelectTopBCDA计算类型Map Reduce通用批量数据处理HPC大规模机器学习Volunteer Computing计算密集型上下文无关数据处理资源调度系统AgentExecutorTaskExecutorTaskTaskTaskExecutorExecutorAgent业务总控资源调度分布式存储百度存储体系 统一存储体系平衡大容量、高并发、低延迟不同访问模式通过组合满足 统一访问与传输DiskFlashPipeK/VFileTable数据访问层P2PCDN典型实时存储系统：MolaUpdate CenterUpdate Center (backup)Update

3、 CenterUpdate Center (backup)chunckchunckchunckchunckchunckchunckupdateMeta serverMeta Server (backup)Qcontroler查询典型的离线存储系统：BailingIndex Logs+Merge-Sort Index StreamMod StreamMod Logs+ Merge-SortPatch StreamPatch Logs+ Merge-Sort1Write StreamBase Stream2.12.233.13.245Merge6百度开放云预览互联网服务架构数据智能平台层数据存储与

4、处理基础层IDC与网络网盘应用开放平台智能交通应用层相册云存储开放云平台应用托管事件通知数据分析 服务私有云到开放云云化机制私有云到公有云的转化机制让云接口更易用使更贴近云应用开发云安全保障统一的权限管理虚拟化独立隔离环境开放云逐步开放hYp:/开放云的公益性质开放程度已经开放云存储预计Q2能基本功能全开放诚意对于百万PV的网站，免费额度基本够用资源不够，协商后可以免费继续提高，无规定上限目前提供1T的分布式存储（多副本、多机房、CDN支持）开放资质面向有经验的中小开发团队开放流程查看：hYp:/wiki/yun发邮件到 yun 详细介绍自己云环境分布式存储资源池( 大规模计算结点）调度器镜像

5、服务消息 服务分布式计算数据 分析IO本地存储云接入与管理Network & 调度CPU & Memory网络 & 动态负载均衡业务开发流程消息服务分布式队列Comet系统Mail短信HYp可以嵌入逻 辑主动推送长连接维持关系计算服务SQLDDBInstanceReplica_ onReplica_ onTableTableTable分布式MySQLTable表示层执行层分布式计算系统单机自动化运维分布式数据库分布式关系计算云存储个人为中心数据存储系统数据存储系统数据提交系统检索系统数据智能缩略图系统视频预览系统文件预览系统指纹识别用户权限管理Tag服务Meta管理云存储相册视频音乐文档其他数据云存储空间贴吧手机掌百HiTing第三方开发者开放API第三方私有的 分布式存储百度获发改委 项最高激励国家百度持