SAAC架构师大会分享.ppt_第1页
SAAC架构师大会分享.ppt_第2页
SAAC架构师大会分享.ppt_第3页
SAAC架构师大会分享.ppt_第4页
SAAC架构师大会分享.ppt_第5页
已阅读5页，还剩11页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1 SAAC架构师大会分享 庄远 2011-09-30 2 l大规模社区构建-百度贴吧的实践 l 心得分享 主要内容 3 什么是贴吧？ l大型综合社区 ：讨论区+视频区+相册区 +游戏区+ itieba+无线贴吧+ l技术：LAMP + nosql + 数据挖掘 + 反 作弊 + 无线 大规模社区构建-百度贴吧的实践 4 流量&数据量 百亿贴子的存储，某些热门主题可达千万回复 P级的视频数据存储 来自浏览器每秒10w量级的浏览请求数 内部每秒数十w量级的更新请求转发 快速开发 快鱼吃慢鱼 可用性&数据安全性 7*24小时的互联网服务，容灾，冗余 丰富的应用类型，迥异的访问模式 数百个服务 不同应用有不同要求：检索，推送 贴吧架构面对的技术挑战 5 贴吧架构面对的技术挑战 6 webserver 异步化，逐渐不用apache 接入层 7 轻量型解决方案（日常快速开发） 大数据存储解决方案 （大量数据） 存储层 8 Mysql+cache+flash Mysql：持久化 Cache：加速 Flash：硬件scale up Flash卡随机读写比磁盘有量级上的提升，顺 序读写比高端磁盘略低 存储层-轻量型解决方案 9 适用场合 某些数据量特别大或者对性能要求特别苛 刻的应用 某些需要特殊功能的需求 优点 专用存储，性能可以极限优化 缺点 开发维护代价较高 灵活性偏弱 更多的例子：检索，推送，日志分析等 大数据量存储解决方案 10 分区概念 垂直分区：按功能 水平分区：按key 分区的目的 冗余 可扩展性 性能：将不同的访问模式分开，利于优化 存储层-大数据量存储解决方案 11 分区的实现：消息队列 消息队列 Replication 可靠性 贴吧的消息队列集群 峰值数十w/s的转发量 分区-消息队列(MQ) 12 随机存储和连续存储-回复放到一起 内存patch 多种cache 效果：单机可以跑满网卡 贴吧贴子存储 13 视频存储 查询模式：视频id-视频流 数据量P量级 Key-value存储 14 nosql百花齐放 文档数据库：mongo DB、 CouchDB 类关系数据库：cassandra、hbase 缓存系统：memcached、redis 分布式文件系统：HDFS、MogileFS、TFS、 FastDFS、MooseFS 、Lustre。 心得分享-技术 15 阿里的开放
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论