人人网技术架构的演进_第1页
人人网技术架构的演进_第2页
人人网技术架构的演进_第3页
人人网技术架构的演进_第4页
人人网技术架构的演进_第5页
已阅读5页,还剩37页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、人人网技术架构介绍人人网黄晶guideline人人网架构发展nuclearrose架构发展2006lets get it startedresin promysql innodb主从结构单storage+squid架构发展2007突飞猛进lvs resin web集群大量使用memcached中间层,基于icemysql集群,垂直分区简单分布式storagelucence搜索架构发展2008继续突破开放api,soamysql集群,水平分区加强监控和安全dfs,龙存架构发展2009 2010稳健发展紧耦合=松耦合,soagraceful degradationmysql=nosql多数据中心,

2、可扩展,灾备关注tcoguideline人人网架构发展nuclearrosenuclear 功能分布式key-value存储数据自动复制到多个节点数据自动分区到不同节点存储容量无限扩展cap - canuclear - cap可用性永远可写入(hinted handoff)不存在单点风险nuclear - cap多一致性选项discardminquoromdiscarduoromall提供最终一致性eventually consistentnuclear - overviewnuclear - 原理构建nio nettyprotocol buffersspring富数据模型key=list弱结

3、构化查询nuclear - 原理分区 hash ringabcnode a06148914691236517205node b614891469123651720512297829382473034410node c1229782938247303441018446744073709551616nuclear - 原理增加节点node nnode anode bnode cnode n03074457345618258602node a30744573456182586026148914691236517205node b614891469123651720512297829382473034

4、410node c1229782938247303441018446744073709551616nuclear - 原理增加节点a c,a,b, c,a,bb a,b,c,a,b,cc b,c,a,b,c,an c,n,b,c,a,ba n,a,c,n,b,cb a,b,n,a,c,nc b,c,a,b,n,aa a,b = nb b,c = nc c,n = nnuclear - 原理替换节点a d,a,c,d,b,cb a,b,d,a,c,dc b,c,a,b,d,ad c,d,b,c,a,bn d,n,c,d,b,cb n,b,d,n,c,dc b,c,n,b,d,nd c,d,b,c

5、,n,bb d,a = n c b,c = nd c,d = nnuclear - 原理删除节点a d,a,c,d,b,cb a,b,d,a,c,dc b,c,a,b,d,ad c,d,b,c,a,bb d,b,c,d,b,cc b,c,d,b,c,dd c,d,b,c,d,bc b,c = bd c,d = c b d,a = dnuclear - 原理节点状态迁移图nuclear - 原理consistency 和 nwrw+rnw=2 r=2 n=3系统保障最终的一致性merkle treenuclear - 应用系统组件 普通节点 (node) 接收client请求 提供数据存储 中心

6、节点(seed) 维护整个nuclear instance的拓扑关系 健康检测 客户端(nuclear client) 提供crud apinuclear - 应用nuclear instancenode anode bnode z seednuclear - 应用节点变更 增加 sh node.sh new a 删除 delete node a (manage.sh) 替换 replace anuclear - 应用性能 单节点处理最高 2.5wreq/s 典型应用环境: 4 node mysql n=3 w=2 r=2 100 client write request 单个node 158

7、62 req/s 平均单次请求耗时 5ms 99.51% 请求耗时 50msnuclear - 应用性能01000000200000030000004000000500000060000001357911 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51timesclient write qpstimesnuclear - 应用nuclear client apigetparam keyparam dataidparam consistencylevellistparam keyparam conditionparam co

8、nsistencylevelnextdataidputparam keyparam dataidparam valueparam consistencylevelreplace同 putdataid可选deleteparam keyparam dataidparam consistencylevelnuclear - 应用code exampledataidprotocol buffernuclear - 应用nuclear manage clientqps查看node接收请求总数node处理请求耗时数据节点信息查看集群拓扑信息查看 动态更改节点处理线程数nuclear - 展望eventua

9、lly consistentvector clockasync storeread cachebalance monitorbigtable ?nuclear - 参考 amazons dynamo http:/ cassandra /cassandra/ voldemort http:/project- 主创人员:冷昊人人网ugc团队 http:/guideline人人网架构发展nuclearroserose是什么rose人人网释出的开源web开放框架(java)主创:王志亮人人网架构组rest式web开发基于spring技术支持服务端po

10、rtalrose的应用100%覆盖人人网web网站首页、个人主页状态、日志、分享公共主页开放平台rose的发展人人网支持全线使用不断更新稳定发布开源路线wiki电子书rose开发示例资源 假设有2个只读资源 get /blog/251375230/459764084o这是一篇日志的urlo251375230是作者的ido459764084是该日志的id get /blog/251375230o这是某个人的日志的urlo251375230是作者的idrose开发示例控制器骨架package com.renren.blog.controllers.blog;reqmapping(userid:0-

11、9+)public class blogcontroller get public string list(param(userid) long userid) return blog-list; get(entryid:0-9+) public string show( param(userid) long userid, param(entryid) long entryid) return blog-show; rose开发示例视图文件骨架 根存放地址:webapp / views blogcontroller视图地址:webapp / views / blogoblog-list.js

12、poblog-show.vmrose开发示例model: 控制器-视图autowired blogservice blogservice; get public string list(invocation inv, param(userid) long userid) list entries = blogservice.finduserentries(userid); inv.addmodel(entries, entries); return blog-list; rose开发示例使autowired工作 实现步骤o创建com.renren.blog.service.blogservic

13、e及其实现o在web-inf下创建spring配置文件:applicationcontext-blog.xmlo把blogservice实现配置到该文件中oblogcontroller将自动通过类型找到blogservice实例并注入(dependecy injection) autowired机制o在纯粹spring中默认是关闭的o在rose下默认是打开的,而且无法关闭rose开发示例部署 在sourcefolder/meta-inf/目录下创建perties,写上rose=controllers,messages,applicationcontext,dao jar包发布,确认perties存在于目标jar的meta-inf下 web.xml配置rosefilter rosefilter net.paoding.rose.rosefilter rosefilter /* request forward include ./start.shrose其他特性 可扩展、可订制o参数解析器o参数验证器o拦截器o统一错误处理器 flash:在重定向前后传递信息 简单、可层级化的国际化支持 rose重量级插件:服务端portal技术 调试工具:/rose-info

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论