人人网技术架构介绍.ppt

人人网技术架构介绍,人人网黄晶,Guideline,人人网架构发展NuclearRose,架构发展,2006LetsGetitstartedResinProMySQLInnoDB主从结构单Storage+Squid,架构发展,2007突飞猛进LVSResinWeb集群大量使用Memcached中间层，基于ICEMySQL集群，垂直分区简单分布式StorageLucence搜索,架构发展,2008继续突破开放API，SOAMySQL集群，水平分区加强监控和安全DFS，龙存,架构发展,20092010稳健发展紧耦合=松耦合，SOAGracefuldegradationMySQL=NoSQL多数据中心，可扩展，灾备关注TCO,Guideline,人人网架构发展NuclearRose,Nuclear功能,分布式key-value存储数据自动复制到多个节点数据自动分区到不同节点存储容量无限扩展CAP-CA,Nuclear-CAP,可用性永远可写入(HintedHandoff)不存在单点风险,Nuclear-CAP,多一致性选项DISCARDMINQUOROMDISCARDUOROMALL提供最终一致性EventuallyConsistent,Nuclear-Overview,Nuclear-原理,构建NIONettyProtocolBuffersSpring富数据模型Key=List弱结构化查询,Nuclear-原理,分区HashRing,NodeA06148914691236517205NodeB614891469123651720512297829382473034410NodeC1229782938247303441018446744073709551616,Nuclear-原理,增加节点,NodeN03074457345618258602NodeA30744573456182586026148914691236517205NodeB614891469123651720512297829382473034410NodeC1229782938247303441018446744073709551616,Nuclear-原理,增加节点,Ac,a,b,c,a,bBa,b,c,a,b,cCb,c,a,b,c,a,Nc,n,b,c,a,bAn,a,c,n,b,cBa,b,n,a,c,nCb,c,a,b,n,a,Aa,b=NBb,c=NCc,n=N,Nuclear-原理,替换节点,Ad,a,c,d,b,cBa,b,d,a,c,dCb,c,a,b,d,aDc,d,b,c,a,b,Nd,n,c,d,b,cBn,b,d,n,c,dCb,c,n,b,d,nDc,d,b,c,n,b,Bd,a=NCb,c=NDc,d=N,Nuclear-原理,删除节点,Ad,a,c,d,b,cBa,b,d,a,c,dCb,c,a,b,d,aDc,d,b,c,a,b,Bd,b,c,d,b,cCb,c,d,b,c,dDc,d,b,c,d,b,Cb,c=BDc,d=CBd,a=D,Nuclear-原理,节点状态迁移图,Nuclear-原理,Consistency和NWRW+RNW=2R=2N=3系统保障最终的一致性MerkleTree,Nuclear-应用,系统组件普通节点(Node)接收Client请求提供数据存储中心节点(Seed)维护整个NuclearInstance的拓扑关系健康检测客户端(NuclearClient)提供CRUDAPI,Nuclear-应用,NuclearInstance,NodeA,NodeB,NodeZ,Seed,ClientRequest,Nuclear-应用,节点变更增加shnode.shnewA删除deletenodeA(manage.sh)替换replaceA,Nuclear-应用,性能单节点处理最高2.5Wreq/s典型应用环境：4NodeMysqlN=3W=2R=2100ClientWriteRequest单个Node15862req/s平均单次请求耗时5ms99.51%请求耗时视图AutowiredBlogServiceblogService;GetpublicStringlist(Invocationinv,Param(userId)longuserId)Listentries=blogService.findUserEntries(userId);inv.addModel(entries,entries);returnblog-list;,Rose开发示例,使Autowired工作实现步骤创建com.renren.blog.service.BlogService及其实现在WEB-INF下创建spring配置文件：applicationContext-blog.xml把BlogService实现配置到该文件中BlogController将自动通过类型找到BlogService实例并注入(dependecyinjection)autowired机制在纯粹spring中默认是关闭的在rose下默认是打开的，而且无法关闭,Rose开发示例,部署在sourceFolder/META-INF/目录下创建perties，写上rose=controllers,messages,applicationContext,daojar包发布，确认perties存在于目标jar的META-INF下web.xml配置roseFilterroseFilternet.paoding.rose.RoseFilterroseFilter/*REQUESTFORWARDINCLUDE./start.sh,Rose其他特性,可扩展、可订制参数解析器参数验证器拦截器统一错误处理器flash：在重定向前后传递信息简单、可层级化的国际化支持rose重量级插件：服务端portal技术调试工具：/rose-info/jar、/rose-info/mapping等jade项目集成：annotation式的DAO,Rose-Statement,开源化：使用ApacheLi