已阅读5页,还剩5页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
完全用nosql轻松打造千万级数据量的微博系统,七夜(李锦星) ,,2010.12.17,重要小提示,架构说明 本架构只是起着抛砖引玉的作用,只介绍大概的架构.本架构注重的是可以动态扩展集群种的服务器。关于图片附件,数据备份等架构,今天不作介绍.有兴趣的话可以找我讨论.已有类似本架构的微博系统已经在实际运用 ID一致性的问题 通常ID是由mysql自增来产生的.但是在分布式集群里这样的自增ID就带来各个服务器之间的一致性的问题。在本架构中的唯一ID是由rdtsc+两位随机整数拼接而成的64位整数 唯一ID Key GPS Server KGS是本架构重要组成部分.GPS大家都知道是定位的意思.发送一条数据的ID过去。KGS就会告诉你该ID所对应的数据存放在哪几台服务器上.KGS是基于TokyoCabinet存储, epoll 事件驱动的单进程socket server,所使用的开源工具,整体的架构图,架构图,原图请见 架构.png,架构具体讲解访问流程图,看了架构图,到处都是线,是不是觉的很乱,眼花缭乱的.不要着急,现在我要以流程图慢慢的引领大家看清楚这个框架,名词解说,Handler socket 大家刚才可能比较奇怪,我的主题讲的是完全用nosql打造微博系统,怎么会又出现了mysql了?现在给大家介绍 Handler socket。HS 是小日本写的一款mysql插件.HS避开了MySQL通讯协议,直接读取MySQL引擎。在多核、大内存、 InnoDB引擎环境,性能直超memcached.HS能以Key-Value方式直接读写mysql引擎 ZeroMQ ZMQ是高性能的消息队列服务器.单纯的发简单的小文本消息和python的函数调用一样快.publish操作是个很耗时的操作.所以让publish集群从ZMQ取发布信息,在后台并行publish,大大的提高发布效率.当publish速度跟不上的时候,只要增加publish服务器就行. Key GPS Server 刚才简单的介绍过KGS,我再稍微深入一点介绍一下KGS.KGS是用TC来做物理存储的.把Key跟服务器的关系记录在TC的 hashdb里.这样做到多个服务器备份存储、权重、最小存储量优先级等一系列操作.,数据分布结构,Redis Redis主要存储的是发布者和订阅者之间的关系。关系结构主要是以队列+各种信息的64位唯一ID组成,所以存储量是很小的.虽然存储量很小,但是操作量很大.所以放在redis上,redis以纯内存的方式运行,不启用redis自身的热备份.在运行Redis服务器上,同时运行着backend 同步进程。Backend的用TC来存储的.在信息发送给Redis的同时,也发送给backend进行存储.当redis重启的时候,从backend加载用户的结构关系.Redis的集群方式是以水平方式切换.简单来说就是每台Redis服务器存储着各自5w用户量.这个数值可以根据各自的情况定义 MySQL mysql存储的是实际信息内容,比如微博信息,和用户信息.把操作很密集的数据,放在Redis里,相对小一点的就放在mysql里,MySQL表结构,Redis list数据结构,example4,Redis 数据结构 list,1. Following (有多少人订阅我的微博的列表),2. Followers (我订阅谁的微博的列表),3. Publish (我发布的微博消息列表),4. Subscribe (我订阅的消息包括我发布的信息),总结,明星会员问题 所谓的明星会员问题,就是刘德华来咱微博开了个微博。他有成千上万个订阅者.他发布一条微博消息。那得一下子发布到成千上万个订阅者那。多来几个刘德华这样的明星微博,咱们服务器不是要死翘翘了。所以我这里有个publish集群,根据订阅者分为活跃用户,一般用户,半死不活用户.根据活跃度分到不同的快速publish服务器或慢速publish服务器里去.因为是纯内存的只是在redis list里加个信息ID。还是很快的 理解不了本架构 对于本架构理解的同
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 苏教版四年级下册习作二雏鹰争章作文
- 家庭火灾防控 消防宣传月安全教育培训课件
- “以学生为中心”的教学理念在高中语文教学中的初探
- “互联网+文旅融合创新创业项目”联动机制下高校创业保障体系研究
- 护士培训工作的培训需求与资源分析
- 安全培训工作中的危险源辨识和风险评估方法
- “互联网+”时代高校教师教学发展困境与突破策略研究-以四川文理学院教师为例
- “一带一路”背景下人民币国际化研究热点及前沿-基于文献可视化分析
- “一名一角”在三角函数经典题型中的应用
- “1+X”证书导向下“三段六步”参与式教学模式在护理课堂教学中的应用
- 平面构成的骨骼
- 如何提高铝合金的延伸率
- 边坡施工技术交底(完整版)
- 低危胸痛告知书
- 班主任怎样与任课老师沟通ppt课件
- 医院门诊医生岗位职责(共8篇)
- 保密法知识座权威解读PPT课件
- 最新湿法脱硫安全操作规程(word版)
- 在灿烂阳光下-合唱谱(已经整理好了-直接打印就好了)
- 柏拉图分析法实例
- (解析版)XXXX年河南省开封市求实中学小升初数学试卷(b卷)
评论
0/150
提交评论