BigTable分享ppt.ppt

BigTable学习分享 论文的主要内容 摘要简介数据模型客户端APIBigTable的底层数据结构实现原理改进策略性能试验设计结论bigTable的支持相关工作结论 本次重点讲的几个部分 数据模型底层数据结构实现原理改进策略 摘要 简介 数据模型 BigTable的数据模型一个例子RowColumnFamilyTimestamps 数据模型 例子 例子 Row ColumnFamily TimeStamps 客户端API read的例子 Scannerscanner T Scanner stream stream scanner FetchColumnFamily anchor stream SetReturnAllVersions scanner Lookup n www for stream Done stream next printf s s lld s n scanner RowName stream ColumnName stream MicorTimestamp stream Value 客户端API write的例子 OpenthetableTable T OpenOrDie bigtable web webtable WriteanewanchoranddeleteanoldanchorRowMutationr1 T n www r1 Set anchor www c span org CNN r1 Delete anchor Operationop Apply 底层数据结构 上层用MapReduce进行计算下层用GFS分布式文件系统存储日志和文件通常和其他分布式程序部署在同一套集群环境中用SSTable文件格式来存储Bigtable数据依赖于高可用的分布式锁服务Chubby 用SSTable文件格式来存储Bigtable数据 依赖于高可用的分布式锁服务Chubby 来看一个Hbase的大的框架 Hbase上的mapreduce Hbase的详细架构图 对比定义 MapReduce HardoopGFS HDFSBigTable HbaseChubby ZooKeeperSSTable Store 再回头对比block StoreFile blockIndex MemStore RowColumnFamilyTimestamp的概念一样 实现原理 系统的三个部分Master的功能Tabletserver的功能Client与bigtable的交互问题TabletlocationTabletassignmentTabletservingcompactions 系统的三个部分 clientlibrarymasterservermanytabletservers 可以动态增加 master的功能 assigntabletstotableservers 负载均衡 detectingtheadditionandexpirationoftableserver tableserver的动态增减 balancingthetablet serverloadgarbagecollectionoffilesinGFS 不知道具体指什么 handleschemachangessuchastableandcolumnfaimilycreations tabletserver的功能 管理一系列tablet 10 1000个handlereadandwriterequsttothetabletssplitstabletsthathavegrowntoolarge client与Bitable的交互问题 数据读写 并不经过master 定位是在chubby做的 master更多承担维持Bigtable均衡负载的角色master系统资源消耗一般都很少 tabletlocation Tabletlocation 用一个类似于B 树的三层结构 来存储tablet定位信息chubbyfile roottablet metatablet usertabletroottablet不分裂 因此保持三层结构不会变成四层 五层 六层 metadatatable存储的也是key value对key是一个tablet的table标石和talet的尾部标记value是tablet的位置信息一个meta行大概1kb内存数据128MBmetadatatablets issufficienttoaddress2 34tablets客户端会cachetabletlocation信息 但具体没看懂 看一个Hbase的location Tablet RegionTabletServer R