北风网项目培训 讲师.pptx

北风网项目培训北风网项目培训 讲师：Robby Hadoop HbaseHbase中数据存中数据存储储方式方式 按RowKey的字典顺序 Table Region Region Region Region Region Servers Region Server Region Server Region Server Region Server 字典字典顺顺序序 特点： 拥有相同“前缀”的数据，会存储在相邻区域 a ab abc b ba bab c ca cab HTable = HRegion = HStoreHTable = HRegion = HStore Table Region Region Server HRegion Region Region Region HStore MemStore StoreFile StoreFile StoreFile HStore MemStore StoreFile StoreFile HStore MemStore StoreFile HStoreHStore是怎是怎样样工作的工作的? ? HStore MemStore StoreFile StoreFile StoreFile 向表中写入数据的过程： 1. 首先写入MemStore，同时写入HLog 2. 但MemStore到达一定大小的时候，MemStore会 flush成一个StoreFile（HFile文件） 3. 但StoreFile的数量达到一定阀值，会触发compact ， 将多个StoreFile合并成1个StoreFile 4. 当单个StoreFile达到一定大小的时候，会触发split ， 将当前的Region拆分成2个Region，并且分发到 不同的Region Server上 HStoreHStore是怎是怎样样工作的工作的? ? HFileHFile的存的存储储格式格式 Data Block是HBase I/O的基本单元，每个Data块除了开头的Magic以 外就是一个个KeyValue对拼接而成 KeyValueKeyValue的存的存储储格式格式 开始是两个固定长度的数值，分别表示Key的长度和Value的长度。紧 接着是Key，开始是固定长度的数值，表示RowKey的长度，紧接着是 RowKey，然后是固定长度的数值，表示Family的长度，然后是Family ，接着是Qualifier，然后是两个固定长度的数值，表示Time Stamp和 Key Type（Put/Delete）。Value部分没有这么复杂的结构，就是纯粹 的二进制数据了。 对于任意一个cell，都需要存储rowkey, column family, column qualifier 目前已经完成的功能 Struts2 + Jsp + bootstrap开发环境搭建 HBase Interface 1. 创建了用户管理相关的表 2. 创建新用户 3. 验证用户名和密码 界面部分（JSP+Struts2 Actions） 1. 用户注册，登陆和注销 接下来将要实现的功能 用户关注和微博投递 1. 表结构的设计 2.Hbase接口的实现 3.JSP和Action的实现 用户关注 表（1） tab_follow tab_followed rowkeyname:userid useridusername rowkeyuserid userid_followed_useriduserid 发送微博 tab_post tab_inbox rowkeyPost:usernamePost:contentPost:ts postidxxxxxxxxx rowkeypostid userid+postidpostid 基于短信话单的应用 话单入库 多线程入库 使用Protocol Buffer 话单查询 Ajax技术 话单统计 在Hbase中使用MapReduce MapReduce Locality Data Node Data Node Region Server Map Data Node Region Server Data Node Region Server NameNode Hive Data Types TypeSize(byte) TINYINT 1 SMALLINT 2 INT 4 BIGINT