Hugetable培训-2016-01-14

Hugetable技术培训,2016年1月,大数据平台技术概述,批处理型大数据技术：适合利用大规模集群处理海量规模数据，一般并发度较低，任务响应时间为分钟或小时级；相关技术：MapReduce、Hive、Pig实时/准实时型大数据技术：集群规模可大可小，处理交互式或高并发任务，响应时间在毫秒或秒级别；相关技术：Impala、SparkSQL混合型：设计上试图同时满足上述两种类型数据处理要求，可能需要克服一定的技术瓶颈；相关技术：HBase、HugeTable,HT基础,HT基础,HT架构,HugeTable定义：存储和管理大规模结构化数据的数据仓库系统，实现对应用数据集的模型定义、存储组织、索引、查询和统计分析功能。,数据存储和管理：主要使用Hbase存储引擎；支持海量结构化、半结构化数据的存储和管理。数据导入导出：采用HTLoad分布式加载工具，未来集成进CrossData实现。ETL功能的一部分。数据统计分析：提供SQL92兼容的查询接口、基本统计能力，并行分析。集成多种开源查询引擎，并支持基于代价查询优化。系统管理：集成的系统监控、数据管理、用户管理、日志和告警等。数据备份恢复：支持高性能的数据库/表备份和恢复。,HT基础,HT组件,自动化部署工具,导入导出工具,编译打包工具,加载工具,自动化测试工具,开发者工具包SDK,一致性检验工具,外围工具,SQLCli/xDBC,NativeScan,MapReduce,关系型数据库MySQL,分布式文件系统HDFS,分布式KV-StoreHBase,监控/管理,元数据存储,HFile,ORC,TextFile,RCFile,索引存储,查询能力,存储能力,数据存储,HT组件元数据管理模块,HiveSQLEngine,HiveMetadataAPI,MetadataStorageinMySQL,SmartSQLEngine,HiveMetaAdapter,HT组件DDLCREATEROLEIFNOTEXISTSrole_name;,ALTERUSERuser_nameSETPASSWORDstring;SETPASSWORDstring;,ALTERSCHEMA|DATABASEdatabase_nameSETAUTHORIZATIONuser_or_role_name;,HT用户管理SQL示例,查看所有用户和角色,hugetableshowusers;+-+-+-+-+-+|NAME|ADMIN|REMARKS|ID|QUEUE_NAME|+-+-+-+-+-+|ROOT|true|2|root.hugetable.default|U1|false|9|root.hugetable.default|+-+-+-+-+-+2rowsselected(0.229seconds)hugetableshowroles;+-+|ROLE_NAME|+-+|R1|PUBLIC|+-+2rowsselected(0.046seconds),HT基础,HT权限模型权限结构,HT权限模型权限授予/回收方式,HT权限模型系统权限,HT权限模型系统权限SQL语法,语法示例,-赋予系统权限GRANTsystemPrivilege,.TOuser_or_role_name;GRANTALLPRIVILEGESTOuser_or_role_name;-收回系统权限REVOKEsystemPrivilege,.FROMuser_or_role_name;REVOKEALLPRIVILEGESFROMuser_or_role_name;*当用户名为全数字时，请在引用用户名时使用双引号,GRANTCREATESESSIONTOPUBLIC;GRANTCREATETABLETOUSER1;REVOKEDROPUSERFROMROLE1;REVOKEALLPRIVILEGESFROMUSER2;,HT权限模型对象权限,HT权限模型对象权限SQL语法,语法示例,-赋予对象权限GRANTobjectPrivilege,.ONobjectTypeobjectName,.TOuser_or_role_name;GRANTALLPRIVILEGESONobjectTypeobjectName,.TOuser_or_role_name;-收回对象权限REVOKEobjectPrivilege,.ONobjectTypeobjectName,.FROMuser_or_role_name;REVOKEALLPRIVILEGESONobjectTypeobjectName,.FROMuser_or_role_name;objectType:=TABLE|VIEW|INDEX|TRIGGER|ALIAS|CONSTANT|SEQUENCEobjectName:=schema_name.object_name,GRANTSELECTONDEFAULT.T1TOUSER1;GRANTALLPRIVILEGESONINDEXDB1.INX1TOPUBLIC;REVOKEINSERT,UPDATE,DELETEONTABLET2FROMUSER2;REVOKEALLONT3FROMROLE1;,HT权限管理查看权限,查看被赋予的系统权限语法示例,SHOWGRANTEDPRIVILEGESFORuser_or_role_name;,hugetableshowgrantedprivileges;+-+-+-+|GRANTEE|GRANTEE_TYPE|SYSTEM_PRIVILEGES|+-+-+-+|ROOT|USER|ALLPRIVILEGES|U1|USER|(EMPTY)|PUBLIC|ROLE|(EMPTY)|+-+-+-+3rowsselected(0.127seconds),HT权限管理查看权限,查看被赋予的对象权限语法示例,SHOWGRANTEDRIGHTSFORuser_or_role_name|ONobjectName;objectName:=schema_name.object_name,hugetableshowgrantedrights;Norowsselected(0.002seconds)hugetablegrantselectont1tou1;Norowsaffected(0.01seconds)hugetableshowgrantedrights;+-+-+-+-+|GRANTEE|GRANTEE_TYPE|GRANTED_OBJECT|GRANTED_RIGHTS|+-+-+-+-+|U1|USER|DEFAULT.T1|SELECT|+-+-+-+-+1rowselected(0.129seconds),HT用户权限说明,PUBLIC是HT中的一个特殊的角色，所有用户都隐式的拥有PUBLIC角色所拥有的所有权限；只有数据库管理员（DBAdmin）可以将系统权限赋予其他用户或从其他用户收回系统权限。数据库拥有者（DBOwner）可以赋予或收回其所拥有的数据库内的数据库对象的对象权限。管理员默认拥有所有系统权限和对象权限；数据库所有者默认拥有其下数据库内的所有数据库对象上的所有对象权限。,HTAPI,JDBCAPIRESTAPISNMPAPI,HTAPIJDBCAPI,JDBCDriverManager负责创建和管理JDBC连接，对于每次连接请求，DriverManager根据URL找到相应的Driver进行连接。HugetableJDBCDriver是运行在客户端用来转换JDBCAPI和下层数据库协议的适配器(adaptor)。用户的Java程序可以通过标准的JDBCAPI访问HugeTable中的数据。,HTAPIRESTAPI,认证数据库对象管理获取Database列表创建Database删除Database获取Database的Table列表获取Table的SchemaDatabase写操作服务状态管理获取服务状态更改服务状态统计信息查询获取系统级别统计信息获取服务级别统计信息配置信息管理获取服务器配置设置服务器配置,HTAPIRESTAPI认证,认证在HTTP消息头中必须有以下的消息头：Date：发起操作的时间，按照“EEE,dMMMyyyyHH:mm:ssz”的格式发送数据。Authorization：用于认证。客户端在发送REST请求前，使用“用户名/密码”计算出Authorization头部的值。值的格式为“METHODUSERNAME:SIGNATURE”。METHOD为认证方法，目前支持的METHOD为“HTAUTH”。USERNAME为用户名；SIGNATURE为MD5(METHOD+DATE+密码)当一个REST消息到达WebServer的时候，Server会首先判断Date字段值是否合法，如果格式合法，并且与系统当前时间的时间差在300s之内，则认为该消息有效，之后Server需要根据Authorization消息头中的信息，取得该用户对应的密码重新计算一遍SIGNATURE，如果计算得到的signature与Authorization消息头中的一致，则认为通过认证，否则认为认证失败。,HTAPIRESTAPI示例1,服务状态管理-例获取系统所有服务，以及服务的状态Request内容：,RequestGET/servicesHTTP/1.1Host:Date:Mon,23May201109:13:07GMTAuthorization:HTAUTHusername:signatureContent-Type:application/xml,HTAPIRESTAPI示例1,服务状态管理-例返回系统所有服务，以及服务的状态Response内容：,HTTP/1.1200OKContent-Length:xxxNameNodenn-host-nameACTIVEDataNodedn-host-nameACTIVE.,HTAPISNMPAPI,SNMPAPISNMP是Hugetable的系统组件之一，实现NOSQL系统的告警信息采集和上报功能。HTSNMPAPI所做的工作有定义OID定义TRAP消息标识、消息内容将定制化的OID和TRAP内容集成进SNMP服务端代码,HT数据库访问方式-JDBCAPI,使用JDBCAPI连接完整的URL格式（表示可选）jdbc:hugetable:/ServerHost:ServerPort/dbnameJDBCDriver的主要参数：,HT数据库访问方式-JDBCAPI,使用JDBCAPI连接示例,publicclassJDBCClientpublicstaticvoidmain(Stringargs)StringdriverName=com.hugetable.Driver;Stringurl=jdbc:hugetable:/4:9092/default;Stringuser=root;Stringpassword=123123;try/Class.forName(driverName);Connectionconn=DriverManager.getConnection(url,user,password);Statementstatement=conn.createStatement();booleanquery=statement.execute(SELECT*fromhcdrLIMIT10);ResultSetr