第十章 FusionInsight 技术基础 - Hue架构原理

1、HCNP,FusionInsight,R2CXX,1.0,于少鹏/285037,2015.10,张伟/301377,新开发,Hue 架构原理,学完本课程后，您将能够： 了解Hue应用场景 了解Hue的实现原理和架构 理解Hue的HA机制 掌握Hue的安装配置,Hue简介及应用场景 Hue架构及基本概念 Hue可靠性 Hue安装与配置,Hue Hadoop User Experience,Hue汇聚了与大多数Apache Hadoop组件交互的接口，致力于Hadoop组件的用户体验。Hue组件让用户轻松使用Hadoop，不用担心底层的复杂实现，不使用命令行操作。用户可以轻松快捷的获取到结果。,W

2、eb Server,Hadoop,Browser,Hue File Browser,HDFS是文件系统，Hue中的File Browser模块则是这个文件系统的UI。可以使用Hue的File Browser模块，对HDFS中的文件和文件夹做如下操作： 新建文件或文件夹，上传或下载文件，上传zip文件 重命名、移动、复制、删除一个文件或文件夹， 修改文件或文件夹的权限 以文本或二进制方式查看或修改文件,Hue Beeswax & Metastore Manager,通过Beeswax模块可以在Hive上执行query语句，包括： 新建数据库，删除数据库 新建表、删除表、查询表数据 新建、执行、管

3、理Hive SQL语句 查询并导出查询结果为excel 通过模板文件创建表,Hue简介 Hue架构及基本概念 Hue可靠性 Hue安装与配置,Hue 架构图,Browser,Hue Web Server,Backend Services,HDFS Python API,Hue与组件交互 REST API,以HDFS为例: Hue 通过 HDFS 提供的 REST API 调用接口。 Hue 和 HDFS 之间使用了Kerberos认证,Create Http Client with Kerberos,Revoke Functions,Browser,Hue Web Server,HDFS,HT

4、TP Request,Response Data,Revoke Method,HDFS REST API,Response Data,Response Data,Thrift(HiveServer/Metastrore),Hue与组件交互 Thrift API,以Hive为例 Hue 通过 Thrift 接口调用Hiveserver和metastore Hue 和 Hiveserver、metastore之间使用了Kerberos认证,Create ThriftClient with Kerberos,Revoke Functions,Browser,Hue Web Server,HiveSe

5、rver/Metastore,HTTP Request,Response Data,Revoke Method,Thrift API,Response Data,Response Data,Hue 组件解耦,Hue自动检测组件是否安装，从而自动安装或者卸载在Hue中对应的模块。以Hive模块为例： 如果Hue检测到Hive模块的配置项的值为空，Hue则会卸载Hue中对应的beeswax和metastore模块。 如果检测到Hive模块的配置项有值，Hue则会安装Hue中对应的beeswax和metastore模块，从而实现组件在Hue中的自动化安装和卸载。,Hue简介 Hue架构及基本概念 H

6、ue可靠性 Hue安装与配置,Standby Hue 2,Active Hue 2,Hue可靠性,unknown Hue 1,unknown Hue 2,Active Hue 1,Standby Hue 2,Bad Hue 1,Active Hue 1,Hue-可靠性常见问题,DBService不可用导致Hue状态不可用 Hue所在节点连接DBService服务浮动IP失败 DBService的连接资源被其他服务全部占用 在组网隔离环境下，DBService和Hue服务的浮动IP未配置在业务平面，导致Hue连接DBService失败,Hue简介 Hue架构及基本概念 Hue可靠性 Hue安装与

7、配置,Hue 安装与配置,利用FusionInsight Manager安装Hue组件时，需注意： Hue组件的浮动IP唯一、且必须配置在业务平面 Hue组件的主备节点可以安装到集群中任意两个节点 安全模式下，Hue强依赖于DBService、KrbServer。安装Hue前，需确保上述两个服务已启动且正常,Hue 安装与配置,FusionInsight Manager为组件提供了统一的配置界面，通过Manager可以配置： Hue浮动IP、端口 Hue Web服务所产生的日志级别 Hue Web服务产生的单个日志的最大值（默认5MB） Hue Web服务的日志最大备份数（默认20份）,Hue 安装与配置常见问题,Python版本不兼容，FusionInsight Hue组件支持的Python版本为.9 浮动IP冲突或者默认端口21200被占用，导致Hue Web服务进程异常退出 Hue连接DBServi