大数据培训module10hue总体篇

修订记录建议直接将本胶片另存，然后在此胶片的基础上进行编辑。本部分包含：培训目标、目录、习题、总结、问题等模板。参考IT解决方案产品培训课程开发内容要素，按照模块开发。课程编码适用产品产品版本课程版本ISSUEXXXXXXXXXXXXXXXXX开发/优化者时间审核人开发类型（新开发/优化）XXXXXXXXXXXXXX本页不打印Hue

(总体篇)目标学完本课程后，您将能够：了解Hue是什么；了解Hue能干什么；了解Hue在FI产品的位置；了解Hue的系统架构；了解Hue关键特性。目录Hue简介及架构Hue关键特性介绍Hue应用举例HUE是什么Hue=HadoopUserExperienceAnopensourceHadoopGUIWebbasedHue汇聚了与大多数ApacheHadoop组件交互的接口，致力为Hadoop组件的Web图形化操作界面。Hue组件让用户轻松使用Hadoop，不用担心底层的复杂性实现，不使用命令行操作。用户可以轻松快捷的获取到结果。HUE能干什么提供HDFS文件管理操作界面提供MapReduce作业管理界面Hive元数据管理Hive脚本编辑器Oozie工作流编辑和管理提供Solr搜索界面和界面定制能力提供zookeeper浏览器界面Hue架构HadoopBrowserHueServerThriftAPIRESTAPIRESTAPIHue对外提供WEBUI，支持InternetExplorer9（标准模式）及以上版本、GoogleChrome浏览器21及以上版本（推荐）、MozillaFirefox浏览器24.x/31.x/40.x及以上版本。HueServer是一个基于Django（PythonWeb框架）开发的Web服务器，采用python语言编写。使用DBService保存Hue自身元数据，通过Thrift或RESTAPI与Hadoop组件通讯，自身对外提供REST

API（只限WEBUI使用，没有对外发布）。HueServer主要负责界面呈现，界面上的业务逻辑（例如执行HiveSQL、删除HDFS文件等）最终由各Hadoop组件执行。Hue在FusionInsight产品的位置FusionInsightHD提供大数据处理环境，基于社区开源软件增强，按照场景选择业界最佳实践；

Porter是HD的数据集成服务，提供与Hadoop集群多种交换数据方式（包括Loader、Flume、FTP）及Hadoop图形界面（Hue）。HIVEHDFS/HBaseM/RSparkPorterMinerDataFarmHadoopStreamingSolr系统管理Farmer灾备管理ManagerHadoopAPIPluginAPIOpenAPI/SDK应用服务层REST/SNMP/SyslogDataInformationKnowledgewisdomYarn/Zookeeper安全管理MPPDBElk/ImpalaFlume/Loader/Hue/..Hue与哪些Hadoop组件集成zookeeperLoaderHBaseSolrHiveServer2MetastoneHDFSPigoozieYarnSpark已集成未集成StandbyHue2ActiveHue2Hue可靠性unknownHue1unknownHue2ACTIVE_IPLAST_MODIFIEDACTIVE_IPLAST_MODIFIEDHue1IPAddress1437649686ActiveHue1StandbyHue2ACTIVE_IPLAST_MODIFIEDHue1IPAddress1437639686BadHue1ACTIVE_IPLAST_MODIFIEDHue2IPAddress1437689686BadHue1HUE安全机制httpsKDCKerberos单点登录浏览器与Hue之间采用HTTPS协议，防止消息拦截。Hue支持单点登录，Hue与Manager使用同样账号（Manager上创建的所有人机账号都可以登录到Hue）。Hue与Hadoop组件之间采用Kerberos认证。Hue如何部署Manager安装DNDNNNNNDN自动发现主备Hue主备部署，同时只有一个Hue实例工作。Hue部署在集群内，只能与集群内Hadoop组件对接。对Hue已经支持的Hadoop组件，Hue支持自动发现Hadoop组件安装状态，如果Hadoop组件安装了，Hue呈现相应组件界面，组件卸载了，Hue上相应的组件界面不显示。集群Hue访问方式用户登录FusionInsightManager后，选择“服务管理>Hue”，单击“HueWebUI”对应的链接，通过HTTPD代理进入Hue页面。在非组网隔离环境，也可以通过组件浮动IP:端口号（默认21200）直接进入Hue页面。Hue简介及架构Hue关键特性介绍Hue应用举例HDFS文件浏览器创建文件和目录上传和下载文件上传压缩文件自解压文件重命令移动文件删除文件和目录修改文件和目录的权限搜索文件和目录以查看文件的文本或二进制内容编辑文件内容WebHDFSRESTMapreduce作业浏览器通过作业浏览器，用户可以查看运行在Hadoop集群之上的MapReduce作业列表及详情信息。支持MapReduce作业按用户、状态过滤查询。查看作业详情信息，包括作业下所有任务的状态、启停时间、任务属性信息等。对于失败任务，可以通过查看日志信息快速定位问题。WebHDFSRESTHive编辑器和元数据管理SQL输入联想支持MR和Spark双引擎（华为增强）自动保存执行记录结果图形显示执行日志查询SQL解析Thrift创建数据库、删除数据库。创建表、删除表导入数据到表查看表的存储位置Solr搜索RESTAJAXwww….Templates

+

JS

ModelHue通过Solr搜索引擎，允许用户基于关键字搜索Hadoop数据，搜索结果以定制化界面显示。管理员可以通过向导式、图形化拖拽方式定义Solr搜索界面界面，包括结果显示样式、排序方式、分组方式等。Hue简介及架构Hue关键特性介绍Hue应用举例应用举例：从文件中创建一个表说明本例子演示从本地上传一个文件，然后根据文件创建Hive表并导入数据。数据准备下面为某公司员工工资数据，将其保存为文件（salary.txt）CustNo,Gender,Department,Age,Salary0001,男,开发部,30,100000002,男,开发部,28,190000003,男,开发部,30,105000004,女,开发部,33,120000005,男,开发部,27,90000006,男,开发部,35,180000007,女,市场部,30,110000008,男,市场部,29,245000009,女,市场部,38,305000010,男,市场部,45,126000011,男,市场部,28,97000012,男,市场部,35,180000013,女,公共部,24,50000014,女,公共部,25,450000015,男,公共部,25,65000016,女,公共部,30,180000017,女,公共部,23,40000018,女,公共部,25,45000应用举例：从文件中创建一个表步骤一：a、从Hue菜单上选择“DataBrowsers-Metadata表”，点击左边“从文件中创建一个表”。b、输入表名为”salary”，点击“输入文件”右边按钮”..”，选择本地文件salary.txt上传。c、点击下一页。应用举例：从文件中创建一个表步骤二：a、Hue显示上传的文件内容，自动识别为一个电子表格。b、点击“下一页”。应用举例：从文件中创建一个表步骤三：a、Hue自动识别字段名和类型，如果不正确，需要用户手动修改。b、点击“创建表”应用举例：从文件中创建一个表步骤四：如果创建过程没有错误，显示salary表定义。总结介绍了Hue是什么？能干什么？介绍了Hue的软件架构以及在FusionInsight的位置。介绍了Hue安全、可靠性机制。介绍了Hue基本特性。通过一个例子介绍Hue上Hive功能。练习题Hue在FusionInsight产品中的定位是什么？C60版本Hue已经支持与哪些组件对接？是否可以通过Hue向HDFS上传文件？华为官方网站企业业务：技术支持：