大数据运营与管理平台用户手册

大数据资源管理和运营平台用户手册系统版本：iDatrixV02R01C000声明Copyright 2017九次方大数据信息集团有限公司版权所有，侵权必究。本手册专供用户、本公司职员以及经本公司许可的人员使用。未经公司书面同意，任何单位或个人不得以任何方式复制、翻印、改编、摘编、转载、翻译、注释、整理、出版或传播手册的全部或部分内容。灵机大数据或其子公司、关联公司的注册商标，受商标法保护，任何个人或团体非法使用以上商标，深圳灵机大数据有限公司有权追究其法律责任。本公司保留在事先不通知用户的情况下，根据产品的改进修改本手册内容的权利。在使用过程中，如发现本手册与实际产品有任何不符或疑问，请与本公司文档信息部联系。九次方大数据信息集团有限公司联系地址：北京市海淀区永泰庄北路1号6号楼手册说明适用版本本手册适用于九次方大数据信息集团有限公司的大数据平台系统V1.0版本。内容简介大数据运营与管理平台用户手册面向平台上的数据用户，为他们提供全方位大数据平台使用与操作指南。本手册主要包括以下内容：第一章：认识系统介绍系统组成、数据处理流程，以及大数据平台的操作流程。第二章：登录与熟悉系统介绍登录及界面通用操作。第三章：安全管理安全管理提供多租户、用户、权限、角色等管理功能。本章介绍该子系统的具体使用与操作方法。第四章：运维管理运维管理提统一运维管理等功能。本章介绍该子系统的具体使用与操作方法。第五章：元数据管理元数据管理提供前置机与平台的元数据定义及数据溯源功能。本章介绍该子系统的具体使用与操作方法。第六章：数据采集&集成数据采集&集成提供免代码编写的数据采集、清洗、转换、与加载。本章介绍该子系统的具体使用与操作方法。第七章：数据资源目录数据资源目录为平台用户提供平台范围内数据的查询、权限申请及审批功能。本章介绍该子系统的具体使用与操作方法。第八章：数据分析&探索数据分析&探索为数据分析师提供图形化、交互式数据分析与批量处理环境。本章介绍数据采集&集成子系统的具体使用与操作方法。第九章：服务开放&治理服务开放与治理将平台数据以数据服务API形式，供平台内外用户与应用调用。本章介绍该子系统的具体使用与操作方法。阅读对象本手册的使用人员主要包括： 普通数据用户 数据分析人员 第三方数据开发人员手册约定本手册对一些格式、规范和动作作了约定，您可参阅以下约定，方便您对本手册内容的理解。格式约定格式说明Courier New字体Courier New字体表示屏幕终端显示，包括：配置文件，系统输出文件，命令等内容。如：login另：其中屏幕输出信息有表示用户手工输入的内容，采用加粗的形式，如：Password: *.加尖括号的内容表示按钮名。如：点击按钮表示用户需要同时按下这几个键。如：表示同时按下Ctrl、Shift和D键。带方括号的内容表示菜单项、数据表和字段名等，如：选择文件菜单多级菜单的表示方法采用/形式。如：选择工具/修订/比较合并文档菜单项，表示选择工具主菜单项中修订菜单下的比较合并文档项“”单选框、复选框、页签、列表框、窗口统一加“”表示。如：选择“保存”页签手册中说明、注意和警告事项标志：图标标识说明说明对当前内容的注释或者解释，提供与当前主题更多的相关内容，对其内容的补充。注意对可能会影响到系统的正常运行的操作进行特别说明，并提请用户应该注意的事项。警告对可能会造成较严重后果的操作进行说明，包括提示用户不应该做，需要小心去做的事项，或者会引起其它潜在事故和灾难的事情。大数据平台用户手册第章数据分析&探索目录1认识系统1-11.1平台组成1-11.2数据处理流程1-21.3用户操作指引1-31.3.1数据源引入与处理阶段1-31.3.2数据资源应用阶段1-32登录与熟悉系统2-12.1登录系统2-12.2修改登录密码2-23安全管理2-33.1安全管理概述2-33.1.1安全管理子系统2-43.2超级管理员：管理系统资源2-43.2.1查看系统资源2-53.2.2管理平台操作资源2-53.3超级管理员：开通与管理租户2-63.3.1添加租户2-63.3.2编辑租户基本信息2-83.3.3删除租户2-93.4租户管理员：创建与管理组织架构2-93.4.1创建部门2-93.4.2导出部门2-103.4.3添加部门用户2-113.5租户管理员：创建与管理角色2-113.5.1新建角色2-123.5.2角色授权2-123.5.3添加角色用户2-133.6租户管理员：创建与管理用户2-143.6.1新建用户2-143.6.2导出用户2-143.6.3批量导入用户2-153.6.4修改用户的组织与角色2-154运维管理2-14.1登录并熟悉界面组件与操作2-14.2仪表盘监控集群性能与服务状态2-24.2.2查看与管理度量指标2-34.2.3查看集群各主机度量值热力图2-44.3服务监控/添加/管理集群服务2-54.4主机查看集群主机运行情况2-74.5告警查看集群告警信息2-74.6管理查看栈与版本信息2-85元数据管理2-95.1数据库、服务器2-95.1.1注册服务器2-95.1.2注册数据库2-115.1.3注册模式2-135.2元数据检索2-145.3元数据管理2-155.4系统管理2-175.5数据地图2-205.6数据授权2-216数据采集&集成6-236.1任务中心-查看任务与任务执行情况6-246.2设计平台创建与运行转换与调度任务6-246.2.1转换与调度任务概述6-246.2.2基本操作6-256.2.3配置示例6-316.3质量分析创建与运行数据质量分析任务6-356.3.1质量分析概述6-356.3.2基本操作6-356.3.3数据字典6-416.3.4数据评估6-446.3.5数据总览6-476.3.6数据稽核6-476.3.7配置分析示例6-486.4资源中心查看ETL资源6-496.4.1查看数据系统资源6-496.4.2查看ETL服务器信息6-496.4.3查看ETL服务器集群信息6-506.4.4查看Hadoop集群6-506.4.5查看Spark引擎6-516.4.6查看执行引擎6-516.4.7查看文件模板6-527数据分析&探索7-17.1查询与加工表数据7-17.1.1熟悉界面7-17.1.2操作数据表7-27.1.3重新执行历史操作7-37.2管理HDFS目录文件7-37.2.1查看HDFS目录元数据7-37.2.2管理子目录7-47.2.3操作目录文件7-57.3全文搜索ES索引文档7-57.3.1全文搜索7-67.3.2自定义全文搜索7-67.4新建与管理数据批处理任务7-87.4.1创建任务7-87.4.2创建任务工作流7-97.4.3启停任务7-107.4.4任务调度管理7-117.4.5查看任务执行情况7-117.5数据模型7-127.5.1新建数据模型7-127.5.2编辑修改数据模型7-157.6报表分析7-17.6.1新建报表分析7-17.6.2打开报表分析7-118服务开放&治理8-18.1创建应用8-18.2查看可用API及其使用指南8-29数据共享交换平台8-29.1资源概览8-29.1.1资源搜索8-39.1.2资源订阅8-49.2资源管理8-59.2.1自动建表8-59.2.2创建资源目录8-79.2.3上报资源数据8-89.3流程管理8-109.4交换管理8-129.5系统管理8-1410门户网站8-1610.1资源目录8-1610.2共享统计8-1710.2.1目录填报情况8-1810.2.2资源使用情况8-1810.2.3平台运行情况8-1910.3数据聚合8-1911网站后台管理11-201 认识系统灵机大数据平台是面向政府部门、金融机构及各类企业的全流程、高性能、高可靠性、一体化大数据服务平台系统： 从业务角度看，灵机大数据平台适用于收集不同来源的数据，通过对数据进行分类、整理、加工、存储、计算，挖掘出有价值的信息进行分析预测，最终形成决策与行动的依据。 从技术角度看，灵机大数据平台的功能涵盖了从大数据采集、清洗、转换、融合、存储、计算、挖掘、分析、到可视化展现全链路数据存储与处理过程。1.1 平台组成下图展示了大数据平台的主要子系统及其主要功能。图1-1 大数据平台子系统表1-1 各子系统目标用户与功能描述子系统名目标用户功能数据采集&集成数据分析人员支持免代码编写的数据采集、清洗、转换、与上载。支持大规模数据交换能力。数据资源目录平台所有数据用户提供从行业、部门、主题、标签等多维度搜索与预览数据信息。提供数据授权审批管理。元数据管理安装实施人员、数据分析人员提供平台内外各数据系统提供统一的元数据定义和管理。提供元数据关联关系管理，支持数据溯源。提供数据标签管理。数据分析&探索数据分析人员提供标准SQL编辑环境，支持图形化、交互式数据増/删/改/查操作。支持数据批量任务的创建、提交、调度执行、过程监控等能力。数据开放&治理专业数据用户平台内外所有数据服务与应用服务的统一开放与管理环境，为需要接入平台的应用提供标准数据服务API。安全管理系统管理员支持多租户共享模式。提供系统、用户、操作、数据等多维度安全管理。运维管理平台安装、运维人员提供平台一键式自动化安装部署。提供主机、节点、服务的管理、监控、及告警通知等。监控管理平台运维人员显示平台集群软硬件资源的使用状况与告警。说明：运维管理与安全管理针对安装人员与运行维护人员，具体操作说明参见灵机大数据平台管理员手册。表1-2 平台用户画像用户类别操作特点普通数据用户查看、搜索平台的数据资源，申请数据操作权限不懂技术专业数据用户查看平台数据服务列表，接入服务懂技术，了解自身需求及平台内数据的业务含义和技术意义系统管理员对于系统的设置与维护，注册租户、用户、组织架构、角色、分配权限等只能维护系统，不能接触业务监控运维人员监控系统硬件状态，监控任务，处理告警只监控和启停服务，不接触业务数据数据分析人员操作元数据，查看数据地图，ETL采集数据、在数据分析与探索的IDE界面查询需要对数据的来龙去脉、结构、使用方式十分了解实施人员安装部署硬件、软件，接入数据源等平台系统实施完成后，交由运维人员管理运营人员根据市场的需要，提出引入数据源的建议以及评估大数据平台处理、分析数据后的预期结果不直接操作大数据平台1.2 数据处理流程图1-2给出了大数据平台对数据的采集、清洗、加工、展示全处理流程。理解该流程有助于今后用户在平台上顺利完成数据的采集、清洗、加工、展示等操作。图1-2 大数据平台数据流图说明： ODS（Operational Data Store，操作数据存储）：存放通过直接与间接方式采集到的各式原始数据。 DW（Data Warehouse，数据仓库）：集中存储当前与历史数据。 DM（Data Mart，数据集市）：根据业务需要合并不同系统的数据源，可以快速且方便地访问简单信息，并查看系统视图和历史视图。1.3 用户操作指引大数据平台提供图形化交互界面完成数据采集、存储、加工、与使用。通过阅读下述实施阶段和应用阶段操作指引，你可以了解整个大数据平台的部署与使用流程。1.3.1 数据源引入与处理阶段大数据平台搭建与初始化工作完成后，大数据平台准备就绪，实施人员可根据需求，创建元数据，并完成数据采集与清洗。表1-3 数据源引入与处理操作索引步骤任务描述操作指引1定义元数据元数据管理2数据采集、清洗、存储数据采集&集成1.3.2 数据资源应用阶段当数据源引入与处理阶段完工后，平台可以为用户提供数据服务。下表中给出普通数据用户与专业务数据在平台上的具体操作指引。表1-4 应用阶段操作索引用户类型职责描述操作指引普通数据用户- 搜索与预览平台中本租户数据及其它租户对外公开的数据。- 向数据拥有者发起使用申请，待批准通过后，下载数据。a. 搜索数据资源。b. 查看数据描述c. 申请数据操作权限d. 搜索数据关联关系专业数据用户- 搜索与预览平台数据。- 经授权，对数据进行分析加工以及批量处理。- 经授权，调用大数据平台API获取与加工平台数据。a. 在数据资源目录模块，查看并申请数据使用权限。b. 申请批准后，在数据分析与探索模块，通过IDE环境，查看与分析元数据，完成对数据的増、删、改、查操作。c. 在元数据管理模块，定义新的维度表、查找表。d. 在数据分析与探索模块，通过任务调度任务管理，设备批量数据处理任务栏。e. 在元数据管理模块，根据数据模型，定义新的元数据。f. 在元数据管理模块，新建或调整平台现有表之间的引用关系。g. 在数据分析&探索模块，通过任务调度任务管理，设置并完成跑批任务。h. 在服务开放&治理模块中，通过大数据平台提供的数据交换接口规范，完成第三方应用与大数据平台间的数据交换。数据分析人员操作元数据查看数据地图在IDE查询管理元数据采集与集成数据数据分析&探索 7-13 / 1332 登录与熟悉系统本章针对初次使用大数据平台系统的用户，旨在让你了解并熟悉界面及界面的基本操作方法。本章主要内容包括： 登录系统 熟悉基本界面操作2.1 登录系统1 打开Google Chrome浏览器，在地址框内输入大数据平台操作地址（例如，8:1080），点击回车键。屏幕显示大数据平台登录界面。说明：请使用Google Chrome浏览器访问大数据平台。使用其它浏览器可能达不到最佳显示效果或影响某些功能的使用体验。2 输入登录帐号、密码、及验证码。说明：如果勾选，下次登录时，输入你的用户名后，系统会自动显示你的登录密码。3 点击。- 如果是初次登录时，屏幕弹出修改密码对话框。图1- 3 修改密码a 按对话框提示，设置新密码。b 点击。屏幕弹出重新登录对话框。c 点击。按步骤2所述，重新填写登录信息。- 如果不是初次登录，屏幕显示大数据平台首页。图2-2 大数据资源管理与运营平台首页说明：平台首页显示系统八个功能模块。根据你的角色设置，有些模块可能显示为灰色（表示不可用）；例如，安全管理只对超级管理员与租户管理员显示为可用。如需访问更多模块，请联系管理员进行相应授权。点击右上角登录名，可修改密码、邮箱等用户信息。详细步骤参见修改登录密码。4 根据操作需要，单击某一子系统的图标。屏幕跳转至该子系统的操作界面。子系统内具体操作说明，参见表1-1。2.2 修改登录密码首次登录大数据平台系统后，务必修改登录密码。1 在平台首页(如图2-1所示)或某一子系统操作页面，点击界面右上角的用户名。界面出现如下所示用户信息窗口。图1- 4 修改密码2 在用户信息窗口，修改用户登录密码的具体操作步骤如下：a 点击登录密码后的图标。b 按界面显示，输入原始密码、新密码、确认密码。3 如有需要，修改邮箱地址、手机号码等用户信息。4 点击。3 安全管理大数据平台支持对平台内所有异构系统和组件的统一安全管控，保障平台内多层级（系统/用户/资源/数据等）、全方位（访问/操作/存储/传输/显示等）系统安全与数据安全。本章详细介绍安全管理中涉及的主要操作任务，具体包括以下章节： 安全管理概述 超级管理员：管理平台资源 超级管理员：开通与管理租户 租户管理员：创建与管理组织机构 租户管理员：创建与管理角色 租户管理员：创建与管理用户3.1 安全管理概述在大数据平台中，安全管理实现了操作与数据两个层面的安全管控： 操作层面基于用户角色（例如，数据分析人员、数据使用者、数据采集者等角色）实现对操作资源（子系统、菜单、按钮）的授权。在安全管理子系统中实现，由租户管理员创建角色、为用户分配角色，并为角色分配操作资源。 数据层面采用平台预设的数据授权方案（如下表）。系统会依照该授权方案，根据用户与数据的关系进行授权。在元数据管理子系统中实现用户与数据的关系是由用户在定义元数据时指定的，其中：- 数据创建者：是指创建该数据的元数据表的用户，如租户管理员或者具有“元数据管理”菜单操作权限的用户。- 数据拥有者：是数据创建者在创建元数据表时指定的。用户与数据的关系权限数据拥有者数据创建者数据所属租户的管理员对数据具有全部操作权限，具体如下：l 表类数据：在IDE界面查询、插入、删除、更新数据；通过数据服务接口查询数据；在ETL时引用数据。l 目录类数据：下载数据。数据拥有者审批其他用户对数据的操作权限申请。某租户内所有用户通过数据资源目录搜索到本租户内所有数据以及平台内的其它租户对外公开的数据；查看这些数据的描述性息与样例，然后向数据拥有者申请数据操作权限。3.1.1 安全管理子系统安全管理子系统提供基于角色的操作资源授权。具体而言： 平台级管理由超级管理员实施，具体管理对象包括：平台上可用的菜单与按钮等操作资源、平台租户、脱密规则等。 租户级管理由租户管理员实施，具体包括：本租户内组织架构、角色与用户的创建与管理，及基于角色的操作资源授权。3.2 超级管理员：管理系统资源系统资源管理是指管理大数据平台上可供租户使用的子系统、功能、与操作，具体管理包括： 大数据平台开放哪些子系统模块，即租户可访问哪些子系统模块； 各子系统模块提供哪些功能，即子系统模块中哪些菜单可见； 各功能下提供哪些操作，即子系统菜单下哪些按钮可见。大数据平台在安装初始化时已经配置好了所有系统资源（模块、菜单、按钮）的状态信息。资源管理菜单提供的操作主要是便于系统升级或变更配置时，超级管理员可以通过安全管理模块修改各系统资源的默认设置： 查看资源 管理平台操作资源3.2.1 查看系统资源【任务描述】查看平台现有各项资源及其属性信息。【任务入口】安全管理资源管理图1- 5 菜单管理3.2.2 管理平台操作资源【任务描述】当系统升级或变更配置时，超级管理员可以通过安全管理模块修改各系统资源的默认设置，具体包括：在子系统中新建与删除菜单或按钮。隐藏或显示一个子系统中某个菜单或按钮。说明：如果选择删除一个操作资源，则该操作资源在全平台所有租户都不可用。所有管理操作立即生效，无需重启平台系统。【任务入口】安全管理资源管理【操作步骤】隐藏或显示某个资源对象中的菜单或按钮1 在资源管理界面，从子系统树中选中目标操作资源（菜单、按钮）。2 在显示选项中，按需选择“是”（显示）或“否”（隐藏）。3 点击保存。为某个资源对象新増菜单或按钮1 在资源管理界面，从子系统树中选中需要新増菜单或按钮的资源对象。2 单击子系统树上方按钮，进入资源详情对话框。图1- 6 菜单详情3 按实际情况填写资源信息，单击，完成新增操作。删除某个资源对象中的菜单或按钮4 在资源管理界面，从子系统树中选中待删除的菜单或按钮。5 在弹出删除对话框中，点击，确认删除操作。3.3 超级管理员：开通与管理租户大数据平台可同时为多个组织机构（称之为租户）提供大数据服务，各租户可通过平台共享彼此的数据资源。当平台签约新租户后，必须由超级管理员通过安全管理子系统开通租户，并根据业务需求为租户分配系统资源。3.3.1 添加租户【任务描述】当平台签约新的租户后，超级管理员在平台上创建新租户，并根据业务需求为该租户指定数据系统资源和功能子系统。【任务入口】安全管理租户管理图1- 7 租户管理界面显示平台现有租户列表。【操作步骤】1 在租户管理界面，点击。2 在新增租户页面，按界面提示填写租户名称、管理员帐号、密码及管理员联系方式。说明：管理员帐号不区别大小写，系统自动将管理员帐号的初始密码发送到管理员邮箱。图1- 8 添加租户3 点击。4 在开通服务页面，勾选分配给租户的存储与服务资源。图1- 9 添加租户5 点击。6 在开通资源页面，选择分配给该租户的子系统模块。图1- 10 添加租户7 点击，完成添加新租户任务。新租户记录出现在租户列表中。租户管理员通过邮箱接收系统自动生成的登录密码；登录平台系统后，可完成租户内用户及其它安全规则的配置。3.3.2 编辑租户基本信息【任务描述】根据租户申请，超级管理员可编辑租户管理员的基本信息。说明：如租户申请重置管理员密码，请联系数据库管理员在后台进行操作。编辑租户时，系统不会允许你重新分配资源或者子系统。【任务入口】安全管理租户管理【操作步骤】1 在租户管理界面，从平台租户清单中，定位到目标租户。2 点击该租户记录后的图标。3 在编辑租户界面，按需要完成修改操作。4 点击。3.3.3 删除租户【任务描述】当一个租户从平台退租，超级管理员将该租户从平台中删除，从而释放租户下所有用户占用的存储与计算资源。说明：删除租户将删除租户下所有的用户，租户下所有的用户在平台内存储的数据与文件将被删除。建议先禁止租户内所有用户的权限后，再进行删除租户操作。【任务入口】安全管理租户管理【操作步骤】1 在租户管理界面，从平台租户清单中，定位到目标租户。2 点击该租户记录中的图标。3 在弹出的删除对话框，点击，删除当前租户。3.4 租户管理员：创建与管理组织架构建立租户的组织架构为数据资源与部门绑定提供了必要条件。在大数据运营与管理平台，数据资源归属于组织机构下的具体部门，当数据提供者创建元数据时，必须指定元数据归属于本组织机构中的哪一部门；当数据使用者通过数据资源目录查询数据时，可以选择某一部门，查询归属于该部门的数据。作为租户管理员，你可以创建与管理本租户内所有部门并建立起部门间的组织层级关系，具体操作包括： 创建部门 导出部门 修改用户的组织与角色3.4.1 创建部门【任务描述】在一个部门下创建一个子部门。【任务入口】安全管理组织机构管理图1- 11 组织机构管理左侧组织机构树显示当前组织层级关系。默认情况下，右侧组织机构列表中显示你所在组织机构下的所有一级部门。各部门记录中有三个部门管理图标，功能描述见下表。表3-5 组织机构管理图标功能描述图标功能描述用于添加与该部门绑定的用户。用于修改部门名称与描述。用于删除部门。【操作步骤】本操作步骤基于以下示例：在“后勤”部门下建立一个“人力资源”的子部门。1 在组织机构管理界面，在组织和机构层级图中选中“后勤”部门。右边组织机构列表中显示“后勤”部下所有的子部门。2 点击。3 在新建组织机构窗口中，输入人力资源。4 点击。“人力资源”部门出现在“后勤”的部门列表中。系统自动为该部门分配了一个组织机构代码。图1- 12安全组织机构管理3.4.2 导出部门【任务描述】将一个部门下的所有一级子部门信息导出到一个Excel文件中。【任务入口】安全管理组织机构管理【操作步骤】1 在组织机构管理界面，在组织和机构层级图中选中部门（例如，后勤）。右边组织机构列表中显示下“后勤”部所有的子部门。2 选中一条或多条需要导出的子部门记录，点击。系统自动将选中的子部门信息导出为Excel文件，保存在电脑Downloads子目录下（例如，C:UsersAdministratorDownloads）。该Excel文件包含两列信息（组织机构代码与组织机构名称）。3.4.3 添加部门用户【任务描述】向部门中添加用户。【任务准备】已新建好部门与用户。【任务入口】安全管理组织机构管理【操作步骤】假定向“人力资源”部门中添加用户，1 选用下述方法之一，查找并定位到“人力资源”部。- 在组织机构管理界面，在组织和机构层级图中选中“人力资源”部的上级部门“后勤”。- 在搜索框内，输入“人力资源”部的组织机构名称或代码，点击查询图标。2 点击“人力资源”记录中的图标。3 在组织用户窗口，从左侧“可选添加用户”列表中，选中所有归属于该部门的用户名。4 点击图标。选中用户出现在“组织已有用户列表”中。5 如需将用户从“组织已有用户列”中移除，选中目录用户，点击图标。6 点击。3.5 租户管理员：创建与管理角色通过安全管理平台，租户管理员可针对系统资源（子系统、菜单、操作）实施基于角色的权限管理。对于用户不直接授予权限，用户需加入一个或多个角色方能被授权。作为租户管理员，你可以完成以下角色、及角色与用户关系设置： 新建角色 角色授权 添加角色用户3.5.1 新建角色【任务描述】新建一个角色，配置该角色的基本信息。【任务入口】安全管理角色管理图1- 13 角色管理右侧角色列表中显示你所在组织机构下的所有角色。各角色记录中四个角色管理图标，功能描述见下表。表3-8 角色管理图标功能描述图标功能描述角色用户管理，用于添加与该角色绑定的用户。角色权限设置，用于设置角色可访问的子系统与操作资源。角色信息修改，用于修改角色名称与描述。角色删除，用于删除角色。【操作步骤】1 在角色管理界面，单击。2 在角色设置窗口，输入角色名称与角色基本信息。3 点击。新増角色出现在角色列表中。3.5.2 角色授权【任务描述】新建完角色后，为该角色分配系统资源的使用权限。说明：用户通过角色与权限绑定的，一个用户要想具有某种权限，必须赋予到一个角色中。如果一个用户属于两个角色，而这两个角色的权限严格程度不同，应该按更严格处理）【任务入口】安全管理角色管理【操作步骤】1 在角色管理界面，点击一角色记录中的图标。界面弹出角色授权窗口。窗口中列出超级管理员分配该租户的所有子系统，以及这些子系统上的所有可见菜单及按钮。图1- 14 角色授权2 在角色授权窗口，根据角色需要，勾选开放给该角色使用的子系统、菜单、及按钮，修改立即生效。3 点击。3.5.3 添加角色用户【任务描述】当新建完角色和用户后，在角色中加入用户。【任务准备】已新建好角色与用户。【任务入口】安全管理角色管理【操作步骤】1 在角色管理界面，在搜索框内，输入角色名称或代码，点击查询图标。2 点击目录角色后的图标。3 在角色用户窗口，在左侧“可选添加用户”列表中，选中所有归属于该角色的用户名。4 点击图标选中用户出现在“角色已有用户列表”中。5 如需将用户从“角色已有用户列”中移除，选中目录用户，点击图标。6 点击。3.6 租户管理员：创建与管理用户作为租户管理员，你管理着本组织机构内部所有可登录大数据平台的用户。本节介绍用户管理相关操作： 新建用户 导出用户 修改用户的组织与角色3.6.1 新建用户【任务描述】新建一个角色，配置该用户的基本信息，例如登录帐号、密码、联系方式等。【任务入口】安全管理用户管理图1- 15 用户管理用户列表中显示你所在组织机构下的所有用户。各用户记录中有3个用户管理图标，功能描述见下表。表3-11 角色管理图标功能描述图标功能描述配置用户的组织与角色。修改用户密码及其它基本信息。删除用户。【操作步骤】1 在用户管理界面，单击。2 在新建用户窗口，输入用户账号、真实名称、密码、联系方式等基本信息。其中用户账号是用户登录平台的。3 点击。新増用户出现在界面用户列表中。3.6.2 导出用户【任务描述】将一个或多个用户的信息导出至一个Excel文件中。【任务入口】安全管理用户管理【操作步骤】1 在用户管理界面，选中要导出的用户记录。2 点击。系统自动将选中的用户及用户信息（除密码外）导出为一个Excel文件，保存在电脑Downloads子目录下（例如，C:UsersAdministratorDownloads）。该Excel文件包含两列信息（组织机构代码与组织机构名称）。3.6.3 批量导入用户【任务描述】通过文件方式，批量导入多个用户。注意：文件录入必须遵照用户管理下提供的标准模板。【任务入口】安全管理组织机构管理【操作步骤】1 在用户管理界面，点击用户列表上方的。2 在电脑Downloads目录下，打开名为“用户导入”的Excel格式文件。3 按模板中的格式，填写用户信息并保存。4 返回用户管理界面，点击用户列表上方的。5 在打开窗口，选中填写有用户信息的Excel文件。6 点击。文件中的用户成功添加入用户列表中3.6.4 修改用户的组织与角色【任务描述】修改用户所属组织与角色。【任务入口】安全管理用户管理【操作步骤】1 在用户管理界面，查找定位到一个用户。2 点击用户记录中的图标。3 在所属组织或关联角色窗口，如有需要，在左侧组织框内为用户选定部门，在右侧角色框内为用户勾选角色。4 点击。4 运维管理通过运维管理子系统，系统管理员可快捷直观地配置、管理、监控大数据平台Hadoop集群系统，具体操作包括： 安装与配置大数据平台集群系统- 提供安装向导，集中完成在任意多台主机上安装Hadoop服务。- 提供集群Hadoop服务的集中配置。 管理大数据平台集群系统- 为集群中所有Hadoop服务提供集中启、停、及重新配置服务。 监控大数据平台集群系统运行- 提供基于仪表盘的集群性能与状态集中监控。- 采集集群性能参数值并以图形化方式呈现。- 提供实时告警。本章详细介绍如何通过运维管理子系统管理运行中的平台系统，涵盖以下操作任务： 登录并熟悉界面组件与操作 仪表盘监控集群性能与服务状态 服务监控集群所有服务的运行状况 主机查看集群主机运行情况 告警查看集群告警信息 管理查看栈与版本信息4.1 登录并熟悉界面组件与操作【任务描述】登录运维管理子系统，熟悉界面组件的功能与操作方法。【任务入口】大数据平台首页【操作步骤】在大数据平台首页，点击。界面跳转至运维管理首页（也即仪表盘页面）。图1- 16运维平台主界面下表列出上图中各界面组件的主要功能。表4-1 运维管理模块界面组件功能描述编号组件名称功能描述A平台商标点击该图标，可返回平台首页。B导航菜单显示该子系统中的所有菜单项。点击某一菜单项，左侧C区域显示对应菜单操作页面。C菜单操作区域导航菜单项对应的功能操作界面区。D后台操作窗口快捷按钮按钮上显示集群内有有多少个正在运行的后台操作。点击该按钮，界面弹出后台操作窗口。该窗口显示所有正在运行与已运行后台操作。通过该窗口，可查看所有服务的启停操作结果与动态安装进展。对于一个异常操作记录，可点击“服务”栏，层层点击进入，查看出错日志。F集群告警个数显示集群内的总告警个数。点击该图标，可查看所有告警及详细告警信息。F用户管理与设置下拉框显示当前登录用户名。点击下拉框，可见用户设置与模块管理等操作菜单。4.2 仪表盘监控集群性能与服务状态仪表盘是运维模块的首页。如下图所示，仪表盘中显示着hadoop集群中每个服务的状态信息及集群的整体运行状态。通过仪表盘，管理员可以了解整个集群中Hadoop服务模块的相关性能数据，并方便地链接至某个具体服务的管理页面。下表列出仪表盘中各组件的主要功能。图1- 17 运维平台-服务表4-2 仪表盘界面组件功能与操作描述编号组件名称功能操作说明A服务列表与状态提供集群中各服务的状态与告警概览：- 如果某个服务运行正常，该服务名前显示图标；- 如果某个服务出现告警，该服务名前显示图标，服务名后显示告警个数。- 点击某个服务名（如HDFS），界面将跳转至该服务的管理页面。- 点击服务名后的告警个数，界面将弹出具体的告警信息列表。B集群运行状态度量：查看集群的运行状态信息，以及集群内各服务的运行状态信息。参见查看与管理度量指标。热力图：查看集群中各主机在度量指标值上的使用热度。参见查看集群各主机度量值热力图集群内服务与模组的历史配置记录。N/A4.2.2 查看与管理度量指标默认情况下，度量页签显示： 集群内各服务（默认只显示HDFS、YARN与HBase）的状态信息。 整个集群的运行状态信息。【任务入口】运维管理仪表盘度量【操作步骤】任务操作步骤查看度量指标值- 对于指标值动态图形，当鼠标移动到度量Widget图时，点击放大器图标，可放大查看指标值的动态图形。- 对于包含多维度指标的度量参数，通过点击度量Widget中的指标名，可跳转至具体指标页面进行查看。増加更多度量指标1. 选中度量动作添加一个或多个度量指标。2. 点击。移除一个度量指标1. 鼠标移至目标度量指标左上角。2. 点击左上角出现的图标。改变度量指标的摆放位置拖放目标度量指标Widget到需要的位置。恢复度量页签的默认设置点击度量动作编辑将所有小部件重置为默认值。4.2.3 查看集群各主机度量值热力图集群热力图采用不同颜色的方块形象地展现出集群机架上各主机的整体使用情况。【任务入口】运维管理仪表盘热力图图1- 18 热力图 不同颜色代表不同的值范围。 每个方块代表集群中的一台主机。【操作步骤】在选择Metrics下拉框中选定一个具体服务度量参数（例如：Total Allocatable CPU Utilized per NodeManager）。【示例说明】如上图所示的热力图表示：在222机架上只有一台主机，该主机的Total Allocatable CPU Utilized per NodeManager的值范围为020%；机架333情况与机架222相同；最后一机架上共有12台主机，只有第一台主机可用，其度量指标的值范围为80%100%。4.3 服务监控/添加/管理集群服务“服务”节点是管理员监控集群所有服务（含Hadoop组件与平台子系统）的运行状况，管理集群服务（如添加、重启、删除、重装服务）的操作平台。下表列出服务页面中各组件的主要功能。图1- 19 服务表4-3 服务页面组件功能与操作描述编号组件名称功能操作说明A服务列表与状态分类显示集群中各服务的状态与告警概览：- 如果某个服务运行正常，该服务名前显示图标；- 如果某个服务出现告警，该服务名前显示图标，服务名后显示告警个数。- 点击某个服务名（如HDFS），界面将跳转至该服务的管理页面。- 点击服务名后的告警个数，界面将弹出具体的告警信息列表。B服务列表操作按钮- 启停列表中所有服务；- 在服务列表中添加服务。启、停所有服务：点击该按钮，从操作列表中选取对应操作。添加一个服务：1.点击该按钮，从操作列表中选取；2. 界面弹出添加服务器向导，按向导指引，完成操作。C服务详情页面显示服务列表中选中的一个服务的详细信息。无D分类页签分类显示指定服务的分类信息。- 摘要：显示服务的摘要信息。- 热力图：部分服务提供此类信息，显示服务的使用情况。- 配置：显示服务的配置信息（含当前与历史配置）。E服务操作按钮启、停、删除当前服务等。启、停、删除一个服务：1. 从服务列表中点击该服务；2. 点击该按钮，从操作列表中选取对应操作。4.4 主机查看集群主机运行情况查看平台集群系统中每台机器的运行情况。【任务入口】运维管理主机图1- 20 主机列表【操作步骤】 点击某一主机名称，系统跳转至该主机的管理界面，在该界面可查看主机的配置、告警、及版本信息。 点击某一组件链接，显示该主机上的组件列表。4.5 告警查看集群告警信息查看集群当前所有告警以及告警的产生原因。【任务入口】运维管理告警图1- 21 服务器警告显示集群中所有告警，以告警定义名称分类排序。【操作步骤】点击一个告警定义名称（例如，Metric Collector - Auto-Restart Status）。界面显示该类告警的配置信息（如告警产生的原因和告警分级与阈值），以及当前集群中该类告警的所有实例信息。图1- 22 服务器警告4.6 管理查看栈与版本信息查看集群中各服务栈的版本信息及升级历史。【任务入口】运维管理管理5 元数据管理元数据管理的主要功能是对存储在平台内的数据表与文件目录结构进行定义。元数据的定义信息越全面，越有利于后续的数据应用。本章详细介绍元数据管理中涉及的主要操作任务： 数据库/服务器 元数据检索 元数据管理 系统管理 数据地图 数据授权说明：元数据信息管理遵守租户隔离的原则不同租户创建的元数据信息只在本租户内可见，非本租户用户无法访问。5.1 数据库、服务器在这个章节，主要介绍如何注册服务器、注册数据库、注册模式说明：客户业务系统的数据库类型可以是Oracle、MYSQL本节包括以下操作指南： 注册服务器 注册数据库 注册模式5.1.1 注册服务器【任务描述】平台内部的服务器，在安装部署时会自动添加进去；也可以手动添加需要的服务器，包括MYSQL、ORACLE【任务入口】元数据管理数据库/服务器注册服务器界面显示当前租户下注册的服务器列表【操作步骤】1 在数据库/服务器界面，点击“注册服务器”按钮图1- 23 数据库/服务器2 在新增界面， 输入相关正确信息，点击确定保存即可图1- 24新增前置机a 按下表所述，录入各项参数。表5-2 服务器基本信息配置说明参数说明服务器名称填写服务器名称。唯一标识服务器名称。主机名称填写主机名称。服务器用途选择需要的用途IP地址填写主机的IP地址，IP地址是唯一的所属组织选择自己账号所属的组织，及这个服务器需要共享的组织位置信息填写位置信息。运维联系人填写运维联系人运维联系电话填写运维联系电话创建人邮箱显示当前操作用户的邮箱。备注填写备注信息（可选操作）。5.1.2 注册数据库【任务描述】需要手工添加数据库时，在此添加MYSQL、ORACLE图1- 25注册服务器【任务入口】元数据管理数据库/服务器注册数据库【操作步骤】1 在数据库/服务器界面，点击“注册数据库”按钮，打开新增界面图1- 26注册数据库2. 在第二页输入信息，点击下一步确认图1- 27 注册数据库3. 在第三页输入正确的信息，点击保存图1- 28 注册数据库5.1.3 注册模式【任务描述】在此注册数据库的模式【任务入口】元数据管理数据库/服务器，在列表中，点击需要注册模式的数据库图标，进入此数据库的模式页面【操作步骤】1 在数据库/服务器界面，