科技安装手册installmanual t00148x

TranswarpDataTranswarpDataHubVersion4.8安装手册星环信息科技（上海）版本号T00148x-01-010,2017-04-10目录1.1.1.TranswarpDataHub介绍...............................1.2.集群结构......................................222444556678889910101010101111111111121213141414152223272732323535目录1.1.1.TranswarpDataHub介绍...............................1.2.集群结构......................................2224445566788899101010101011111111111212131414141522232727323235353..4.支持的浏览器...................................................................................................................................................6.3.7.系统磁盘分区要求..................................内存容量要求....................................网络设置......................................集群和网络拓扑要求.................................NTP服务设置.....................................安全设置......................................系统的推荐设置...................................4.TDH服务的..........................................................................................................................................................................................................................................................................................................................................................................................................................4.9.ZookeeperHDFSYARNHyperbaseInceptorStreamSqoopKafkaOozie4.10.HUE4.11.Elasticsearch.................................5.6.操作系统安装......................................TranswarpManager.6.3.安装前系统配置改动.................................安装介质......................................安装TranswarpManager...............................7.用TranswarpManager.7.3.添加集群服务器...................................删除集群中的服务器.................................其他配置......................................8.用TranswarpManager..Guardian的安装和配置................................安装Discover前的环境准备..............................选择服务......................................服务的分配...................................8.5.服务的配置.....................................8.6.服务安装......................................9.用TranswarpManager38444651515252525353535557578.5.服务的配置.....................................8.6.服务安装......................................9.用TranswarpManager3844465151525252535353555757575758585858585959595959606.10.4.证管理....................................证激活和使用.................................查看证管理..................................................................证过期11.卸载TDH........................................11.1.使用方法.....................................11.2.常见问题.....................................12.附录A:A.1.A.2.A.3.A.4.A.5.A.6.A.7.A.8.A.9.A.10.A.11.A.12.A.13.A.14.Zookeeper相关端口.................................HDFS相关端口....................................YARN相关端口....................................Hyperbase相关端口.................................Inceptor相关端口..................................Discover相关端口..................................StreamSQL相关端口.................................Sqoop相关端口.........................................................................................................HUE相关端口....................................Elasticsearch相关端口...............................TranswarpManager相关端口.............................Kerberos相关端口.................................免责本说明书依据现有信息制作,其内容更改,恕不另行通知。星环信息科技（上海）有限公司在编写该说明书的时候已尽最大努力保证期内容准确可靠,但星环信息科技（上海）任。具体不对本说明书中的遗漏、使用请以实际使用为准。确或印刷错误导致的损失和损害承担责注释:Hadoop®和SPARK®是ApacheTM软件Java®Oracle公司在美国和其他和Xeon®在美国和其他的商标或的的商标或的商标或的商标。Intel®的商标。所有©2013年-2017年星环信息科技（上海）。保留所利。©星环信息科技（上海）修改权。本说明书的所有,并保留对本说明书及本的最终解释权和归星环信息科技（上海）所有。未得到星环信息科技（上海）的,任何人不得以任何方式或形式对本说明书内的任何部分进行业用途。、摘录、备份、修改、、翻译成其他语言、或将其全部或部分用于商手册版本信息版本号:T00148x-01-010发布日期:2017-04-10Preface|1免责本说明书依据现有信息制作,其内容更改,恕不另行通知。星环信息科技（上海）有限公司在编写该说明书的时候已尽最大努力保证期内容准确可靠,但星环信息科技（上海）任。具体不对本说明书中的遗漏、使用请以实际使用为准。确或印刷错误导致的损失和损害承担责注释:Hadoop®和SPARK®是ApacheTM软件Java®Oracle公司在美国和其他和Xeon®在美国和其他的商标或的的商标或的商标或的商标。Intel®的商标。所有©2013年-2017年星环信息科技（上海）。保留所利。©星环信息科技（上海）修改权。本说明书的所有,并保留对本说明书及本的最终解释权和归星环信息科技（上海）所有。未得到星环信息科技（上海）的,任何人不得以任何方式或形式对本说明书内的任何部分进行业用途。、摘录、备份、修改、、翻译成其他语言、或将其全部或部分用于商手册版本信息版本号:T00148x-01-010发布日期:2017-04-10Preface|11.简介1.1TranswarpDataHub介绍TranswarpDataHub（简称TDH）是国内首个全面支持Spark的Hadoop版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台，比开源基于HadoopMapReduce计算框架的版本快10x~100x倍。TDH应用范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理GB级到PB级的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。星环科技的大数据平台TDH包含五个组成部分:Hadoop企业版，Inceptor分布式内存分析引擎，Hyperbase分数据处理引擎，Stream流处理引擎和Discover 学习引擎，五个组件了完整的大数在统一的分布式之上数据平台上通过YARN提供统一的管理调度，结合LDAP与Kerberos提供完备的权限管理，不同的部门以及使用租户可以按需创建计算集群其数据，包括基于Spark计算框架的SQL类统计分析应用与数据挖掘类应用，或者基于MapReduce计算框架的应用。同时，平台通过使用Hyperbase结合Inceptor，为用户提供基于SQL的高并发的以及分析能力。在数据导入与交换方面，数据平台提供多样的数据导入与交换形式，包括Flume（需要额外安装）提供海量数据文件的聚合汇总到HDFS的功能，FTPOverHDFS提供文件通过FTP传入HDFS的通道，Sqoop提供与关系型数据库的以及Kafka消息队列集群接收实时流数据。此外，TDH数据平台提供实时的流处理能力，通过消息队列Kafka接收实时数据流，做到数据不丢不重，通过Stream基于SparkStreaming提供类似与批处理系统的计算能力、健壮性、扩展性的同时，将数据时延降低至秒级甚至毫秒级。1.2.集群结构创建一个集群前，首先必须对整个集群进行， 包括集群节点、网络、软件模块分布等部分。运维人员必须保证将用于构造集群的服务器满足TranswarpDataHub系统的基本要求。这些要求包括硬件要求、软2|11.简介1.1TranswarpDataHub介绍TranswarpDataHub（简称TDH）是国内首个全面支持Spark的Hadoop版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台，比开源基于HadoopMapReduce计算框架的版本快10x~100x倍。TDH应用范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理GB级到PB级的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。星环科技的大数据平台TDH包含五个组成部分:Hadoop企业版，Inceptor分布式内存分析引擎，Hyperbase分数据处理引擎，Stream流处理引擎和Discover 学习引擎，五个组件了完整的大数在统一的分布式之上数据平台上通过YARN提供统一的管理调度，结合LDAP与Kerberos提供完备的权限管理，不同的部门以及使用租户可以按需创建计算集群其数据，包括基于Spark计算框架的SQL类统计分析应用与数据挖掘类应用，或者基于MapReduce计算框架的应用。同时，平台通过使用Hyperbase结合Inceptor，为用户提供基于SQL的高并发的以及分析能力。在数据导入与交换方面，数据平台提供多样的数据导入与交换形式，包括Flume（需要额外安装）提供海量数据文件的聚合汇总到HDFS的功能，FTPOverHDFS提供文件通过FTP传入HDFS的通道，Sqoop提供与关系型数据库的以及Kafka消息队列集群接收实时流数据。此外，TDH数据平台提供实时的流处理能力，通过消息队列Kafka接收实时数据流，做到数据不丢不重，通过Stream基于SparkStreaming提供类似与批处理系统的计算能力、健壮性、扩展性的同时，将数据时延降低至秒级甚至毫秒级。1.2.集群结构创建一个集群前，首先必须对整个集群进行， 包括集群节点、网络、软件模块分布等部分。运维人员必须保证将用于构造集群的服务器满足TranswarpDataHub系统的基本要求。这些要求包括硬件要求、软2|1件要求、内存要求、网络要求等。第二章将对这些要求进行详细介绍。TranswarpDataHub通过网络连接所有服务器并实现整个集群的服务，因此架构师需要仔细计算应用服务对网络带宽和延迟的需求并整个网络拓扑，如您需要帮助可以咨询星环科技的售前和架构师。在应用中您需要根据应用的特点决定哪些软件模块和组件需要安装。列出安装前的硬件和软件要求，在满足这些要求的基础上，您才可以开始进行系统安装。系统安装包括以下步骤：在集群中所有的节点上安装所需要的操作系统。在管理节点上安装TranswarpManager。通过TranswarpManager来把所有的节点加到集群中、对这些节点部署相关软件和配置，并运行服务。1|3件要求、内存要求、网络要求等。第二章将对这些要求进行详细介绍。TranswarpDataHub通过网络连接所有服务器并实现整个集群的服务，因此架构师需要仔细计算应用服务对网络带宽和延迟的需求并整个网络拓扑，如您需要帮助可以咨询星环科技的售前和架构师。在应用中您需要根据应用的特点决定哪些软件模块和组件需要安装。列出安装前的硬件和软件要求，在满足这些要求的基础上，您才可以开始进行系统安装。系统安装包括以下步骤：在集群中所有的节点上安装所需要的操作系统。在管理节点上安装TranswarpManager。通过TranswarpManager来把所有的节点加到集群中、对这些节点部署相关软件和配置，并运行服务。1|32.安装准备2.1.硬件环境要求TranswarpDataHub(简称TDH)提供集群服务来保证服务的高可用性，因此集群系统必须是3台以上物理服务器组成，每台服务器必须具备以下最低配置：2颗6或以上带超线程x86指令集CPU的服务器64GB以上内存2个300G以上的硬盘做RAID1，作为系统盘4个以上的300GB容量以上的硬盘作为数据存放硬盘2个千兆以上网卡，TDH和TranswarpManager推荐使用以下配置：集群内不同的模块有不同的推荐配置，Namenode2颗6核带超线程的x86指令集CPU服务器(比如Intel(r)Xeon(r)E5-2620v2CPU)128GB以上内存6个600G以上的硬盘做RAID1作为系统盘和管理数据2个千兆以上网口的网卡的硬件配置应该根据不同应用的特点进行选配，使用Inceptor，Discover和Stream配置的用户需要比较高的计算能力的服务器，其数据节点的推荐配置如下：2颗8或以上带超线程x86指令集CPU的服务器(比如Intel®Xeon®E5-2650v2)128GB以上内存2个300G以上的硬盘做RAID1，作为系统盘10个以上的2TB容量以上的硬盘作为数据存放硬盘2个千兆以上网卡系统盘可以做RAID1。但是数据盘不需要RAID，若需要RAID，请做RAID0。2.2.操作系统要求所有集群中的节点，必须运行于同一操作系统。TranswarpDataHub支持以下操作系统。|2.安装准备2.1.硬件环境要求TranswarpDataHub(简称TDH)提供集群服务来保证服务的高可用性，因此集群系统必须是3台以上物理服务器组成，每台服务器必须具备以下最低配置：2颗6或以上带超线程x86指令集CPU的服务器64GB以上内存2个300G以上的硬盘做RAID1，作为系统盘4个以上的300GB容量以上的硬盘作为数据存放硬盘2个千兆以上网卡，TDH和TranswarpManager推荐使用以下配置：集群内不同的模块有不同的推荐配置，Namenode2颗6核带超线程的x86指令集CPU服务器(比如Intel(r)Xeon(r)E5-2620v2CPU)128GB以上内存6个600G以上的硬盘做RAID1作为系统盘和管理数据2个千兆以上网口的网卡的硬件配置应该根据不同应用的特点进行选配，使用Inceptor，Discover和Stream配置的用户需要比较高的计算能力的服务器，其数据节点的推荐配置如下：2颗8或以上带超线程x86指令集CPU的服务器(比如Intel®Xeon®E5-2650v2)128GB以上内存2个300G以上的硬盘做RAID1，作为系统盘10个以上的2TB容量以上的硬盘作为数据存放硬盘2个千兆以上网卡系统盘可以做RAID1。但是数据盘不需要RAID，若需要RAID，请做RAID0。2.2.操作系统要求所有集群中的节点，必须运行于同一操作系统。TranswarpDataHub支持以下操作系统。|2操作系统版本RedHatEnterpriseLinux6.4、6.5、6.6、6.7、6.8CentOS6.4、6.5、6.6、6.7、6.8、7.0SUSELinuxEnterpriseServer11SP3、11SP4AsianuxServer4(Hiranya)SP42.3Java环境要求如果您的集群的上还没有安装JDK，您无需自行安装JDK——我们提供的TranswarpDataHub安装工具会帮您安装。如果您的上有不同版本的JDK，可能会和安装工具安装的JDK发生 。请在安装前运行下面指令来查看您的JDK版本。java-version如果版本和下面列出的不一样，请和我们。TDH目前支持以下JDK版本：OracleJDK1.72.4.支持的浏览器TranswarpDataHub采用Web页面作为平台管理界面，管理平台支持以下浏览器|5浏览器版本Chrome（推荐）36.0.1985.143及以上FireFox36.0及以上Safari7.0.2及以上InternetExplorer（不推荐）不支持2.3Java环境要求如果您的集群的上还没有安装JDK，您无需自行安装JDK——我们提供的TranswarpDataHub安装工具会帮您安装。如果您的上有不同版本的JDK，可能会和安装工具安装的JDK发生 。请在安装前运行下面指令来查看您的JDK版本。java-version如果版本和下面列出的不一样，请和我们。TDH目前支持以下JDK版本：OracleJDK1.72.4.支持的浏览器TranswarpDataHub采用Web页面作为平台管理界面，管理平台支持以下浏览器|5浏览器版本Chrome（推荐）36.0.1985.143及以上FireFox36.0及以上Safari7.0.2及以上InternetExplorer（不推荐）不支持3.安装前的检查3.1.系统磁盘分区要求系统安装和运行需要占用硬盘空间，在安装前操作系统硬盘必须留出200GB守以下几点要求：至少要分出swap和加载于“/”的系统分区。推荐系统分区大小为100GB~300GB，并将该分区挂载到/目录。推荐把每个物理磁盘挂载在/mnt/disknn(nn为1至2ext4文件系统。每个这样的目录会被管理节点自动配置为HDFSDataNode的数据目录。HDFSDataNode的数据目录不能放在系统分区，以避免空间不足和IO竞争。同时也建议不要将数据分区和系统分区放在同一块磁盘上以避免IO竞争。除非整个HDFS上创建数据分区。空间不足，否则不要在系统分区所在磁盘例1.磁盘不富余时的6|3.安装前的检查某台 ，容量都为600GB，分区及挂载目录将如下,文件类型推荐为ext4,其中/dev/sda1用作系统分区：注意，这是磁盘 不富余情形下的 。如果磁盘 比较富余，建议操作系统安装在单独磁盘上，防止数据分区与系统分区造成数据读写竞争，如下一个例子。文件系统大小挂载目录文件系统类型/dev/sda1100GB/ext4/dev/sda232GBswap/dev/sda3100GB/var/logext4/dev/sda43.安装前的检查3.1.系统磁盘分区要求系统安装和运行需要占用硬盘空间，在安装前操作系统硬盘必须留出200GB守以下几点要求：至少要分出swap和加载于“/”的系统分区。推荐系统分区大小为100GB~300GB，并将该分区挂载到/目录。推荐把每个物理磁盘挂载在/mnt/disknn(nn为1至2ext4文件系统。每个这样的目录会被管理节点自动配置为HDFSDataNode的数据目录。HDFSDataNode的数据目录不能放在系统分区，以避免空间不足和IO竞争。同时也建议不要将数据分区和系统分区放在同一块磁盘上以避免IO竞争。除非整个HDFS上创建数据分区。空间不足，否则不要在系统分区所在磁盘例1.磁盘不富余时的6|3.安装前的检查某台 ，容量都为600GB，分区及挂载目录将如下,文件类型推荐为ext4,其中/dev/sda1用作系统分区：注意，这是磁盘 不富余情形下的 。如果磁盘 比较富余，建议操作系统安装在单独磁盘上，防止数据分区与系统分区造成数据读写竞争，如下一个例子。文件系统大小挂载目录文件系统类型/dev/sda1100GB/ext4/dev/sda232GBswap/dev/sda3100GB/var/logext4/dev/sda4368GB/mnt/disk1ext4/dev/sdb1600GB/mnt/disk2ext4例2.磁盘富余时的3.2.内存容量要求每个节点必须至少GB的RAM。根据节点所安装的TranswarpDataHub服务，节点可能需要超过64GB的RAM。下表列出在节点上运行不同服务时，该节点所需的额外内存。具体节点需要内存的计算步骤如下所示：TDH服务。确认每个服务要求的内存容量。将所有内存要求相加。3.安装前的检查|7服务要求ManagementServer8GBHDFSNameNode32GBHDFSNameNode32GBHDFSStandbyNameNode32GBHDFSDataNode4GBInceptorServer4GBInceptorexecutor32GBYARNResourceManager4GBYARNNodeManager4GBNodeManager分配给Container的计算 数用户指定ZooKeeper4GBHBaseMaster4GB某台 有6块硬盘，容量都为600GB，分区及挂载目录将如下,文件类型推荐为ext4,其中一块磁盘用作系统分区：文件系统大小挂载目录文件系统类型/dev/sda1400GB/ext4/dev/sda232GBswap/dev/sda3168GB/var/logext4/dev/sdb1600GB/mnt/disk1ext4/dev/sdc1600GB/mnt/disk2ext4/dev/sdd1600GB/mnt/disk3ext4/dev/sde1600GB/mnt/disk4ext4/dev/sdf1600GB/mnt/disk5ext4例2.磁盘富余时的3.2.内存容量要求每个节点必须至少GB的RAM。根据节点所安装的TranswarpDataHub服务，节点可能需要超过64GB的RAM。下表列出在节点上运行不同服务时，该节点所需的额外内存。具体节点需要内存的计算步骤如下所示：TDH服务。确认每个服务要求的内存容量。将所有内存要求相加。3.安装前的检查|7服务要求ManagementServer8GBHDFSNameNode32GBHDFSNameNode32GBHDFSStandbyNameNode32GBHDFSDataNode4GBInceptorServer4GBInceptorexecutor32GBYARNResourceManager4GBYARNNodeManager4GBNodeManager分配给Container的计算 数用户指定ZooKeeper4GBHBaseMaster4GB某台 有6块硬盘，容量都为600GB，分区及挂载目录将如下,文件类型推荐为ext4,其中一块磁盘用作系统分区：文件系统大小挂载目录文件系统类型/dev/sda1400GB/ext4/dev/sda232GBswap/dev/sda3168GB/var/logext4/dev/sdb1600GB/mnt/disk1ext4/dev/sdc1600GB/mnt/disk2ext4/dev/sdd1600GB/mnt/disk3ext4/dev/sde1600GB/mnt/disk4ext4/dev/sdf1600GB/mnt/disk5ext4464GB，则最低内存要求为64GB。如果相加后内存要求大于64GB，则最低内存要求为相加后的和。比如，如果节点上运行以下服务：HDFSDataNodeYARNResourceManagerHBaseRegionServerYARNNodeManager分配给Inceptorexecutor为32G则节点的内存容量要求如下（生产环境实际使用内存要结合具体的应用场景）：4GB+4GB+32GB+32GB=72GB3.3.网络设置安装TranswarpDataHub需要最低的网络为千兆以太网。当一台装TranswarpDataHub之前对其进行绑定配置。上有多个网络适配器时，用户可以在安3.4.集群和网络拓扑要求•••决定集群中的节点数目。决定每个机柜中的节点数目。••决定每个节点所在的子网（或多个子网）。决定每个节点的主机名和IP地址。••决定哪个决定哪些是管理节点。是NameNode。••决定哪些是客户端，哪些运行TDH服务，或二者兼是。464GB，则最低内存要求为64GB。如果相加后内存要求大于64GB，则最低内存要求为相加后的和。比如，如果节点上运行以下服务：HDFSDataNodeYARNResourceManagerHBaseRegionServerYARNNodeManager分配给Inceptorexecutor为32G则节点的内存容量要求如下（生产环境实际使用内存要结合具体的应用场景）：4GB+4GB+32GB+32GB=72GB3.3.网络设置安装TranswarpDataHub需要最低的网络为千兆以太网。当一台装TranswarpDataHub之前对其进行绑定配置。上有多个网络适配器时，用户可以在安3.4.集群和网络拓扑要求•••决定集群中的节点数目。决定每个机柜中的节点数目。••决定每个节点所在的子网（或多个子网）。决定每个节点的主机名和IP地址。••决定哪个决定哪些是管理节点。是NameNode。••决定哪些是客户端，哪些运行TDH服务，或二者兼是。一旦主机名分配给NameNode，主机名则不能再更改。•••••确定你知道要加入到TDH集群中的每个节点的root 。决定在集群中使用哪些组件。决定网络带宽和交换机背板带宽。决定交换机型号。决定如何连接到交换机。必须知道需要用到哪些以太网端口和是否需要绑定。•确定每台的IP地址和主机名。决定如何分配IP（使用DHCP或静态分配）。决定如何主机名（使用DNS或/etc/hosts）。如果使用/etc/hosts，管理节点将负责更新集群中每台的/etc/hosts。3.5NTP服务设置决定如何进行时间同步。管理节点将负责所有服务器上的时间的同步，但您需要决定是否使用外部的NTP服务。如果不使用外部NTP服务，集群中所有服务器的时间是相同的，但这个时间有可能不是标准时间，这有可能导致集群与外部连接时产生错误。8|3.安装前的检查3.6.安全设置禁掉SELinux和iptables（TranswarpManager会自动禁掉SELinux和iptables）。3.7.系统的推荐设置以下推荐配置可帮助确保TDH集群的性能优化和可管理性。•节点的主机名。注意，主机名只能由英文、数字和“-”组成，否则之后的安装会出现问题。••要同时添加一组节点到集群中。要减少网络延迟，集群中的所有节点都必须属于同一子网。••每个节点应配置一块10GE的网卡，用于节点间的通信和执行集群中需要网络连接的任务。如果节点没有使用10GE的网卡，则可使用网卡绑定以便将多个网卡组合在一起以提升网络流量。绑定的网卡必须使用工作模式6。300GB的磁盘空间。每个节点应至少有6T的可用磁盘空间用于HDFS。•••该分区包含整个物理磁盘。••仅使用物理，不要使用虚拟 。虚拟机可能会明显导致HDFSI/O的缓慢。节点所在的单个或多个子网不有其他。••集群中不能同时有物理和虚拟。要确保集群中的磁盘空间。每个节点应至少不成为性能和I/O的瓶颈，所有必须有相似的硬件和软件配置，包括RAM、CPU和•GB的内存。•由于服务可能生成大量日志，推荐将/var/log放置在其他逻辑分区。这可保证日志间。占满根分区的空•要加快对本地文件系统的，可使用noatime选项挂载磁盘，这表示文件次数被写回。3.安装前的检查|93.6.安全设置禁掉SELinux和iptables（TranswarpManager会自动禁掉SELinux和iptables）。3.7.系统的推荐设置以下推荐配置可帮助确保TDH集群的性能优化和可管理性。•节点的主机名。注意，主机名只能由英文、数字和“-”组成，否则之后的安装会出现问题。••要同时添加一组节点到集群中。要减少网络延迟，集群中的所有节点都必须属于同一子网。••每个节点应配置一块10GE的网卡，用于节点间的通信和执行集群中需要网络连接的任务。如果节点没有使用10GE的网卡，则可使用网卡绑定以便将多个网卡组合在一起以提升网络流量。绑定的网卡必须使用工作模式6。300GB的磁盘空间。每个节点应至少有6T的可用磁盘空间用于HDFS。•••该分区包含整个物理磁盘。••仅使用物理，不要使用虚拟 。虚拟机可能会明显导致HDFSI/O的缓慢。节点所在的单个或多个子网不有其他。••集群中不能同时有物理和虚拟。要确保集群中的磁盘空间。每个节点应至少不成为性能和I/O的瓶颈，所有必须有相似的硬件和软件配置，包括RAM、CPU和•GB的内存。•由于服务可能生成大量日志，推荐将/var/log放置在其他逻辑分区。这可保证日志间。占满根分区的空•要加快对本地文件系统的，可使用noatime选项挂载磁盘，这表示文件次数被写回。3.安装前的检查|94.TDH服务的要在集群中运行服务，需要指定集群中的一个或多个节点执行该服务的特定功能。这些功能被归类为功能性的，用于定义节点能为集群中的服务提供哪些功能。分配是必须的，没有集群将无法正常工作。在分配前，需要了解这些的含义，以及对应于服务节点需要哪些。4.1.Zookeeper4.2.HDFS4.3.YARN4.4.Hyperbase10|4TDH服务的描述ResourceManagerResourceManager负责将各个 部分（计算、内存、带宽等）安排给基础NodeManager，并与NodeManager一起启动和监视它们的基础应用程序。TimelineServer提供对YARN的作业历史日志信息的展现服务。NodeManagerNodeManager管理一个YARN集群中的每个节点。提供 集群中每个节点的服务，从监督对一个容器的终生管理到监视 和跟踪节点的状态。描述NameNode于哪些数据节点。当客户端需要从HDFSNameNode通讯来知道客户端哪个数据节点上有客户端需要的文件。一个集群中只能有一个NameNode。NameNode不能被赋予其他 。DataNode在HDFS中，DataNode是用来 数据块的节点。StandbyNameNodeStandby模式的NameNode元数据（NamespcaeinformationBlocklocationsmap）都是和Active4.TDH服务的要在集群中运行服务，需要指定集群中的一个或多个节点执行该服务的特定功能。这些功能被归类为功能性的，用于定义节点能为集群中的服务提供哪些功能。分配是必须的，没有集群将无法正常工作。在分配前，需要了解这些的含义，以及对应于服务节点需要哪些。4.1.Zookeeper4.2.HDFS4.3.YARN4.4.Hyperbase10|4TDH服务的描述ResourceManagerResourceManager负责将各个 部分（计算、内存、带宽等）安排给基础NodeManager，并与NodeManager一起启动和监视它们的基础应用程序。TimelineServer提供对YARN的作业历史日志信息的展现服务。NodeManagerNodeManager管理一个YARN集群中的每个节点。提供 集群中每个节点的服务，从监督对一个容器的终生管理到监视 和跟踪节点的状态。描述NameNode于哪些数据节点。当客户端需要从HDFSNameNode通讯来知道客户端哪个数据节点上有客户端需要的文件。一个集群中只能有一个NameNode。NameNode不能被赋予其他 。DataNode在HDFS中，DataNode是用来 数据块的节点。StandbyNameNodeStandby模式的NameNode元数据（NamespcaeinformationBlocklocationsmap）都是和Active中的元数据是同步的，一旦切换成Active模式，马上就可以提供NameNode服务。JournalNodeStandbyNameName和ActiveNameNode通过JournalNode通信，保持信息同步。描述ZookeeperZookeeper服务的节点。Zookeeper服务是指包含一个或多个节点的集群提供服务框架用于集群管理。对于集群，Zookeeper服务提供的功能包括维护配置信息、命名、提供Hyperbase的分布式同步，以及当HMaster停止时触发master选择。Hyperbase需要有一个Zookeeper集群才能工作。推荐在Zookeeper集群中至少有3个节点。4.5.Inceptor4.6.Stream4.7.Sqoop4.8.Kafka4.TDH服务的描述KafkaServerKafka的任务管理工具。描述SqoopSqoop是一款用于在(Inceptor,Hyperbase)与传统的数据库(MySql、Postgresql…)间进行数据的传递的工具描述JobServerStream的任务管理工具描述MetaStore表结构及其元数据信息InceptorServerInceptor运行的节点，帮助 的大型数据集。InceptorServer提供工具从文件系统中提取、转换和装载数据，实施数据格式结构，以及提供HDFS或Hyperbase的直接文件 。描述Master节点实现Hyperbase数据库以下功能:配区域给RegionServers，平衡整个集群。1.确认RegionServer2.如果没找到参考值，删除parents。3.管理数据库表。4.在RegionServers中分发消息。5.RegionServers以决定是否有必要执行恢复，如果是，则执行恢复。可以分配HMaster给一个或多个节点以进行备份切换。如果你分配给多个节4.5.Inceptor4.6.Stream4.7.Sqoop4.8.Kafka4.TDH服务的描述KafkaServerKafka的任务管理工具。描述SqoopSqoop是一款用于在(Inceptor,Hyperbase)与传统的数据库(MySql、Postgresql…)间进行数据的传递的工具描述JobServerStream的任务管理工具描述MetaStore表结构及其元数据信息InceptorServerInceptor运行的节点，帮助 的大型数据集。InceptorServer提供工具从文件系统中提取、转换和装载数据，实施数据格式结构，以及提供HDFS或Hyperbase的直接文件 。描述Master节点实现Hyperbase数据库以下功能:配区域给RegionServers，平衡整个集群。1.确认RegionServer2.如果没找到参考值，删除parents。3.管理数据库表。4.在RegionServers中分发消息。5.RegionServers以决定是否有必要执行恢复，如果是，则执行恢复。可以分配HMaster给一个或多个节点以进行备份切换。如果你分配给多个节点，这将创建一个active-状态的HMaster节点的集群，即一个节点处于active状态而集群中的另一个节点处于standby状态。如果active状态的HMaster停止，Zookeeper集群将选出一个inactive状态的HMaster来作为active状态的HMaster。RegionServer负责服务和管理Hyperbase区域的节点。HyperbaseThriftThriftClientAPI开放的节点，客户端可通过Thrift和Hyperbase通讯。HBase-restHyperbase的restAPI。4.10.HUE4.11.Elasticsearch12|4TDH服务的描述ElasticsearchserverTDH上的Elasticsearch是一个开源、 小型库，可与TDH上的工作进行交互。描述HUEserverHUE是一组可与您的集 互的网络应用程序。HUE应用能 浏览HDFS和工作,运行Inceptor，浏览Sqoop出口数据,提交MapReduce程序,构建自定义的搜索引擎与Solr,与Oozie一起调度重复性的工作流。描述Oozieserver4.10.HUE4.11.Elasticsearch12|4TDH服务的描述ElasticsearchserverTDH上的Elasticsearch是一个开源、 小型库，可与TDH上的工作进行交互。描述HUEserverHUE是一组可与您的集 互的网络应用程序。HUE应用能 浏览HDFS和工作,运行Inceptor，浏览Sqoop出口数据,提交MapReduce程序,构建自定义的搜索引擎与Solr,与Oozie一起调度重复性的工作流。描述OozieserverOozie的任务管理工具。5.操作系统安装在安装TranswarpDataHub之前，集群中的所有节点必须满足安装准备和安装前的检查中所列举的所有要求。可以使用两种方式来安装集群中的服务器的操作系统，单独安装方式和PXE安装方式。其中单独安装方式是使用RedHatEnterpriseLinuxforServers、CentOS系列或SUSELinuxEnterpriseServer的安装光盘在每台服务器上安装操作系统。注意：对于RedHatEnterpriseLinuxforServers、CentOS用visudo命令打开/etc/sudoers配置文件：#visudo将该文件中的“Defaultsrequiretty”注释掉如要使用非root用户安装，使用的sudo权限。所以，管理员需要向/etc/sudoers文件中添加sudo用户。方法为在该文件以下部分最后一行的内容：####5.操作系统安装在安装TranswarpDataHub之前，集群中的所有节点必须满足安装准备和安装前的检查中所列举的所有要求。可以使用两种方式来安装集群中的服务器的操作系统，单独安装方式和PXE安装方式。其中单独安装方式是使用RedHatEnterpriseLinuxforServers、CentOS系列或SUSELinuxEnterpriseServer的安装光盘在每台服务器上安装操作系统。注意：对于RedHatEnterpriseLinuxforServers、CentOS用visudo命令打开/etc/sudoers配置文件：#visudo将该文件中的“Defaultsrequiretty”注释掉如要使用非root用户安装，使用的sudo权限。所以，管理员需要向/etc/sudoers文件中添加sudo用户。方法为在该文件以下部分最后一行的内容：##################Nextcomesthemainpart:whichuserscanrunwhatsoftwareonwhichmachines(thesudoersfilecanbesharedbetweenmultiplesystems).Syntax:userMACHINE=COMMANDSTheCOMMANDSsectionmayhaveotheroptionsaddedtoit.##Allowroottorunanycommandsanywhereroot ALL=(ALL)ALL[sudo用户]ALL=(ALL)NOPASSWD:ALL例如，如果为用户admin添加sudo权限，在文件的末尾增添的内容是：adminALL=(ALL)NOPASSWD:ALL5.操作系统安装|136.TranswarpManager的安装本章节将详细描述如何在管理节点上安装TranswarpManager。6.1.安装前系统配置改动那么您可以直接跳到下一节。如果您没有DNS，在安装前，请打开管理节点下的/etc/hosts文件，查看该文件是否包含管理节点的hostname和它IP地址的对应，例如：2tw-node2022如果/etc/hosts文件不包含这一行，请添加。登入到管理节点使用hostname命令检查管理节点的名字名字和上述/etc/hosts里设置的名字相同：#hostname注意，/etc/hosts文件的第一行必须为的前主机名写在该行中。通常如下：，不能将此行注释掉，不能将当 localhost6.2.安装介质如果有安装光盘可将安装光盘服务器CD/DVDROM中直接运行。由于安装过程中会使用到操作系统的安装介质，建议用户将OS的ISO文件事先拷贝到管理服务器上。如客户服务代表或技术支持提供的是压缩包，请将压缩文件导入服务器中。请找到名称以“transwarp-”为起始的安装文件，例如transwarp-transwarp-4.7-Final-45071-zh.el6.x86_64.tar.gz，6.TranswarpManager的安装本章节将详细描述如何在管理节点上安装TranswarpManager。6.1.安装前系统配置改动那么您可以直接跳到下一节。如果您没有DNS，在安装前，请打开管理节点下的/etc/hosts文件，查看该文件是否包含管理节点的hostname和它IP地址的对应，例如：2tw-node2022如果/etc/hosts文件不包含这一行，请添加。登入到管理节点使用hostname命令检查管理节点的名字名字和上述/etc/hosts里设置的名字相同：#hostname注意，/etc/hosts文件的第一行必须为的前主机名写在该行中。通常如下：，不能将此行注释掉，不能将当 localhost6.2.安装介质如果有安装光盘可将安装光盘服务器CD/DVDROM中直接运行。由于安装过程中会使用到操作系统的安装介质，建议用户将OS的ISO文件事先拷贝到管理服务器上。如客户服务代表或技术支持提供的是压缩包，请将压缩文件导入服务器中。请找到名称以“transwarp-”为起始的安装文件，例如transwarp-transwarp-4.7-Final-45071-zh.el6.x86_64.tar.gz，cd进入目录，运行下面的install，开始安装TDH系统：$cd${package}#进入解压后的目录$./install#执行install二进制文件14|6.TranswarpManager的安装1*表示文件的版本信息。3rd_party_tools-*-*-*.tar.gz：用于Discover的安装rstudio-server-rhel-*-*.tar.gz：用于实现RIDE和Discover的对接，官网地址：midas_transwarp-*-*-*-*.tar.gz：安装MidasServermidas-client_transwarp-*-*-*-*.tar.gz：用于安装MidasClienttda_transwarp-*-*-*-*.tar.gz：实时同步工具TDA的安装包transwarp-*-*-*-*.tar.gz：TDH安装包1*表示文件的版本信息。3rd_party_tools-*-*-*.tar.gz：用于Discover的安装rstudio-server-rhel-*-*.tar.gz：用于实现RIDE和Discover的对接，官网地址：midas_transwarp-*-*-*-*.tar.gz：安装MidasServermidas-client_transwarp-*-*-*-*.tar.gz：用于安装MidasClienttda_transwarp-*-*-*-*.tar.gz：实时同步工具TDA的安装包transwarp-*-*-*-*.tar.gz：TDH安装包系统首先需要您阅读Java。阅读完毕，点击“Accept”进入下一步。确认。显示在屏幕上，请6.TranswarpManager的安装|15取决于管理节点上的网卡数量，您需要进行如下操作：如果管理节点上只有一块网卡，安装结束后，您会被要求设置Transwarp口“8180”。Manager端口，推荐默认端Transwarp他节点通信。在这一步，您应该选择用于集群内部通信的网卡。Manager和集群中其安装TranswarpManager需要一个包含对应版本操作系统的库（repo）。这一步中，您需要决定是否清除当前集群上已有的库配置。如果您的操作系统为CentOS或者RedHat，您会看到如下提示：16|6.TranswarpManager的安装取决于管理节点上的网卡数量，您需要进行如下操作：如果管理节点上只有一块网卡，安装结束后，您会被要求设置Transwarp口“8180”。Manager端口，推荐默认端Transwarp他节点通信。在这一步，您应该选择用于集群内部通信的网卡。Manager和集群中其安装TranswarpManager需要一个包含对应版本操作系统的库（repo）。这一步中，您需要决定是否清除当前集群上已有的库配置。如果您的操作系统为CentOS或者RedHat，您会看到如下提示：16|6.TranswarpManager的安装如果您的操作系统为SUSE，您会看到如下提示：在这一步，取决于您的集群是否部署在公有云上，您的操作会有所不同。不是部署在公有云上，推荐选择“Yes”将集群上原有的重新配置，以保证平滑的安装。库配置清除，在下一步•如果您的集群部署在公有云上，您不能清除已有的库配置，必须选择“No”。5（该步骤中所有操作以CentOS/RedHat系统为例，SUSE系统的操作完全相同，区别在于如果您使用的是SUSE系统，示例步骤中显示“yum”的地方将会在您的操作中显示“zypper”）这一步中，您可以选择是否添加一个新的操作系统库。取决于您在上一步的操作，这里您看到的提示将会略有不同：•如果您的操作系统为SUSE，您会看到如下提示：在这一步，取决于您的集群是否部署在公有云上，您的操作会有所不同。不是部署在公有云上，推荐选择“Yes”将集群上原有的重新配置，以保证平滑的安装。库配置清除，在下一步•如果您的集群部署在公有云上，您不能清除已有的库配置，必须选择“No”。5（该步骤中所有操作以CentOS/RedHat系统为例，SUSE系统的操作完全相同，区别在于如果您使用的是SUSE系统，示例步骤中显示“yum”的地方将会在您的操作中显示“zypper”）这一步中，您可以选择是否添加一个新的操作系统库。取决于您在上一步的操作，这里您看到的提示将会略有不同：•库配置，那么您在这一步必须添加一个如果您在上一步中选择了“Yes”清除了原有的6.TranswarpManager的安装|17库。您会看到下面两个选项：Useexistingrepository：使用已经创建好的库Createnewrepository：创建一个新库如果您在上一步中选择了“No”保留了原有的库配置，您会看到三个选项：Useexistingrepository：添加已经创建好的 库Createnewrepository：创建并添加一个新库Skipthisstep：跳过该步骤，不添加库因为您在上一步保留了原有的 库配置，您在这一步可以添加库（“Useexistingrepository”或者“Createnewrepository”），也可以选择不添加库（“Skipthis18|6.TranswarpManager的安装库。您会看到下面两个选项：Useexistingrepository：使用已经创建好的库Createnewrepository：创建一个新库如果您在上一步中选择了“No”保留了原有的库配置，您会看到三个选项：Useexistingrepository：添加已经创建好的 库Createnewrepository：创建并添加一个新库Skipthisstep：跳过该步骤，不添加库因为您在上一步保留了原有的 库配置，您在这一步可以添加库（“Useexistingrepository”或者“Createnewrepository”），也可以选择不添加库（“Skipthis18|6.TranswarpManager的安装step”）。版本信息如果您使用的TranswarpDataHub是4.3.7之前的4.3.x版本或者4.5.3之前的4.5.x版本，您不能选择“Skipthisstep”，必须选择另外两个选项。这是一个已知问题，在4.3.7,4.5.3和4.6.0之后的版本中已经修复。取决于您的选择，您需要进行下面的操作：如果您选择“Useexistingrepository”，您需要输入已经创建好的库的URL：如果您选择“Cratenewrepository”，您需要准备好对应版本操作系统的ISO文件或光盘。我们建议您采用IS像方法生成库库包。使用镜像生成时，您需要将OS的ISO文件copy至服务器用户File”：目录中，然后点击“UseISO6.TranswarpManager的安装|19step”）。版本信息如果您使用的TranswarpDataHub是4.3.7之前的4.3.x版本或者4.5.3之前的4.5.x版本，您不能选择“Skipthisstep”，必须选择另外两个选项。这是一个已知问题，在4.3.7,4.5.3和4.6.0之后的版本中已经修复。取决于您的选择，您需要进行下面的操作：如果您选择“Useexistingrepository”，您需要输入已经创建好的库的URL：如果您选择“Cratenewrepository”，您需要准备好对应版本操作系统的ISO文件或光盘。我们建议您采用IS像方法生成库库包。使用镜像生成时，您需要将OS的ISO文件copy至服务器用户File”：目录中，然后点击“UseISO6.TranswarpManager的安装|19并在“SelectISOFile”中选择ISO文件所在的目录：如果您选择“Skipthisstep”，您在该步骤无需进行其他操作。您进行选择后，系统会库缓存：库缓存完毕后，系统会自动开始安装和配置TranswarpManager。安装程序会自动安装必需的软件包，全程静默安装，安装配置完成后自动跳转到下一步。7TranswarpManager安装完成，可以录管理界面继续接下来的配置。提示的安装地址并使用默认的用户名/（admin/admin）去登20|6.TranswarpManager的安装并在“SelectISOFile”中选择ISO文件所在的目录：如果您选择“Skipthisstep”，您在该步骤无需进行其他操作。您进行选择后，系统会库缓存：库缓存完毕后，系统会自动开始安装和配置TranswarpManager。安装程序会自动安装必需的软件包，全程静默安装，安装配置完成后自动跳转到下一步。7TranswarpManager安装完成，可以录管理界面继续接下来的配置。提示的安装地址并使用默认的用户名/（admin/admin）去登20|6.TranswarpManager的安装6.TranswarpManager的安装|216.TranswarpManager的安装|217.用TranswarpManager配置集群（推荐使用如Chrome浏览器），输入安装好的管理节点IP或DNS地址，比（0是管理节点的IP地址）。这个地址，您会看到下面的登陆页面。TranswarpManager会试着根据您的系统您使用的语言，如果当前显示的语言和您想要使用的不同，可以点击右上角的来选择语言。目前TranswarpManager支持中文和英文：以admin的登录，也是admin。22|7TranswarpManager配置集群7.用TranswarpManager配置集群（推荐使用如Chrome浏览器），输入安装好的管理节点IP或DNS地址，比（0是管理节点的IP地址）。这个地址，您会看到下面的登陆页面。TranswarpManager会试着根据您的系统您使用的语言，如果当前显示的语言和您想要使用的不同，可以点击右上角的来选择语言。目前TranswarpManager支持中文和英文：以admin的登录，也是admin。22|7TranswarpManager配置集群登陆后，您需要先接受最终用户协议才可以进行进一步操作。7.1.添加集群服务器您需要给您的集群设置一个名字。输入集群名字后点击“下一步”。您在这个页面添加/删除/修改机柜。将鼠标移到机柜的名字和描述上可以对机柜的名字和描述进行修改。完成后点击“下一步”。7TranswarpManager登陆后，您需要先接受最终用户协议才可以进行进一步操作。7.1.添加集群服务器您需要给您的集群设置一个名字。输入集群名字后点击“下一步”。您在这个页面添加/删除/修改机柜。将鼠标移到机柜的名字和描述上可以对机柜的名字和描述进行修改。完成后点击“下一步”。7TranswarpManager|23在这一步给您的集群分配节点。点击“添加节点”会弹出下面窗口：24|7Transwarp在这一步给您的集群分配节点。点击“添加节点”会弹出下面窗口：24|7TranswarpManager配置集群在搜索框中输入符式的节点IP然后点击“搜索”，TranswarpManager会搜索您输入的节点：SSH了两种认证方法：权限配置的界面，在该节点上您可以选择节点使用，并且它提供1如果您选择此选项，请在对应的输入框中输入您管理节点的、确认、输入ssh端：7TranswarpManager|25在搜索框中输入符式的节点IP然后点击“搜索”，TranswarpManager会搜索您输入的节点：SSH了两种认证方法：权限配置的界面，在该节点上您可以选择节点使用，并且它提供1如果您选择此选项，请在对应的输入框中输入您管理节点的、确认、输入ssh端：7TranswarpManager|25所有节点使用同一密钥制）：浏览按钮上传密钥文件，并输入ssh端；也可以输入密钥口令（非强上述配置完成后，点击“完成”。节点便添加完成。如果我们只有一个机柜，TranswarpManager自动将所有（如果您的集群中有6个以上的节点，那么您必须配置机柜信息，方便以后的运维和服务配置）26|7所有节点使用同一密钥制）：浏览按钮上传密钥文件，并输入ssh端；也可以输入密钥口令（非强上述配置完成后，点击“完成”。节点便添加完成。如果我们只有一个机柜，TranswarpManager自动将所有（如果您的集群中有6个以上的节点，那么您必须配置机柜信息，方便以后的运维和服务配置）26|7TranswarpManager配置集群7.2.删除集群中的服务器如果您需要删除刚刚添加的节点，您可以先选中需要删除的节点，然后点击“删除”。节点添作完成后，点击“下一步”进入集群的“其他配置”。7.3.其他配置7TranswarpManager|7.2.删除集群中的服务器如果您需要删除刚刚添加的节点，您可以先选中需要删除的节点，然后点击“删除”。节点添作完成后，点击“下一步”进入集群的“其他配置”。7.3.其他配置7TranswarpManager|277.3.1DNS配置如果配置集群中的节点可以通过用主机名互相，用户必须配置有效的DNS服务器或/etc/hosts文件。否则请选择不能通过主机名，TranswarpManager会相应为您配置/etc/hosts文