星环科技midas安装指南

1、海HadoopSPARK在的JavaOracle和Xeon2013年-2016年星环信息科技）的）技）Preface|海HadoopSPARK在的JavaOracle和Xeon2013年-2016年星环信息科技）的）技）Preface|1. Midas server如果当前已经安装了MidasServer,rpm-espark rpm-e安装Midas 1. Midas server如果当前已经安装了MidasServer,rpm-espark rpm-e安装Midas midas server rpm: 172.16.1.83:/mnt/disk3/pkgRPM/repo/transwarp

2、-5.0.0-rpm -i midas-1.7+43.*-1.el7.noarch.rpm3cp /etc/midas/conf/midas.conf.template 4.运行配置向导setup.sh，安装cdstartmidasserversetup add sDoyouwanttoaddleso2|1.Midasserver端安装流inceptor host port:10000usenameleave it blif no auth used: passwordleave it blifnoauthused: run install sql using beelinescancompl

3、eteinConnectingto2016-09-0919:36:41,471INFOdauthorities:2016-09-0919:36:41,472inceptor host port:10000usenameleave it blif no auth used: passwordleave it blifnoauthused: run install sql using beelinescancompleteinConnectingto2016-09-0919:36:41,471INFOdauthorities:2016-09-0919:36:41,472INFOjdbc.Utils

4、:Resolvedauthority:172.16.140.30:10000 Connected to: Apache Hive (verDriver: Hive JDBC (verion isolation: TRANNo rows affected (0.013 seconds)Norowsaffected(0.079Closing:0:livy.spark.master = yarn-clivy.server.yarn.app-lookup-timeout = 300s请根据需要修改/usr/lib/spark2/conf/spark-defaults.conf 中的资源配置选项，例如4

5、需要在 /usr/lib/spark2/conf/spark-defaults.conf 中添加如下选项hive/your-host-需要在 /etc/midas/conf/midas.conf 中添加如下选项。 livy.server.auth.type = kerberos livy.server.launch.kerberos.principal = hive/TDH livy.server.launch.kerberos.keytab/etc/inceptorsql1/hive.keytab/etc/init.d/midas-server /etc/init.d/midas-serve

6、r 1. Midas server端安装流程 | 2. Midas 安装java1.7172.16.1.83:/mnt/disk3/pkgRPM/repo/transwarp-4.6/centos/6/midas-客户的操作系统必须是桌面系统，否则无法安装midas 1.拷贝midas-2midas-2. Midas 安装java1.7172.16.1.83:/mnt/disk3/pkgRPM/repo/transwarp-4.6/centos/6/midas-客户的操作系统必须是桌面系统，否则无法安装midas 1.拷贝midas-2midas-sh midas.sh3启动4|2.Midas

7、nt端安装流3. 将midas-/script/getDriver.sh拷贝到inceptorserver所在的机器执行,shgetDtriver.sh2在nt端，点击菜单栏中的连接“，“管理数据库驱动”，“添加”。url前缀：jdbc:hive2:/.apache.hive.jdbc.HiveDriver！.apache.hive.jdbc.HiveDriver！3. 将midas-/script/getDriver.sh拷贝到inceptorserver所在的机器执行,shgetDtriver.sh2在nt端，点击菜单栏中的连接“，“管理数据库驱动”，“添加”。url前缀：jdbc:hiv

8、e2:/.apache.hive.jdbc.HiveDriver！.apache.hive.jdbc.HiveDriver！.apache.hive.jdbc.HiveDriver！3. c nt添加driver | 4. les.shIP:PORTusername其中IP和PORT是你需要连接的inceptor的地址和端口, username和passwd是连接的用户，例如：用户名：1234. les.shIP:PORTusername其中IP和PORT是你需要连接的inceptor的地址和端口, username和passwd是连接的用户，例如：用户名：1233.Windowsnt如果在上

9、述步骤中的vbs命令无法运行，可以尝试在linux下workaround将miner拷贝到linuxserver6|4.nt添加5. 1Inceptor的功能，需要额外配置本地的HDFS通常在c的HDFS夹位于5. 1Inceptor的功能，需要额外配置本地的HDFS通常在c的HDFS夹位于5.c nt本地算子写入Inceptor|6. Midas server端docker安装Midas server端和和 共有两种方式获取Midasserver端docker1.dockerregistry获取docker执行命令ull docker-image-例如ull6. Midas server端d

10、ocker安装Midas server端和和 共有两种方式获取Midasserver端docker1.dockerregistry获取docker执行命令ull docker-image-例如ull 从执行命令dockerloadmidas-img-例如，dockerloadmidas-img-配置d: bash bootstrap.sh (如果该启动失败，可将此行替换为top -bnet: host # 如何使用和主机相同的网络，则保留此行# extra_hosts: # 如何连接inceptor等其他docker镜像，则保留此- hulk1:172.16.130.41 # 如何连接ince

11、ptor等其他docker镜像，则保留此/home/midas/drivers:/tmp/midas-/home/midas/conf:/tmp/midas-/home/midas/keytab:/tmp/midas-dns:skydns如果使用net:host模式，则注释dns_searchtest.transwarp.local如果使用net:host模式，则注释此行 HDFS_HA_NAMENODE_SERVICE=172.16.130.41 修改为实际namenode的ip地-YARN_RESOURCEMANAGER_ADDRRESS=172.17.0.10 #修改为yarn的ip地-

12、external_links:如果使用net:host模式，则注释此-e_resourcemanager_1:resourcemanager如果使用net:host模式，则注释此行 e_skydns_1:skydns # 如果使用net: host模式，则注释此行e_etcd_1:etcd如果使用net:host模式，则注释此安装les数据到inceptordockerimage中（可选下8 | 6. Midas server端docker镜像安装中，通过beeline -u jdbc:hive2:/hostname:10000 -f install-1_1.sql执行。进入midasdock

13、er image中，修改中进入midasdockerimage中，重命名/usr/lib/spark2/conf/spark-defaults.conf.template为spark- 启动Midasserver端dockere-fmidas.ymlup -s | grepdockerexec -itcontainer-id 中，通过beeline -u jdbc:hive2:/hostname:10000 -f install-1_1.sql执行。进入midasdocker image中，修改中进入midasdockerimage中，重命名/usr/lib/spark2/conf/spark

14、-defaults.conf.template为spark- 启动Midasserver端dockere-fmidas.ymlup -s | grepdockerexec -itcontainer-id dockercpcontainer-id:/file-e-f up-e-f 6. Midas server端docker镜像安装流程 | 7Failedtoloadtablejava.sql.SQLException:COMPILEFAILED.7Failedtoloadtablejava.sql.SQLException:COMPILEFAILED.Sem Table not found table_paramete