Datastage安装

1、Information Server 8.5 Installation Based on Oracle 11g R21 系统环境1.1 硬件资源CPU16Memory48G1.2 操作系统及软件版本操作系统版本HP Unix Release B.11.31数据库版本linux.x64_11gR2()InfoSphere Information Server版本IIS 8.51.3 安装拓扑1.4 系统要求1.4.1 操作系统操作系统处理器HP-UX 11i v2Intel Itanium processors.HP-UX 11i v3Intel Itanium processo

2、rs.1.4.2 内存安装条目最低要求内存实际内存引擎层/服务层6G资源库层4G1.4.3 磁盘空间安装条目最低要求内存实际内存引擎层/服务层6G资源库层1.4.4 内核参数参数条目引擎服务层资源库层DB2OracleMAXFILES8000*MSGMAP32768*MSGMAX65535*MSGMNB65535 (single profile)131070 (more than one profile)*MSGMNI50*MSGSEG32767 MSGTQL2046NFILE58145NFLOCKS3000*NPROC4116*SEMMNI2048*SEMMNS16384*SEMMNU102

3、4*SEMMSL2048*SHMMAX307200000*SHMMNI2000*SHMSEG1024*MAXUPRC1000 or unlimited*NOFILES102401.4.5 用户资源用户资源类型资源名称值1.4.6 网络Vi /etc/hosts9 T274NP00VM03HOSTNAME=T274NP00VM03IP=91.4.7 依赖包IIS8.5Oracle11gR2x84_64x84_64compat-libstdc+-33.x86_64binutils.x86_64glibc.x86_64compat-libstdc+

4、-33.x86_64libaio.x86_64elfutils-libelf.x86_64libgcc.x86_64elfutils-libelf-devel.x86_64libstdc+.x86_64gcc.x86_64libX11.x86_64gcc-c+.x86_64libXau.x86_64glibc.x86_64libxcb.x86_64glibc-common.x86_64libXext.x86_64glibc-devel.x86_64libXmu.x86_64glibc-headers.x86_64libXp.x86_64ksh.x86_64nss-softokn-freebl.

5、x86_64libaio.x86_64pam.x86_64libaio-devel.x86_64libXmu.x86_64libgcc.x86_64glibc.i686libstdc+.x86_64libXp.i686libstdc+-devel.x86_64libXau.i686make.x86_64libXext.i686sysstat .x86_64libX11.i686unixODBC.x86_64libxcb.i686unixODBC-devel.x86_64nss-softokn-freebl.i686compat-libstdc+-33.i686 glibc.i686&

6、#160;glibc-devel.i686 libaio.i686 libaio-devel.i686 libgcc.i686 libstdc+.i6861.5 环境配置1.5.1 、关闭防火墙和Selinuxservice iptables stop 暂停防火墙服务service ip6tables stopchkconfig iptables off永久关闭防火墙chkconfig ip6tables offvi /etc/selinux/config将selinux disable1.5.2 更改系统Release文件 安装oracle时，需要修改

7、此文件vi /etc/system-release注释掉原有内容新增如下： 1.5.3 修改内核参数vim /etc/sysctl.conf内核参数需要考虑到Information server engine以及oracle对内核的最低要求。fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmall = 2097152kernel.shmmax = 4294967295kernel.shmmni = 4096kernel.sem = 250 256000 100 1024net.ipv4.ip_local_port_range = 900

8、0 65500net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 10485861.5.4 依赖包安装更新yum install -y binutils.x86_64 compat-libcap1.x86_64 compat-libstdc+-33.i686 compat-libstdc+-33.x86_64 gcc.x86_64 gcc-c+.x86_64 glibc.i686 glibc.x86_64 glibc-devel.i6

9、86 glibc-devel.x86_64 ksh libaio.i686 libaio.x86_64 libaio-devel.i686 libaio-devel.x86_64 libgcc.i686 libgcc.x86_64 libstdc+.i686 libstdc+.x86_64 libstdc+-devel.i686 libstdc+-devel.x86_64 make sysstat.x86_64 libX11.x86_64 libXau.x86_64 libxcb.x86_64 libXext.x86_64 libXmu.x86_64 libXp.x86_64 nss-soft

10、okn-freebl.x86_64 pam.x86_64 unixODBC.x86_64 unixODBC.i686 unixODBC-devel.x86_64 unixODBC-devel.i686以上包安装完成后执行包更新操作：yum y updaterpm -ivh pam-1.1.1-17.el6.i686.rpm -nodepsrpm -qa | grep -glibc-2.12-1.107.el6.x86_64libXau-1.0.5-1.el6.x86_64libxcb-1.5-1.el6.x86_64libX11-1.3-2.el6.x86_64libXext-1.1-3.el

11、6.x86_64libXp-1.0.0-15.1.el6.x86_64cracklib-2.8.16-4.el6.i686.rpmlibICE-1.0.6-1.el6.i686.rpmlibuuid-2.17.2-12.18.el6.i686.rpmlibXt-1.0.7-1.el6.i686.rpmlibXmu-1.0.5-1.el6.x86_64nss-softokn-freebl-3.14.3-9.el6.x86_64audit-libs-2.3.7-5.el6.i686.rpmdb4-4.7.25-19.el6_6.i686.rpmpam-1.1.1-4.el6_0.1.x86_64l

12、ibaio-0.3.107-10.el6.x86_64libstdc+-4.4.7-3.el6.x86_64compat-libstdc+-33-3.2.3-69.el6.x86_64libgcc-4.4.7-3.el6.x86_641.5.5 关联设置执行如下命令，修改关联文件/etc/pam.d/loginvi /etc/pam.d/login在文件尾部添加如下信息：session required pam_limits.so1.5.6 创建用户和组创建oracle用户和组groupadd oinstallgroupadd dbauseradd -g oinstall -G dba ora

13、clepasswd oracle在oracle用户目录下编辑.bash_profile设置如下环境变量ORACLE_BASE=/opt/oracle;export ORACLE_BASEORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;export ORACLE_HOMEORACLE_SID=XMETA;export ORACLE_SIDPATH=$PATH:$HOME/bin:$ORACLE_HOME/bin;export PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib;export LD_LIBRARY_P

14、ATH创建DS用户和组groupadd dstageuseradd g dstage dsadmpasswd dsadm1.5.7 创建安装目录规划安装目录，并提前创建好安装目录，并做相应权限更改。创建ORACLE_BASE目录mkdir p /opt/oraclemkdir p /opt/oracle/product/11.2.0/db_1mkdir p /opt/oracle/oradatamkdir p /opt/oraInventorychown oracle:oinstall R /opt/oraclechown oracle:oinstall R /opt/oracle/produ

15、ct/11.2.0/db_1chown oracle:oinstall R /opt/oracle/oradatachown oracle:oinstall R /opt/oraInventory1.5.8 修改/etc/profileif $USER = "oracle" ; then if $SHELL = "/bin/ksh" ; then ulimit -p 16384 ulimit -n 65536 else ulimit -u 16384 -n 65536 fi fi1.5.9 修改资源限制vim /etc/security/limits.c

16、onf以oracle用户为例子，DS用户也需要做相同操作oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 10240oracle hard nofile 65536oracle soft stack 102402 安装Oracle 11g R22.1 安装步骤2.1.1 Configure Security Updates2.1.2 Installation Option2.1.3 System Class2.1.4 Typical Installation字符集必须选择NLS_CHARACTERSET = AL32

17、UTF8SYS,SYSTEM,SYSMAN,DBSNMP has the same password Password4me2.1.5 Create Inventory2.1.6 Prerequisite Checks2.1.7 Summary2.1.8 Install Product2.1.9 Finish2.2 Oracle启动与关闭2.2.1 启动v STARTUP NOMOUNT 可以不装入数据库而启动事例，一般是在数据库才创建时才可以这样做：v STARTUP MOUNT用户可以启动事例而并装入数据库但不打开数据库，允许用户执行特定的维护操作。例如： 重命名数据文件； 添加、撤消或重

18、命名重做日志文件； 启动和禁止重做日志归档； 执行全部的数据库恢复。 v STARTUP 正常情况是一个事例被启动，数据库装入并打开。这种模式允许任何有效用户连接到数据库并执行典型 的数据库访问操作。v STARTUP RESTRICT用户可以在严格的模式下启动事例并装入数据库，这样的模式只允许DBA做以下的工作： 执行结构维护，如重建索引； 执行数据库文件的导入导出； 执行数据装载； 临时阻止典型用户使用数据 v STARTUP FORCE可以用下面命令来强行启动事例，如果一个事例正在启动，则STARTUP FORCE 重新启动。 v STARTUP OPEN RECOVER如果用户要求介质

19、恢复，可以启动一个事例，装入指向事例的数据库，并自动地启动恢复程序。 2.2.2 关闭v SHUTDOWN NORMAL不允许新的连接、等待会话结束、等待事务结束、做一个检查点并关闭数据文件。启动时不需要实例恢复。v SHUTDOWN TRANSACTIONAL不允许新的连接、不等待会话结束、等待事务结束、做一个检查点并关闭数据文件。启动时不需要实例恢复。v SHUTDOWN IMMEDIATE不允许新的连接、不等待会话结束、不等待事务结束、做一个检查点并关闭数据文件。没有结束的事务是自动rollback的。启动时不需要实例恢复。 v SHUTDOWN ABORT不允许新的连接、不等待会话结束

20、、不等待事务结束、不做检查点且没有关闭数据文件。启动时自动进行实例恢复。2.3 监听服务lsnrctl status|start|stopstatus:查看监听状态start:启动监听服务stop:停止监听服务如果系统自动配置的监听，在启动服务后容易出现监听错误，需要在监听文件下增加如下内容：SID_LIST_LISTENER= (SID_LIST= (SID_DESC= (GLOBAL_DBNAME=XMETA) (SID_NAME=XMETA) (ORACLE_HOME=/opt/oracle/product/11.2.0/db_1) (PRESPAWN_MAX=20) (PRESPAWN

21、_LIST= (PRESPAWN_DESC=(PROTOCOL=tcp)(POOL_SIZE=2)(TIMEOUT=1) ) ) )2.4 OEM2.4.1 常规启动emctl status|start|stop dbconsole 2.4.2 重建OEMemca repos recreate此命令作用是先删除EM资料档案库，再创建EM资料档案库，这一步删除和创建分别要等10-15分钟，oracle.exe进程会占用50%多的CPU资源。emca config dbcontrol db此操作将移去现有配置和默认设置，并重新执行配置。根据提示，会一次提供sys,system,sysnmp等帐号及

22、密码，另需要指定LISTENER的位置。emctl start dbconsole启动OEM2.4.3 解决Windows下无法打开OEM以管理员身份运行一下命令：certutil -setreg chainminRSAPubKeyBitLength 512/允许的最小 RSA 密钥长度为 512certutil -setreg chainEnableWeakSignatureFlags 2/启用密钥长度少于 1024 位的 RSA 根证书2.5 Oracle常用命令su oraclesqlplus / as sysdbaSQL> startup #启动数据库实例SQL> shut

23、down immediate #关闭数据库实例SQL> select * from tab; #查看所有表SQL> select name from v$datafile #查看数据库存放目录SQL> show parameter service #查看服务名SQL> select * from v$instance; #查看实例名SQL> select name from v$database; #查看数据库名SQL> select * fromdba_users; #查看所有用户信息SQL> select username,password fro

24、m dba_users; #只查询用户和密码SQL> select * fromv$pwfile_users; #查看具有sysdba权限的用户SQL> select * fromdba_ustats; #查看当前用户信息SQL> select * fromuser_sys_privs #查看当前用户系统权限SQL> select * fromuser_role_privs #查看当前用户角色SQL> select * fromdba_sys_privs #查看指定用户所具有的系统权限SQL> select * fromv$version #查看oracle

25、版本SQL> select * fromuser_views #查看视图信息rootoracledb # lsnrctl start #开启远程监听端口3 安装Information Server 9.13.1 创建XMETA数据库及相应用户3.1.1 创建表空间3.1.2 创建用户XMETA:XMETASRDSODB需要赋予DSODB 用户如下权限：CREATE SESSION, CONNECT, RESOURCECREATE TABLECREATE PROCEDURE3.2 安装步骤3.2.1 Getting Started3.2.2 Firewall Requirement3.2.

26、3 Early Requirement Check3.2.4 Installation Directory3.2.5 Installation Type Selection3.2.6 Tier Selection3.2.7 Product Selection3.2.8 Product License Agreement3.2.9 IBM InfoSphere DataStage Installation Options3.2.10 High Availability Server Cluster Configuration3.2.11 Application Server Options3.2

27、.12 IBM WAS Installation Directory3.2.13 IBM WAS Profile Ports Assignment3.2.14 Application Server Administrator3.2.15 IBM InfoSphere Information Server Administrator3.2.16 Database Management System Selection3.2.17 Database connection3.2.18 WAS data source for the staging area3.2.19 IBM IIS Agent P

28、orts Configuration3.2.20 Job Monitor Ports Configuration3.2.21 ITAG Configuration for Multiple Engine Tiers3.2.22 IBM InfoSphere DataStage Administrator3.2.23 IBM DataStage and QualityStage Globalization3.2.24 IBM WebSphere MQ Plug-in Selection3.2.25 SAS Configuration3.2.26 Operations Database Conne

29、ction3.2.27 IBM InfoSphere DataStage Projects3.2.28 System Requirement Check3.2.29 Response File Review3.2.30 Preinstallation Summary for the Current Computer3.2.31 IBM InfoSphere Information Server Progress4 安装后配置4.1 配置ORACLE连接4.2 配置ODBC连接在dsenv中设置ORACLE_HOME变量，ORACLE_HOME=/opt/oracle/product/11.2.

30、0/db_1;export ORACLE_HOME 设置PATH变量，PATH必须包括ORACLE_HOME下的bin目录 以及DSHOME/DSComponents/bin PATH=$ORACLE_HOME/bin:$DSHOME/DSComponents/bin:PATH;export PATH 设置LD_LIBRARY_PATH,必须包括ORACLE_HOME/lib LD_LIBRARY_PATH=$ORACLE_HOME/lib:LD_LIBRARY_PATH;export LD_LIBRARY_PATHdsadmetl DSEngine$ cat dsenv#!/bin/shOR

31、ACLE_HOME=/opt/oracle/product/11.2.0/db_1;export ORACLE_HOMEPATH=dirname $DSHOME/DSComponents/bin:$ORACLE_HOME/bin:$PATH;export PATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH#TNS_ADMIN=/home/dsadm/instantclient_11_2/network/admin;export TNS_ADMIN4.2.1 测试ODBC连通性v DSSH测试将

32、目录切换到 $DSHOME，并通过运行 dsenv 设置 IBM® InfoSphere® DataStage® 环境： . ./dsenv 启动引擎 shell： ./bin/dssh 在引擎 shell 中，登录到项目： LOGTO project_name 通过输入以下命令获得可用 DSN 的列表： DS_CONNECT 通过输入以下命令测试所需连接： DS_CONNECT DSN 其中，DSN 指定想要测试的连接。 输入用户名和密码，以连接到所需的数据源。 在连接到数据源后，输入 .Q 以关闭连接。v EXAMPLE测试 切换目录至/opt/IBM/Inf

33、ormationServer/Server/branded_odbc/samples/example ./example4.3 配置Operation Console4.3.1 检查ODB是否安装默认安装时，已经将ODSDB成功安装，一般在XMETA数据中有一个ODSDB的SCHEMA4.3.2 生成Operations数据库模式的脚本如果在初始安装时没有安装ODSDB，可以利用系统提供的工具生成建库的脚本。dsadmetl bin$ ./RepositoryAdmin.sh saveSQLScripts reposName name scriptLocation locationName:数

34、据库名字，一般为XMETALocation:保存脚本的路径4.3.3 检查ODB是否注册切换至安装目录/opt/IBM/InformationServer/ASBServer/bindsadmetl bin$ ./RepositoryAdmin.sh -listRepositoriesdsodbdsadmetl bin$ 表示DSODB已经注册成功4.3.4 手工完成注册如果未注册，将/opt/IBM/InformationServer/Server/DSODB目录下的DSODBrepos_perties文件复制到/opt/IBM/InformationServ

35、er/ASBServer/bin修改此文件，把数据库信息修改为之前创建的XMETA数据库。执行注册命令：dsadmetl bin$ ./RepositoryAdmin.sh registerRepository propertyFile DSODBrepos_perties4.3.5 配置Operations数据库修改/opt/IBM/InformationServer/Server/DSODB目录下的DSODBConfig.cfg文件，设置DSODBON=14.3.6 检查监控系统的配置切换至/opt/IBM/InformationServer/Server/

36、DSODB/bin4.3.7 启动AppWatcher进程DSAppWatcher.sh -start4.3.8 配置工作负载管理修改/opt/IBM/InformationServer/Server/DSODB目录下的DSODBConfig.cfg文件，设置WLMON=1重新启动DS引擎uv -admin stopuv admin start4.3.9 启动Operations Consolehttp:/domain:port/ibm/iis/ds/console/login.htmlhttps:/domain:port/ibm/iis/ds/console/login.html4.4 配置

37、CRONTAB和AT权限为了让DIRECTOR执行SCHEDULE任务，需要对dsadm赋予CRONTAB和AT使用权限4.4.1 CRONTAB文件：/etc/cron.deny说明：该文件中所列用户不允许使用crontab命令文件：/etc/cron.allow说明：该文件中所列用户允许使用crontab命令文件：/var/spool/cron/说明：所有用户crontab文件存放的目录,以用户名命名crontab文件的含义：用户所建立的crontab文件中，每一行都代表一项任务，每行的每个字段代表一项设置，它的格式共分为六个字段，前五段是时间设定段，第六段是要执行的命令段，格式如下：minute h