[转载]Informatica学习笔记

摘要 InformaticaInformatica 学习笔记 1 UPDATE AS INSERT InformaticaInformatica 学习笔记 2 客户端连接服务器的问题 InformaticaInformatica 学习笔记 3 workflow 的问题 InformaticaInformatica 学习笔记 4 Folder 权限的问题 InformaticaInformatica 学习笔记 6 建立 workflow 的问题 InformaticaInformatica 学习笔记 7 workflow 执行报错 InformaticaInformatica 学习笔记 8 提示 joiner 输入字段没有排序 InformaticaInformatica 学习笔记 9 import 一系列 mapping InformaticaInformatica 学习笔记 10 复制数据库的问题 InformaticaInformatica 学习笔记 11 informaticainformatica services 不能启动 InformaticaInformatica 学习笔记 12 从 mysql 抽取数据的字符集问题 InformaticaInformatica 学习笔记 13 没有 Lincense 导致的问题 InformaticaInformatica 学习笔记 14 lookup 中自定义 sql 有问题 InformaticaInformatica 学习笔记 15 infopower 如何实现增量抽取 InformaticaInformatica 学习笔记 16 informaticainformatica 8 1 安装问题 InformaticaInformatica 学习笔记 17 如何在 PowerCenterPowerCenter 中实现累加 SUM InformaticaInformatica 学习笔记 18 PC8 1 运行出错 InformaticaInformatica 学习笔记 19 多行记录合并问题 InformaticaInformatica 学习笔记 1 UPDATE AS INSERT 问 要求实现每天抽取数据 而且是如果有改变才抽取更新 没有就不更新 因为源表中有最后修改时间的字段 我让它 和 SESSION 上次运行时间比较来解 决是否抽取 但问题是有的表中没有主键 我该怎么实现更新呢 有主键的我在 WORKFLOW 的 MAPPING 里面勾上了 UPDATE ELSE INSERT 那没主键的用 UPDATE AS INSERT 行么 还有 UPDATE AS INSERT 什么意思啊 能解释的形象点么 答 UPDATE AS INSERT 就是 语句一 update tab name set c1 value1 c2 value2 where c prikey value p ri 语句二 insert into tab name values 当在 tab name 的 c prikey 找到有等于 value pri 的 就执行语句一把所有对 应的记录 update 当没有匹配的 就执行语句二 你可以 powercenterpowercenter 的 source defination 中的自己定义主键 也可以直接 override update sql 可以不用理会真实表结构中是否有主键 InformaticaInformatica 学习笔记 2 客户端连接服务器 问 我通过客户端连接到服务器 做了一个 workflow 运行的时候出现错误 说是服 务器连接不上 repository server 和 infomatic server 他俩的 port 是不是要一样还是不需 要 答 看看 server 的配置 我想可能是没有配置好 问 Repository server 服务起来了 就是 informaticainformatica server 起不来了 在配置的 时候 是 informaticainformatica server 的 ip 解析不出来 怎么才能把那个地址和主机对 应起来 答 1 直接写 IP 2 编辑客户端的 WINDOWS SYSTEM32 DRIVERS ETC HOSTS 文件 把 ip 与名字 的对应关系加进去 客户端这台机器就可以自己解析了 3 找 DNS 或者什么解析服务器搞定 问 informaticainformatica server 装在 unix 操作系统下 能不能找到配置 informaticainformatica server 的配置文件对应的是那一个文件 答 unix 下缺省是 pmserver cfg 可以用 pmconfig 这个命令行工具修改配置文件 也可以直接打开编辑 如果不是缺省的配置文件名可以通过 ps efl grep pmserver 看看是哪个文 件名 问 谢谢 pmserver cfg 这个文件中的配置信息我看过了 里面设置的都是 repository server ip 192 168 0 1 和 port 6001 怎么找不到配置的 informaticainformatica server 的 ip 192 168 0 1 和 port 4001 我是想知道这个信息在 配置文件中能找到吗 答 这个是在 workflow manager 里面注册的 双击 server 名字就看得到了 问 是的 我在 workflow manager 里看到过 只要在那里注册好了就行了吗 我想 它应该存放在什么位置 所以想搞清楚 还是谢谢你 答 他存放在策略库的 opb server info 表里面 呵呵 你也可以试试看直接改数 据库 不过直接改数据库这种事情要悄悄的干 被 david 知道了要打 pp 的 InformaticaInformatica 学习笔记 3 workflow 问题 问 创建一个工作流从一个 txt 文件到目标表 是不是要定义 par 参数文件 有没 有谁有这方面的资料教程教程 给我发一份 非常感谢 我创建了一个 运行的 时候出错了 Server10 Start workflow Request acknowledged Server10 Start workflow ERROR Error in starting execution of work flow id 8 wf s m test Please check the server log for more inf ormation 答 没必要非得定义参数文件 直接在 session 中 指定路径和文件名就行 如果是 同结构批量的文件 可以用 file list 功能 参数文件也能作 相对来说是在外部控制路径和文件名 比较动态了 那个错 不是让你去看 server log 吗 去看看了 window 平台 default 去看事件管理器 InformaticaInformatica 学习笔记 4 Folder 权限的问题 问 InformaticaInformatica 用不同的用户创建的不同的 folder 互相看不见是什么原因那 答 保护机制的作用 建 folder 的时候 在安全选项里可以设置 把 read 权限赋给 repository user 就可以了 也有可能是启用了 version control 的原因 InformaticaInformatica 学习笔记 5 建立 Repositories 的时候出错 问 我的 Infromatica 是安装在英文版的 Windows 环境下的 Matadata 要放在 Oracle9i 中 可是当我在建立 Repository 的时候怎么也连接不上我的 Oracle9i 数据库 而我用其他方式连接数据库是畅通的 在 Windows 的事件查 看中看到如下信息 368 752 Failure in running command line request type 100401 pmrepagent create r TCS t Oracle u informaticainformatica c Oradb d MS1252 h tcs china db o 9999 H tcs china db O 5001 K 2082340862 Error is An error occurred while creating the reposit ory 答 建 repository 在 Repository Server Administration Console 里面可以找到 Active Log 的 可以看看出错信息 出错多的好像都是插入一个 LONG 的值 通常建策略库出问题都是字符集捣的鬼 几个地方要注意数据库的字符集 系 统 NLS LANG 环境变量 操作系统的缺省字符集 windows 在地区设置里面看 还有缺省输入法也可能影响 理论上不同的字符集只要是可转换的 都是可以 的 不过弄成一样的比较简单了 问 谢谢 guruhao 的提示和帮助 我决定将 Oracle 和 InformaticaInformatica 重新安装一下再 来测试一次 我的操作系统的缺省字符集 windows 在地区设置里面 是 china 系统 NLS LANG 环境变量是 N A 答 这一段都是正常的 drop table 不成功 属于建库之前清理表的动作 还要往后 大约在中间的位置 有个真正的插入数据的错 你最好设置一下 NLS LANG 使之与 oracle server 的字符集相匹配 it should be Oracle characterset is not same in Oracle Server and cli ent InformaticaInformatica 学习笔记 6 建立 workflow 的问题 问 我用 powercenter8 建立一个 mapping 后 在 workflow manager 中建立了 workflow 但是运行这个 workflow 时却提示以下错误信息 Could not start execution of this workflow because the current run on this Integration Service has not completed yet 我检查了一下 server 中的各服务已经正常启动了 但是就是运行时出现这种 情况 请问是什么原因导致的 以及怎样解决呢 各位知道的就请说一 下吧 答 该错误应该是说你建的这个 workflow 正在运行 且还没有结束 因而你不可以 再次启动该工作流 你可以通过 Monitor 观察一下 问 该错误应该是说你建的这个 workflow 正在运行 且还没有结束 因而你不可以 再次启动该工作流 你可以通过 Monitor 观察一下 但是我在 monitor 中又看不到任何的 session 在运行啊 答 将你的 informaticainformatica server 在 service 里重新启动后再运行看看 问 过一阵子之后再运行就正常了 不知道为什么 怪怪的 InformaticaInformatica 学习笔记 7 workflow 执行报错 问 我在执行某个 workflow 的时候报了如下错误 FATAL ERROR Unexpected Condition in file u05 bld65 64 pm713n serv er dmapper widget wjoiner cpp line 3176 Contact InformaticaInformatica Techn ical Support for assistance Aborting this DTM process due to an unex pected condition 请问各位这是什么原因 我看了一下日志文件 好像是初始化的过程都还没有 结束就报错了 答 This error occurs when the Joiner transformation in the mapping has b ecome corrupted To resolve this do one of the following 1 Delete and re create the Joiner transformation 2 Export and import the mapping replacing the mapping when importing it 谢谢 找到原因了 原来是某一个字段的连接线没有连上导致的错误 可是 我有个疑问 为什么有的控件出现这种情况的时候就没有问题呢 InformaticaInformatica 学习笔记 8 提示 joiner 输入字段没有排序 问 我们这里是异地开发 从北京拿过来的 mapping 在那里都可以跑通 而且没 有任何问题 但是怎么拿到我这里就提示 joiner 输入字段没有排序呢 问题可 能发生在什么地方呢 答 你的 join 控件应该是来自同一个数据源的 你在 join 控件前增加一个 Sorter 控件 将 join 的输入数据源排序 InformaticaInformatica 学习笔记 9 import 一系列 mapping 问 求教 要 import 一系列 mapping 但是 codepage 不一致 应该怎么调整 答 codepage 不一致 一定得改 反正一个 XML 只需要改两个地方 如果 XML 很多 写 一个小程序 会方便点 如果少 手工改一下就好了 一系列的 xml 是指很多 是吗 1 建议你在导出时 用 reprep manager manager 将很多对象打一个包导出将很多对象打一个包导出 2 pmrep 命令行 有个有个 objectobject importimport 功能功能 写一个批量的写一个批量的 bat bat 导了导了 InformaticaInformatica 学习笔记 10 复制数据库的问题 问 请教各位大侠 我要用 PowerCenterPowerCenter 复制一个数据库 源库是一个 SQL Server 的数据库 目标库是 DB2 数据库 请问怎么做 答 一个表一个表的做 如果想一次复制所有表 干脆用 SQL server 的 DTS 好了 如果是整个库的话 不如用 DB import export 了 ETL 强调的是 T InformaticaInformatica 学习笔记 11 informaticainformatica services 不能启动 问 环境 在一台机器上安装了 informaticainformatica services client oracle 10g 作为 repository informaticainformatica 的版本是 8 1 1 启动 informaticainformatica services 时没 有错误 但是过几分钟就停了 日志信息 catalina out 如下 2006 11 28 16 12 46 org apache coyote http11 Http11Protocol init 信息 Initializing Coyote HTTP 1 1 on http 6001 2006 11 28 16 12 46 org apache catalina startup Catalina load 信息 Initialization processed in 1234 ms 2006 11 28 16 12 46 org apache catalina core StandardService start 信息 Starting service Catalina 2006 11 28 16 12 46 org apache catalina core StandardEngine start 信息 Starting Servlet Engine Apache Tomcat 5 0 2006 11 28 16 12 46 org apache catalina core StandardHost start 信息 XML validation disabled 2006 11 28 16 12 47 org apache catalina core StandardHost getDeployer 信息 Create Host deployer for direct deployment non jmx 2006 11 28 16 12 47 org apache catalina core StandardHostDeployer install 信息 Processing Context configuration file URL file c InformaticaInformatica PowerC enter8 1 1 server tomcat conf Catalina localhost adminconsole xml java lang UnsatisfiedLinkError D InformaticaInformatica PowerCenter8 1 1 serve r bin pmjrepn dll 前几天一直运行正常 请问各位高手 该问题如何解决 谢谢 答 This error will occur when there is there is an incompatible xerces c 2 4 0 dll file on the Windows machine To resolve this do the following Stop the InformaticaInformatica Services Windows service Go to the C WINNT system32 directory Rename the xerces c 2 4 0 dll file to xerces c 2 4 0 old dll Copy the xerces c 2 4 0 dll file in the server bin directory to the C WIN NT system32 directory is the InformaticaInformatica installation directory Re start the InformaticaInformatica Services Windows service Try it again please let me know the result InformaticaInformatica 学习笔记 12 从 mysql 抽取数据的字符集问题 问 我们的 source 数据库是 mysql 字符集是 utf8 现在要用 informaticainformatica 从中抽 取数据并生成文本 用于下一步的 ETL 处理 informaticainformatica server 的 code page 是 ISO 8859 1 结果中文字符总是抽取不成功 请问如何处理才能 正确抽取中文字符 答 informaticainformatica server 的 code page 是 ISO 8859 1 你得改成 UNICODE 的模式 才可以比较适合作转换 你在 workflow manager 中的那个 ODBC 的连接 应该也 有 codepage 的设置吧 改改试试 问 informaticainformatica server 的 code page 是 ISO 8859 1 你得改成 UNICODE 的模式 才可以比较适合作转换 你在 workflow manager 中的那个 ODBC 的连接 应该也 有 codepage 的设置吧 改改试试 谢谢斑竹 问题是我没办法去改 informaticainformatica server 的配置 如果就用当前配置 有可能 做到正确抽取中文么 能够做一些编码的转换来实现么 答 乱码 就找几个点的码制设定了 源就那样了 ETL 服务器上配的 ODBC 可能会有 codepage 相关 再就是 ETL 服 务器 你已设为 ISO 8859 1 如果不对中文数据作转换 应该不会乱 workflow manager 中 配置 ODBC 我忘了是不是也有 code page 设定了 就这 么几块 你分开检查一下了 你用个什么工具 通过系统 ODBC 去访问一下 如果看到的不是乱码 再从后面几 点排这个错了 修改了连接 mysql 的 odbc 加上 stmt SET NAMES utf8 就好了 谢谢斑竹 InformaticaInformatica 学习笔记 13 没有 Lincense 导致的问题 问 各位兄弟们帮忙看一下 informaticainformatica 的问题 我使用的是 6 版本 目标数据 库是 oracle 10g 在安装好 配置好的时候 执行 workflow 的时候报这样的错 误 CMN 1022 Database driver error CMN 1022 Microsoft ODBC Driver Manager Data source name not found and no de fault driver specified Database driver error Function Name Connect Database driver error Function Name Connect Database Error Failed to connect to database using user test loc a nd connection string 192 168 1 42 答 你用的是 ODBC 是 UNIX 下 还是 window 为什么不用 Oracle native driver 这个看起来 像是你在系统建的 ODBC 没有找到 你在系统的 ODBC 建立一个连接 例如 odbc ora hr 测试一下 看是不是能连接到远程的 oracle server 你在 workflow manager 中 建立 ODBC 时 那个 connectstring 写上这个名字 odbc ora hr 如果在系统的 ODBC 是通的 应该就可以了吧 问 ODBC 用的是 informaticainformatica 自带的 odbc 安装的 用的是 window 的 我也想用 oracle 的驱动 但是我没有 oracle 的 Lincense key 我只有 odbc 的所以只 能用 odbc 的了 系统 odbc 配置的图和 workflow manager 中配置 odbc 的图和 你说的一样 配置好后 报的错误还是一样的 急死了 答 问题解决了 是 key 有问题 艾 没有 informaticainformatica 的 Lincense InformaticaInformatica 学习笔记 14 lookup 中自定义 sql 有问题 powercenterpowercenter 7 1 windows 平台 source table w test fs target table w test f 源表和目标表中都有字段 col1 和 col2 这两个字段可以看作是联合主键吧 建 了个 unique index mapping 流程大概说一下 1 从源表取数据 select fs col1 fs col2 fs xxx from w test fs fs 2 建 lookup 从 w test f in 的字段就是上面 select 出来的 col1 和 col2 比 较字段是 w test f 中的 col1 和 col2 取出 w test f 中的主键 select f row id f col1 f col2 from w test f f w test fs fs where f c ol1 fs col1 and f col2 fs col2 3 建 filter 把 lookup 找出的 lookup row id 和步骤 1 选出的字段传给此 filter filter 条件是 isnull lookup row id 4 进入目标表 现在的问题是 源表和目标表数据条数是一样多了 之前跑过 那时目标表是空的 就是说对于 col1 和 col2 来说 两个表是一样的 用 sql 可以验证 select fs from w test fs fs where select f row id from w test f f where f col1 fs col1 and f col2 fs col2 is null 执行这条 sql 查出 0 条记录 但我运行上面的 mapping 还是有数据流过 filter 遇到过有部分数据流过 filter 起了部分作用 也遇到过数据全部流过 filter 没起作用 当然对应的 mapping 是不一样的 我上面的 mapping 只是个例子 规则是一样的 请问大家遇到过或者有什么建议没有 答 已找到部分原因 lookup 中自定义 sql 有问题 InformaticaInformatica 学习笔记 15 infopower 如何实现增量抽取 问 在 informaticainformatica powercenterpowercenter 中如何实现增量抽取 我想了一下使用时间戳 但是这个时间戳如何去使用不是很明白 希望各位高人在这边能指点一下 如 果有例子更好 在这里先谢谢了 答 有时间戳就直接用呗 总有个办法记录上次抽取的时间的 也有办法设置本次 的截止日期 然后 where timestamp last time and timestamp TO DATE LastUpdateDateTime AND SALES sal es datetime Store Values Across Rows 想了想 在 aggregator 里面用 cume 遇到不同的 group by 条件后 应该是可以 自动清 0 的 所以还是用 cume 简单些 我觉得 cume 能实现 实在不行 一次只处理一年的 这样考虑的东西少 最简单 用参数控制一下 where 子句 实在不行 可以考虑 将地区 年 月 合成一个字段 这个咋都能作 能作的方法有多种 但我觉得这种最简单 问 我现在目前就是只处理一年的 上午我试了下 用 cume 是可以的做的 但是以 后肯定是不止一年的数据 还有 David 说 把地区 年 月合成一个字段 这咋都能作 我有点不理 解 能具体一点点吗 答 字符串与呀 我觉得还是一年一年处理比较好 你可以作一个 session 用参数来控制 where 子句 每次作一年的 你用外部一 个程序控制改变这个参数 并多次执行 pmcmd 这样比较简单 我知道把地区 年 月合成一个字段是字符串与 我的意思是说 把地区 年 月合成一个字段后 在我做累积 SUM 的时候怎么来用 为什么这样就可以 咋 都能作 了 不好意思 刚刚没讲清楚 再用 cume 呀 InformaticaInformatica 学习笔记 18 PC8 1 运行出错 问 confused 版本 PC8 1 用了一个最简单的例子 就源和目标的一个一一映射 应该说不会是流程的问 题和参数设置问题 运行后错误日志如下 Message FATAL ERROR Unexpected Condition in file Zeu sbuilderProduction view powrmart common odl oracle8 oradriver cpp li ne 241 Contact InformaticaInformatica Technical Support for assistance Abort ing this DTM process due to an unexpected condition 怀疑是不是 PC8 1 文件被破坏了 请各位高手指点一下可能会是什么问题 答 你的这个问题 不是找到原因了吗 减小 sorter 的 cache 或增大 swap space 看着像是 ODBC 方面的问题 两个建议 1 重启机器 试一下 有时安装完 没有重启 有些变量没有生效 会报这类 问题 2 请用 DataDirect ODBC 重新导入源和目标结构 再作一个简单的例子 试 一下 问 建议 1 我的 PC8 已经安装很久了 不过 lisence 还没过期 改过系统时间啦 所 以呢机器已经重起很多次啦 应该不是这个问题 2 源和目标也重新导过 一样报