大杂烩powerc培训开发

1、数据仓库架构设计文档POWERCENTER 培训本文中的所有信息归远行科技所有，不得外传第 1 页数据仓库架构设计文档工件版本变更：本文中的所有信息归远行科技所有，不得外传第 2 页版本号拟制/修改日期拟制/修改人修改批准人1.02007-8-27新建数据仓库架构设计文档目录1引言41.1编写目的42术语、缩略语42.12.22.3术语、定义4缩略语4参考文档43XX错误!未定义书签。3.13.1.1. 错误!未定义书签。XX错误!未定义书签。本文中的所有信息归远行科技所有，不得外传第 3 页数据仓库架构设计文档1引言1.1 编写目的本文档主要提供对 DW 架构的一个全面的概貌。2术语、缩略语

2、2.1 术语、定义本文使用了表 2 所显示的面向用户的术语、定义，包括通用词语在本文档中的表 2解释。2.2 缩略语本文使用了表 3 所列文用到的缩略语。表 32.3 参考文档本文了表 4 所列的文档文的参考文档。表 4本文中的所有信息归远行科技所有，不得外传第 4 页文档名称作者无缩略语原文中文含义DWDataware house数据仓库ETLExtract Transform Load抽取 转换 加载术语/定义说明数据仓库面向主题的、稳定的、历史的数据。元数据解释数据的数据数据仓库架构设计文档3Mapping Incremental Extract定义 MAPPING 的变量，以$开头，在

3、类型中选 Variable 型，同时指定变量的数据类 型 ， 和 指 定 初 始 值 ， 日 期 的 格 式 为MM/DD/YYYYHH24:MI:SS ， 如 定 义$MAX_UPDATE_DATE 变量。在 MAPPING 增加一个 Expression 转换控件，定义 MAX_UPDATE_DATE 字段，表达式 为iif(LAST_UPDATE_DATE>MAX_UPDATE_DATE,LAST_UPDATE_DATE,MAX_UPDATE_DATE)定义 VAR 字段，表为 setvariable($MAX_UPDATE_DATE, MAX_UPDATE_DATE)当数据抽取时

4、，从源数据取出每一条，通过表转换控件， 把大的日期放入MAX_UPDATE_DATE 字段，然后把 MAX_UPDATE_DATE 字段中的数据，写入 mapping的$MAX_UPDATE_DATE 变量。本文中的所有信息归远行科技所有，不得外传第 5 页数据仓库架构设计文档在源表的 qualifier 中，数据源过滤器中，让增量抽取的条件使用 mapping 的参数，如CAR_RECEIPT_APPLY.LAST_UPDATE_DATE'MM/DD/YYYY HH24:MI:SS')。>=TO_DATE('$MAX_UPDATE_DATE',本文中的所

5、有信息归远行科技所有，不得外传第 6 页数据仓库架构设计文档4Transformation4.1 Expression表控件：Port Name 中的 Ports，来源其他转换控件的 Ports，通过拖拉 Ports生，作为输入端口，新增输出端口。如：mod(RECEIPT_APPLY_ID,2)4.2 Aggregation聚合控件：Port Name 中的Ports，来源其他转换控件的 Ports，通过拖拉 Ports生，作为输入端口。聚合条件按照 groupby 字段对应的 ports。如：输出的 ports 不是分组条件，取该组中任意一个值作为输出。与 SQL 语句中分组函数不同。4.

6、3 Update更新策略控件：Port Name 中的 Ports，来源其他转换控件的 Ports，通过拖拉 Ports 方式产生。作为输入端口，属性页的更新策略表中，写更新策略。如：IIF(mod(RECEIPT_APPLY_ID,2)=0, dd_insert, dd_reject)4.4 Filter过滤器控件：Port Name 中的 Ports，来源其他转换控件的 Ports，通过拖拉 Ports生，作为输入端口本文中的所有信息归远行科技所有，不得外传第 7 页数据仓库架构设计文档如：RECEIPT_APPLY_ID > 100004.5 Lookup查找控件：Port Nam

7、e 中的Ports，来源其他转换控件的 Ports，通过拖拉 Ports生，作为输入端口。选择查找的数据表，导入 Lookup 表的 Ports。如：Ports 页查找条件页4.6 Sequence序列控件：一般输出 nextval 端口作为输出。4.7 Procedure过程控件：在导入过程结构时，仅仅能选择有参数的过程，没有参数的过程不显示，可以先选一个过程，然后修改成所需的过程，需改了过程类型后，要求过程类型必须是目的表加载后执行，就可以修改其他属性了。如：SAC_BSL_PKG.SP_U_BSL_SAC_PC 过程没有参数，需要手工设置。本文中的所有信息归远行科技所有，不得外传第 8

8、页数据仓库架构设计文档5Workflow Designer5.1ComponentSession-对应 Mapping 的实际的数据抽取任务 Command- 在 Workflow 中调用操作系统令-在 Workflow 中Decision tasksDecision tasks ：决定 Informatica Server 如何执行 workflowAssignment tasks在 workflow 中可以定义多个变量，使用 Assignment 来设定变量值，然后用这些变量值workflow 的。Timer tasksTimer tasks：指定 Informatica Server 何

9、时执行 workflow 的下一个任务。设计 workflow5.2Workflow 的名称是英文字母，名称要求大写，按照WF_和用户名和_TESTn 合起来，作为测试工作流。实际运行的工作流，要求数据抽取部分，全部封装在一个 Worklet 中，和调用件任务等。、邮前置条件在前置决定器中设置本文中的所有信息归远行科技所有，不得外传第 9 页数据仓库架构设计文档全部执行的条件不执行的条件本文中的所有信息归远行科技所有，不得外传第 10 页数据仓库架构设计文档当出现快照过旧的错误时，需要调整 ODS 表的抽取顺序，把并行模式改成串行模式。可以解决快照过旧的问题。如果撤销表空间的空间用尽了，会触发

10、“ORA-01555:Snopshot to old”错误，如果正在处理的事务需要的撤销空间，那么需要一个或多个表的示图一致的长期运行的会出错。除非撤销空间是使用 RETENTION GUARANTEE 参数定义的，否则正在进行的DML 可能会使用长期运行的所需的撤销空间。结果是，运行的用户会收到“Snopshot to old”错误信息，并且系统会生成警报。这个警报又称为“长警报”，如果初始化参数 UNDO_RETENTION 设得太低，那么这种警报在撤销表空间无关的情况下也可能触发。本文中的所有信息归远行科技所有，不得外传第 11 页数据仓库架构设计文档6Monitor Problem整个

11、知识库的维护操作，如知识库的创建，备份，恢复，升级等6.1 创建知识库Informatica Powercenter/PowerMart 是元数据驱动的，所有元数据都在知识Sybase,库中, 该元数据可以保所有主流的关系型数据库中， 如： Oracle,Microsoft SQL server, DB2, Informix, Teradata。 首先，就是要创建一个元数据知识库。1) 从 Repository Manager 或者直接从Administration Console。里面启动 Reposiotry Server本文中的所有信息归远行科技所有，不得外传第 12 页数据仓库架构设计

12、文档2)3)4)一个 Repository Server 连接。连接到 Repository Server 上，输入 Repository Server 的管理员。添加一个知识库连接，不同的数据库有不同的连接配置。一个新的 Repository 连接5) 编辑资料库的属性，注意一定要输入“License”Tab页中的KEY，点击“确定”开始创建资料库。本文中的所有信息归远行科技所有，不得外传第 13 页数据仓库架构设计文档6.2 管理知识库Informatica 知识库是一个包含元数据的数据库表的集合，一个 Repository可以管理多个知识 库，Repository Server 管理所有客户端跟知识库之间的元Server事务。使用lllllllllllllllAdministration Console 能作如下的操作： 添加、编辑，删除知识库配置信息导出和导入知识库配置信息创建知识库拷贝知识库从数据库中删除知识库备份和恢复知识库(Backup, Restore)启动、停止、启用和禁用知识库知识库通告信息(Notify Users)查看知识库连接以及对象锁信息关闭知识库连接和删除知识库插件升级知识库(Upgrade)Local 知识库升级到 Global 知识库(Make Global)到 Glob