BI_ETL元数据管理基础培训.doc

Informatica PowerCenter Advanced Edition 基础培训教材 2005年10月 说明：本文档旨在快速学习PowerCenter Advanced Edition 产品，其中包括了Informatica PowerAnalyzer,PowerCenter和SuperGlue 三个产品。 主要的培训内容包括如下信息： 1) 使用Erwin作为模型工具。 2) 数据源为文本文件。 3) 目标为Oracle数据库表的TARGET用户，练习时可选用其他用户名。 4) BI展现时使用的是Informatica PowerAnalyzer 5) 最终利用SuperGlue实现了整个过程的血缘分析。 注意，数据库用户必须要有如下权限： create and drop tables and indexes and to select, insert, update, and delete data from tables. 文档目录 2005年10月.1 安装POWERCENTER ADVANCED EDITION.3 安装PCAE Server.3 安装PCAE Client.11 安装Reports.14 配置ETL模型BI环节.17 配置 ETL环境 (POWERCENTER).17 创建工作目录.17 创建中转功能的Mapping.19 创建转换功能的Mapping.23 运行数据整合任务.29 配置模型工具环境 (ERWIN).37 反向工程生成模型.37 配置BI工具环境 (POWERANALYZER).40 创建数据源(Data Source).40 创建表定义(Table Definition).41 定义运行模式(Operational Schema).42 配置数据连接器(Data Connector).46 创建报表.47 配置SUPERGLUE.50 配置 XCONNECTS.50 创建资料库.50 配置Oracle XConnect.52 配置ERWin Xconnect.55 配置PowerCenter Xconnect.57 配置PowerAnalyzer Xconnect.59 使用SUPERGLUE分析报告.61 查看血统分析报告(LINEAGE REPORT).61 登录到SuperGlue.61 Metadata Directory.61 1 安装Informatica MetaDataManager PCAE提供了3个安装选项： 安装向导欢迎页面： 安装前提： 选择Complete安装模式： 输入PCAE Lincense Key： 定位PowerAnalyzer和SuperGlue的License Key： 设定PCAE安装根路径： 选择Application Server(JBoss是免费的)： 设定JBoss Application Server的配置路径： 设定SuperGlue要分析的PowerCenter资料库配置信息： 设定PowerAnalyzer资料库配置信息： 设定SuperGlue 资料库的配置信息： 安装前的信息总结： 安装后在Informatica根目录下的总结文件summary.txt的正文： The PowerCenter Advanced Edition 7.1.3 Server installation completed successfully. The information below summarizes the location and configuration of the installed products and components. Although PowerCenter Advanced Edition 7.1.3 Server has been successfully installed and configured, some of the services may not have been started. Please see the C:/Informatica/installation_summary.txt and C:/Installation_debug_server.log for the status of the services. Installation Directory : C:/Informatica - Configuration Property - PowerCenter - Repository Name : PowerCenter Repository Host : demo Repository Server Port : 5001 Repository Server Administrator Password : admin Repository Login UserName : Administrator Repository Login Password : Administrator PowerCenter Server Name : PC_demo_4001 PowerCenter Server Port : 4001 PowerAnalyzer - URL : http:/demo:8081/ias Default Login UserName : admin Default Login Password : admin SuperGlue - URL : http:/demo:8081/imm Default Login UserName : admin Default Login Password : admin Web Service Hub URL : http:/demo:8081/PowerCenter 1.1.1 安装PCAE Client 安装向导欢迎页面： 选择Complete安装模式： 设定PCAE安装根路径： 设定SuperGlue资料库的名称： 安装前的信息总结： 安装完成的提示信息： 1.1.2 安装Reports 安装介绍： 安装前提： 选择Complete安装模式： 设定Report安装到哪个Application中，可选择PowerAnalyzer或者SuperGlue： 安装前的信息总结： 安装完成的提示信息： 2 配置ETL模型BI环节 2.1 配置 ETL环境 (PowerCenter) 2.1.1 创建工作目录 运行Repository Manager客户端 选择Repository - Add Repository，添加名为PowerCenter的资料库。 用Administrator/Administrator登录 选择Folder - Create，创建名为DI Mappings的Folder。 DI Mappings Folder用来保存后面的练习，然后退出 Repository Manage客户端。 2.1.2 创建中转功能的Mapping 该 mapping用来装载文本文件内容到Oracle中转数据库表中(也可选择其它数据库类型)。 . 登录到Designer客户端 打开DI Mappings目录 确保当前的工作区是Source Analyzer，选择 Sources - Import from file 选择文件c:democredit_detail.dat 在第一个向导页面中，选择 “Import field names from first line”复选框。 单击 next按钮，完成文本文件的导入。. 切换到Warehouse Designer工作区 在左边展开Sources folder，找到credit_detail源定义。 将该源对象直接拖拽到右边的Warehouse Designer工作区(该方式可以快速复制一个跟源同结构的目标) 双击该目标表，更改Database type为Oracle，更改表名为credit_detail_staging 目前已经创建好一个可复用的源文件和目标表定义。. 切换到 Mapping Designer工作区，选择 Mappings - Create 创建一个名为m_load_staging的Mapping 把源credit_detail和目标credit_detail_staging拖拽到该Mapping中 利用Auto Link，自动关联源和目标相应字段。 2.1.3 创建转换功能的Mapping 现在需要创建复杂些的mapping来转换中转区数据。 先在Warehouse Designer中创建目标表。 切换到Warehouse Designer工作区，选择Targets - Create 创建名为credit_detail_reporting 的Oracle 目标表 双击该表，添加4个字段，编辑字段属性如下： 注意按 Ctrl-S组合键，来保存所有的设计，到目前为止已经创建了两个目标表。 现在需要将这两个目标表在目标Oracle数据库中创建。 首先要在系统中创建一个ODBC(System DSN)，该ODBC对应的Oracle数据库用户将存放目标表。 切换到Warehouse Designer工作区，选择Targets - Generate/Execute SQL 连接到刚创建的orcl_target ODBC中。 配置好Generation options选项后，单击Generate and Execute按钮。 两个目标表已经创建到目标数据库中，下一步是将credit_detail_staging 表作为源引入。 切换到Source Designer工作区，选择Sources - Import from Database 连接到orcl_target ODBC中，选择表credit_detail_staging，单击OK按钮。 目前已经导入一个源表，接着是创建数据整合mapping，其中将包含汇总和计算表达式。. 切换到Mapping Designer工作区，选择Mappings - Create 创建名为m_process_credit_detail的mapping 拖拽源对象credit_detail_staging 到mapping中 拖拽目标对象credit_detail_reporting 到mapping中 创建名为 agg_by_company 的Aggregator组件： 从Source Qualifier组件中，关联company, credit_req和credit_app字段到 agg_by_company 组件相应字段。 创建名为exp_calc_percentage 的Expression组件： 编辑 APP_PERCENTAGE 字段，其计算内容为： (SUM_CREDIT_APP/SUM_CREDIT_REQ)*100 把Company, Sum_credit_req, sum_credit_app,app_percent 字段关联到目标表。 按 Ctrl-S组合键保存所有工作 2.1.4 运行数据整合任务 现在需要创建可以运行的session。 运行Workflow Manager客户端，登录到资料库中。 选择Connections - Relational 单击New按钮，选择Oracle数据库类型 创建一个名为orcl_target的数据库连接，它的target用户用来存储目标表。 连续两次单击 OK按钮 打开 DI Mappings 目录 在Workflow Designer工作区，选择 Workflows - Create 创建名为 wf_process_credit的workflow 需要创建两个串行的session. 选择Tasks - Create，创建名为s_load_staging 的session，它关联 mapping m_load_staging 创建名为s_process_credit_detail 的session，用它关联mapping m_process_credit_detail 单击 Done按钮 将两个session串行连接 双击session s_load_staging ，编辑其属性。 选择Mapping标签，单击Files and Directories： 确保 source file directory和Source filename的配置是正确的。 单击Connections，配置目标表的连接为orcl_target。 双击session s_process_credit_detail 切换到标签Mapping，单击左上角的connections 使用Ctrl-S组合键保存 在Workflow Designer的空白区，单击右键后，执行Start Workflow命名。 在Workflow Monitor客户端中监测运行结果。 2.2 配置模型工具环境 (ERWin) 2.2.1 反向工程生成模型 可以手工创建ERWin模型。为方便起见，本例是将在数据库中的表通过反向工程直接生成模型。 运行ERWin程序 选择Tools - Reverse Engineer 选择Select a physical model for Oracle 8.x and click next: Under the options section, change the setting from All to Current User and click next NOTE: If you forget to change this setting, it will take a very long time, as ERWin will attempt to model the entire system catalog! When prompted for the oracle connection, connect to the oracle target database Once you have your model, Go to File -Save As NOTE: The model must be saved in XML format in order for the SuperGlue Xconnect to read the file. Change the file type to XML and save the file in c:Demo as model.xml Once the export is complete, you can close ERWin (you may select close without saving at the prompt, you do not need to save a copy of the model in native ERWin file format). 2.3 配置BI工具环境 (PowerAnalyzer) 2.3.1 创建数据源(Data Source) 通常客户会选择 Cognos, BO等BI工具，本例为了方便起见，使用Informatica PowerAnalyzer作为展现工具，可以快速创建展现报表，为后续的SuperGlue的血统分析做准备。 在web浏览器中运行http:/localhost:8081/ias 更改PowerAnalyzer显示界面为简体中文： 1) 单击“Manage Account”标签，在“ General Preferences”工作区中，单击“Edit”按钮。 2) 更改配置信息后，单击“OK”按钮。 单击“管理”标签 在“模式设计”下选择“数据源”，单击“添加”按钮。 确定测试连接 单击“确定”按钮来保存。 2.3.2 创建表定义(Table Definition) 单击“管理”标签 在“模式设计”下选择“数据源”，单击“添加”按钮。 从下来数据源中选择“DEMO”，再选择表CREDIT_DETAIL_REPORTING，单击“确定”按钮。 2.3.3 定义运行模式(Operational Schema) 单击“管理”标签 在“模式设计”下选择“运行模式”，单击“添加”按钮。 单击“添加新项目”按钮。 单击“选择”按钮。 选择表“CREDIT_DETAIL_REPORTING”，单击“确定” 按钮。 把“系统名”改为REPORTING 在“度量”工作区中，单击“从表中添加”按钮。 选择上图3个字段最为度量后，单击“确定”按钮。 在“属性”工作区中，单击“从表中添加”按钮。 选定字段“Company”，单击“确定”按钮保存。 创建后的模式数据源如下图所示： 单击“确定”按钮，进入显示该运行模式下所有表的界面。 再次单击“确定”按钮。 2.3.4 配置数据连接器(Data Connector) 单击“管理”标签 在“模式设计”下选择“数据连接器”，单击“添加”按钮，作如下配置。 在“附加模式映射”区中，单击“添加”按钮后，作如下的配置： 单击“添加”后，单击“确定”按钮。 2.3.5 创建报表 在右上角单击“创建”标签 给报表起名为“Company Approval Rate” 在左下角的浏览窗口中，定位到Credit Detail Reporting模式 把该模式的所有3个度量先后添加到度量栏中。 单击“2 选择属性”，来选择属性。 在左下角的浏览窗口中，定位到Credit Detail Reporting模式 把Company属性添加到属性栏中。 单击“4 版面与设置” 单击“排序”标签，设定先按照App Percent字段排序，再按照Company字排序，第三项排序不设定。 单击“5 发布”按钮。. 单击“保存”按钮。 单击“查找”标签，展开左边的“个人文件夹”，定位到“Company Approval Rate”报表。双击该报表或单击“查看”按钮。 得到该报表的运行结果。 该BI报表用来做后续的血统分析。. 3 配置SUPERGLUE 3.1 配置 XConnects 3.1.1 创建资料库 在web浏览器中浏览 http:/localhost:8081/imm，登录用户名/密码为admin/admin。 更改PowerAnalyzer显示界面为简体中文： 1) 单击“Manage Account”标签，在“ General Preferences”工作区中，单击“Edit”按钮。 2) 更改配置信息后，单击“OK”按钮。 单击“管理”标签，在 Repository Management区中，选择 Repositories 单击“添加” 按钮 创建一个名为Oracle的Oracle资料库入口，然后单击“确定”按钮。 重复上述流程，根据名字选定相应的Repository Type，依次创建名为：ERWin, PowerCenter和PowerAnalyzer的资料库入口。 3.1.2 配置Oracle XConnect 运行SuperGlue Configuration Console 用SuperGlue资料库的用户名/密码登录。(注意：其中的Data Source Name为ODBC名称。) 定位名为“Oracle”的资料库，配置“Configuration Properties”的属性，此处应该选择业务表所在的Oracle数据库的ODBC连接串。 单击Save按钮。 完成后，切换到Parameter Setup标签，将TARGET模式添加到Included Schemas列表中。 单击Save按钮 单击Load按钮，等待Xconnect装载完毕。 注意: 必须先运行数据库 Xconnect，否则血缘分析报告无法正常实现。 3.1.3 配置ERWin Xconnect 定位ERWin Xconnect 配置“Configuration Properties”的属性，更改source system version项为CA ERwin 4.0 SP1 to 4.1 选择Edit/assigned Connections for Lineage Report 复选框。 单击Add按钮，定位c:demomodel.xml文件。 单击Save按钮 单击Load按钮，运行Xconnect的装载。 在弹出的Connections窗口中，选择Erwin下的model，下拉选择Catalog区的Oracle项，选择TARGET Schema，再单击Assign 按钮。 单击 OK按钮，等待Xconnect装载完毕。 目前已经把ERWin模型的元数据跟Oracl