ETL_Powercenter81培训_基础.doc

POWERCENTER 培训 工件版本变更记录 工件版本变更记录 版本号拟制 修改日 期 拟制 修改人修改记录批准人 1 02007 8 27 新建 目目 录录 1 1引言引言 5 1 1编写目的 5 2 2术语 定义和缩略语术语 定义和缩略语 5 2 1术语 定义 5 2 2缩略语 5 2 3参考文档 5 3 3INFORMATICAINFORMATICA 客户端配置客户端配置 6 3 1 1注意事项 6 3 1 2ODBC 配置 6 3 1 3Hosts 文件配置 7 4 4INFORMATICAINFORMATICA 体系结构体系结构 8 5 5POWERDESINERPOWERDESINER 9 5 1总体概况 9 5 1 1Respository 菜单 9 5 1 2Tools 菜单 10 5 1 3Source 菜单 10 5 1 4Targets 菜单 11 5 1 5Transformation 菜单 12 5 1 6Mapplets 菜单 12 5 1 7Mappings 菜单 14 5 1 8Transformation 简介 15 5 1 9Desiger Practice 17 6 6WORKFLOWWORKFLOW MANAGERMANAGER 25 6 1总体概况 25 6 1 1Reposity 菜单 25 6 1 2Tools 菜单 25 6 1 3Task 菜单 26 6 1 4Workflows 菜单 27 6 1 5Connection 菜单 29 6 1 6Workflow 属性 31 6 1 7Workflow Practice 32 7 7WORKFLOWWORKFLOW MONITORMONITOR 38 7 1总体概况 38 8 8REPRSITORYREPRSITORY SERVERSERVER ADMINISTRATORADMINISTRATOR CONSOLECONSOLE 40 8 1创建知识库 40 8 2管理知识库 41 9 9REPRSITORYREPRSITORY MANAGERMANAGER 43 9 1REPOSITORY 菜单 43 9 2EDIT 菜单 44 9 3FOLDER 菜单 44 9 4SECURITY 菜单 45 9 5ANALYZE 菜单 46 1010开发流程介绍开发流程介绍 47 10 1总体概况 47 10 1 1Step1 连接资料库 47 10 1 2Step2 打开 Folder 48 10 1 3Step3 引入数据源结构 48 10 1 4Step4 引入目标结构 50 10 1 5Step5 设计 Mapping 50 10 1 6Step6 设计 Wokflow 54 10 1 7Step7 运行 Wokflow 54 10 1 8Step8 查看作业运行情况 55 1111部署流程介绍部署流程介绍 57 11 1总体概况 57 1 1引言引言 1 11 1编写目的编写目的 本文档主要提供对 DW 架构的一个全面的概貌 2 2术语 定义和缩略语术语 定义和缩略语 2 12 1术语 定义术语 定义 本文使用了表 2 所显示的面向用户的术语 定义 包括通用词语在本文档中的专用解释 表 2 术语 定义说 明 数据仓库存储面向主题的 稳定的 历史的数据 元数据解释数据的数据 2 22 2缩略语缩略语 本文使用了表 3 所列为本文用到的缩略语 表 3 缩略语原 文中文含义 DWDataware house 数据仓库 ETLExtract Transform Load 抽取 转换 加载 2 32 3参考文档参考文档 本文引用了表 4 所列的文档为本文的参考文档 表 4 文档名称作者 无 3 3InformaticaInformatica 客户端配置客户端配置 3 1 13 1 1注意事项注意事项 安装好 Oracle 客户端 并测试能连接上 Oracle 服务器 3 1 23 1 2ODBCODBC 配置配置 控制面板 管理工具 Microsoft ODBC 管理器 点击 添加 填写要连接的数据库的信息 点击 Test Connect 如下图 表示成功 3 1 33 1 3HostsHosts 文件配置文件配置 路径 C WINDOWS system32 drivers etc 添加信息 Powercenter 服务器 IP Powercenter 服务器名称 4 4InformaticaInformatica 体系结构体系结构 5 5PowerDesinerPowerDesiner 5 15 1总体概况总体概况 定义源及目标数据结构 设计转换规则 生成 ETL 映射 5 1 15 1 1RespositoryRespository 菜单菜单 BusinessBusiness Components Components 业务组件允许用户在知识库目录的一个固定的地方 管理 分组和显示 源以及 Mapplet 例如 可将源表分组为购买单和付款单两个组 然后将源表定义按照逻辑分组 来分组存放 利用层次和目录的方式 让用户更容易分清源表以及 Mapplet 的逻辑意义 ExportExport Objects Objects 将元数据对象导出为 XML 文件 ImportImport Objects Objects 将 XML 文件对应的元数据对象导入到知识库当中 5 1 25 1 2ToolsTools 菜单菜单 SourceSource AnalAnaly yz ze er r 设定当前的工作区为 Source Analyzer 在 Source Analyzer 中引入和创建源表结构 如 平面文件 XML COBOL Application 以及关 系 型数据源 W Warehousearehouse DesingerDesinger 设定当前的工作区为 Warehuse Designer 使用 Warehouse Designer 定义目标结构 如 关系型表 平面文件 XML 文件等 可以从关 系 型数据库 平面文件中引入结构 或者手工创建 T Transformaransformat tionion DeveloperDeveloper 设定当前的工作区为 Transformation Developer 使用 Transformation Developer 来创建可复用的组件 MappletMapplet DesigneDesigner r 设定当前的工作区为 Mapplet Designer 使用 Mapplet Designer 来创建 mapplet Mapplet 就是一系列可包含源结构以及转换组件的可 复 用逻辑 MappingMapping DesignerDesigner 设定当前的工作区为 Mapping Designer 使用 Mapping Designer 来创建 mapping mapping 就是一系列包括源 目标以及转换组件的逻 辑组合 在这里面实现了数据转换的规则 5 1 35 1 3SourceSource 菜单菜单 ImportImport fromfrom DaDat ta ab base ase 从关系型数据源中读取数据源结构 包括 表 视图和同义词 支持 的源有 Informix Sybase Microsoft SQL Server Oracle DB2 以及 ODBC 等 ImportImport fromfrom File File 使用文本文件向导 分析平面文件结构 ImportImport fromfrom COBOLCOBOL File File 使用 COBOL 数据结构 ImportImport XMLXML Definition Definition 使用 XML 元素和属性结构 处理 XML 数据文件 CreaCreat te e 手工创建上面所有数据源结构 ComComp pare are 比较两个数据源结构 PreviPrevie ew w DaDat ta a 预览数据源数据 5 1 45 1 4TargetsTargets 菜单菜单 ImportImport f fr romom Database Database 通过反 向 引擎获取目标数据库的表结构 包括 Informix Sybase Microsoft SQL Server Oracle DB2 ODBC 等 ImportImport f fr ro om m FilFile e 使用文本文件向导 分析平面文件结构 ImportImport X XMLML Definition Definition 使用 XML 元素和属性结构 用来生成 XML 数据文件 C Cr re ea ate te 手工创建上面所有数据源结构 C Co ompmpa ar re e 比较两个数据源结构 P Pr revieweview D Da ata ta 预览目标数据 C Cr reate Editeate Edit Dimension Dimension 编辑和创建维 C Cr re ea atete Cube Cube 创建立方体 GenerateGenerate ExExe ecutecute SQL SQL 针对手工定义或者不在目标库中存在的目标结构 必须在目标库中 物理 地创建 5 1 55 1 5TransformationTransformation 菜单菜单 Mapping 可以使用标准组件和可复用 Reusable 组件 标准组件只能存在一个 Mapping 中 而可复用 组件可被多个 Mapping 使用 T Transformatioransformation n 菜 单 ImportImport S Stotor reded P Pr roceduocedur re e 获得数据库存储过程 ImportImport ExternalExternal P Pr roceduocedur re e 从共享库中调用一个外部的用户定义的过程 C Cr re ea ate te 创建可复用组件 C Co ompmpa ar re e 比较两个可复用组件 5 1 65 1 6MappletsMapplets 菜单菜单 mapplet 是一个可复用的逻辑 在 Mapplet Designer 工作区中创建 它可以包含多个组件 实现一 个复杂的转换规则 可在多个 Mapping 中复用 CreaCreat te e 创建一个 mapplet CoCop py y As As 拷贝一个 mapplet 实例 ComComp pare are 比较两个 mapplet ParametersParameters andand V Variables ariables 为 Mapplet 创建用户定义的参数和变量 MeMet tadaadat ta a Extensions Extensions 设定元数据扩展 Profiling Profiling 调用数据探测功能 5 1 75 1 7MappingsMappings 菜单菜单 Mapping 就是一系列包括源 目标以及转换组件的逻辑组合 在这里面实现了数据转换的规则 CreaCreat te e 创建 mapping CoCop py y As As 拷贝 mapping ComComp pare are 比较两个 mapping ParametersParameters andand V Variables ariables 为 mapping 创建用户定义的参数和变量 MeMet tadaadat ta a Extensions Extensions 设定元数据扩展 T Targetarget LoadLoad Plan Plan 设定一个 Mapping 中的多个目标的装载次序 S Storedtored ProcedureProcedure Plan Plan 设定一个 Mapping 中的多个存储过程的执行次序 W Wi iz zards ards Designer 提供了两类 mapping 向导 帮助用户快速创建 Mapping 该向导为标准的星 型模型设计 提供了装载和维护维表及事实表的多个模板 GettingGetting S St ta ar rtedted W Wizardizard 提供模板 装载静态的实时表和维表 以及一种缓慢变化维 SlSlo ow wlyly ChangingChanging DimensionsDimensions W Wizardizard 提供模板 提供三种基于历史数据的缓慢变化维模板 当模板建好后 用户可对其修改 定制 Debugger Debugger 完全图形化调试界面 可以监测目标数据 组件输出数据 调试日志 Session 日志 等 也可修改数据及设定断点 5 1 85 1 8TransformationTransformation 简介简介 Aggregation Aggregator 组件 基于多行记录的汇总计算 如 取平均值或总和 用该组件可实现 增量汇总 Incremental Aggregation 条件汇总 Condition Aggregation 等 特殊 的汇总功能 The transformation language includes the following aggregate functions AVG COUNT FIRST LAST MAX MEDIAN MIN PERCENTILE STDDEV SUM VARIANCE Non Aggregate Functions IIF MAX QUANTITY 0 MAX QUANTITY 0 Conditional Clauses SUM COMMISSION COMMISSION QUOTA Non Aggregate Expressions IIF ITEM AAA battery battery ITEM UsingUsing SortedSorted InputInput Expression 实现基于单行记录的表达式计算 Union 实现多个同结构数据集的 Union All 操作 Source Qualifier 从源表中查询出所有的数据 非 XML Filter 执行条件过滤 Router 按照条件分组来过滤数据 Sorter 基于键字段进行排序 Update Strategy 允许逻辑的插入 更新 删除 或拒绝 Lookup 从数据库表中 按条件查找相关的值并且传送给其他的对象 Stored Procedure 调用存储过程并且获取返回值 Transaction Control 对装载数据按条件作事务控制 Rank 取出最大或最小的一定数量的记录 Custom 利用 C C 等编程语言开发客户自定义的转换组件 External Procedure 从共享库 DLL 中调用一个外部的用户定义的过程 一次处理一条记录 Sequence Generator 产生一组唯一的序列编号 XML Source Qualifier 从 XML 数据源中查询数据 DTD XML 模式 XML 文件 Joiner 联异构数据源 Normalizer 从 VSAM 或关系数据源中格式化记录 实现一条记录到多条记录的列 行转换 5 1 95 1 9DesigerDesiger PracticePractice 练习 1 引入源数据库表结构 使用 ODBC 连接 从 Access 数据库中读取 categorcategory y product product providerprovider 表结构 练习 2 引入源平面文件结构 通过文本文件向导 读取平面文件 IA SourceIA Source dat 的表结构 Informatica 提供了 3 步 FlatFlat FileFile 引入向导 帮助用户轻松获得和定义文本文件结构 练习 3 预览源数据 预览源表 product 的数据 切换到 Designer的Source Analyzer 右键点击 product 表 选择Preview Data 练习 4 自动获得目标结构 从左面的对象浏览窗口中 选择一个源结构 直接拖拽到 Warehouse Designer 工作区中 将 categocategor ry y product product p pr roviderovider 三个源表拖拽到 Warehouse Designer 工作区中 自动作为目标表 手工创建目标结构 在 Warehouse Designer 中 创建一个表 命名为 SimSimp pleProleProd ducuct t 数据库类型为 OracleOracle SimSimp pleProleProd ducuct ts s 共有 6 个字段 对应前面复用的 3 个目标表的字段 从每个表中拷贝两个字段 练习 6 生成目标物理表 针对手工定义或者不在目标库中存在的目标结构 必须在目标库中物理地创建 在 Warehouse Designer 中 选择表 SimpleProducts 从菜单中选择 Targets Generate Execute SQL Database Object Generation 窗口弹出 对应按钮功能如下 ConnectConnect 连接到目标数据库 GenerateGenerate SQLSQL filefile 产生 DDL 脚本 EditEdit SQLSQL fifil le e 修改 生成的 DDL 脚本 ExecuteExecute S SQ QL L filefile 在目标数据库中创建物理表 点击 Connect Connect 按钮 弹出 ConnectConnect toto anan ODBCODBC DaDat ta a SoucreSoucre 窗口 从列表中选择 orcl orcl t tararg get Oret Ora acle cle 输入用户名和密码 然后点击 ConnectConnect 按钮 设定其他的选项后 点击 GenerateGenerate a andnd exeexec cuteute 按钮 被选中的 SimpleProduSimpleProduc ct ts s 表就 会创建到 orcl orcl t targarge et t Oracle Oracle 对应的目标数据库中 练习 7 生成目标平面文件结构 通过手工创建或者是 Import 的方式可以得到 IA IA T Targetarget 目标表结构 练习 8 创建 Pass Through Mapping 1 创建一个 mapping 命名为 m simplem simple 2 将源表和目标表拖拽到 Mapping Designer 工作区中 源和目标都是 productproduct 表 3 在 Mapping Designer 工作区中 右键单击 选择 A Autolink utolink 4 在 AutoAuto LinkLink 窗口 dialog 点击 A Appppl ly y N No ow w 按钮 5 然后点击 okok 按钮 Mapping 设计完成 如下图 练习 9 Aggregation 1 创建一个 mapping 命名为 m aggregationm aggregation 2 从源中拖拽 IA SourceIA Source 表到 Mapping Designer 工作区 3 从目标中拖拽 IA IA T Targetarget 表到 Mapping Designer 工作区 4 从 Transformations Toolbar 拖拽一个 Aggregator 组件到 Mapping Designer工作区 5 为 AggregatorAggregator 组件添加字段 6 关联相关字段 练习 10 Join 和 Lookup 1 创建一个 mapping 命名为 m join lookup 2 从源中拖拽 product 和 provider 表到 Mapping Designer 工作区 3 从目标中拖拽 SimpleProducts 表到 Mapping Designer 工作区 4 从 Transformations Toolbar 拖拽一个 Joiner 组件到 Mapping Designer 工作区 5 从 product 表中拖拽 前 4 个字段 从 provider 表中拖拽前两个字段 在 Joiner 组件中使用 provider id 关联 6 从 T Transformationsransformations T Toolbaroolbar 拖拽一个 LookupLookup 组件 从弹出窗口中 选择 categcatego or ry y 表 然后点 击 OKOK 按钮 7 从 JoinerJoiner 组件中拖拽 CategoCategor ry yI ID D 到 LookupLookup 组件中 使用 CategoCategor ry yIDID 跟 categocategor ry y 表关联 8 关联相关字段 保存 mapping 6 6WorkflowWorkflow managermanager 6 16 1总体概况总体概况 ETL Workflow 的管理和调度 可实现基于时间 事件和指示文件的作业调度机制 6 1 16 1 1ReposityReposity 菜单菜单 Add Add 添加一个已存在的知识库连接 Open Open 打开知识库的一个目录 ExportExport ObjecObject ts s 导出对象为 XML 格式文件 ImportImport ObjObje ec ct ts s 将 XML 格式文件导入到知识库中 6 1 26 1 2ToolsTools 菜单菜单 T Ta asksk DevDeve elolop per er 设置当前工作区为 Task Developer 有三种类型的任务 Tasks SessionSession 对应 Mapping 的实际的数据 抽取任务 CommandCommand 在 Workflow 中调用操作系统的命令 EmailEmail 在 Workflow 中发送 email W Workletorklet Designer Designer 设置当前工作区为 Worklet Designer Worklet 是一组任务的组合 它可以作为复用逻辑在多个 Workflow 中调用 W Workflorkflo ow w D Designer esigner 设置当前工作区为 Workflow Designer Workflow 是一组任务的指令 存储在知识库中 告诉 Informatica Server 如何执行抽取任务 其他控制 Workflow 的组件 DecisionDecision t ta askssks Decision tasks 决定 Informatica Server 如何执行 workflow AssignmentAssignment t tasksasks 在 workflow 中可以定义多个变量 使用 Assignment 来设定变量值 然后用这些变量值控制 workflow 的走向 TimerTimer t tasksasks Timer tasks 指定 Informatica Server 何时执行 workflow 的下一个任务 6 1 36 1 3TaskTask 菜单菜单 Create 创建 Session 选择对应的 Mapping Session Configuration session 的配置信息 6 1 46 1 4WorkflowsWorkflows 菜单菜单 Create Create 创建workflow 设置调度Scheduler Edit Edit 编辑workflow S Starttart workflow workflow 运行一个打开的 workflow W Wi iz za ard rd 三步创建 Workflow 的向导 V Va al li id da at te e 验证 workflow 的合法性 6 1 56 1 5ConnectionConnection 菜单菜单 RelatioRelation nal al 管理关系型数据源连接 如 Oracle Sybase Informix ODBC 等 编辑连接参数 Queue Queue 管理消息队列连接 如 Message Queue FTP FTP 管理 FTP 连接 ApplicatioApplication n 管理应用程序连接 如 SAP BW PeopleSoft Siebel 等 LoadLoade er r 管理数据库外部 Loader 连接信息 如 Oralce Teradata Sybase IQ 等 Replace Replace 替换两个关系型数据源连接 ServeServer r 管理 Informatica Server AssignAssign serveserver r 指定 Informatica Server 来运行 Workflow 6 1 66 1 6WorkflowWorkflow 属性属性 1 SchedulerScheduler 属性 可以设定 workflow 定时运行 在一定间隔或时间后运行 以及手工启动 2 V Variablesariables 属性 创建基于 Workflow 的变量 可以结合 Decision task 等组件实现灵活的控制 Workflow 3 EvenEvent ts s 属性 基于 Workflow 创建用户自定义时间 结合 Event RaiEvent Rais se e 以及 EventEvent W Waitait 组件可 以 灵活实现基于指示文件以及事件触发的流程控制 4 创建一个 Workflow 将已有的 3 个任务拖拽到 W Wo orkflowrkflow DesignerDesigner 工作区 然后用 Link 关联 如下 6 1 76 1 7WorkflowWorkflow PracticePractice 创建关系型数据源和目标连接 1 在 Workflow Manager 中 选择菜单 CoCon nnectnecti ionsons RelRela at ti ional onal 弹出 RelatRelati ionalonal C Co on nn nectiectio on n BrBro ow wserser 对话框 2 点 击 Add Add 按 钮 在 SelectSelect T Ty ypepe 列 表 中选 择 ODBODBC C 然后 添 加 一 个 ODBC 连 接 命 名 为odbc webexdemo 其中的 Connect 栏里面的 webewebex xdemdemo o 就是用到的系统 ODBC 名字 3 使用该方式 再添加一个 Oracle 连接 命名为 orcl target 创建 Session 对应 M SIMPLE 1 切换到 Task Developer 从 T Tasksasks T Toolbaroolbar 中点击 SessionSession 按钮 然后在 Task Developer 工作区 中 单击鼠标左键 2 弹出所有 Mapping 列表 选择 mapping m simm simp plele 然后单击 OKOK 按钮 3 一 个 名 字 为s m simple s m simple 可 复 用 的 Session 会 自 动 生 成 然 后 编 辑SouSour rcesces属 性 使 用 odbc webexodbc webexd demoemo 连接 4 编辑 T Ta ar rg getsets 属性 设置为 Writers type 为 File Writer 虽然目标定义是关系型 在这里可以更改 为写 文件 创建 Session 对应 M AGGREGATION 1 切换到 Task Developer 从 T Tasksasks T Toolbaroolbar 中点击 SessionSession 按钮 然后在 Task Developer 工作 区中 单击鼠标左键 2 弹出所有 Mapping 列表 选择 mapping m m a ag gg gr re eg ga atitio on n 然后单击 OKOK 按钮 3 一个名字为 s m Ins m Inc cr re em me entalAggntalAggr re eg gation ation 可复用的 Session 会自动生成 然后编辑 SouSour rcesces 属性 如下 4 编辑 T Ta ar rg getsets 属性如下 5 如果要测试增量汇总功能 Incremental Aggregation 应该按照下面作配置 把 IncIncr re em mentalental AggAggr re egatgati io on n 选项选上 创建 Session 对应 M JOIN LOOKUP 1 切换到 Task Developer 从 T Tasksasks T Toolbaroolbar 中点击 SessionSession 按钮 然后在 Task Developer 工作 区中 单击鼠标左键 2 弹出所有 Mapping 列表 选择 mapping m jm jo oin in l looook kupup 然后单击 OKOK 按钮 3 一个名字为 s m js m jo oin in l looook kup up 可复用的 Session 会自动生成 按照下图设定数据库 ConnectionsConnections 7 7WorkflowWorkflow MonitorMonitor 7 17 1总体概况总体概况 监控 workflow 和 session 生成详细工作日志及报告 创建 workflow 并运行 调出 workflow monitor 客户端工具 Gantt Chart 显示模式 任务显示模式 Session 组件运行统计报告 获得 Session 日志 8 8ReprsitoryReprsitory ServerServer AdministratorAdministrator ConsoleConsole 整个知识库的维护操作 如知识库的创建 备份 恢复 升级等 8 18 1创建知识库创建知识库 Informatica Powercenter PowerMart 是元数据驱动的 所有元数据都存储在知识库中 该元数据 可以保 存在所有主流的关系型数据库中 如 Oracle Sybase Microsoft SQL server DB2 Informix Teradata 首先 就是要创建一个元数据知识库 1 从 Repository Manager 或者直接从程序组里面启动 Reposiotry Server Administration Console 2 注册一个 Repository Server 连接 3 连接到 Repository Server 上 输入 Repository Server 的管理员密码 4 添加一个知识库连接 针对不同的数据库有不同的连接配置 注册一个新的 RepositoryRepository 连接 5 编辑完新资料库的属性 注意一定要输入 License Tab 页中的产品 KEY 点击 确定 开始创建 资料库 8 28 2管理知识库管理知识库 Informatica 知识库是一个包含元数据的数据库表的集合 一个 Repository Server 可以管理多个知 识 库 Repository Server 管理所有客户端跟知识库之间的元数据交换事务 使用 Administration Console 能作如下的操作 添加 编辑 删除知识库配置信息 导出和导入知识库配置信息 创建知识库 拷贝知识库 从数据库中删除知识库 备份和恢复知识库 Backup Restore 启动 停止 启用和禁用知识库 发送知识库通告信息 Notify Users 查看知识库连接以及对象锁信息 关闭知识库连接 注册和删除知识库插件 升级知识库 Upgrade 将 Local 知识库升级到 Global 知识库 Make Global 注册到 Global 知识库中或者取消注册 Register Unregister 更新知识库主域连接信息 Propagate 9 9ReprsitoryReprsitory managermanager 基于元数据的目标维护 扩展元数据 对象锁管理 依赖性分析 用户安全管理等维护操作 9 19 1RepositoryRepository 菜单菜单 Discnnect Connect Add respository Manage Respository Server 9 29 2EditEdit 菜单菜单 Copy Paste Delete Show Locks 对象锁 Objects Locks Show user Connections Metadata extensions 元数据扩展 Truncate log 9 39 3FolderFolder 菜单菜单 目录 Folder 提供了一种管理和存储所有元数据的方式 它包括所有的 mapping session workflow 等 它可以灵活地存储元数据以及管理知识库 每个目录都有一系列配置信息 用来控制用户访问它的权 限 例如 创建一个目录 除了所有者以外 其他的用户只有读的权限 也可以将目录共享 允许其它用 户共享该目录中的元数据 注意 必须在知识库中创建完目录以后 才可使用 Designer 及 Workflow Manager 客户端连接到知识库中 Folder操作 创建 编辑 删除 拷贝 替换 比较等 创建 folder 1 在 Repository Manager 客户端 选择菜单 Folder Create 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 45 页 2 编辑目录的属性 9 49 4SecuritySecurity 菜单菜单 ChangeChange PasPass sw wo ord rd 更改当前用户密码 ManageManage Users Users 添加用户 删除用户 将用户分配给组 将用户从组中删除等 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 46 页 9 59 5AnalyzeAnalyze 菜单菜单 Source Source T Targetarget Dependencies Dependencies 显示源和目标的依赖性关系 MappingMapping Dependencies Dependencies 显示 Mapping 之间的依赖性关系 ShortcutShortcut Dependencies Dependencies 显示快捷方式之间的依赖性关系 SearchSearch b by y T Targetarget K Ke ew word ord 按照目标标的关键字查询 SearchSearch All All 按照名字查找所有知识库中的对象 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 47 页 1010 开发流程介绍开发流程介绍 10 110 1 总体概况总体概况 主要的开发工具由客户端工具 Designer Workflow manager Workflow monitor 完成 10 1 110 1 1 Step1Step1 连接资料库连接资料库 在 Designer 中 假设 SQL Test 是我创建的资料库 需要连接已经创建好的资料库 方法如下 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 48 页 连接的方法有两种 1 选中后 鼠标右键 connect 见左图 2 选中后 点击工具栏connect 见左图 连接时需要输入用户名和密码 10 1 210 1 2 Step2Step2 打开打开 FolderFolder 资料库连接后 需要打开在Repository Manager 创建的Folder 打开Folder 的方法有几种 1 双击Folder 2 选中Folder 右键 open 3 选中 Folder 点击工具栏的 OPEN 10 1 310 1 3 Step3Step3 引入数据源结构引入数据源结构 1 点击SourceSource AnalyzerAnalyzer 引入已经存在的数据源表结构 数据源可以是 RDBMS Flat file Cobol file XML file ERP SAP 等 等对于RDBMS Excel 等数据 源需要定义ODBC 通过ODBC 连接 以 RDBMS 为例 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 49 页 按照图中标注操作 数据源结构就显示在 SourceSource AnalyzerAnalyzer 工作区 2 手工创建表结构 在 Source Analyzer 状态下 从菜单 Sources Create 弹出下面的界面 在上面的界面中选择Database type 输入Table name 然后点击Create Done 这 样就创建了一个空的结构 双击或 Edit 进入Column 定义界面 具体参见下图 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 50 页 数据源表结构引入后 就需要保存 10 1 410 1 4 Step4Step4 引入目标结构引入目标结构 点击 WarehouseWarehouse DesingerDesinger 引入目标结构的过程同 引入数据源结构 引入目标结 构后 保存 10 1 510 1 5 Step5Step5 设计设计 MappingMapping 到此 数据源结构和目标结构都已经引入 接下来就可以设计Mapping 了 Mapping 是ETL 设计的开始 是具体的ETL 规则设计 它包含三方面的信息 数据源信息 转换信 息 目标信息 在Mapping 中 主要工作就是转换 PowerCenter 提供了20 多种组件 100 多个转换函数 基本上能够满足正常的需求 另外还可以调用外部的存储过程等 此处举一个简单的例子 用来说明Mapping 设计流程 需求描述 数据源是Customer 表 字段有CUST ID CUST NAME 等 目标是 ODS CUSTOMER ACTIVE 结 构完全一样 转换的规则是将Customer CUST Name 分别加一后缀 AA 后赋给 ODS Customer CUST Name 其它数据原样加载 设计思路 从需求看 转换部分需要使用表达式组件 负责CUST Name 字符串处理 在表达式组 件中增加一新的字段 用来作为存储转换后的表达式结果 新的字段是CUST Name OUT 这 数据仓库架构设计文档 本文中的所有信息归远行科技有限公司所有 未经允许 不得外传第 51 页 个字段作为输出字段 输入字段就是CUST Name 可以