Sybase IQETL 简介

1、Sybase Confidential Proprietary. Sybase ETL高性能简单易用 数据迁移工具数据迁移工具Sybase Confidential Proprietary. DI Suite ETL在在Sybase BI技术框架中的定位技术框架中的定位MainframeTradingOrder ProcessingProvisioningInventoryFinancialsMetaData Management / Modeling / DevelopmentData SourcesAnalytics ServerFlat filesIBM DB2MicrosoftSQL

2、ServerOracleSybase ASESybase IQ Extended Enterprise EditionWith Sybase IQ ETLData IntegrationBI ToolsReplicationData FederationReal-time EventsETLTarget Environments:vReport ServervDW AccelerationvReg. CompliancevData AggregatorsvOperational DIvMaster Data MgmntXMLIBM DB2MicrosoftOracleSybase ASESyb

3、ase IQOtherSybase Confidential Proprietary. Sybase ETL 基本架构基本架构仿真引擎仿真引擎调度管理器(时序设计)ETL 开发界面 (流程设计器)ETL服务资料库Sybase Confidential Proprietary. ProcessDesigner(流程流程设计器设计器)转换流程设计及模拟RuntimeManager(运行管理运行管理器器)时序计划及运行监控Engine(转换引擎转换引擎)高性能ETL引擎，支持网格结构Repository(资料库资料库)转换规则及作业计划的元数据存储Connectors(连接器连接器)完善的完善的源和

4、目标读写能力Global Object Store / Project Manager(项目项目管理管理)生命周期管理Sybase ETL 体系结构体系结构Sybase Confidential Proprietary. Process Designer: 功能强大的流程设计器功能强大的流程设计器 关注于数据转换的处理逻辑 通过唯一模拟环境以确保数据质量 快速的开发过程 直观的可重用的数据转换处理 直观的易驱动的用户界面面向对象的设计使数据转换开发过程与构建并模拟运行一样容易 在线仿真通过初期对数据源或转换规则的错误检测，大量节省成本与时间，ProcessDesignerSybase Conf

5、idential Proprietary. Repository: 转换流程的转换流程的“大脑大脑” 透明清晰的数据转换过程 高效的project处理逻辑 文档自动化 通过对多资料库及多用户的支持，保证了团队开发生产的安全性， 用户及文档管理的自动化对于数据访问、用户及转换过程都是基于project级别 过程控制清晰基于XML的过程描述 系统优化集成了对数据转换过程的性能分析Sybase Confidential Proprietary. ETL Server: 高效灵活的运行管理高效灵活的运行管理 平台的非依赖性 通过多个引擎的运行实现可扩展性 GRID架构的支持 可扩展的性能 内部或外部的

6、并发架构扩展 性能监控 集成的性能瓶颈检测Sybase Confidential Proprietary. Sybase ETL Development12345 Design Section Navigator Section Component Store Properties Section AssistantPRODUCT DETAILSSybase Confidential Proprietary. ProjectsProjects. Sybase ETL 环境中的工作单元 由组件components与连线links构成 组件components之间通过端口ports连接 可以按单步

7、模式进行仿真运行Sybase Confidential Proprietary. Jobs由由projects及专门的及专门的job组件构成组件构成.Jobs不能被仿真，只能实际运行不能被仿真，只能实际运行.Jobs可直接运行，也可通过自动处理的方式运行可直接运行，也可通过自动处理的方式运行.在在jobs可进行预处理或后处理过程可进行预处理或后处理过程.JobsSybase Confidential Proprietary. Source ComponentsSource components deliver data for a transformation stream. DB Data

8、Provider Full Load 从可通过 ODBC 连接或本地驱动程序（DB2、Oracle、Sybase）访问的任何数据源或通过 OLEDB 从 Microsoft SQL Server 中提取数据。 DB Data Provider Index Load -执行增量数据装载。增量装载是由包含升序值的升序索引属性控制的Text Data Provider 读取结构化数据，并将其从文本文件转换为表.XML via SQL Data -将层次结构 XML 数据装载到关系模式中.Sybase Confidential Proprietary. Transform ComponentsChar

9、acter Mapper替换输入记录中的字符和字符串。Character Mapper 可向所有选定属性应用替换映射.Data Calculator JavaScript 对在输入端口与输出端口之间传递到该组件的每条记录执行转换Sybase Confidential Proprietary. Lookup Components Lookup 基于生成转换过程中提供的数据查询 DB Lookup 查找数据库中的值。查找数据由正好返回两列的查询的结果集来指定 ：查找键和查找值. DB Lookup Dynamic -通过在查询 WHERE 子句中引用键值，执行动态查找。“DB Lookup Dyn

10、amic”不对查找信息进行高速缓存，它针对通过组件的每个记录执行一次 SQL 查找.Sybase Confidential Proprietary. Staging Components The DB Staging将传入数据流装载到单个暂存区域中。DB Staging可为所有传入数据提供缓冲，然后创建表示给定select 语句结果集的传出数据流Sybase Confidential Proprietary. Processing Components 对在输入端口与输出端口之间传递到该组件的每条记录执行转换。Javascript is used to set up a procedure w

11、hile transforming the data.Sybase Confidential Proprietary. Javascript Editor and Debugger 颜色编码的可读性更好的语法. 观察表控制变量和属性赋值时运行的代码. 多用户自定义断点停止在任何位置执行代码行. 步模式逐行执行代码行. 单步过程调试. JavaScript表达式环境.Sybase Confidential Proprietary. Destination ComponentsDB Data Sink Insert 将来自组件输入端口的记录添加到数据库表。可以排除属性或赋予缺省值以确定插入表中的记

12、录. DB Data Sink Update 更新或覆盖与所选键匹配的所有记录。此组件不会插入新记录. DB Data Sink Delete 从目标表删除与所选键的传入值匹配的记录。DB Bulk Load Sybase IQ DB Bulk Load Sybase IQ 对 Sybase IQ 表执行批量操作，使用“load table”.Text Data Sink -以分隔格式或固定长度格式将转换结果写入文本文件Sybase Confidential Proprietary. ETL 4.8 Characteristics 综合调度支持WindowsETL 4.9 Characteri

13、stics Sybase ETL支持在所有的平台上调度支持在所有的平台上调度 jobs 和和 projects. 支持长期任务调度支持长期任务调度. 支持本地或远程节点任务调度支持本地或远程节点任务调度. ETL调度管理界面 创建，编辑和删除计划的任务. 基于web的调度功能 执行和终止调度作业执行和终止调度作业UNIX SCHEDULINGSybase Confidential Proprietary. ETL 4.8 Characteristics Alerting not available.ETL 4.9 Characteristics 电子邮件的警报多种工作和项目活动类型电子邮件的警

14、报多种工作和项目活动类型. 项目项目/工作开始，项目工作开始，项目/工作完成，项目工作完成，项目/工作错误工作错误 预警信息包括时间戳，错误信息，行转换等预警信息包括时间戳，错误信息，行转换等. ETL开发警报界面开发警报界面 创建，编辑和删除警报创建，编辑和删除警报. 警报与项目、工作管理警报与项目、工作管理. 警报监视器，显示警报的历史警报监视器，显示警报的历史. 基于基于Web的用户界面警报的用户界面警报 显示历史警报显示历史警报.ALERTINGSybase Confidential Proprietary. ETL 4.8 Characteristics 基于行的并行处理基于行的并行

15、处理.ETL 4.9 Characteristics 支持支持IQ的批量加载功能的批量加载功能. Ability to define and execute multiple SQL commands against staging tables staging component. 性能改进高达约性能改进高达约30倍倍.FASTER STAGING COMPONENTSybase Confidential Proprietary. ETL 4.8 Characteristics Row-based sink operations.ETL 4.9 Characteristics 插入，更新和删

16、除的智商使用智商批量加载功能. Performance improvements up to approximately 100 x.FASTER DB SINK COMPONENTSSybase Confidential Proprietary. ETL 4.8 Characteristics Same as ETL 4.9 functionalityETL 4.9 Characteristics 提供优化的文本组件. 性能改进高达约7倍.FASTER TEXT COMPONENTSSybase Confidential Proprietary. ETL 4.8 Characteristic

17、s 支持通过增量索引方式增量加载数据ETL 4.9 Characteristics 新的新的rep 组件组件 通过通过rep捕捉源数据库的数据变化捕捉源数据库的数据变化 捕获插入，删除，更新操作捕获插入，删除，更新操作 支持捕获的变化数据在支持捕获的变化数据在rep组件中缓存，再执行批量加载任务组件中缓存，再执行批量加载任务加载至加载至IQ服务器服务器 Perform transformations on data using full ETL transformational components Support more Incremental Load use casesINCREMEN

18、TAL LOAD USING REP SERVERSybase Confidential Proprietary. On ETL 4.8, 只有索引增量加载，实行增量加载数据只有索引增量加载，实行增量加载数据.Function Overview 通过增量索引值变化捕捉数据变化，加载数据 Limitations 不能跟踪删除操作 不能区分插入操作和更新操作 必须改变源表的结构添加索引列INCREMENTAL LOAD Using REP SERVERSybase Confidential Proprietary. Function Overview Rep Server 自动捕捉源数据变化. 新

19、组件“CDC Provider Sybase Rep Server” 接收来自服务器的数据代表处周期性变化. 根据需求，转变捕获的数据，并直接加载到IQ.Strengths 支持捕获各种数据操作：删除，插入和更新. 无需更改源表的架构 源数据库的性能不会受到影响INCREMENTAL LOAD Using REP SERVERSybase Confidential Proprietary. Sybase ETL ETL (extract, transform and load) Sybase Confidential Proprietary. PlatformVersionIBM AIX 5.

20、3 pSeries 64-bitRed Hat Enterprise Linux 4.0 x86 32-bit Advanced Server and Workstation Editions 4.0 64-bit 5.0 32-bit, 64-bitSuSE Linux Enterprise Server 9 SP2 32-bit, 64-bit 10 32-bit, 64-bitSun Solaris 9 (SPARC) 64-bit 10 (SPARC) 64-bitMicrosoft WindowsWindows 2003 32-bit and 64-bit Windows 2003

21、Standard and Enterprise editionsWindows XP Professional Service Pack 2 32-bit and 64-bitWindows Vista 32-bit and 64-bit Windows Vista Business, Business N, and Enterprise editionsAppendix Supported PlatformsNote: Remaining platforms (Linux P-Series, Solaris x64, HP Itanium) will be available in Dec., 2008Syb