ETL工具sagent介绍分析ppt课件

2006年1月 SagentDataFlow高性价比的ETL 数据整合 数据集中 数据迁移软件 今日话题 天择思特公司介绍Group1公司介绍SagentDataFlow软件架构及特点案例介绍为什么选择我们 天择思特公司介绍 电力行业软件服务商Group1公司参股 金牌代理商BI 数据整合 应用集成多年经验 Group1公司介绍 中文名称为尚群软件建于1982年 总部设在美国Maryland全球用户超过3500个全球员工有600多人2003年收入达1 19亿美金美国必能宝集团公司 PitneyBowes 旗下的子公司 PitneyBowes介绍 成立于1920年 NYSE PBI总部在Stamford Connecticut 康涅狄格州的斯坦福德 分支机构遍及120多个国家 全球员工超过33 000人公司资产近100亿美金全美500强企业正在计划收购FirstLogic公司 Group1 sGlobalCoverage Group1China 分支机构北京上海香港软件产品和服务本地化的数据整合 ETL软件 Sagent数据质量管理 数据清洁软件本地化的CCM软件 DOC1相关专业服务 获得荣誉 HOT100公司之一 UpsideMagazine 100家新兴技术公司之一 ComputerWorld CRM最佳奖 TechnologyManagementCorp 入选IntelligentEnterprise2004年 CompaniestoWatch 名单 2003DMReviewTop100公司 荣登福布斯2003年全球200家最佳公司榜 入选SoftwareMagazine500评出的全球TOP500软件公司 根据三年内的销售增长 收入增长以及投资回报被BusinessWeekonline评为100家增长最快的公司 Sagent全球用户1600多家 Sagent国内部分用户 全国25个点的数据集中 灵活报表系统 客户资料数据整理 建立数据集市 对经营数据进行分析 将业务系统的数据装载到企业级数据仓库 客服数据仓库系统建设 北京地税数据迁移 黑龙江省 内蒙建设银行数据分析系统 报表和决策支持系统 客户服务部数据链路的整合 客户帐单资料的整理 数据集中 数据整合 SagentDataFlow软件架构及特点 SagentDataFlow体系结构 元数据 Repository 存储在第三方数据库中 如Oracle Sybase SqlServer DB2 Informix mySQL由100个数据表构成存放所有ETL元素 如Plan BaseView MetaView Transform User等具有易维护 易管理 易迁移 安全性好的特点 基本视图 baseview 和元视图 metaview 处理转换单元 Transform SQL语句 VBScript C SagentPlan 由若干处理转换单元 Transform 构成在SagentDesignStudio中设计一个ETL流程的反映 设计工具 DesignStudio 数据源 BaseView MetaView Transform Plan 管理工具 Admin 调度触发工具 Automation 响应事件 时间触发事件触发异常处理 功能强大支持开发EMAIL通知 流水线技术 类似于CPU的流水线技术数据在SagentPlan中流动 多线程并行计算技术 强大的数据流技术 数据流的循环 数据流的比较 数据流的拆分 数据流的连接 联合 高级的统计分析功能 分析计算器 AnalyticalCalculator 在ETL过程中对数据进行统计无需用户编写复杂的程序 内置包括概率 随机数 序列 三角以及统计等11大类 共160多个统计分析函数 高级的数据匹配功能 ATM AdvancedMatchTransform 内置多种匹配规则 包括 Exact Fuzzy Address Phone Businessname等根据匹配规则计算出相近度 使用者根据相近度判断是否一致 强大的监控功能 队列监控监控数据管道中数据的积压情况状态监控详细记录某个处理环节每一段时间内流过的纪录数量 详细记录某个处理环节每一定量数据流过需要多长时间 数据集市建设 自动生成时间维表 并以JulianDay为维表主键 生成维表时 为非时间维表生成代理键 生成事实表时 查找相关时间字段的代理键 生成事实表时 查找相关维字段的代理键 辅助生成并填充聚集表 完备的执行调度 多种触发条件 多种任务执行 判断逻辑 字符串比较 文件夹管理 压缩和解压缩 文件的传输 远程传输 即时触发执行 提供多种触发条件和多种执行任务灵活方便的工作流 真正实现自动化 案例介绍 堪萨斯城市电力公司 CustomerProfile CustomerProblem Solution 堪萨斯城市电力公司 KansasCityPowerandLight 成立于1882年 是美国中西部最大的电力能源提供商之一为密苏里州和堪萨斯州西北部大约4600平方英里的大约50万个家庭 商业 工业和政府部门提供产品和服务 业务部门每3个月就要改变一次报表的格式 因此DW中的一部分数据的结构需要经常变换 但现有的script based的ETL软件维护不方便 每次维护的时间超过1周由于需要在ETL过程中做大数据量的数据汇总工作 随着数据量的增加 原有的ETL软件的运行效率不能满足需要 在windows平台部署了SagentETL软件 替代原有的ETL软件 Result 每3个月的例行维护时间由以前的1 2周缩短为3天每天的运行时间由以前的4个小时缩短为1个小时 Wewereobviouslyinneedofatoolthatfacilitatesdatamovementeffectively We therefore decidedtodeploySagentSolution aconceptofferedbySagentthatallowsfordatatofloweffectively Thiswastheanswerwewerelookingforwhenitcametostructuringandautomatingourprocesses HarveyBeyer BusinessSystemsAnalyst 天津电力客户服务中心 CustomerProfile CustomerProblem Solution 天津市电力公司是国有大型企业 供电总面积1 13万平方公里 到2000年 公司资产总额143亿元 年售电量186 7亿千瓦时 员工两万余人 需要一个能够将不同类型数据库的数据整合到一起的ETL软件ETL软件的运行效率必须高 加载各种数据库 尤其是Oracle的效率必须高ETL软件必须具备完整的调度功能 Sagent软件部署在一台双CPU 1 5Gx2 2G内存的Win2K服务器上整合不同数据库 包括Oracle8i 9i SQLServer2000 Sybase11 的数据对各个应用的数据进行标准化 例如线路号和变电站号在各个应用中的编码不一致的问题 Result 每天用SagentDataLoad做的数据处理工作花费大约20分钟 整体调度花费3 4个小时每天用SagentAutomation对数据备份 数据抽取转换加载以及Cognos的Cube更新等过程进行统一的调度和监控 将电网运行 设备管理 客户档案 居民户表 电量电费 系统话务 业扩报装 抢修调度等应用的数据整合到一起数据仓库数据近160G 一般情况下每日数据增量为300M 高峰时达到500M 为什么选择我们 技术领先 操作简单 便于维护完全图形化设计和管理界面可添加说明和注释 方便维护基于引擎的处理机制 无需编译即可执行数据预览和性能调优功能ETL的每个步骤都可以进行数据预览可以同时对多个步骤的执行结果进行预览可以监控管道队列的数据积压情况轻松定位数据处理瓶颈 技术领先 强大的数据流技术数据流的比较 在Comparison模块中设定比较条件 对来自同一个或不同数据库的2条数据流进行比较 并将结果分别输出到3个输出端口 数据流的迭代 SagentDataFlow提出了数据流循环迭代的概念 在Subplan模块中可以设置迭代的参数 实现对数据的循环迭代操作 技术领先 方便的星型模型数据填充自动生成时间维表 生成代理键轻松实现对维表的查找强大的执行调度 提供可扩展模块 统计分析功能内置包括概率 随机数 序列 三角以及统计等11大类 共160多个统计分析函数高级数据匹配功能内置多种匹配规则 包括 Exact Fuzzy Address Phone Businessname等根据匹配规则计算出相近度 使用者根据相近度判断是否一致 技术支持实力 天择思特多年行业经验合作开发 提供专业数据整合服务精通电力业务项目实施