Inatica技术解决方案.doc

Inatica技技术术解决方案解决方案提交人:闫东联系电话交日期:2019-11-16版本号:1.0目目录录序言序言.11.1INATICA公司介绍.11.2INATICA公司针对各行业的解决方案及特点.32设计理念设计理念.92.1设计理念的先进性.92.2设计理念的符合性.123基本功能基本功能.143.1字段级的操作，主要包括：字段映射，映射的自动匹配，字段的拆分，多字段的混合运算，自动完成时间类型的转换.143.2记录级的操作，主要包括：去重复记录，记录间合并或计算，记录拆分等.153.3表级的操作，主要包括：代理键的生成行列变换排序统计制造样品数据.163.4数据库级的操作，主要包括：对各种码表的支持包括GBK（必需）、UNICODE（必需）、ASCII（必需）.174技术特点技术特点.214.1跨异构数据库的关联、支持关联条件的复杂程度、自定义函数的实现、过滤条件的复杂程度.214.2支持的数据类型，包括BINARAY、DATETIME、DECIMAL、DOUBLE、INTEGER、STRING、TEXT、REAL、SMALLINTEGER等.214.3抽取断点支持参数抽取的灵活程度如何抽取远程数据，抽取数据的事务处理支持，抽取的字段是否可以动态修改，对抽取的环境变量配置情况，环境变量是否可以动态修改.234.4是否支持脏读，数据的提交方式，支持各种数据库的批量装载功能包括ORACLE（必需）、INIX、DB2、SQLSERVER针对不同数据库是否具有批量加载能力包括ORACLE（必需），INIX，DB2SYBASE，TERADATA.274.5在转换过程中是否支持数据比较的功能，在设计调试时能否对每个转换环节进行数据预览，在设计调试时能否对每个转换环节进行性能监控，在转换过程中是否支持按行按列的分组聚合，能否提供直观的视图、灵活的配置以及能否自定义功能，是否提供丰富的转换函数，是否支持诸如VALIDATE、TRANSLATE、HIERARCHYFLATTERNMAP，MERGE等转换功能，ETL过程中数据转换的可追溯能力.294.6不同类型运算所耗的系统资源状况，包括常见的JOIN、LOOKUP、MAPPING、AGGREAGATION、SORT、PIVOT、FILTER等.404.7是否内置提供数据预览和数据质量评估的功能.414.8是否内置提供具有强大的元数据管理功能.454.9对于实时ETL及按需ETL的支持.515整体架构整体架构.535.1对平台的支持，支持主流的操作系统平台包括SUNSOLARIS，HP-UX（必需）IBMAIX（必需）LINUXWINDOWS（必需）等。.535.2对数据源的支持，支持常见的数据源，包括ORACLE（必需），DB2（必需）INIX（必需），SYBASE，SQLSERVER，TERADATA，SAS，TEXT（必需），EXCEL，SAPR3，PEOPLESPFT，SIEBLE，IMS，VSAMQSAMON390，用户自定义文件，FTP（必需），XML（必需），MESSAGEQUEUE，EMAIL，WEBLOG，OLEDB，其它.545.3支持数据库的种类、连接方式、配置方式及是否随产品打包，包括ORACLE（必需），DB2（必需）INIX（必需），SYBASE，SQLSERVER.565.4产品自身并行处理能力，对并行数据库的支持情况如ORACLERACOPS，系统的线性可扩展性.565.5是否支持远端的数据抽取和加载功能.595.6对错误恢复逻辑的支持，对异常情况的处理是否得当，对于出现差错的流程是否支持异常控制、错误告警以及错误流程恢复的加载.605.7对中间存储的支持.655.8产品可编程的灵活性如何，模块化的设计能力.655.9能否根据日志监测源数据的变化，是否支持增量抽取，增量抽取的处理方式，增量加载的处理方式，是否提供数据更新的时间点或周期，以便可以灵活处理.675.10对元数据的管理，主要包括：元数据存储的提取方式、元数据存储的开放性、元数据存储的可移植性、是否提供多种方式访问元数据、元数据的版本控制程度、是否支持开放的元数据标准如CWM、是否支持XML进行元数据交换、是否支持分布式的元数据访问和管理、是否生成元数据报表、是否支持ETL过程的冲突分析、是否支持基于元数据的查询功能、是否支持ETL过程的流程分析等。.685.11可以实现对所有主流关系型数据库的快速访问和对本地数据访问模式的支持(这里本地指NATIVE如OCI等)；通过利用本地数据库API高效实现ETL功能.755.12对基本处理（如SQL）的支持.765.13提供友好界面.765.14具有使用内部函数或者用户定义函数的强大转换功能.805.15是否提供强大的脚本和用户自定义函数开发和转化的功能.845.16是否提供数据校验的功能，如空值处理、流程异常处理、异常值的处理等手段.896接口与交换接口与交换.906.1支持通用接口，如ODBC、数据库本地接口等.906.2是否支持各种主流的消息中间件，可以通过消息中间件进行数据抽取和加载，例如MQSERIESJMS等926.3是否支持WEBSERVICES接口.926.4在调度时除了执行ETL规则是否可以执行其它任务如系统的可执行程序、数据库的存储过程、动态链接库中的程序、FTP命令、EMAIL任务.936.5是否调用各种外部应用，包括存储过程、各种流行语言开发的应用程序等.936.6是否支持客户化定制的转换过程，支持的编程语言种类例如C、C+、VC+、JAVA、PERL等.946.7与OLAP数据库，如HYPERIONESSBASE、ORACLEEXPRESSOLAP等的集成、与前端工具集如COGNOS、BUSINESSOBJECT、BRIO的集成.996.8是否有开放的API可将产品集成到统一界面.996.9是否支持与统计分析工具如BUSINESSOBJECTSSAS的集成等.996.10原厂商专用接口对不同数据源的支持.1007项目重点问答项目重点问答.1017.1工具是否满足无编码开发.1017.2安装调试时，对系统环境是否有额外安装要求.1027.3在不改变系统内核参数据前提下，能否顺利完成产品的安装及调试？如需改变系统内核参数，请说明。.1027.4REPOSITORY的移植性：在不改变原设计和应用的前提下，能否顺利完成跨平台、跨异构数据库和跨产品版本的移植。如需更改设计等工作，请加以说明。.1027.5REPOSITORY的开放性？是否可建立在主流RDBMS基础上，例如：ORACLE、DB2等？如果不支持，请加以说明。.1037.6详细论述性能调优及步骤.1047.7ETL部分产品，厂家的发展策略和趋势，产品延续性如何？.1138元数据管理分析元数据管理分析.1158.1元数据管理工具的架构及工作原理.1158.2元数据管理工具的功能模块描述及工作流程.1198.3元数据管理工具界面友好性如何.1238.4元数据管理工具的平台性.1258.5元数据管理工具采集接口.1258.6是否具有元数据脱机分析功能.1278.7是否具有表级和字段级的血缘分析功能.1278.8是否可在一个分析视图上，表现出跨不同工具的元数据血缘分析功能.1298.9是否有影响分析功能.1308.10是否具有WEB展现功能.1308.11元数据管理工具的REPOSITORY的开放性？是否支持主流的RDBMS？如不支持，请加以说明。1328.12元数据分析报表，可导出为哪些种类的文件类型？.1328.13元数据检索功能.1338.14元数据同步及调度功能.1338.15能否方便看到计算字段的元数据及计算公式.1358.16是否支持自定义元模型？是否支持CWM元数据标准？.1369产品供应商资质产品供应商资质.1399.1财务状况和公司规模.1399.2业界影响.1399.3成功案例.14110产品供应商市场情况产品供应商市场情况.14710.1国内客户数量及全球客户数量.14710.2市场准入.14810.3市场份额.14911实施供应商资质和实施供应商市场情况实施供应商资质和实施供应商市场情况.15112可实施能力可实施能力.15212.1软件安装、配置的简单性和灵活性.15212.2ETL性能监控与调优的能力.15212.3如何从开发环境迁移到生产环境.16112.4是否支持网格计算和负载均衡.16212.5是否支持ETL过程中的冲突分析.16412.6是否支持流程分析.16512.7是否有简体中文版本的软件.16512.8开放文档的自动生成.16613实施方法论论及咨询团队实施方法论论及咨询团队.16813.1实施方法论.16813.2咨询团队.17514售后维护售后维护.17614.1是否有本地支持，支持工程师是否充足.17614.2本地支持方式如是分公司还是代理（总代理或是什么级别的代理）.17614.3产品升级.17715运营维护运营维护.17815.1资料库的备份、恢复.17815.2是否支持SNMP管理，可与网管软件集成.18015.3是否支持基于WEB的运行管理和监控，以及元数据报告.18115.4方便的系统部署功能和良好的系统监控功能，是否支持未完成任务的监控、报告和恢复功能18415.5是否提供版本控制和管理的功能.19215.6是否支持统一以及自定义的管理平台.19215.7在调度时是否支持时间触发方式，在调度时是否支持事件触发方式.19715.8是否支持命令行执行方式.198附件、附件、INATICA公司售后服务内容介绍公司售后服务内容介绍.202序言序言1.1Inatica公司介绍公司介绍InaticaCo.Ltd1993年创立于美国并于1999年登陆纳斯达克。Inatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。Inatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点，并广泛支持来自Inatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理，提供元数据管理解决方案，帮助企业集成、优化、审核信息资产以提高运营效率，增加客户收益，取得竞争优势。作为数据整合软件产业的领导者，Inatica拥有遍布全球的客户，客户范围涵盖金融、电信、制造、政府、能源、保险、公众服务等多种行业。Inatica的客户：超过82的Fortune100客户80%的道琼斯工业指数客户全球500强企业中5个最大的的娱乐和媒体机构15个最大的电信公司中的13个31个最大的金融服务银行机构中的24个13个最大的制药公司中的12个18个最大的能源公司中的12个20个最大的制造企业中的16个20个最大的保险公司中的15个所有四兵种的美国军队(陆军、海军、海军陆战队和空军)作为数据整合方面的专家，更先进的技术和更完善的服务一直是我们追究的目标。为了给客户提供系统是全方位服务，我们拥有大量专业级的资源，来满足客户各个方面的需求。从自身来说，我们有高品质专家提供丰富的资源为客户服务；从合作伙伴来说，我们有最好的战略合作伙伴，企业的硬件提供商，第三方发展公司以及全球150多家系统整合商来帮助解决客户复杂的数据整合难题。通过这些系统服务，我们确保将客户IT投资回报率最大化，为协助客户成功做出不懈的努力。正是在这种精益求精的企业精神之下，Inatica公司作为世界一级的专业生产商在数据集成领域中做出了突出的贡献，并且为此获得业界和客户等多方面的肯定和嘉奖。2005年5月11日，Gartner，MagicQuadrantforETL1H05，Inatica公司是ETL领域的技术领导者。2005年，Inatica的主打产品之一PowerExchange5.2.1获得每周电脑报的最佳选手奖。2004年12月，在Forrester资讯公司的关于“如何评估企业ETL”的调查中，名列整合解决方案提供商的前列。2004年，设计手册回顾（DMReview）根据其读者的调查反馈，将Inatica列为数据整合方面的最好供应商。同时，Inatica作为商业智能和数据整合的解决方案提供商名列前12名。2004年，聪明企业的读者评选中，获得最好数据整合供应商的称号，同时公司的PowerCenter数据整合平台在杂志的80，000个读者的评选中成为最好的ETL工具。2004年，计算机商业评论杂志将Inatica公司评为在数据整合及数据应用软件领域的最有影响力的10家厂家之一，名列第五。2004年，加拿大核协会和英国的普天寿公司由于使用了Inatica公司的PowerCenter和PowerExchange产品，夺得设计手册回顾评选的世界级解决方案奖。2004年，DeutscheBrseGroup由于使用了Inatica公司的PowerCenter数据集成平台而获得了由TDMI颁发的最佳实时数据仓库应用奖。2004年，Inatica公司被CMP传媒评为最有影响力IT解决方案提供商之一。1.2Inatica公司针对行业的解决方案及特点公司针对行业的解决方案及特点在20世纪90年代，随着企业对业务过程处理的卓越追求和对市场需要的及时响应，出现了一系列的以“产品”为中心的业务系统。这些业务系统在一定程度上满足了当时企业发展的需要，但同时也对企业未来的发展埋下了一定的隐患。这些以“产品”为中心的业务系统，由于其业务特点的各异性，往往采用了不同的技术实现、系统和数据规范，这不仅增加了企业信息化环境的复杂性、业务信息的不对称和不一致性、业务信息的分散性和无全局性，还增加了运行和维护部门的负担，最终还分散了企业关注支持新业务需求的精力。尤其是当企业面临从“以产品为中心”到“以客户为中心”的经营模式转变时，这些隐患变更发的显现出来。无论是政府还是各个行业的企业，都已经深深的意识到了以上隐患，从全局规划角度出发的各种类型的标准化和流程化工作应运而生，并且被提到了企业发展的战略高度。在具体实现方式上，“一个平台，多个子系统”的概念逐渐深入政府、电信、金融服务和制造等各个行业，统一数据服务平台和与之相关联的资源和服务目录便是其中之一。UDS（UniversalDataServices）架构是Inatica在新的形势下提出的统一数据服务平台。它支持企业各种类型的业务系统数据的整合、交换和共享，从而形成一套准确、干净、完整的数据集合，增强对企业决策者对商业活动的敏感度，从而提升自身的竞争力。在UDS服务体系中，提供了访问、整合、质量控制、审核和监控等数据服务，具体架构如下：PowerExchange：按照需求，可以很容易地访问分离、复杂的系统，并从中得到数据PowerCenter：目前业界最佳的集成元数据管理的数据整合、交换和共享平台InaticaPowerCenter，可以从任何数据源获取数据，包括各种关系数据库，ERP应用、以及各种文件系统；同时，利用它的图形界面控制台可以容易定义任何数据的抽取、汇总和计算，整个数据集成的过程不需要进行脚本的编写；利用它的计划执行能力，可以在正确的时间调度正确的作业，来完成数据的转换；利用数据库的触发机制，可以完成实时的数据复制和增量备份等工作；实现加载流程合理化(Workflow)高性能的加载(LoadPartition)极大的减轻了日后系统的维护量。SuperGlue：审核数据血统、文档过程、冲突分析，管理数据变化PowerAnalyzer：监控：验证数据、过程报告、积极的传递洞察力借助Inatica公司产品和解决方案，通过建立统一数据交换和共享平台，行业可以获得以下收益：实现对以业务系统为数据采集点的数据整合、交换和共享；提供对历史系统数据、私有系统数据的访问，充分利用企业信息化进程积累的历史数据；降低数据冗余度、降低数据不一致性和提高数据准确性，提高作为企业战略资源的各种信息和历史数据的使用率和使用准确率；建立统一数据服务平台，支持现有和未来业务系统的数据服务；助力企业数据标准化和企业统一客户视图的建设工作，为建立以客户为中心，以服务为导向的新型服务企业提供底层信息流动支撑；助力企业实现跨地域的、跨业务系统的客户一致化服务水平，提高企业客户满意度和企业竞争能力；助力企业全局数据仓库和特定主题数据集市的建立；图形化的部署、控制和管理统一数据服务平台，简化系统变化、升级和部署的复杂度，从而更加快速的应对整合和市场变化；随着企业的发展，支持新业务系统的平滑、快速接入。1.2.1解决方案特点解决方案特点灵活开发和部署现今许多集成项目常常跨越时间和地理分区，为了有效管理本地和全球开发队伍，企业需要集成支持协作开发和部署的软件。PowerCenter提供一整套高度复用性的产品工具，用于加速开发、简化管理、降低当前的维护成本。使用PowerCenter，不同区域的开发者能够基于小组开发和调试工具，迅速并容易地响应集成需求。通过PowerCenter的Check-in和Check-out对象管理和版本控制，开发者的小组们能够同时工作在相同的项目上，提供与时间无关的部署。安全可靠的企业数据安全对于IT组织机构来说，已经成为一个最主要的关心点。通过LADP和其他目录服务器验证支持，对于安全访问、加密数据传输，详细的审计记录的角色的许可，PowerCenter提供一个安全的环境贯穿集成的全过程。PowerCenter提供最大范围的安全能力，为企业数据集成提供安全保障。无可比拟的性能和可扩展性提供无限制的可扩展性、可测量性和吞吐量，适应企业目前数据交换和共享的需要，并支持未来业务系统的平滑接入和扩展。PowerCenter提供无可比拟的性能，不管环境如何，都能应对当前和未来数据主动集成。PowerCenter的性能引擎提供：管道，分区，数据灵活的并行，有效地打破分离的集成通过异种环境进行网格计算，最大化使用现存的基础架构批处理、变化、实时数据移动有最好的适应性2设计理念设计理念2.1设计理念的先进性设计理念的先进性回答：满足。回答：满足。2.1.1产品体系结构和工作原理产品体系结构和工作原理2.1.2产品功能模块描述产品功能模块描述1个个(或多个或多个)RepositoryPowerCenter数据整合引擎是基于元数据驱动的，提供了基于元数据驱动的元数据知识库（Repository），该元数据知识库可以在主流的关系型数据库中部署。该元数据库中存储所有的ETL元数据，包括：源、目标表的物理和逻辑元数据，ETL转换规则，知识库用户权限，ETL任务运行历史信息等元数据。2个个ServerInaticaRepositoryServer：资料库Server，用来管理所有对资料库中元数据的请求和操作。InaticaServer：实际的ETL引擎5个个Client：PowerCenterDesigner：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。WorkflowManager：对Workflow，Session等ETL任务作设计，同时提供了对任务执行的调度和管理功能。WorkflowMonitor：监控Workflow和Session运行情况，生成日志和报告。RepositoryManager：元数据维护和安全操作，如：元数据查找，用户、组、权限管理等。下图是RepositoryManager的操作界面。RepositoryServerAdministratorConsole：对知识库的操作，如：知识库的创建、备份、恢复等。2.1.3PowerCenter基本工作原理基本工作原理Inatica是基于元数据驱动的，所有的元数据都保存在Repository(知识库)中，该知识库可以创建在所有主流数据库当中，充分体现了它元数据的开放性。RepositoryServer用来管理所有客户端以及InaticaServer跟Repository的交互，并且一个RepositoryServer可以管理多个Repository，而RepositoryServer可为每个Repository分配一个RepositoryAgent来处理所对有元数据操作的响应。InaticaServer是实际处理ETL任务的