DI产品-4-白皮书.docx

1、PrimetonDI高性能、易管控的数据集成平台PrimetonDW产品白皮书432异步数据处理模型异步ETL流程的架构，需要在数据源与目标数据库两个端点部署两个DI引擎，搭建一个集群环境。数据源端的DI引擎负责从数据源中抽取数据，然后写到文本文件中；目标数据库端的DI引擎根据文本文件的内容，将数据加载到目标数据库中。中间通过网络互联，目前PrimetonDC支持FTP、JMS、P2P、Socket等多种传输方式。4.3.3两种体系架构的比较类别异步数据处理同步数据处理性能比同步模式提供了更好的数据处理性能，因为在网络传输过程中，通过FTP、P2P这种传输方式要比直接通过数据库链接要快很多。要

2、避免出现性能瓶颈的解决方法是尽量缩小数据抽取的时间粒度，比如将抽取周期定位每日抽取，这样可以保证每次抽取的增量数据是相对较少的，这样可以降低ETL处理的压力。灵活性数据处理包括两个步骤：1、将数据库中的数据导出到中间过渡的文本。2、装载数据文件。导出的处理过程比较灵活，可以从源表中导出，也可以从相关视图中导出，甚至也可以先将源表输出到前置机然后再导出到文本文件。在数据处理过程中一次性的完成数据导出和装载的工作，这样简化了设计和测试的过程，但是从另一方面也降低了灵活性。适应性通过中间的过渡文件进行数据交换，数据源和目标数据仓库之间没有直接的联系，所以只要文本文件的数据结构不发生变化，源和目标的数

3、据结构即使改变也不会对ETL流程产生很大的影响。在数据处理过程中，数据源和目标数据仓库的字段关系被绑定到具体的映射(Mapping)中，当源或者目标的数据结构发生变化，相对应的映射关系也要做出修改。开发效率在异步ETL处理模式中，因为数据源和目标数据仓库的数据接口是分开的，所以只要定义好中间的文本文件数据接口就可以将开发任务独立成两个模块，分别完成源数据抽取与目标数据仓库装载的开发工作，各自模块完成之后再将其装配，这样要求ETL开发人员不仅需要全面了解源数据的体系结构，而且对目标数据仓库的数据结构也要非常熟悉，这对开发人员自身的素质有很高的要求。类别异步数据处理同步数据处理可以大大提局开发效率

4、。数据类型支持如果数据源中包含图形数据，需要将其导出成字节流(ByteStream,ASCIIORUnicode)并与入文本文件中，实现起来有一定的难度。从源到目标可以直接映射，不需要使用ASCII或Unicode作为中间过渡。4.3.4两种体系架构所适应的环境条件异步ETL同步ETL数据传输大数据量小数据量网络连接广域网局域网源系统和目标数据仓阵在物理架构上是否属于不同的分布式环境是不是4.4业务模型调度全面性调度 全面的、专业的调度管理，有效提高了数据管理水平。 提供日历方案+频度方案+作业+消息配置等按需的任务调度，有利于提高了开发效率，减少了开发成本。灵活的调度机制支持事件机制和定时机

5、制的调度方式。 支持灵活的、多角度的作业调度管理，包括事件、文件到达和计划调度以及手工触发。日历配置如下图所示：首页作业管理mW监控管理变源监控系统02置Govern.,Job自动化组织管理权眼管理授权认证其他'您的当前位置：调度管理簌知日历名称，工作日日历别名觎计划任务配置如下图所示:PnmotonToctnologtofLidDIGovernor欢迎矽“drdn'J帮助0Xhy=Mim）登录系统首页作业宜理调度管理美源监控系按欢GovernorJ。、自动化租织管理丧职管理投四认注其他管理>您的当前位置：调度管理计加管理。计划任务。计划任务I新建计划名郴日历迭择作业I作

6、业茨消息滋活晌运行时鼬“曰田，作业DI作业作业1作业YIP调度服<2作业JOBI作业1作业中调瞄<2作业J0B6作业1作业中调度服<2作收复杂作业作业1作业中<2作业同步作业1作业中调度阪<2送择看空0000（计划枝国间刑&加入君行欧殂时间格式HMIW）至2359（计划在岫间内自动运行，时间格式HMVM）rr；*1-*田）灵活配置，可维护性强 定制简单化，仅需简单的鼠标点击拖拉即可完成任务调度。 调度活动痕迹化，为管理风险做到可控化。 灵活的消息机制，把各种消息自动分发给用户（例:将作业的执行状态通知给管理员等）。 平台组件化，耦合度低，接口简单，易开发。

7、 平台三层架构，结构清晰，具有良好的稳定性和容错性。 采用了先进的JavaEE技术架构，平台具有很强的跨平台性和良好的可移植性。 可配置的代理负载加权算法，可以在执行作业时支持多机集群，根据负载情况合理分担作业执行的服务器，从而能承载大规模数据的高负荷运行。调度平台的逻辑架构如下图所示:r、系统管理系统管理作业自动化A监控和管理控制台监控和管理控制台作瞄控作瞄控作业预作业触发监房口作业触发监房口调度引擎ETL作业作业封装调度代理作业执行作业日志作业计划资源管理器监控和管理控制台管理控制台是用户设计调度作业、进行调度监控和资源监控的控制界面，有两种用户角色：管理员和操作员，管理员具备平台所有的操

8、作权限，操作员只能监视系统运行状态,以及作业异常时允许有限的管理功能。调度引擎调度引擎是PrimetonDI调度的核心组件，它接收作业触发监控接口的作业输入，然后检查作业的依赖关系，通过资源管理器的资源分配将作业分发到调度代理执行作业。作业触发监控接口是调度引擎的输入组件，它以控制文件的方式对外提供服务，接收器定时扫描接收目录中的控制文件，并且扫描间隔可以定制。作业流执行策略作业流定义了一组具有相互依赖关系的作业。作业流执行策略定义了作业失败后的执行策略，包括忽略、作业失败后的重试策略（失败后从断点执行还是重头执行，失败重试间隔，失败重试次数）和是否检查上次状态（如果检查，失败后不能自动运行，

9、需要干预后重置状态）。作业流分支在构成一个作业流的诸多作业中，可以对每一个作业依据参数、作业执行状态、作业返回码等要素进行控制，从而实现对作业流更精准和复杂的控制，满足实际项目多种运用场景的需要。作业流嵌套作业流可以引用作业流实现作业流的依赖要。 作业/流优先级选项/VIP通道在事件、计划调度和直接运行作业时可指定作业或作业流的优先级，并按优先级运行。 支持作业（流）复杂依赖关系定义作业之间的依赖关系，根据依赖关系，控制作业流中定义的作业执行。作业（流）前置配置：作业流能够定义前置（一个或多个作业流，并且由前置作业流执行状态来控制该作业流是否执行）O作业（流）后置配置：根据作业（流）的执行状态

10、、返回值、作业参数等来决定后置作业（流）是否执行。 灵活的自动翻牌翻牌策略定义：支持单个作业（流）自动翻牌V单个作业（流）维护自己的翻牌日期、支持按组自动翻牌。翻牌触发方式：按计划调度运行翻牌、手动翻牌、事件触发翻牌。翻牌规则：支持自定义翻牌频度、自定义翻牌日历。 调度代理调度代理接收调度引擎的执行命令，管理作业从启动到完成，完成后存储作业日志，返回作业执行结果到调度引擎。 资源管理器资源管理器是作业进行资源分配的管理组件,作业在分发到调度代理前需要查询资源管理器目前的资源状态，判断是否有合适的服务器执行作业，另外资源管理器还负责实时采集服务器资源状态，为控制台监控资源提供信息。 通知和报警可

11、以在作业流上设置作业流执行状态通知和报警，在执行成功和失败后，系统告警，并将异常明细通过Email发给相关运维人员。4.5作业监控全局性监控 全局的作业运行监控服务，有效提高数据管理水平。 灵活的作业状态日志查询，支持作业批次的。详细日志的查询，全局查看作业文件日志或执行脚本。 简单灵活的作业流水分析与监控，快速定位问题。可视化监控支持可视化的多角度作业运行监控，包括总览全局的总体监控和明细型的计划监控以及事件监控。 支持可视化服务器状态监控，及时了服务器的运行状况（启动/异常等）。 支持资源预警，提供图形化方式实时跟踪服务器CPU、内存、磁盘空间等状态变化，设置服务器资源阀值，实时告警通知。

12、扩展性强支持分布式集群，实现负载均衡，具有良好的稳定性。 二次开发接口丰富，扩展灵活。 灵活的任务封装机制，灵活扩展作业类型。监控管理界面如下图所示：真膛厦，蛔响：心理蜃岫恤雌一谩政一谩政EHK3E3懈妹如加页首页顼下页电5恤辟勰开邮统邮酬长J0MQ2013-05-252013*10-1601:06:122013-10-160106:!2网moJOBS02013*25201*160106122013-10-1601:06:12网nanomoJ0K枷B2013-05-252013-10-1601:0612201J-10-160106:123E001miBtJM22013-05-252013-10

13、-1601:05:1!20I3-10-160106:11网邮舰质幻口。J053mQ2013-O5-252013-10-1$01:06:11201H0-160106:12缺od咐漕urn淙JOB!e2013-05-252013-10-160106102013-10-160106:11缺0湖1秒又件购件nmie2013-05-252013-10-1523:3625201J-10-15233626歧0d畅秒祯口。1吩I硼行DIM02013-05-252013-10-1523:33562013-10-15233357网附"期和t新勋页额15I下页题作业执行日志:作业®!系螂Gver

14、orJ自旃化侧当编位置：齿枝雷理警体监技作止澄9修;£疙E也8名松耐也8n揖日尊201X5-25E也8名松耐也8n揖日尊201X5-25作业/作北采名悴裁岫JI姑初同J0M作业201XS-252015-10-1601061202013-10-160106120JDB520!3»-252013-10-1601061202013-10-160106120J0B62013-05-25201>10-!60105120201>10-160106120JQB2恤2013-05-25201>l(hl601OS1102013-10-160106II0J0B32013-05

15、-252013-10-1601061102013-10-160106:120gl'W吩JOB!恤2013-05-252013-10-16010610.02013-10-160!06110时=_tM451对资源的重点监控定义监控资源 可以定义服务器监控资源，包括管理服务器、调度服务器、代理服务器。 可以对上述定义的资源选择是否监控，其中可以对作业服务器选择是否参与负载均衡。阀值设置 定义高位警戒线和低位警戒线 定义监控数据采集频度 定义代理状态采集频度 定义负载均衡加权值算法资源监控Web的、图形化的监控界面监控服务器资源情况包括物理内存使用情况、硬盘使用情况、连接状态、服务器工作状态（

16、在线or离线）等。以下是资源监控界面:侵松认还其他管III作业管理作业1恤浬BttlXlkI调度管理时瞄鼬好AS盗做盗>f«K8I用澹理计蜘事咬作皿哄吐5±««?»作业戏行日志auusv伟11魅时报警伟ns体蚩技作化换行日志作11跪晓技I资源盐控新勘祯航资站I系细僵鼓癫作业就毒飓船春调瓣砧协件船2S砒酢曲志导入睥1作业(浚)统计 r« *#:te按作北黄型百页作业管理您&挡前fcS：奏源监控>蜘雁潢61_238网192168.30.2：国匚园37资源使用统计粗蛆管理&

17、;国官理艮汉认证其他管理memorydtikcpu麦源监控调度管理制诡理系堀K贵Job自动化(!,PwwionTfttrdoQlMIMaDiGovernor4.6企业级的负载均衡(HA)能力DIGovernor系统采用三层架构，管理平台、调度服务器、代理可以根据客户的负载集中部署，也可以分来部署。系统对三层架构都提供了高可用方案。 管理平台通过应用服务器的负载均衡来达到更高的并发数。 支持多个调度服务器的分布式调度，以分担负载。 代理HA和负载均衡支持；系统可以检测代理是否活动，当机的代理不再执行作业，系统通过资源检测，自动寻找资源最优的代理进行作业的执行。另外，代理提供作业并行度，用于控制最

18、大同时运行作业数量，防止资源耗尽。4.7功能和资源权限管理DIGovernor提供企业级的权限管理机制。围绕登录用户的信息及权限提供一整套管理机制,由系统管理员进行统一管理。用户管理是控制用户功能权限、数据访问权限、资源访问权限的基础。支持按用户、角色进行权限管理。DIGovernor对系统提供的所有资源提供记录级的权限管理。可管理资源包括：数据源、ETL服务器、代理服务器、调度服务器、作业目录、作业、作业参数、作业流、计划任务、频度、日历、事件、公共组件、映射和公共监控。5PrimetonDP1产品的特点和优势1. 完全图形化设计，基于元数据驱动，直观可控。企业在实施数据集成项目时往往面临大

19、批量的异构数据，原始通过手工编写代码或者采用数据库存储过程的方式通常也可实现简单的数据集成功能，但随着项目实施范围不断扩大，项目面临不可控。PrimetonDH提供了基于SWT的数据变换和模型设计工具，开发人员只需在图形化环境中通过拖拽方式就可以描述复杂的数据变换和任务流程，不需要进行任何编码，业务人员也可非常容易的了解数据的流向。系统提供超过40个数据处理组件，应对各种复杂处理。同时引擎基于元数据驱动，可以对一系列的数据交互流程进行统一管理，对技术层面和业务层面的元数据进行存储，支撑了决策支持系统、数据治理等业务的实施。2. 灵活的调度配置。调度及相关配置简单、灵活、易用；支持灵活的、多角度

20、的模型作业调度机制，包括事件、数据库就绪、文件到达和计划调度以及手工触发。PrimetonDH不但可以调度自身的数据集成引擎，更可以调度第三方ETLX具，如：DataStage和PowerCenter。3. 多角度的运行监控。监控平台提供了总揽全局的总体监控和明细型的计划监控以及事件监控;可视化的多维度作业运行监控，使得极佳的易用性获得最大限度推广；提供调度环境多个DI引擎的资源监控，包括CPU占用、内存使用、磁盘空间等信息。4. 完善的资源监控体系。数据集成平台有完善的资源监控功能，可以对管理服务器、调度服务器、代理服务器以及物理机器的CPU、内存等资源进行全面的监控和管理，另外也通过配置监

21、控服务器的连接状态等，通过对这一系列资源的监控，可以保证在第一时间发现系统存在的问题,并且及时排除，保证系统的正常运行。系统采取web的监控界面，包括对作业和资源的监控，监控界面展现内容直观、信息丰富，最大程度的方便了产品的使用者。5. 多种作业流处理体系o目录1 PrimetonDm产品定位描述4PrimetonD/m产品概述52 PrimetonDm产品客户价值6PrimetonDm产品关键特性72.1 数据集成平台部署结构72.2 增量数据抽取模式72.3 两种数据处理模型（同步、异步）9同步数据处理模型92.3.1 异步数据处理模型10两种体系架构的比较102.3.2 两种体系架构所适

22、应的环境112.4 业务模型调度112.5 作业监控14对资源的重点监控162.6 企业级的负载均衡（HA）能力172.7 功能和资源权限管理17PrimetonDm产品的特点和优势193 PrimetonD/m产品组成及功能概述223.1 DIServer223.2 DIComponentLibrary233.3 DIStudio243.4 DIGovernor253.5 DIMetadataWarehouse25PrimetonDm产品环境配置263.6 支持的操作系统26PrimetonDIStudio（数据集成建模工具）支持的操作系统26 作业流分支实现对作业流更精准的控制。在构成一个

23、作业流的诸多作业中，可以对每一个作业依据参数、作业执行状态、作业返回码等要素进行控制，从而实现对作业流更精准和复杂的控制，满足实际项目多种运用场景的需要。 作业流嵌套。作业流可以引用作业流实现作业流的依赖要。 作业/流优先级选项/VIP通道。在事件、计划调度和直接运行作业时可指定作业或作业流的优先级，并按优先级运行。6. Job自动化。支持Oracle.DB2、SQLServer等主流数据库；能自动生成ETLJob、存储过程以及DI数据处理模型，提高开发效率，规范开发过程。7. 企业级性能和高扩展性。数据处理的性能往往是数据集成项目关注的重点，性能是保证数据中心数据实时性的关键。Primeto

24、nD|TM具有强大的数据转换效率，在大负荷的任务执行中仍然有良好的性能，并行执行能力使其所能处理数据的速度可以得到趋近于线性的扩展，轻松处理大量数据。与此同时基于数据流的数据处理模型更能最大程度的发挥各个DI处理单元的处理能力。提供集群服务，可以把负载分布到多个业务模型引擎和任务调度引擎上，大规模并行处理使其能够适应大规模企业级应用，具有很高的扩展性。8. 可配置的均衡负载机制。一个数据处理模型在一组引擎上运行的时候，可以通过配置实现模型的均衡负载运行,最大化的发挥DI引擎的处理能力，以及协调集群的处理能力，提高数据处理的吞吐率。9. 开放的架构，易于使用的二次开发接口。提供了简单易用的二次开

25、发接口，用户可以很容易的定制开发各种数据转换和任务组件，并能在应用中实现对Primeton的调用执行。同时提供JavaScript的集成能力,通过JavaScript图元方便用户嵌入任意的JS数据处理脚本。10. 可视化调试和性能监控。PrimetonD|TM提供了图形化的调试和监控工具，可以直观显示任务的执行，可以实时检测系统在各环节的数据处理性能，并以曲线图的方式显示。11. 全面的变化数据捕获和数据抽取策略。如何捕获增量数据往往是实施数据集成项目非常重要的问题，PrimetonD|TM提供了基于时戳、基于触发器、全文比对等各种方式的变化数据捕获机制，提供批量抽取、实时抽取、定时抽取等各种

26、数据抽取执行策略。12. 跨平台和丰富的数据源支持。平台采用Java开发,可以运行在SUNSolaris、HP-UX.IBMAIX、AS/400、OS/390、ScoUNIX>Linux>Windows等各种操作系统；支持Oracle>Sybase>SQLServer、DB2、Informix、OleDB>Text>Excel>XML>CSV>Access>Foxbase>FoxPro>Dbase>Interbase等各种数据源。6PrimetonDpM产品组成及功能概述PrimetonDITM由以下五部分产品组件组

27、成：DIServer（数据集成引擎）、DIComponentLibrary（数据集成组件库）、DIStudio（数据集成建模工具）、DIGovernor（数据集成模型治理）、DIMetadataWarehouse（元数据仓库）。数据集成平台PrimetonDIStudioPrimetonDIGovernor同设计工具J性能监控工具J|模型监控gaJ城调度管理|竺部署管理）|MetadataWarehouseMetadataWarehouse调度设计工具调试工具m作业自动化事系统管理j作业管理PrimetonDIComponentLibrary定时服务逻辑判断全量抽取j选择性装载数据拆分J批量装

28、载通知服务文件验证增量抽取JavaScript数据排序数据映射邮件服务文件比较文本抽取数据合并J数据分类J数据过滤FTP服务ISQL执行6.1DIServerDIServer（数据集成引擎）基于JAVA构建，是PrimetonDITM的核心，负责解析数据集成模型定义、处理Governor请求、处理引擎自身的模型调度等。数据集成引擎可以满足大规模数据的并发处理，完成企业级的数据交换场景。数据集成引擎基于数据流的数据结构处理，在大规模、复杂的数据处理场景中依然具有非常高的性能以及稳定性，适用于电子政务、电信、银行、制造等行业。6-2DIComponentLibraryDIComponentLibr

29、ary（数据集成组件库）包括了一组与数据集成相关的服务构建，通过这些丰富的组件，开发人员可以在集成开发环境下基于可视化的组件图元快速开发出高效的数据处理模型。DI组件库包含了数据抽取组件集、数据装载组件集、数据转换组件集以及用来传输二进制数据的数据传输组件集。数据抽取组件数据的数据传输组件集。数据抽取组件数据转换组件数据装载组件生成记录XML输入拆分字段学段迭择Excd输出数据库查洵渤瞬里值映射增加序列Access艇文本文件输出耕入Excd输入获取文件名称排序记录过虑记录去除重复记录寸记录XML输出Access输X文本文件输入合并记录JavaScript执行SQ成睦跖更新册院数据抽取与装载组件

30、集包含了一组对不同数据源、关系型数据的数据抽取组件，支持XML、Excel等半结构化数据、支持CSV、TXT等非结构化数据、支持Oracle>MSSQLServer.MySQL、DB2、Sybase>Informix等关系型数据库、支持ArcGIS空间数据库、支持Cassandra>Hadoop、HBase等非关系型数据库。数据转换组件集包含了一组对数据进行转换、过滤、清洗、合并的组件，以实现对复杂、凌乱数据的业务处理。借助DI数据转换组件库，可以实现： 对数据按照某一标识进行拆分。 根据字段值的不同进行数据映射。 对一份数据按照不同类型进行分组。 针对源数据库与目标数据库的

31、字段名称不同进行映射。 将两份数据合并成一份。 将一份数据按照某一列的值进行排序。 指定一个逻辑条件进行数据的过滤。 对数据中牵扯到的数值信息进行数学计算。对两份进行进行全文比对，找出其中的异同。对无法满足的需求可借助JavaScript功能自定义处理方式。6.3DIStudioDIStudio（数据集成建模工具）是基于SWT技术开发的可视化流程设计器，提供可视化数据模型定义与调试、可视化的模型性能监控、元数据管理以及数据处理模型部署等功能。DIStudio的集成开发环境的功能特性包括:可视化数据模型定义用拖拉方式画出数据交换模型。支持多种处理处理模式（同步、异步）。支持多种增量数据抽取方式。

32、无需编写代码即可调试数据处理模型。支持全局变量、本地变量配置。支持快速查看源数据。可视化的模型性能监控根据数据交换模型配置，运行时通过Studio界面可实时监控数据输入、输出10性能,更可以监控交换模型中每一个组件的数据处理性能,跟性能优化工作提供必要的数据支撑。元数据管理开发人员可通过DIStudio可对DI底层元数据仓库进行资源查看、检索、更新等操作,通过元数据库仓库可实现团队模型管理、版本控制等。 数据处理模型部署通过DIStudio可将开发好的数据处理模型部署到DIServer,并通过DIGovernor对其进行管理调度、优化治理。6.4DIGovernorDIGovernor（数据集

33、成模型治理）是PrimetonDI提供的系统管理监控与任务调度工具,系统管理员可以通过它对数据处理模型以及数据处理引擎进行配置和管理。DIGovernor与PrimetonD|tm其他部件结合想结合是企业快速构建数据中心、实现数据交换的理想平台，在实施过程中可以对开发过程实现规范化、调度管理统一化、监控可视化等。同时也可以与第三方处理处理引擎实现互补，增强其统一调度、全局监控等功能。DIGovernor的功能特性包括： 数据集成模型全生命周期管理与任务调度、监控。 实现数据处理作业自动化。 DIServer资源监控与负载均衡。 数据集成平台资源与权限管理。 提供二次开发API,与第三方系统集成

34、。6.5DIMetadataWarehouseDIServer基于元数据驱动，DIMetadataWarehous（元数据仓库）用于保存通过数据集成建模工具构建的数据处理模型，支持0racle、DB2、Syabase.MySQL、MSSQLServer等多种关系数据库，同时可以基于文件形式进行模型存储。DIServer通过解析元数据仓库中对模型的定义数据实例化数据处理模型。7PrimetonDP1产品环境配置1!7.1支持的操作系统PrimetonDIStudio（数据集成建模工具）支持的操作系统Windows2003/XP。7.1.1 PrimetonDIServer（数据集成引擎）支持的操

35、作系统Windows2003/XP RedHatEnterpriseLinuxAdvancedServer2.0及以上AIX5.3+ HPUNIX11+Solaris8+7.1.2 PrimetonDIGovernor（数据集成治理环境）支持的操作系统Windows2003/XP RedHatEnterpriseLinuxAdvancedServer2.0及以上AIX5.3+ HPUNIX11+Solaris8+7.2支持的JavaEE服务器Tomcat5.5.20 JBoss4.0.5GAWebLogic/WebLogicCluster9.2.3/10.0/10.3 WebSphere/We

36、bsphereND57.3支持的数据库Oracle9i/1Og+ DB2UDB_V8.2+Informix9.4+ Sybase12.5+SqIServer2000+ MySQL5.0+7.4支持的浏览器 IE6Z7/8/9Firefox27.5支持的JDK版本7.5.1开发环境支持的JDKSUNJDK1.5/1.6o7.5.2运行环境支持的JDKSUNJDK1.5/1.6o8典型案例8.1诸暨市智慧安居工程数据交换平台建设8.1.1客户简介诸暨市智慧安居工程以科学发展观为指导，整合各方资源，广泛应用物联网和云计算技术,创新发展“枫桥经验”，创新公共安全防范和服务手段，建立和完善

37、智慧型的工作体系，精准掌控公共安全状态，提高信息化应用和公共安全管理、服务水平，实现安民、保民、便民、利民，为大城市建设和率先基本实现现代化营造和谐稳定的社会环境。为了更好实现上述目的，需要建设一个统一的智慧安居系统平台，实现安居统一服务，并通过整合分系统建设中的信息以及接口以实现数据信息深层利用。特此提出软件对接标准要求规范，所有一期建设所含分系统需要在此规范下开放数据以及调用接口，统一用户使用接口。8.1.2背景与问题智慧安居工程建设始于2011年，以信息化应用为主要载体，包括信息指挥服务中心、智慧防控体系、智慧服务体系、智慧应急体系等16项内容。本阶段以建设国家级示范工程为目标，联合开展

38、“智慧安居”工程试点建设，力争在枫桥经验50周年到来之前完成“智慧安居”工程试点建设，为进一步提升诸暨市城市管理水平和产业升级提供一个强有力的平台。现阶段信息交换、资源共享和业务系统成为发展的关键。目前系统缺少统一规划，各自为政、重复建设，对用资源共享与交换缺少统一信息平台作为依托。部门间的条块分割管理体制造成了诸多信息孤岛，数据割据造成了资源分散不利于今后其他系统的业务展开。各部门间的业务协作采用最原始的沟通方式，如：电话、EmaiL资源拷贝等方式，不能有效地保证数据的及时稳定传递，而且在实际工作中造成了许多人为的数据错误。8.1.3产品与方案总体设计PrimetonD|TM在数据交换平台中

39、可做为一个统一的数据来源，主要提供了各业务系统之间的实时数据交换功能。将各个系统中的业务数据抽取，经过过滤清洗转换形成数据中心所需要的数据。内网环境HnmetonuAgent业务库|_内网环境JLPrimetonDIAgentJL业务库内网环境I-前置交换节点前置交换节点是资源共享交换平台的重要组成部分。多个前置交换节点一同构成了分布式的资源交换与组件运行环境。前置交换节点由一个前置交换数据库和节点软件构成,在节点软件中的PrimetonDI负责将一个或多个业务系统中需要共享的数据通过标准的ETL方式装载到前置交换数据库中，通过节点软件中提供的各种接口协议适配服务与资源交换中心进行对接。中心交

40、换节点中心交换节点由数据存储中心和数据交换中心构成。DIServer实现了前置交换节点与中心交换节点的基于JMS的可靠消息传递交换。PrimetonESB®暴露HTTP、JMS、SOAP接口供外部调用，ESBGovernor提供了中央管理功能，通过心跳服务实时监控各服务节点的运行状态、负载、传输量等一系列交换信息。资源目录提供了实体资源的注册、发布、更新、寻址等功能。数据中心存储了经过统一标准化的可供共享的各业务系统实体数据。前置交换节点与平台对接在资源共享交换平台中，中心平台的作用主要是对实体业务数据的存储，目录资源的存PrimetonDIServer（数据集成引擎）支持的操作系统

41、263.6.1 PrimetonDIGovernor（数据集成治理环境）支持的操作系统263.7 支持的JavaEE服务器263.8 支持的数据库273.9 支持的浏览器273.10 支持的JDK版本27开发环境支持的JDK273.10.1 运行环境支持的JDK27典型案例283.11 诸暨市智慧安居工程数据交换平台建设28客户简介283.11.1 背景与问题28产品与方案283.11.2 实施效果303.12 上海银行CRM系统31上海银行简介313.12.1 背景与问题31产品与方案313.12.2 实施效果32联系我们3310关于普元35储以及资源交换的管理与调度。前置交换节点实现了业务

42、数据的捕获，目录元数据的编目，与其他交换节点进行点到点的数据交换等功能。前置交换节点与平台的对接是系统实施的核心，如何根据自身应用系统发展的现状以及网络部署情况选择合适的接入方式尤其重要。 交换平台的监控资源共享交换平台的核心功能除进行资源交换之外还有交换过程的监控。分为两种监控形式：1. 数据管理系统监控。数据管理系统通过数据交换系统采集交换至中心的各类参建部门的数据，提供了统一的数据转换、清洗、比对和整合加工功能模块，形成了共享数据中心。在数据处理过程中，平台监控管理系统提供了对处理流程实时的能力,能对数据处理流程进行远程控制，查看某一节点的数据的详细信息；并对流程进行启动、停止、状态转换

43、等操作。2. 共享数据中心监控。共享数据中心是由数据库软件建立起来的数据存储中心，平台监控管理系统将对实时监控数据库出现的故障、性能问题，通过短信、报警等方式及时通知系统管理员，最大可能的减小对系统的影响。 性能为了提高数据在平台“落地”以及数据“落地”后的加工整合处理效率，设计方案在数据模型、数据处理及数据存储三个方面进行了优化。1. 数据模型的优化，按照数据涉及业务域进行分片、将经常需要联合使用的多张表进行合并、为表字段建立索引等。2. 数据处理优化，运用应用集成中间件提供的数据服务PrimetonDm特有的基于数据流的数据处理模式，能大大提供数据加载与整合的效率。3. 数据存储优化，将重

44、复性比较高的数据进行压缩同时对历史数据进行物理区分，这样不仅可以减少存储空间，而且可以大大提供I/O性能，提高了查询响应的速度。8.1.4实施效果通过Primetondm建立的资源共享交换共享平台，方便快捷实现了各系统的信息资源的交换与共享，同时作为城市政务数据的进出通道，实现了城市政务数据的交换、清洗、整合和加工。信息交换共享平台提供的政务数据共享服务，为城市政府专网和公共网络上的各类智慧应用提供了基于城市公共数据库的数据服务、时空信息承载服务、基于数据挖掘的决策知识服务等。8.2±海银行CRM系统8.2.1上海银行简介上海银行成立于1995年12月29日，是一家由上海市国有股份、

45、中资法人股份、外资股份及众多个人股份共同组成的新型的股份制商业银行，总行位于上海。实行“一级法人、两级经营，的管理体制。当前全行注册资本为26亿元人民币。在中国企业联合会、中国企业家协会联合发布的2007年度中国企业500强排名中名列第三百五十一。8.2.2背景与问题本项目属于数据仓库类建设项目，由第三方公司实现CRM系统相关数据的抽取、汇总等功能，第三方公司主要采用Datastage8.5实现ETL过程，另外还包含部分Shell脚本和数据库存储过程等，通过这些作业定时调用和相互配合实现相应的业务。另外，如果有重要作业运行失败及修复后，需要把相应的结果发送给银行统一监控平台。针对项目业务需求和

46、以及现有技术和方法，项目遇到以下问题：1. 调度规则缺乏，或者不够灵活，无法满足业务需求。2. 缺少监控方式，或者监控方式不够直观，运维工作繁重。3. 各类型作业统一调度困难。4. 调度结果报警不及时。8.2.3产品与方案PrimetonDm在通过在跨平台异构作业管理、复杂的调度规则、直观的监控以及集中报警和出错通知机制等功能，支持上海银行CRM系统数据仓库建设。1. 平台提供了日历、频度、事件触发等调度方法，每种类型都提供多种调度规则，而这些调度方法又可以相互组合使用，能实现各种复杂的业务调用。2. 平台提供作业流、作业、事件、计划等方式的监控，每种方式可以查看列表和图形两种方式；执行日志也

47、可以查看历史和当前的；同时提供立即执行、中断、断点续跑、重置等手工干预方法，大大减轻运维工作。3. 平台支持ETL工具、脚本、存储过程、可运行程序等各类作业统一管理，并且能够跨越平台限制，实现各类作业的统一调用。4. 平台提供了集中报警功能，能够实时查看到作业运行失败情况；同时还实现了出错通知机制，可以通过简单配置实现作业运行情况的实施获取。具体的方案如下:分析业务，定制作业流。分析业务滴呈,配置调度规则。Linux存储过程Linux-Shell预处理Linux-DS淆先跨去t实时监控运行情况,手动干预执行过程。8.2.4实施效果通过PrimetonDH平台实施，为上海银行CRM系统提供了以下

48、功能支撑：1. 实现了对现有作业的全部统一管理，其中作业总数共496个，DS作业480个，虚拟作业14个，Oracle存储过程2个，以及部分脚本作业。2. 和项目中使用的主要ETL工具DataStatge有效的结合，最大发挥DS数据集成能力的同时，有效的补充DSX具在调度和监控上的不足。3. 实现了DS、存储过程和脚本的统一调度。4. 提供了集中报警和运行结果邮件通知。9联系我们了解关于普元相关产品的更多内容，请致电免费电话：400-820-5821o或联络普元各地办公室普元信息技术股份有限公司（公司总部）上海市张江高科技园区碧波路456号4楼邮编：201203Tel:+86021-50805

49、188Fax:+86021-50801900普元北京办公室北京市海淀区彩和坊路8号天创科技大厦东门1301室邮编：100080Tel:+86010-62698005Fax:+86010-62698015普元广州办公室广州市天河区体育西路191号中石化大厦B塔1712室邮编：510630Tel:+86020-38218599,38218499,38218455Fax:+86020-38217272普元西安办公室陕西省西安市高新区唐延路25号银河新坐标A座1404室邮编：710075Tel:+86029-88823459Fax:+86029-88897491普元成都办公室成都市高新区天益街38号理

50、想中心1栋605室邮编：610041Tel:+86028-85190741,85190743Fax:+86028-85190745普元武汉办公室湖北省武汉市江汉区马场路菱角湖万达广场A3写字楼2008号邮编：430015Tel:+86027-85619935Fax:+86027-8561993710关于普元普元信息技术股份有限公司(Primeton)是中国领先的基础软件产品与解决方案提供商，致力于与客户及合作伙伴紧密合作，利用平台化方式建设IT基础设施，更好地支撑及推动业务创新与发展。普元是国家规划布局内重点软件企业，也是国际标准组织OASIS核心成员、SOA国际标准SCA/SDO的主要参与制

51、定者、中国SOA标准工作组副组长单位。普元专注于基础软件平台领域，凭借掌握的服务构件技术、可视化技术、业务流程管理、并行计算、内存计算、企业移动计算、数据治理等核心技术，开发出拥有自主知识产权的系列平台软件产品，包括SOA应用交付平台、SOA业务集成平台、数据平台、云计算&运维平台,以及金融、电力、能源等行业业务平台与解决方案。普元拥有多项国家软件发明专利，是国内少数通过软件能力成熟度整合模式(CMMI)5级认证的基础软件厂商。在中国市场，普元产品已经在金融、电信、电力、军工、能源、政府、制造、物流等多个行业的数千关键应用上得到验证，拥有中国工商银行、中国建设银行、中国交通银行、国家开

52、发银行、中国银联、中国移动、中国电信、中国联通、国家电网、神化集团、航天科工、中航工业、文化部、首都之窗、中华煤气、阿里云、德邦物流等多行业超过300家以上的大型用户；在海外市场，通过华为的合作，普元产品己经销往日本、科威特、南非、也门、加拿大、印度、荷兰、泰国、巴西等40余个国家。普元构建了良好的商业生态环境，与华为、亚信联创、太极股份、远光软件、亿阳信通、高伟达、南天、中科软等200余家大中型软件商深入合作，公司在北京、上海、广州、成都、西安、武汉等地设有分支机构，为各行业用户提供高价值的基础软件产品服务，全面保障客户成功使用、合作多赢。普元先后成功承担了多项国家、省部级重点科研课题及产业

53、化项目，如国家发改委软件产业化专项、国家发改委电子信息产业与技术改造云计算专项、上海市科教兴市重大科技攻关项目、上海市高技术产业化重大专项等政府专项。此外，普元还被授予“国家高技术产业化示范工程单位”、“国家云计算服务创新发展试点示范单位”、“国家博士后科研工作站"、“上海市企业技术中心”等荣誉称号，产品多次荣获“上海市科技进步二等奖”、“上海市优秀软件产品”等重要奖项。普元由多位已取得卓越成就的企业家和计算机科学家携手创立，汇聚了一流的计算机技术专家、管理精英和各类专业人才。公司总部坐落于上海张江高科技园区，是政府重点支持的高新技术企业。了解普元，请访问PRIMETH普元普元信息技

54、术股份有限公司1PrimetonDI产品定位描述企业大量的IT投资建立了众多的信息系统，但是随着信息系统的增加，各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝的共享和交换数据。在实施数据集成的过程中，不同的数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，对企业内各异构系统底层数据进行有效的整合已成为增

55、强企业商业竞争力的必然选择。PrimetonDf产品定位于企业数据集成，通过DI实现异构数据源的ETL操作，于此同时PrimetonDH产品更可以完成对数据集成过程中的模型进行管控、处理过程中的数据监控以及模型作业自动化等工作。2PrimetonDM产品概述PrimetonDH是一个高性能、易管控的数据集成平台，通过PrimetonDH可以完成对各种类型数据的访问、过滤、清洗、转换、加载等ETL过程，通过PrimetonDI实现不同模式，如：基于触发器、基于时间戳、基于全文比对、基于日志的数据同步，最终实现异构数据的有机整合，在数据集成的过程中，借助PrimetonDI其强大的模型管控能力，在实施过程中进行开发过程的规范化、代码自动化、代码和质量可控化、调度管理统一化和监控可视化。3PrimetonDpM产品客户价值PrimetonD|tm产品带给客户的价值主要来自三个方面： 无需编码、快速的数据集成模型以及ETL处理开发。快速通过模型设计器或者作业自动化生