Fiorano培训材料 第11课：数据格式的转换和其他工具的使用

1、China Datang Corporation中国大唐集团公司中国大唐集团公司数据共享平台项目建设数据共享平台项目建设视频培训会视频培训会 China Datang Corporation第十一课：数据格式的转换和其他第十一课：数据格式的转换和其他工具的使用工具的使用China Datang Corporation本课内容本课内容 第三个例子，数据格式的简单转换 其他工具的使用China Datang Corporation上周回顾上周回顾China Datang Corporation范例说明以渭河电厂的实时采集为例，将渭河电厂的实时数据采集到集团公司。渭河电厂的数据库类型sqlserve

2、r2000，表结构数据表名称 数据项名称 数据类型长度备注Yc_table Yc_name Char 32实时数据名称 Yc_no Small 2实时数据编码 Yc_val Real 4 实时数据的值目前表中的数据：，yc_no为2时表示1号机组，3时表示2号机组China Datang Corporation范例说明集团公司的表结构RT_J_POWERNUMRTDATACURR POWER_PLANT_CODE VARCHAR2(20) 电厂编码 MACHINE_NO NUMBER(10) 机组编号 GROUP_RT_DATA_CODE NUMBER(10) 指标编码 POWER_NUM_V

3、ALUE NUMBER(15,4) 指标值 VALUE_TYPE INTEGER 数据类型 VALUE_DATE DATE 数据时间China Datang Corporation建立组件间的联系China Datang Corporation建立组件间的联系在下面的窗口中选择Funclet分页。在Funclet分页的左边选择相应的函数，将其拖到右边的工作区域，并配置。下图是配置好的电厂编码。使用的是String函数中的Constant函数。China Datang Corporation建立组件间的联系下图是机组编号的配置，Machine_no=Yc_no-1。China Datang Co

4、rporationMapper中的函数Fiorano在数据整合中的功能之所以这么强大，是与提供了丰富的函数有关。Fiorano提供的函数很多，不可能详细介绍，对于大部分函数的使用还需要通过查看帮助文件。Fiorano中的函数大体分为：算术函数：Arithmetic字符函数：String逻辑函数：Boolean控制函数：Control时间函数：Date-Time数学函数：MathChina Datang CorporationMapper其他功能Mapper工具可以将连接线配置通过另存保存成为一个文件。这可以成为备份连接线配置的一种方法。Mapper提供一个按钮进行语法检查。通过这个按钮可以检查

5、语法是否存在问题，但是这种检查并不会查看连接线与组件间的连接参数是否匹配。如果连接线与DB组件间的参数不匹配，Mapper会出现相应的提示信息，对于这种情况就需要重新配置连接线,一般这只会在刚打开Mapper时检查。China Datang Corporation上周范例回顾上周范例回顾China Datang Corporation范例回顾上周的范例中的数据的转换即可以通过连接线配置进行，也可以通过通过SQL语句进行。下面的SQL语句在sqlserver中执行，得到的数据将直接转换为我们需要的类型。select 0910007 as POWER_PLANT_CODE, t.Yc_no-1 a

6、s MACHINE_NO, 20047 as GROUP_RT_DATA_CODE, t.Yc_val as POWER_NUM_VALUE, 1 as VALUE_TYPE, getdate() as VALUE_DATEfrom dbo.yc_table tChina Datang Corporation范例回顾执行的结果。China Datang Corporation使用上面的SQL配置使用上面的SQL语句配置DB3。China Datang Corporation连接线配置通过SQL已经将DB3出口参数转换成DB2入口需要的形式。China Datang Corporation新的程

7、序DB1是上课中所编写的取数据组件，取数据时按照源数据存储的类型直接将数据取出来。DB2是利用SQL将数据转换后取出来。China Datang Corporation拦截的数据从拦截到的数据来看，传往后面组件的数据是相同的。China Datang Corporation说明这两种方法都可以得到我们需要的数据，但是是有区别的。对于在连接线中完成转换的情况，这种转换工作，是由前面的组件所在的节点服务器（FPS）完成。对于后面的通过SQL转换的情况来说，转换的工作并不是fiorano完成，而是数据库完成。也就是说上面的两种情况，转换的工作放在不同的地方进行，在工作量较小的时候，这种差别并不是很明

8、显，但工作量很大时，就需要权衡数据库服务器和节点服务器的情况综合考虑。China Datang Corporation第三个例子：数据格式的简单转换第三个例子：数据格式的简单转换China Datang Corporation范例说明以户县二厂为例。渭河电厂的数据还是以编码的方式储存，Yc_no为2时表示1号机组的有功，yc_no为3时表示2号机组的有功。户二的有功和开关量是以字段的方式储存的。表名RT_ZC，以下为一些字段的说明。数据表名称数据项名称数据类型单位备注RT_ZCTIMESTAMPDATE时间DCS110001NUMBER单位：MW1号机组有功DCS210001NUMBER单位：

9、MW2号机组有功DCS17753NUMBER单位：Mvar无功DCS27753NUMBER单位：Mvar无功NCS1001NUMBER0表示“合”开关量1NCS1032NUMBER0表示“合”开关量2China Datang Corporation范例说明户二电厂表RT_Z字段的定义。源数据库使用的是99上面的数据库，而不是户二的数据库。China Datang Corporation程序设计取表中DCS110001为#1机组有功。取表中DCS210001为#2机组有功。还是使用前面说过的双组件结构，第一个组件用于取数据，第二个组件用于存数据。取数据时不进行转换，所有的转换工作在线上进行。Ch

10、ina Datang Corporation配置第一个组件配置第一个组件China Datang Corporation配置第一个组件连接的是10.81.12.99上面的oracle。China Datang Corporation配置第一个组件SQL语句，选中所有的字段。China Datang Corporation配置第一个组件只执行一次：China Datang Corporation配置第一个组件配置第一个组件China Datang Corporation配置第二个组件第二个组件，写数据组件在范例2中已经配置。可以直接将范例2中的DB2组件复制过来。另一种方法是在这个程序中引入一个

11、外部的也就是范例2中的组件DB2，这种方式引入的组件物理上并不是独立，数据将会被传往被引入的DB2组件。在工作面板上使用鼠标右键。China Datang Corporation配置第二个组件在弹出的窗口中选择程序范例2，按NEXT到下一步China Datang Corporation配置第二个组件在程序范例2中选择组件DB2，按Finish结束。China Datang Corporation配置第二个组件导入的其他程序中的组件，它的图标是不一样的。导入后的图示：China Datang Corporation配置连接配置连接China Datang Corporation未配置的连接线C

12、hina Datang Corporation连接线说明上面的连接线中，对于前面的组件有很多的出口属性，我们需要的是DCS110001#1机组有功； DCS210001#2机组有功。这样的配置，会将一条记录拆分成多条记录。China Datang Corporation配置#1机组电厂编码：power_plant_code赋以户二的电厂编码（ 02911）。机组编号：#1机组，Machine_no为1。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS110001。数据类型：Value_type实时数据赋以常

13、数1。数据时间：value_date对应于TIMESTAMP。China Datang Corporation配置#1机组配置完的连接线：China Datang Corporation配置#2机组电厂编码：power_plant_code赋以户二的电厂编码（ 02911）。机组编号：#1机组，Machine_no为2。指标编码：group_rt_data_code赋以有功的指标编码（20047）。指标值：power_num_value对应于源表的DCS210001。数据类型：Value_type实时数据赋以常数1。数据时间：value_date对应于TIMESTAMP。China Datan

14、g Corporation配置#2机组将sel出来，再次拖到ins上面的ZERO MANY。按下弹出的按钮Duplicate this node，就可以在后面的组件新增加一组入口参数。这组入口参数事实上也是传往后面组件名为ins的SQL语句的China Datang Corporation配置#2机组双击ZERO MANY展开：China Datang Corporation配置#2机组配置完的连接线：China Datang Corporation发布运行发布运行China Datang Corporation发布和运行将DB1发布到fps99后设置断点然后运行。DB2事实上是范例2中的组件

15、DB2，已在范例2中发布。本例中引用了范例2中的组件，所以这个程序要正常运行的话，范例2必须处于运行状态，否则会出问题。China Datang Corporation察看数据通过察看拦截到的记录可以发现，数据已经转化成了需要的方式。China Datang Corporation用用SQL解决转换的问题解决转换的问题China Datang Corporation用SQL转换select 02911 as POWER_PLANT_CODE, 1 as MACHINE_NO, 20047 as GROUP_RT_DATA_CODE, t.dcs110001 as POWER_NUM_VALUE

16、, 1 as VALUE_TYPE, t.timestamp as VALUE_DATE from rt_zc tunionselect 02911 as POWER_PLANT_CODE, 2 as MACHINE_NO, 20047 as GROUP_RT_DATA_CODE, t.dcs210001 as POWER_NUM_VALUE, 1 as VALUE_TYPE, t.timestamp as VALUE_DATE from rt_zc tChina Datang Corporation工具工具FLM的使用的使用China Datang Corporation工具的启动可以通过开

17、始所有程序来启动。FLM启动时不需要输入用户名，密码。China Datang Corporation启动后的页面China Datang Corporation启动后的页面左侧部分是现有的许可证文件，和该文件分别对servers（FES、FPS、FMQ）、Adapters（组件）、Tools（工具）的权限。China Datang Corporation启动后的页面右侧部分是具体的授权信息。两条红线分别是开始时间和结束时间。China Datang Corporation导入许可证文件FLM察看的文件是本地的Fiorano上的许可证文件，导入的许可证文件的位置也是本地的Fiorano。Chi

18、na Datang Corporation导入许可证文件选择需要的文件导入。China Datang Corporation工具工具FSSM的使用的使用China Datang CorporationFSSM介绍FSSM的作用有两个，一个是前面介绍的对组件的管理。另一个是对权限的管理。China Datang Corporation修改用户的密码修改admin的密码，右键-Change PasswordChina Datang Corporation工具工具Studio的使用的使用China Datang CorporationStudio介绍前面提到的修改Fiorano节点名和连接地址的方法都是使用修改配置文件的方式，Fiorano提供了Studio对FPS和FES的属性作简单的修改。Studio可以连接到运行着的FES和FPS修改相应的程序，也可以在FES、FPS不运行时修改本地的配置文件。China Datang CorporationStudio启动可以通过开始，所有程序来启动。China