统一采集平台mapping配置方法.doc

统一采集平台mapping配置方法1 采集结构采集分采集层和管理层两个mapping，采集层主要是将数据源数据平拉入厂家表，管理层是按照业务逻辑，将原始层rawdb 和管理层 dwdb的表进行关联，插入目标表。原始层(rawdb)数据源 (文本或数据库) 采集层mapping管理层(dwdb)管理层mapping2 解析顺序 2.1 采集层mapping基本可以理解为一个insert into 目标表(目标表结构) select 源表字段 from 源表 where 条件1 insert的目标表在文件头定义 2 目标表字段3与目标映射的从源表中查询的select 字段4 源表表名目前原始层没有复杂的业务逻辑，只是带时间参数，可以定时将指定时间段内的数据搬移到rawdb中。2.2 管理层mapping管理层也是一个insert into 目标表(目标表结构) select 源表(临时表)字段 from 源表(临时表) where 条件的过程，只是根据业务要求而关联其他表，或者实现一些转化逻辑。1 insert的目标表也在文件头定义 2 目标表字段3 与目标映射的从结果集中查询的select 字段，包括字段的算法4 related_rdn 说明本行字段是从哪个”表关联结果集”中查询出来的6 结果集的名称和关联表，以及关联条件 （可能有多个）,关联的表可以是excel中定义的逻辑临时表，也可以直接从原始层rawdb中读取表，直接读取的不在excel中声明。7 结果集的关联表如果是临时表，在临时表一节定义，包括临时表表名，from表，表的关联条件和聚合字段。8 如果有跨层(采集默认从原始rawdb抽取，如果调用管理层dwdb)的表，声明表名和查询sql。附采集mapping实例2.3 汇总层mapping汇总mapping可以将同一数据源，不同汇总粒度目标的聚集过程，配置成一个统一配置文件。程序从低粒度向高粒度就近汇总，将配置的粒度数据，分别插入目标。各步骤配置说明如下图。3 元数据excel格式详细说明3.1 数据采集层下面是原始层excel实例，每个sheet是一个表的算法，3.1.1 第一部分是对表的定义，每一个属性分别为：store_tableop_huw_sult_587202770_3table_name_cnpmdb.dbo.tbl_result_587202770_3table_name_engpmdb.dbo.tbl_result_587202770_3descriptiontpd_cell_gprspfr_typepmlayer_id1vendor_id8versionbsc6000v900r008c01-1table_typetableuniqfieldlistscan_start_time,unique_idobject_type300各字段属性值分别为store_table:采集后存储在counter库的表名table_name_cn：表的中文名称table_name_eng ：表的英文名称description ：表的描述信息pfr_type ：表的数据属性，性能数据填pm，资源数据填rmlayer_id ：表所属的层次标识，1 为采集层，2为管理层vendor_id ：表所属的厂家的idversion ：所属的场景的版本table_type ：表的类型，如果为表则填table，为视图填viewuniqfieldlist ：唯一索引字段列表object_type ：表的网元类型3.1.2 第二部分是对字段算法的定义，每项的属性分别为：store_fieldfield_name_cnfield_name_engfield_datatypepara_datatypeConstraintdefault_valuedescriptionexp_selectexp_fromexp_whereexp_groupbyversionexp_descunique_idunique_idUNIQUE_IDSQL_BIGINT0nCRC64($OMC_ID:|convert(varchar(255),ObjectNo)pmdb.dbo.tbl_Result_587202770_3StartTime = ts$STARTTIME AND StartTime = ts$STARTTIME AND StartTime = ts$STARTTIME AND StartTime = ts$STARTTIME AND StartTime = ts$STARTTIME AND StartTime = ts$STARTTIME AND StartTime ts$STOPTIMEbsc6000v900r008c01-1store_field ：存储在counterdb的字段名field_name_cn ：字段的中文名field_name_eng ：字段的英文名field_datatype ：字段的类型，需要填标准类型para_datatype ：字段的类型属性，数字型填0 ，时间型填1，字符型填2Constraint ：字段的约束，n为不能为空，y为可以为空default_value ：字段的默认值description ：字段的描述信息exp_select ：字段的算法，即来自于厂家那个字段exp_from ：来源表exp_where ：从厂家获取数据的条件exp_groupby ：从厂家获取数据的group by的字段version ：字段属于的版本exp_desc ：算法描述此段中黄色为必填字段，由于此表是性能表，所以有如下7项unique_idunique_rdnscan_start_timescan_stop_timeomc_idou_idtime_stamp对于资源表，没有scan_start_time和scan_stop_time，有如下5项必填unique_idunique_rdnomc_idou_idtime_stamp3.1.3 第三部分为索引信息描述，index_nameidx_fieldprimary_flagunique_flagIDX1_OP_HUW_SULT_587202770_3scan_start_time,unique_id11IDX2_OP_HUW_SULT_587202770_3scan_start_time,ou_id00IDX3_OP_HUW_SULT_587202770_3scan_start_time,omc_id00各段含义分别为index_name ：索引名称idx_field ：索引字段列表primary_flag ：是否为主键，为主键则填1，否则填0unique_flag ：是否为为索引，为唯一索引则填1，否则填03.2 数据管理层下面是管理层算法描述excel实例，和采集层一个，每个sheet是一个表的算，下面是对excel的说明，3.2.1 第一部分是对表的定义 store_tabletpd_smsc_hlhttable_name_cntpd_smsc_hlhttable_name_engtpd_smsc_hlhtdescriptionpfr_typepmlayer_id2vendor_id7versionsc3table_typetableuniqfieldlistscan_start_time,ne_id,scan_stop_timeobject_type105node_type105每个属性的定义分别为store_table:采集后存储在counter库的表名table_name_cn：表的中文名称table_name_eng ：表的英文名称description ：表的描述信息pfr_type ：表的数据属性，性能数据填pm，资源数据填rmlayer_id ：表所属的层次标识，1 为采集层，2为管理层vendor_id ：表所属的厂家的idversion ：所属的场景的版本table_type ：表的类型，如果为表则填table，为视图填viewuniqfieldlist ：唯一索引字段列表object_type ：表的网元类型node_type ：表所属的网元的object_class，这个字段需要和ldap中相应ou节点的node_type，否则不能采集3.2.2 第二部分为外部导入的临时表的定义tmp_tableexp_sqlossdsnversiondescriptionlinksetselect a.object_rdn object_rdn,b.num_of_links from objects a,linkset b where _id =_id and a.omc_id =$OMC_IDCOOKDB_DSNsr9这部分是为了获取其他数据源中数据加入的，类似于三期mapping的add-in部分，可以在计算的时候引入配置库的一些数据tmp_table ：临时表名称exp_sql ：获取数据的sqlossdsn ：获取数据的数据源version ：版本信息description： 描述信息3.2.3 第三部分对中间临时表的定义dest_tabledest_fieldexp_selectexp_fromexp_whereexp_groupbyexp_descversiondescriptionzm_pm_accessnotelnetaotelnetaoOP_ZTE_Zm_pm_accessnosc3zm_pm_accessnounique_rdnunique_rdnOP_ZTE_Zm_pm_accessnosc3zm_pm_accessnotelnetmotelnetmoOP_ZTE_Zm_pm_accessnosc3这段类似三期的mapping中的odbccollector，这段可以省略，也就是说算法可以直接从原始层表计算到最终表，具体各字段属性值如下，dest_table ：临时表名称dest_field ：临时的字段名称exp_select ：临时表临时字段的算法exp_from ：临时表临时字段的算法来源表exp_where ：算法的条件exp_groupby ：算法中需要group by的字段exp_desc ：算法描述version ：算法版本description ：描述信息3.2.4 第四部分是分组预处理部分的定义related_rdnpreprocess_seqexp_sqlversiondescriptionrelated_rdn010UPDATE Zm_pm_accessno set scan_start_time = DATE_FORMAT(scan_start_time, %Y-%m-%d %H:00:00),scan_stop_time =date_add(DATE_FORMAT(scan_start_time, %Y-%m-%d %H:00:00),interval 1 hour)sc3这段类似三期mapping中的adaptor的before部分，可以预处理临时表，也可以使原始层的表，此段如果不需要也可以省略，下面是每个字段信息的定义related_rdn：所属的分组preprocess_seq：执行的序号exp_sql ：执行的sqlversion ：对应厂家的版本description ：描述信息3.2.5 第五部分是对分组的定义rdn_store_fieldfield_name_cnfield_name_engfield_datatypepara_datatypeConstraintdefault_valuedescriptionexp_selectexp_fromexp_whereexp_groupbyrelated_rdnversionexp_descrelated_rdn01第01分组唯一标识RELATED_RDN01SQL_VARCHAR(255)2nsmsc_rdnZm_pm_accessnosmsc_rdn,scan_start_time,scan_stop_timesc3related_starttime01第01分组起始时间RELATED_STARTTIME01SQL_TIMESTAMP1nscan_start_timeZm_pm_accessnosmsc_rdn,scan_start_time,scan_stop_timesc3related_stoptime01第01分组结束时间RELATED_STOPTIME01SQL_TIMESTAMP1nscan_stop_timeZm_pm_accessnosmsc_rdn,scan_start_time,scan_stop_timesc3分组类似于三期mapping中的step，也就是说对于来源一样的字段加入一个分组，这里是定义分组的来源及条件信息，然后就可以把相应的字段加入分组rdn_store_field：分组字段名称，对应性能采集，需要定义分组rdn，分组开始时间，分组结束时间，这里面的字段名称格式是固定的，分组rdn必须以related_rdn开头，后面加数字，分组开始时间和分组结束时间分布以related_starttime、related_stoptime开头后面加数字，而且同一分组的三项后面加的数字必须相同，如related_rdn01、related_starttime01、related_stoptime01field_name_cn：分组字段中文名称field_name_eng：分组字段的英文名称field_datatype ：字段的类型，需要填标准类型para_datatype ：字段的类型属性，数字型填0 ，时间型填1，字符型填2Constraint ：字段的约束，y为可以为空，n为不可以为空default_value：默认值description：分组字段的描述exp_select ：分组字段的算法exp_from ：分组字段算法的来源表exp_where ：分组字段算法的条件exp_groupby ：分组字段算法的group by字段related_rdn：相关分组的，此处填空group_flag：主分组标志，主分组为1，其他分组为0version：版本信息exp_desc：算法描述3.2.6 第六部分为临时字段的算法定义tmp_store_fieldfield_name_cnfield_name_engfield_datatypepara_datatypeConstraintdefault_valuedescriptionexp_selectexp_fromexp_whereexp_groupbyrelated_rdnversionexp_descobject_rdn_step01object_rdn_step01OBJECT_RDN_STEP01SQL_VARCHAR(255)2ycase_rdnsc3各项属性分别为tmp_store_field：临时字段中文名称field_name_eng：临时字段的英文名称field_datatype ：临时字段的类型，需要填标准类型para_datatype ：临时字段的类型属性，数字型填0 ，时间型填1，字符型填2Constraint ：字段的约束，y为可以为空，n为不可以为空default_value：默认值description：临时字段的描述exp_select ：临时字段的算法exp_from ：填空，exp_where ：填空exp_groupby ：填空related_rdn：相关分组的，如果填空认为是