实时水情数据转储手册

1、实时水情数据转储使用手册水利部水文局（水利信息中心）2005年12月 TOC o 1-5 h z HYPERLINK l bookmark6 o Current Document 第1章概述1第2章系统环境2第3章系统功能3 HYPERLINK l bookmark18 o Current Document 第4章系统的数据流程和程序流程4 HYPERLINK l bookmark21 o Current Document 4.1数据流程4 HYPERLINK l bookmark24 o Current Document 4.2程序流程图5 HYPERLINK l bookmark27 o

2、Current Document 第5章系统的模块6 HYPERLINK l bookmark30 o Current Document 5.1数据库信息配置6 HYPERLINK l bookmark36 o Current Document SELECT 模块7 HYPERLINK l bookmark40 o Current Document INSERT 模块7 HYPERLINK l bookmark44 o Current Document 5.4特殊转储规则模块8 HYPERLINK l bookmark53 o Current Document 5.5日志文件8 HYPERLI

3、NK l bookmark59 o Current Document 第6章软件的使用9 HYPERLINK l bookmark56 o Current Document 6.1软件的安装96.2配置界面11 HYPERLINK l bookmark62 o Current Document 6.3转储界面13 HYPERLINK l bookmark65 o Current Document 第7章参数配置15 HYPERLINK l bookmark68 o Current Document 7.1配置文件15 HYPERLINK l bookmark73 o Current Docum

4、ent 7.2表关系结构16 HYPERLINK l bookmark79 o Current Document 第8章程序修改19 HYPERLINK l bookmark82 o Current Document 8.1配置文件和表结构的修改19 HYPERLINK l bookmark115 o Current Document 8.2数据库函数修改23 HYPERLINK l bookmark133 o Current Document 8.3转换函数的修改25 HYPERLINK l bookmark136 o Current Document 第9章技术支持26 HYPERLINK

5、 l bookmark139 o Current Document 附录：转换函数说明清单27第1章概述水情数据转储系统是配合刚刚颁布的实时雨水情数据库表结 构与标识符标准（SL323-2005）,为了解决旧编码数据库中历史数 据的转储问题而研制的。系统支持“世行版”防洪水情数据库（HYDB）和国家防 汛指挥系统工程实时水雨情库表结构（2000版）两种旧编码数据库 的数据转入到新编码数据库。针对有些地方在以上两种数据库标准 上还有新建表的情况，本系统还提供了原程序以及非常方便的系统 修改和扩展功能。需要说明的是，memory文件夹中放置的是编译过的数据转储软 件安装程序；date memory

6、文件夹中放置的是数据转储软件原程序。实时水情数据转储软件的开发和运行环境的主要技术指标如 下：（1）微机工作站或微机服务器一台，主频大于等于1GHz，内存大 于等于256M字节（推荐1G字节），硬盘大于等于20G字节，连接局 域网的网卡。（2）根据后台数据库的类型分别安装配套的数据库连接客户端软 件，并做好指定库的访问设置。（3）开发和运行的操作系统有Windows ME/XP/2000/NTo（4）开发工具为VB 6.0语言。实时水情数据转储软件分为五个部分：数据库信息配置，数据 处理进行转储，覆盖式写入，时间分段转储，日志文件记录。（1）数据库配置信息在主界面上给用户提供了目的库和源数据库

7、的数据库信息，用 户可以根据从配置文件中取得的数据库信息连接数据库，配置界面 会自动把您所输入新的数据库信息录入到配置文件中去。（2）数据处理进行转储它在整个功能中起到主要作用，其它功能都是与它相配合，在 转储界面选择表，支持多表和单表录入，程序自动形成SQL语旬， 经过加工处理最后录入到目的库中去。（3）覆盖式写入此功能是对于有主键重复错误的库表，如果选上此选项，对于 主键重复的记录将会直接覆盖写。（4）时间分段转储此功能针对一些数据量比较大，同时又含有时间字段为主索引 的数据库表，可以根据时间段来进行录入，这样可以减轻系统处理 的压力。（5）日志文件记录它的作用是记录了转储中出错的入库语旬

8、，每个表都有自己独 立的错误日志文件。第4章系统的数据流程和程序流程4.1数据流程通过用户所输入的数据库信息，把它保存在配置文件中， 连接数据库，根据用户所选的库，从配置文件获得该库的连接 信息，然后整理出SQL语句进行查询，查找出所要转储的字段， 根据配置文件中表的关系中定义的特殊字段转换规则来处理数 据并插入到目的库中去，如有错误同时记录日志。数据流程图：/Z:首先数据库配参数传递1.1配置文件参数值传递1.2数据库数据表信息1.3配置文件系统的配置文件连接数据库源库的配置文件配置信息显示列表用户进行各种手工选择条件信息2.1配置文件转储字段2.2配置文件目的库字段信息2.5 SQL目的表

9、关系的配置文件目的的配置文件INSERT转码信息转储字段，2.3配置文件库表关系源库总信息2.4 SQL查选转储记录2.5配置文件SELECT转码的配置文件源库的配置文件SQI语句存储模式 判断模式信息 3.1模式选择选择模式 3.2数据转储模式判断根据模进行 数据转储转储数据日志信息4.1日志文件数据库记录日志文件4.2程序流程图进行选择库和配置系统的配置文件目的配置文件用户指定转储条件把它保存在内存中读取目的配置文件顺序读取每个目的表表关系 的配置文件j时间条件，有无事务，是否覆盖读取该目的表的关系对应配置文件找到所要转储的源丰白僻自*根据在目的表中源表的表名读源表的配置信息是否选择了,时

10、间范围“是否转储条件含有日期条件替换时间信息整理数据源查询的SELECT 语句执行SELECT语句，按源字段描述荻取数据*顺序读取每行按每个字段的规则转换处理数据数据入库并记录日志是否处理完成N结束y第5章系统的模块5.1数据库信息配置此模块的主要作用是对数据库信息进行配置，把用户输入的信 息保存在system.in 1文件中去，这样用户修改数据信息可以从配置文 件中修改，也可以从界面上直接编辑。不同数据库连接的处理方式：A:世行数据库打开世行数据库的函数为DataBaseConfig（）数据库通过Address, DBase, UName, PWord这四个参数传递， 配置界面上的的数据库参

11、数信息，传递给这四个参数，然后打开数 据库连接。B:大项目数据库打开大项目数据库的函数为DxmDataBaseConfig （）数据库通过Address, DBase, UName, PWord这四个参数传递， 配置界面上的的数据库参数信息，传递给这四个参数，然后打开数 据库连接。C:新库数据库打开新库数据库的函数为DxmXkDataBase（）数据库通过Address, DBase, UName, PWord这四个参数传递， 读取配置文件System.ini中数据库信息，传递给这四个参数，然后打 开数据库连接。SELECT 模块根据在程序中设计的结构体，源库的表名DxmFrom)，源库 的表

12、字段(DxmFields)，源库表间的关系(DxmWhere)，从 ReadGetVdueO函数中获得用户所选的表结构体的配置属性，然 后根据这些结构的属性添加到SELECT语旬中去，这样就能查出所 要转储的源库中表的所有字段。提供三种转储方式，第一种是在用户未提供转储时间段的情况 下，系统自动对时间字段、旬月时间字段按半年拆分成转储数据块 序列，然后自动分批转储，可以解决一次性数据量过大导致系统负 载过重的问题；第二种是根据用户提供的转储时间段执行转储；第 三种则是直接转储数据。INSERT 模块INSERT数据根据SELECT所查询到的信息，在通过字段转储 规则处理ShChangeValu

13、e()函数，把所查找到数据输入到目的库中 去。在形成INSERT过程中包含了覆盖式写入模块，如果用户选择 “覆盖式写入”，程序就会通过目的表的配置文件找到目的表的主索 引，根据有主键的字段来查询在目的表中查找，如果查找到对应的 数据则先执行删除后插入新数据；未选择“覆盖式写入”的情况下， 会产生主键重复的错误记录到日志中，但不影响其他数据的转储。5.4特殊转储规则模块ShChangevalue ()公用模块执行具体的转换规则。转换规则配 置在结构体中(参见7.2)。ShChangevalue()函 数说明：这个函数包括了两个参数FCVdue，FCVRelation。FCValue是从源数据库表

14、中取出的数据，FCVRelation表示转换 的函数关系，根据FCVRelation来判断出函数关系，在对数据进行 处理。5.5日志文件日志文件记录了在转储过程中各种错误的数据，用户可以在 刚转储完后，看看日志中是否有错误，根据日志文件的错误，在进 行调整。错误日志在log目录下，每个目的表一个日志文件，以表 名命名。6.1软件的安装第6章软件的使用在安装光盘的memory文件夹里:双击SETUP.EXE安装图标，进入安装界面。然后点击OK按钮进行下一步的安装。点击(Change Directory)然后修改安装目录点击按钮就直接在默认的(C:ProgramFilesDataMemory.)路

15、径安装.这里可以根据需要修改名字，这里的数据转储名字作为安装完 成后在“windows添加删除程序”中的显示名字。如果默认不修改 直接点击(Continue)，之后程序自动安装完毕。(1)数据库客户端设置安装不同的数据库的客户端(SYBASE数据库就安装SYBASE 数据库的客户端,SQL SEVER数据库就安装SQL SEVER数据库的 客户端,O RACLE数据库就安装ORACLE数据库的客户端)。然后 配置客户端，在客户端上建立数据源，建立数据源才能进行连接。SYBASE客户端设置AttributesServer Server Entry VersionrIServer Name10.1

16、.1.11Server ServiceSQL ServerServer StatusA UnknownServer AddressTCP- 10.1.1.11.3699dsedit - DSEDIT1 - InterfacesDriver邕回区.Server Object点击Server Object下拉菜单点击ADD选项进行添加。For Helpj press FlSEVER NAME为SQ数据库就算配置完了。（2）界面第一次使用，需要用户去进行配置，配置好数据库信息后，程 序会自动把数据库信息录入到配置文件中去，第二次用户就可不必 配置了，程序会自动从配置文件去调用上次的配置信息。注意：每

17、 次用户必须先选择源数据库的标准。（注：数据库服务器名字就是数据库客户端设置中的SEVER NAME）根据上图可以让用户选择源库，然后源库的信息会自动显示在 文本框上，如果数据库的信息变了，用户也可以在上面直接修改， 原库和目的库都可以支持，用户输入完新的数据信息后，直接点击 确定就可以了，系统会把新的信息存储到配置文件system.ini里。6.3转储界面（单项表转储）（多项表转储）这个界面支持多选，如果不需要全选，也可以自动手选，删除 按钮作用是删除用户所选中的表的的记录。显示处理记录第一个文 本框作用是整体记录数，第二个作用是当前处理记录数，时间段的 输入是根据用户手工录入时间来转储。点

18、击确定后，程序自动开始 进行转储，如果数据量大的话，需要用户去等待，它要提取数据。（支 持多表删除和多表同时进行转储）用户手动时间段是在两个起始时间和结束时间，然后点击确定按钮程序自动执行，根据用户所输入的时间段，查找数据库记录。第7章参数配置根据各地方数据库表结构的差异不同，就要求我们程序必须有 具有灵活性，广泛的应用性。因此我们采用配合配置文件上的数据 来编写程序，进行管理。只要把配置文件配置出来，程序就能够取 配置文件表中的相关信息，属性。7.1配置文件XKDB.INI（新库），SYSTEM.INI （数据库配置信息）例：（1）XKDB.INI （新库）；字段=中文名字，类型，宽度，主键

19、，；考证资料类；测站基本属性表ST_STBPRP_BSTCD=测站编码,c,8,1STNM二测站名称,c,30RVNM二河流名称,c,30HNNM二水系名称,c,30BSNM二流域名称,c,30LGTD=经度,c,7LTTD=纬度,c,6（2）SYSTEM.INI（数据库配置信息）RWDBIPADDRESS=127.0.0.1DATABASENAME=DBNameUSERNAME=userPASSWORD=*数据库信息的配置文件。7.2表关系结构用结构体形式把它配置在了 VB中（在转储界面的表单中），因 为它的属性方法在转储中起到了重要的作用，根据我们所配置这些 属性来形成SELECT,INS

20、ERT语句，在这理我们也配置了旧库表中的1 对多的表关系，和特殊转换规则例：With NewTableEmp.TableName = ST_STBPRP_B .TableDes = ST_STBPRP_B （测站基本属性表）.Fields=STCD,STNM,RVNM,HNNM,BSNM,LGTD,LTTD,STLC,ADDVCD,MDBZ,MD PR,DTMNM,DTMEL,STTP,DFRTMS,FRITM,FRGRD,BGFRYM,EDFRYM,ADMAUTH,STBK,DR NA,PHCD世行库.ShFields=SB_STHD.STCD,STNM,RINM,HNET,BASIN,ES

21、LO,NRLA,STLC,ADD VCD,null,MDPR,null,BASE,STTP,null,FCOPT,null,BNYM,null,null,null,SB_ RCFT.BSDRA,null”.ShFrom = SB_STHD,SB_RCFT.ShChangeValue 二,，DtToChar6,const（未口），.ShWhere = SB_STHD.STCD *=SB_RCFT.STCD.ShDTime = .ShCTime= 大项目库.DxmFields=ST_STINFO_B.STCDT，STNM，RVNM，SUBNM，BNNM，ELSO，NTLA，S TADDR，ADCD

22、，BASE，MDPR，NULL，NULL，STTP，NDR，ITEM，1，FNYM，ENDYM，NULL，NUL L，BSDRA，NULL.DxmFrom = ST_STINFO_B，ST_RFCT_B.DxmChangeValue = ,，const（未口），.DxmWhere = ST_STINFO_B.STCDT *= ST_RFCT_B.STCDT.DxmDTime = .DxmCTime=End WithNewDBCollection.Add NewTableEmp, ST_STBPRP_B_keyTableName:新库的表名（上面黑体粗字字为表名字ST_STBPRP_B）可以在这

23、里进行修改TableDes:新库的名字加（中文名字）Fields:新库表的字段世行库ShFields:世行库的字段ShFrom：世行库所要转储的表集合ShChangeValue：转储的规则，蓝色代表配置函数如果那个字段有需 要可以如上进行配置（转换函数说明清单）ShWhere：世行库表间关系（如果转储表存在一对多的情况，那么所 要转储的多表之间存在一定关系，我们这种关系就配置在这）ShDTime：世行库表的时间字段（填写在表中相应的字段名字*ShCTime：用来表示旬月时间（填写在表中相应的字段名字）大项目库DxmFields：大项目库的字段DxmFrom：大项目库所要转储的表集合DxmCha

24、ngeValue:转储的规则DxmWhere：大项目库表间关系（如果转储表存在一对多的情况，那 么所要转储的多表之间存在一定关系，我们这种关系就配置在这）DxmDTime：大项目库表的时间字段（填写在表中相应的字段名书DxmCtime:用来表示旬月字符时间（填写在表中相应的字段名字）第8章程序修改根据地方上与中央的差异，库表结构的不同，数据库的不同。需要对数据转储程序进行修改，以便地方能够按自己的需求进行转 储。8.1配置文件和表结构的修改（1）如果地方与中央库表结构存在差异，那么就需要地方重新 对数据库表进行配置。首先要根据新库的表结构字段在XkDB.ini中去进行配置。例子：测站基本属性表

25、ST_STBPRP_BSTCD=测站编码,c,8,1STNM二测站名称,c,30RVNM二河流名称,c,30ST_STBPRP_B是表名字，在这里作为节名字STCD是字段名字字段=中文名字，类型，宽度，主键，注意一点：字段索引配置在第4位，如果有字段索引则写上字段索引，如果没有就不要写第4位，配置到第3位即可。等号后每个位置都要按照给出规范去配置，否则程序取新库字 段的属性时候会出错。（2）配置好新库的表的字段属性后，就开始在VB中配置表with 结构了，它的配置比较重要，因为这个结构包含了多种关系，配置 起来也相对要复杂，需要我们在配置时候要细心，严谨，仔细的对 照表间的关系，以免出现错误。

26、三个字段：Fields （新库字段），DxmFields （大项目字段）， ShFields （世行库字段），字段输入要根据表的对应关系，对号入座。例子：大项目库转储到新库A表（新库），B表，C表（B,C都为大项目库表）1对1进行配置：A表，a,b,c,d,e字段B 表，a1,b1,d1,e1 字段A表中的字段和B表中的字段要对应。各个表字段配置：Fields=a,b,c,d,eDxmField=a1,b1,null,d1,e1如果出现了A表有字段，而B表没有字段来对应，在没有特殊 转储要求下，用NULL来进行对应。（可以根据地方上的具体情况来 定）。表名字配置：DxmFrom=B直接进行配置

27、表名字。转换关系的配置：如果存在从B表到A表需要对数据进行转换存储，那么就要求 配置它的对应关系，比如d1字段到d字段需要转换，假设它的转换 函数是DtToChar6。则在结构体中如下进行配置：DxmChangeValue= , DtToChar6,DtToChar6位置要对应d字段的位置。没有关系的字段位置只是用逗号格开。表间关系配置：表1对1配置不存在表间关系，表间关系是指对1对多关系，B 表和C表之间的关系，还有一种特殊情况就是1对1表转储时候， 在B表中，可能某些字段在转储中还需要加条件，例如)1字段必须 为空时候(b1 is null)。如果什么情况也没有，这里就为空。DxmWher

28、e=b1 is null “表时间字段的配置：B表字段中存在时间字段b1,并且这个时间字段还是索引的情况 下，把它配置在这。DxmDTime=b1”旬月字符时间的配置：B表字段中如果存在字段是旬月字符时间字段，那么在这里配 置。DxmCtime= “1对多表进行配置：A表，a,b,c,d,e字段B 表，a1,b1,c1,d1 字段C 表，a2,b2,e2 字段A表中的字段和B表，C表中的字段要对应各个表字段配置：在1对多表配置中，源库表字段的配置项要加上（表名字.表字 段名字），在对应好后，在首字段加上表字段名字就可以。Fields=a,b,c,d,eDxmField二B.a1,b1,c1,d

29、1,C.e2如果出现了 A表有字段，而B表没有字段来对应，用NULL来进 行对应。（这要根据地方上的具体情况来定）表名字配置：DxmFrom=B表,C表 直接进行配置表名字。转换关系的配置：如果存在从B表到A表需要对数据进行转换存储，那么就要求 配置它的对应关系，比如d1字段到d字段需要个转换，它的转换函 数是DtToChar6。只要对应好位置就可以。DxmChangeValue= ，DtToChar6, ”这样配置即可。没有关系的字段位置只是用逗号格开。表间关系配置：如果B表和C表字段存在着一定的关系，例如：B.a1=C.a2DxmWhere=“B.a1=C.a2 “表时间字段的配置：B表或

30、C表字段中存在时间字段b1,并且这个时间字段还是索引 的情况下。把它配置在这。DxmDTime=b1”旬月字符时间的配置:B表或C表字段中如果存在字段是旬月字符时间字段，那么在 这里配置。DxmCtime= “(3 )配置 System.ini 文件用户在第一次使用软件时候在配置界面输入数据的配置信息， 软件会自动把这些信息写到配置文件中去，这里不需要用户进行配 置。8.2数据库函数修改世行数据库函数DataBaseConfig ()在ShModload中大项目库函数DxmDataBaseConfig ()在 DxmModload 中新库 ShXkDataBase ()在 ShModload

31、中DxmXkDataBase ()在 DxmModload它们共同的特点就是都包含四个参数Address地址端口DBase数据库名字UName数据库的用户名PWord数据库的密码函数例子：DxmXkDataBase (Address As String, DBase As String,UNameAs String, PWord As String)SyBase数据库：strConnect = Provider=MSDASQL.1;DRIVER=Sybase System 11;Persist Security Info=False;DSN=S RVR= & Address & DB= & D

32、Base & ;UID= & UName & ;PWD= & PWord & （连接串）conNewDB.open strConnect（打开数据库）SRVR= ”127.0.0.1”地址端口DB =”DBName”数据库名字UID =”user”数据库的用户名PWD =”mypass”数据库的密码SQL sever数据库strConnect=Provider=SQLOLEDBs erver=127.0.0.1;database=sg;UID=sa;pwd=（连接串）conn.open strConnect（打开数据库）地址端口数据库名字数据库的用户名数据库的密码server=”127.0.0

33、.1”database-,DBNamd,UID=”user”Pwd=”mypass”ORACLE数据库strConnect = Provider=OraOLEDB.Oracle; & _Data Source=MyOracleDB; & _你的数据源名，即数据库名User Id=myUsername; & _用户名，如果没有可以为空Password=myPassword用户密码，如果没有可以空（连接串）conNewDB.Open strConnect（打开数据库）Data Source= DBNamO，数据库名字User Id=” user”数据库的用户名Password= mypass”数据

34、库的密码(注：Data和Source中间含有空格，User和Id中间含有空 格。)ORACLE数据库和前两个数据库不一样，它只含有三个数据库参 数，所以在改写它的时候要把数据库函数里的参数从四个改写到三 个，这点要注意。函数例子：DxmXkDataBas( DBase As String, UName As String, PWord AsString)如果仍然存在一定的差异，还要根据各地方自己的具体情况在 具体修改。8.3转换函数的修改因为在数据转储时候，一些旧库表中的数据，要进行处理后才 能录入到新库中去，这些处理数据的规则是根据新编码的需求制定 出来的。(地方上可以根据自己的情况作调整)

35、转换函数：ShChangeValue()ShChangeValue(FCValue As String, FCVRelation As String)FCValue:从旧库表字段中取出的数据RCVRelation:为转换关系ShChangeValue()函数位于ShModload代码文件中，如果地方上 的表转储还需要在字段上有新的处理。那么可以把新编写的转储函 数放在ShChangeValue()中，这样程序就自己调用。如果在地方上有特殊表字段转换关系比较复杂，也可以对转换 函数进行修改。第9章技术支持在安装使用过程中如遇到问题，可咨询：63202455。附录：转换函数说明清单Minim函数：

36、转换微量雨7777的情况，如:7777 -某个特定的数值， 先处理成7777。Kqks函数：提取闸门启闭原码中的开启孔数，提供5位字符，如 果为 44444，返回 0，否则返回 substring（0,1）,如：23008-23Zmgd函数：提取闸门开启原码中的闸门高度，提供5位字符，如果为44444，返回444，如果为88888,返回888，如果为99999,返回999。如果是*555或者*777或者*888或者*999,返回后三位,即:555,777,888,999（555无闸门控制;777微开;888:闸门提出水面）其它情况返回substring（2）/10substring（ij）k函

37、数：表示从第i位开始取长度为j的字符串,i从0 开始,j大于0,取不到的情况下返回k，k可能为nullFillMonth0函数:如果为四位数不变，三位数前面加0Tjsdbz函数：返回新库中的统计时间标志，1（即：一日）-1,3（三 日）-2,5（ 候）-3,10（ 旬）-4,30（ 月）-5,365（ 年）-6如: 10-4,30-5Xysj（n）函数：根据当前记录中的某个字段值来计算旬月时间n从0 开始表示从当前记录中取第n个字段值作为时间标识DMID1）若DMID（旬月标识）字段取值为0，将原表时间转为8点整的时间，如：原时间：2005-08-01 00:00新表时间2005-08-01 08:00统计时段标志STTDRCD=52）若DMID=1,表示是上月上旬量，将原表时间转为当月11日8 时，如：原时间：2005-07-01 00:00新表时间：2005-07-11 08:00统计时段标志STTDRCD=43）若DMID=2,表示是上月中旬量，将原表时间转为当月21日8 时，如：原时间：2005-07-01 00:00新表时间：2005-07-21 08:00统计时段标志STTDRCD=44）若DMID=3，表示是上月下旬量，将原表时间转为当月1日8 时，如：原时间：2005-08