批量数据智能处理工具使用说明

1、批量数据智能处理工具作者：万升级日期：2009-8-41 简介：背景：在软件开发，测试时，都需要对相关表配置相应的数据。数据量小的时候还可以手工配置，对工作效率没有太大的影响，但当需要配置的数据量较大时，就是一个令人头疼的问题。配置起来相对麻烦得多。花费很多的时间，极大的影响工作效率，有时因没有有效的数据支撑，影响到项目进度。这时我们就会想，要是有一个数据自动生成的小工具那该多好啊！我也是深有体会。为此，为了解决大家共同的问题，在项目间隙期，挤出点时间来研究了一个数据自动生成，导入，导出的小工具。也希望能实实在在的给大家工作带来方便。这个工具目前兼容ORACLE，INFORMX两种数据库，根据

2、输入的表名，自动判断表在数据库中是否存在，并自动根据表结构，以及你的相关设置，智能的生成你需要的大量数据。可以把生成后的数据导出到本地保存，也可以把本的已有的数据直接导入到库表中。在导入过程中，智能的判断数据是否符合要求。此工具不仅支持直接连接数据库运行，也可以独立行动，同样生成最有效的数据。在独立运行模式下，操作跟数据库模式下大体相同，这里只介绍数据库模式下的操作。为满足更多用户的使用，还增加了对表的批量备份和恢复功能，在附加功能里面实现。下面是工具的主界面：目录1 简介：12 主要功能介绍31.1模糊查询功能31.2获取字段类型功能41.3获取库表主键功能41.4数据批量自动生成功能51.

3、5导出数据功能51.6数据导入功能61.7更新数据库功能61.8指定列数据生成修改功能71.9附加功能83 独立运行模式相关功能说明91.10在工具的主界面操作说明91.11在此模式下，对字段的操作101.12改变字段类型101.13删除字段114 使用中的数据库配置111.14配置连接数据115 操作指南：131.15使用前的准备131.16参数配置131.17连接数据库131.18获取表信息141.19任意配置，修改数据151.20自动生成数据161.21导出数据161.22导入数据161.23删除数据171.24更新数据库176 特殊说明：181.25优点181.26不足之处。181.2

4、7相关申明187 结束语：198 使用过程中同事们发现的问题：199 使用场景221.28在下面描述场景中使用此工具，可以事半功倍，能很大提升工作效率。2210 相关制作界面222 主要功能介绍表模糊查询功能，智能获取字段类型，获取库表主键，智能生成批量数据，导出数据功能，导入数据功能，更新数据库功能，指定列数据生成修改功能，附加功能。1.1 模糊查询功能当你记不清需要生成数据的表的全名时，此功能可以帮助你，只在输入表名的其中几个字母，系统智能的查找到你需要的表。大大节约时间。一般情况我们只能查找到当前用户下的表。最左边一栏是表名，中间一栏为当前登陆数据的用户名，最后一栏是数据所在的表空间名（

5、表空间名在ORACLE下才会有）。如下图：1.2 获取字段类型功能工具可根据数据库表中字段的类型显示在界面上，使用我们对数据结构一目了然，对我们判断生成的数据是否符合要求，需要生成什么样的数据，对修改数据起到关键作用。如下图：1.3 获取库表主键功能此工具除了可以获取数据类型，还可以智能的生成对应表的主键，这个功能有点复杂，ORACLE与INFORMIX存在很大差异。实现起来困难很大，特别是INFORMIX数据，在获取主键标志时，最后只能取得字段号，但通过修正后，基本可以满足要求。有时可能不能生成主键，系统会给出相应提示。这时我们就要关注一下当前表的主键，可能需要手动修改。手动修改也很简单。只

6、要选取对应行的主键列，通过下拉选项即时修改。主键自动生成如下图所示：1.4 数据批量自动生成功能这一功能比较关键，能否生成正确的数据成失败就在这里。大家也不要太担心，这个功能我花了不少心思，可以根据自动生成的主键个数，字段类型，最大长度限制，增加方式，设置的起始值，增加数。固定值等生成对应的数据。根据主键个数会智能的判断，主键(联合主键也会自动判断)是否存在重复。固定值也会智能的根据字段限制的最大长度初始化为对应长度的值：如上图的groupnumber字段的类型为char最大长度为20，固定值会自动初始化为20个0的字符串：” ”。如果是其它数据类型，初始化值为：888。ORACLE与INFO

7、RMIX数据类型存在不同，系统会自动判断。我们也不用担心。1.5 导出数据功能需要的宝贝数据终于生成后，我们需要的把它保存起来，以备后面使用，或在其它地方使用。这里提供了导出功能，把生成的数据导出到本地，以.unl格式保存。其中每一条数据的格式如：*|*|*|*|，默认情况下，数据间以”|”号分隔开。完全符合Unix,Linux ORACLE,INFORMIX数据导入格式。我们也可以根据实际情况选择分隔符：“空格，&，TAB”三种。导入界面如下图所示：1.6 数据导入功能除了把数据导出之外，我们也可以把符合条件的数据，导入到我们的界面中，以供我们使用，批量修改等操作。导入过程对数据进行严格筛选

8、，只有我们指定的条件的数据，才能导入进来。如果是联合主键，系统会在导入过程智能的判断，是否存在重复。1.7 更新数据库功能这一功能非常重要，也非常关键。涉及到对数据库表的中数据的修改，为了谨慎起见。在更新数据之前系统会有多道提示，如果数据库中存在数据，系统会提示你备份数据库表中数据。以便更新失败后可以恢复回来。如果当前表在数据库中没有数据，会直接更新。同时会把已经存在的数据显示在窗口中，供我们参考。如下图所示：在更新数据时，这里提供了两种更新方式，一种是追加，另一种是覆盖。如下图所示：& 说明：其它人性化的设计在使用的时候会慢慢体会出来1.8 指定列数据生成修改功能此功能主要是对已经存在的数据

9、，在保持其它列数据不变的情况下，对指定列进行修改。通过对列的选取，全选，反选功能操作多个列，如下图所示：重点关注，红线框内的数据，上面框选择的列，按右边的，会弹出一个提示对话框，提醒你这样做会修改被选中字段的数据。再按：，对应列的数据将被修改。此功能在不修改其它字段数据的情况下，改变少数几列数据是很实用的。1.9 附加功能为满足更多用户的使用。特别增加了这一功能，类似于数据库的备份与恢复。实现对数据库全表的批量备份与恢复，对那些不知道当前需要备份哪些表的人来说，这是一个较为理解的解决办法。这里也可以对单个表进行备份与恢复。这也是针对我们开发，测试时搭建环境所加入的功能，经常需要在多个项目，多套

10、环境平台中配置相同的数据，每次都在浪费不必要的时间，大大降低了工作效率。使用这一功能后，会节约很多的时间。只需要修改很少的数据就可以搭建一套新的环境。操作界面如下图所示：3 独立运行模式相关功能说明1.10 在工具的主界面操作说明直接点击按钮，系统将脱离数据连接，进入独立运行模式。如下图所示：1.11 在此模式下，对字段的操作点击，用户可以随意定义，增加，删除字段名，以及限制数据长度，主键等操作。如下图所示：1.12 改变字段类型用户可以在字段类型列上双击，弹出对话框，修改字段类型和长度。如下图所示：1.13 删除字段 不需要的字段可以用Alt+D组合键来删除不需要的字段，删除字段时，系统会高

11、亮提示，点击，将删除对应字段数据，点击不删除，返回界面。如下图所示：4 使用中的数据库配置1.14 配置连接数据使用这个工具，我们还需要做一些工作，配置一些参数，这些参数用于连接数据库。目前支持有ORACLE 和 INFORMIX两种配置。在使用数据库模式时，我们需要先配置数据库连接参数，才能正确的连接到数据库中。配置步骤：1、 在工具的主界面中点击，进行数据库配置界面，如下图所示：2、可以增加，删除，修改数据库连接参数。也可双击对应数据列，查看对应连接信息。点击时，新增数据库连接信息。在对应栏中填入正确信息，再点击，回到主窗口，再点击，完成数据库连接参数配置。如下图所示：当然在配置这些参数前

12、，自己的PC机，还需要安装对应数据库的客户端。否则就不能运行说明：DBMS 在INFORMIX中目前存在两个版本号：IN9 INFORMIX-9和IN7 I-Net v7.x 5 操作指南：工具功能实用，操作简单，界面友好，操作几遍后就能熟练使用。1.15 使用前的准备1、如果使用的ORACLE数据库，就需要安装对应版本的数据库客户端，INFORMIX也是一样的。并配置客户端，这里就不介绍如果配置，请参阅ORACLE，INFORMIX客户端安装文档。1.16 参数配置1、数据库客户端配置好后，我们就可以为此工具配置所需要的数据。1.9 配置连接数据说明指导，完成数据库连接配置。1.17 连接数

13、据库1、 参数配置完后，我们就可以运行此工具，点击：datatool.exe文件进入【数据智能处理工具】界面。如下图所示：2、 我们点击按钮，3、 自动连接到配置好的数据中，数据库成功，会给出提示，如下图。如果连接不成功，也会给出提示相关错误信息。1.18 获取表信息1、 成功连接到数据库后，我们就可以对数据库存在表进行数据生成，导入操作。光标自动指向表名输入框。2、 这里支持模糊查询，只要输入表名的前几个字母，系统就会自动匹配，我们就可以用方向键或鼠标选择对应的表名。如下图所示：3、 选择所要的表名后，我们只需按回车键，或在对应的表名上双击鼠标左键，就可以获取到表名。4、 与此同时，在三个数

14、据窗口中都会显示相关信息。在最上面的窗口中，显示的是表的字段的信息如：数据类型，是否为主键，限制的长度等。另外还为生成更合理的数据，增加了一些副加信息。如：增加方式，增加数，起始值，固定值。这值会根据字段类型的不同自动匹配最合理的方式。最后面一列为标识列，被“”选中的例，表是被修改的列，否则就不被修改。如下图所示：5、 在中间的窗口中，就是根据表结构自动生成的数据窗口，主要是用于生成数据时，显示生成的所生成的数据。如下图所示：6、 最下面一个窗口，是显示此表在数据库中已经存在数据。用户可以更直观的参考其中的数据，配置生成更合理的数据。如下图所示：如果数据太多，看数据不方便，双击生成数据的窗口可

15、以放大窗口进行查看。如果数据太多，看数据不方便，双击数据检索的小窗口，将窗口放大进行查看。1.19 任意配置，修改数据用户可以根据自己对数据的要求，修改最每一个字段的数据配置，生成对应数据，如果生成后的数据，其中几条不合理，只要修改几条时也可以，在中间显示生成数据的数据窗口中针对任意行任意列直接修改。1.20 自动生成数据1、 生成数据时，生成的数是有限制的，默认值为100条。上限为：10w条。设置条数2、 数据配置好后，我们期盼已久的数据终于可以生成了。点击：按钮，就自动生成数据，在中间的数据窗口中就会显示对应的数据。1.21 导出数据1、数据生成后，我们可以使用导出功能，把数据保存在本地，

16、以备后用。点击：按钮，将数据导出。导出的文件名自动以当前表名+当前日期为前缀，并以.unl为后缀。如下图所示：1.22 导入数据1、 我们也可以把本地以.unl为后缀的文件中符合规范的数据，导入进来。点击：按钮，就弹出导入对话框，选择文件，进行导入操作。2、 在导入过程中还有两步选择，首先确定当前表是否为内存表，内存表是有条数了限制的。如果是内存表就会要求输入限制条数，默认为1000条。如下图 3、下一步就会询问你是在导入数据过程中，是否需要对数据进行有效性验证。这里说明一下，对于导入大批量，多字段的数据来说，如果确定数据是正的，不校验会节省大量的时间。如果导入数据的正确性不能确定，最好是校验

17、一下。这里的校验主要是针对主键（联合主键也能校验）是否存在重复。如果字段是数字型的也会校验，对应数据不是字段类型，会报错同时给出提示。字段串的字段，会对默认的长度进行校验。例如字段类型为：varchar(128)的，工具会对对应的数据长度进行验证，如果大于128位会报错提示。1.23 删除数据 1、删除数据，主要是对生成的数据中不需要的数据进行删除操作。这里是直接删除，不给出任何提示信息。1.24 更新数据库1、 有了这一步，我们就不用再把.unl通过ftp上传到服务器上，再通过load等数据导入命令，把文件中的数据导入到数据中。省去很多的工作。2、 更新数据库是很危险的事，数据也是很敏感的。

18、安全起见，在更新之前，如果数据库表中存在数据，最好做一个备份。这里我也做一个备份功能，同时也给出备份提示的信息，默认需要备份，以wac_sysconfig表为例，如下图所示：3、 如果当前表在数据库中没有记录存在，就不会出现上面的提示信息，而是再现下面的信息，以sw_ctrltb表为例。4、 在做完上面的第二步操作时，就会出现下面的对话提示框。5、选择覆盖，数据库中的数据会被当前生成的数据替换。选择追加，当前生成的数据会添加到数据库表中，不替换原有数据。点击，执行对应操作。点击和，系统退出操作，不做任何处理。6 特殊说明：1.25 优点1、 界面友好，简洁，可操作性强。2、 不仅支持数据库模式

19、，还以脱离数据库独立运行，并支持多种数据配置，自动生成数据。3、 功能全面，针对性强，对经常批量处理，导入，导出，生成数据的用户很实用。最大限度的满足用户需求。1.26 不足之处。1、工具对操作10w条以上数据的生成，导入有一定的弊端。可能需要花费很长的时间。也可能会出现想不到的结果，请留意1.27 相关申明1、 此工具由本人在项目空隙时间开发，时间有限，存很多的不足之处，在使用过程中如出现不明错或生成不合理的数据。请大家即时提出来，我即时更新，2、 在使用此工具时，请小心，特别是更新数据库表时，由于操作不当，造成数据丢失，对于数据量大的时候更新数据库，造成数据库崩溃等情况，由使用者自己承担。

20、3、在大家在使用过程中，如有更好的意见或建议，欢迎来电，发邮件，也可以直接跟我交流，完善此工具，更好的为大家服务。7 结束语：在开发此工具时得到很多同事支持和帮助，也得到领导的关心与鼓励。可以说，这是大家的努力才能顺利完成。也希望大家能够提出更好更多的建议，使此工具更加完善。在今后的工作能帮助大家切切实实的提高工作效率。根据实际需要，综合大家意见。会即时开发出下一代版本。8 使用过程中同事们发现的问题：1、 在配置数据库连接参数时，不能修改其配置参数。 已经解决2、 登陆时不需要再输入用户名和密码。尽量使用操作简单。已经解决3、 使用自增加时，数据位数10位，就会出现负数的情 已经解决这个是因为long类型的数据最大值是： 造成数据溢出。4、 对于联合主键，其中一个主键是固值的时候。如何实现 已经解决5、 导入超过5000条数据时，速度很慢。已经解决6、 如果表在数据库中的数据超过2000，就需要提示，是否显示在窗口中 已经解决7、同事提出的对数据库表进行批量备份与恢复功能 目前也已经完成。在附加功能里面实现问题与解决方案：1、 在连接数据库时报下