Sybase_IQ之导出导入.docx

Sybase IQ之导出、导入研究 作者：oracle dba来源：TechTarget中国 我要评论 投稿 打印 MSN推荐 博客引用 导读：本文介绍了Sybase IQ导出、导入数据的相关内容，Sybase IQ是一个强大的即席查询服务器，用户可以使用Sybase IQ来分离决策支持系统和在线事务处理系统。关键词：Sybase IQ 即席查询服务器 决策支持系统 OLTP 正在加载数据. 【TechTarget中国原创】ASIQ一直以其导出导入性能佳而著称，如果能将其用好确实不易。最近本人对此研究了一番，总结如下，仅供参考。1. 前言Sybase IQ是一个强大的即席查询服务器。用Sybase IQ来分离决策支持系统(DSS，Decision Support System，READER)和在线事务处理系统(OLTP，OnLine Transaction Processing，WRITER)。目前Sybase IQ在SG186数据中心项目中作为数据仓库数据库得到广泛使用。2. 导出导出在Sybase IQ也称卸载，总结Sybase IQ卸载方式无外乎以下几种：2.1、使用BCP卸载数据SybaseIQ支持BCP，可以有两种方式，一种呢是通过OCS提供的BCP，语法和ASE类似，还有一种是通过iq_bcp，语法如下：usage:iq_bcpdatabase_name.owner.table_namein|outdatafile -c-tfield_terminator-rrow_terminator -Uusername-Ppassword-Iinterfaces_file-Sserver -v-Apacketsize-Jclientcharacterset usage:bcpdb_name.owner.table_name:slice_numpartitionpnamein|outfilename -mmaxerrors-fformatfile-eerrfile -Ffirstrow-Llastrow-bbatchsize -n-c-tfield_terminator-rrow_terminator -Uusername-Ppassword-Iinterfaces_file-Sserver -adisplay_charset-zlanguage-v -Apacketsize-Jclientcharacterset -Ttextorimagesize-E-gid_start_value-N-X -MLabelNameLabelValue-labeled -Kkeytab_file-Rremote_server_principal-C -Vsecurity_options-Zsecurity_mechanism-Q-Y -xtrusted.txt_file -maxconnmaximum_connections-show-fi-hide-vcc这两种方式都需要配置，open client 的接口文件UNIX下是interfaces，与数据库option方式的数据卸载相比较，特点是：一速度比后者慢，但是支持客户端数据卸载。以下给出一个具体的例子：bcpcmcc.d_districtoutD_BRAND.dat-c-t|-T32000-UDBA-PSQL-Stestiq-Jcp936或者 iq_bcpcmcc.d_districtoutD_BRAND.dat-c-t|-UDBA-PSQL-Stestiq-Jcp9362.2文本数据方式2.2.1、Sqladv方式示例如下：在cmd状态下：c:sqladv -Sserver -Uuser -Ppassword -i c:test.sql -o c:testout.txt但是有几个问题：(1)、出来的东东格式不太标准：首先有字段名的表头，不知道怎么去掉。另外就是各个字段之间的数据采用N个空格分开，不是使用Tab，不过，这些可以通过编程解决。(2)、执行Bat处理时启动一次SQLADV之后，后面的就执行不过去了，必须先把SQLADV关闭才能执行。2.2.2、isql方式使用Isql可以实现同样的效果，这样就可直接使用批处理文件，不用Sqladv的方式了。c:isql -Sserver -Uuser -Ppassword -i c:test.sql -o c:testout.txttest.sql:select * from DSSD_TIME where TIME_YEAR=2001go2.2.3、output方式OUTPUTTOfilename APPEND VERBOSE FORMAToutput-format ESCAPECHARACTERcharacter DELIMITEDBYstring QUOTEstringALL COLUMNWIDTHS(integer,.) HEXADECIMALON|OFF|ASIS ENCODINGencoding output-format: ASCII|DBASEII|DBASEIII|EXCEL |FIXED|FOXPRO|HTML|LOTUS|SQL|XML QUOTE ESCAPE CHARACTER character 指定转义字符 输出数据在当前运行端 可以指定分割符方式的数据输出，也可以指定每个字段的定长方式.。示例如下：SELECT*FROMDBA.V_ICP_ID; OUTPUTTOc:tempV_ICP_ID.out DELIMITEDBY| FORMATASCII quote;输出结果在命令执行端。 # 输出执行结果 & 输出到文件包括错误信息和执行信息，执行结果例如：SELECT *FROM employee& empfile或select * from psdss_dm.AA_RESULT # D:tmpdaAA_RESULT.txt;2.3、option方式此方式可以导出二进制数据：settemporaryoptiontemp_extract_name1=/apps/performance/IAC;-设置输出路径 settemporaryoptionTemp_Extract_Column_Delimiter=|;-设置分隔符 commit select*fromP_ABIS_IAC-执行查找 commit settemporaryoptiontemp_extract_name1=-重新设置到控制台 commit经过研究，并在东软导出工具基础上加以改造实现了批量表数据导出，填补了东软工具不能批量表导出的不足。2.4导出方式比较(1)Option是二进制方式，此种方式速度最快，在导入时完全避免了分隔符和空值等问题。(2)iq_bcp方式支持客户端导出。(3)其他几种方式是文本方式，可以灵活定制文本导出格式，只能在服务器端导出。3.导入3.1、loadload语句的格式：LOADINTOTABLEowner.table-name(column-name,.) FROMfilename load-option. statistics-limitation-options load-option: CHECKCONSTRAINTSON|OFF |COMPUTESON|OFF |DEFAULTSON|OFF |DELIMITEDBYstring |ESCAPECHARACTERcharacter |ESCAPESON|OFF |FORMATASCII|BCP |HEXADECIMALON|OFF |ORDERON|OFF |PCTFREEpercent-free-space |QUOTESON|OFF |SKIPinteger |STRIPON|OFF |WITHCHECKPOINTON|OFF 如果字段名未出现在字段列表中，则填充NULL、0、空、或者DEFAULT;存在于输入文件中的字段可以用“filler()”.忽略 DEFAULTS ON | OFF 为ON则字段取缺省值。否则取NULL QUOTES ON | OFF 缺省为ON ，字段定界符为或者 “” DELIMITED BY 选项： 可以单个字符，最多255个字符，例如：制表符号作分割符号：.DELIMITED BY nx09 SKIP n 忽略前n条记录; STRIP ON|OFF 尾空格插入前是否截取; WITH CHECKPOINT ON|OFF 缺省为 OFF, 如果设置为ON则，命令完成后，执行CHECKPOINT 操作。下面是从一个文本文件load到表F_INN_IA_DAILY_SUM中的语句：settemporaryoptiondate_order=YMD; LoadTableF_INN_IA_DAILY_SUM ( ORG_SID+|+, DEAL_SID+|+, ALL_TIME_SID+|+, R_COUNT_DIM_SID+|+, T_TAX_STOR_COST+|+, T_STOR_COST+|+, T_STOR_SUM+|+, CREATED_DTX0A ) From/load_data/F_Inn_IA_Daily_Sum.txt ESCAPESOFF QUOTESOFF NOTIFY100000 WITHCHECKPOINTON; COMMIT其中+|+是字段的分隔符，X0A是记录的分隔符，即回车(文本文件中)。load中注意的问题：1、load的文本文件要在iq同一台机子上。2、load的时候经常出现类型转换错误，所以要注意字段类型和长度一致。3、最后一个字段有空值，也会出现字符转换错误，但真正的原因是最后一个字段有空值。对最后一个字段空值的load语句：数据：256|59|水资源费费展x00费|5903|自来水厂自来水厂保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|2006-12-02 02:15:19.0257|59|水资源费费展x00费|5904|自来水厂取地自来保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|2006-12-02 02:15:19.0258|59|水资源费费展x00费|5905|工业生产取地表水保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|为空259|59|水资源费费展x00费|5906|工业生产取地下水保险x00船x00船x00x00|0|2006-12-01 02:15:19.0|为空因为有最后是有空值的，在装载的时候装载不进去，要指出空值的类型。load语句如下：LOADTABLEd_tax_kind (TAX_KIND_KEY|, TAX_KIND_CODE|, TAX_KIND_NAME|, TAX_ITEM_CODE|, TAX_ITEM_NAME|, TAX_FLAG|, EFFECTIVE_DATE|null(), END_DATEx0dx0anull() ) FROMc:d_tax_kind.out ESCAPESOFF QUOTESOff formatASCII WITHCHECKPOINTON;需要注意的问题：ASCII变长数据加载时，字段分割符号和行分隔符一般需要描述。3.2 insert 数据加载语法：INSERTINTOowner.table-name(column-name,.) .VALUES(expression.) Syntax2 INSERTINTOowner.table-name(column-name,.) .insert-load-options .select-statement Syntax3 INSERTINTOowner.table-name(column-name,.) .insert-load-options LOCATIONservername.dbname ENCRYPTEDPASSWORDPACKETSIZEpacket-size .select-statement3.3、特殊的INSERT支持部分加载，从其他远程服务器数据加载。INSERTINTOlineitem (l_shipdate,l_orderkey) LOCATIONdetroit.asiqdb PACKETSIZE512 SELECTl_shipdate,l_orderkey FROMlineitem通过LOCATION detroit.asiqdb指定Open Client配置的服务器名和数据库名称。3.4、管道方式的数据加载利用操作系统管道功能进行数据加载，减少磁盘I/O 使数据加载更加高效。3.4.1、管道数据加载命令脚本#!/bin/ksh FILE=$1 if-z$FILE then echo echoUSAGE:$0SQL_file_to_load echo exit fi if-rCdrPipe then rmCdrPipe fi mknod/work_tmp/test_pipe/CdrPipep nohupdbisqlc-c eng=iq12