大数据解决方案介绍课件

1、大数据解决方案介绍DataEngine MPP BigData1. DataEngine MPP产品概述2. DataEngine MPP核心技术3. DataEngine MPP日常维护4. DataEngine 数据抽取及加载目录2大数据技术架构安装布署集群管理服务管理用户管理权限管理监控告警运维管理资源管理YARN任务调度Oozie安全管理Kerberos文件系统HDFS消息队列Kafka离线计算MapReduce全文索引ElasticSerch数据库HBase数据仓库Hive同步系统ZooKeeper内存计算Spark流计算StormHadoop/Spark分布式系统主机管理MPP分布

2、式数据库数据库数据库数据库数据库接口SQL、CLI、Restful API、JDBC、ODBCLinux操作系统X86服务器集群可视化运维Hadoop和MPP融合Hadoop组件优化SQL及相关功能增强行业应用场景化适配版本管理多租户自服务工作流交互式报表Zepplin数据的分类数据库(RDBMS)。结合到典型场景中更容易理解，比如企业ERP、财务系统；其他核心数据库等。包括邮件、HTML、报表、资源库等等，典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。非结构化数据包括视频、音频、图片、图像、文档、文本等形式。互联网数据结构特征企业级数据结构特征互联网数据以非结构化处

3、理为主；在企业大数据中， 仍然是以结构化数据处理为主，但非结构化数据增长很快；数据的处理技术HadoopNoSQL，互联网、非结构化传统数据库OldSQL，交易、联机事务MPP数据库NewSQL,分析应用、结构化行业大数据大数据OLTP or OLAP？合适的技术解决针对的问题多种数据处理技术的组合混搭架构OldSQLNewSQLNoSQL大数据平台One Size Doesnt Fit All！数据处理平台基础数据源业务数据文本数据音频数据视频数据事务型数据库（在线业务数据）MPP数据库（高价值密度结构化数据）流处理技术Hadoop（低价值密度数据）大数据应用DW数据集市数据集市数据集市元数

4、据索引数据半结构化数据OLTP非结构化数据结构化数据列存储粗粒度索引压缩技术SQL优化动态扩展资源管理HIVEPIGMapReduceHDFS大表关联并行数据加载事务数据完整性锁机制索引SQL执行SQL优化监控管理备份恢复断点处理缓存技术大数据应用未来趋势混搭架构DataEngine MPP产品定义DataEngine MPP数据库产品是面向大数据分析类应用领域的一款高性能国产新型数据库产品，用于满足数据密集型行业日益增大的数据查询、数据统计、数据分析、数据挖掘和数据备份等需求，可用做数据仓库系统、BI系统和决策支持系统的承载数据库。MPP数据库高扩展Shared Nothing大规模并行处理

5、高可用列存储高效压缩粗粒度索引DataEngine MPP产品功能功 能描 述结构化查询语言符合SQL 92标准，支持CREATE、ALTER、DROP等DDL语法，支持SELECT、INSERT、UPDATE、DELETE、MERGE等DML语法，支持单表，多表联合查询数据类型INT、TINYINT、SMALLINT、BIGINT、DECIMAL、FLOAT、DOUBLE数值数据类型CHAR、VARCHAR、TEXT字符数据类型DATE、TIME、DATETIME、TIMESTAMP日期类型BLOB二进制数据类型数据库对象提供了数据库，表，索引，视图，存储过程，自定义函数等常用数据库对象的创

6、建，修改和删除操作，支持数据库用户的创建，删除操作，以及用户权限的分配与回收行列混合存储基于创建的物理表，可以实现行存列的创建，修改和删除图形化工具提供了企业管理工具和集群监控工具。接口符合并支持C API、ODBC、JDBC、ADO.NET等接口规范外围工具提供数据加载、集群备份/恢复、数据重分布等外围工具1. DataEngine MPP产品概述2. DataEngine MPP核心技术3. DataEngine MPP日常维护4. DataEngine 数据抽取及加载目录9数据库集群架构技术MPP数据库Oracle RAC数据库集群架构Shared DiskGreenPlumHDFSHB

7、aseVerticaTeradataDataEngine MPP Shared Nothing有Master无MasterdisksdisksmemoryCPUCPUdisksmemoryCPUCPUdisksmemoryCPUCPUInterconnection Network数据数据分布策略Hash,Range,RandomMPP架构横向扩展最多192个节点DataEngine MPP数据库部署架构DataEngine MPP 集群软件架构分布式数据管理层 分布式集群管理层.集群节点分布式任务分布式并行任务管理层应用层统一接口层 JDBC，ODBC，.Net, CAPISQLSQLGNod

8、e列存储引擎A B数据多个副本GCWareOS + 存储GClusterCoordinatorOptimizerParserGNode A B数据多个副本GCWareOS + 存储GClusterCoordinatorOptimizerParser列存储引擎高速数据链接DataEngine MPP核心技术-列存储DataCellDataCellDataCellDataCellDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCCol 1Col 2Col 3

9、Col 4Col 5Col 6DCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDC列存数据库 vs. 行存数据库列存优势：查询、统计和分析 只访问查询涉及的列，大量降低I/O 数据类型一致，方便压缩数据包建索引，数据即索引。行存优势：小数据增删改没有索引的查询使用大量I/O 建立索引和物化视图需要花费大量时间和资源c5c4c3c2c1c9c8c7c6r1r2r3r4r5c5c4c3c2c1c9c8c7c6r1r2r3r4r5DataEngine MPP核心技术-高效压缩DataEngine 压缩特征内置十多种数据压缩算法基于一列内同类型数据，实现高压缩比存储 实现全

10、局，表级，列级压缩选项，灵活平衡性能与压缩比的关系create table lineorder (lo_orderkey bigint,lo_linenumber int compress(5),lo_custkey int,lo_partkey int,lo_suppkey int,lo_orderdate int,lo_orderpriority varchar(15) compress(0),lo_shippriority varchar(1) ,lo_quantity int,lo_extendedprice int,lo_ordtotalprice int,lo_discount i

11、nt,lo_revenue int,lo_supplycost int,lo_tax int,lo_commitdate int,lo_shipmode varchar(10) ) compress(1,3);不同压缩算法选项H3C DataEngine压缩优点较高的压缩比，为海量数据的存储节省了宝贵的存储投资和持续性电能损耗压缩态数据使得数据处理过程中，大幅降低磁盘IODataEngine MPP核心技术-高效压缩压缩方式：列级 int型压缩方式选项：0，1，5列级 char型压缩方式选项：0，3，5表级组合压缩方式为：（0，0）、（1，3）、（5，5），第一位为int型压缩方式，第2位为c

12、har型压缩方式适用场景：（1，3）压缩优势是压缩比高，但是执行效率一般；（5，5）压缩优势是压缩和解压缩性能高，但是压缩比较低，属于轻压缩算法。 （1，3）压缩比（5，5）压缩比高一倍。如果对存储空间要求高，对性能不太要求时，建议使用（1，3）压缩。如果对存储空间要求不高，对性能要求高时，建议使用（5，5）压缩。DataEngine MPP核心技术-粗粒度智能索引 1 (date)2 (int)34510010110, 10100101, 1001025,2510010230,501001031,5MPP 粗粒度智能索引结构MPP 底层列存储结构粗粒度：扩展性很高，对数据入库性能几乎不影响局

13、部性：实现高效的数据边入库边查询、统计；数据入库速度不随数据量增加而下降全部字段索引：不再需要手工建立索引。即席查询粗粒度智能索引示例智能索引信息和结构 a (date)b (int)cde10010110, 10100101, 1001025,2510010230,501001031,5False=完全排除 - 100%不满足过滤条件True=完全确定 - 100%满足过滤条件Possible=有可能 - 部分满足过滤条件100101,10010110,10,655360100101,1001025,25,1155261556710126b列一个需要读取的数据包655360sum+ 2435

14、1预计算数据Min,max, sum,.Sum(b) = ?Select a, sum(b) as b from mytabWhere a=100101 Group by aOrder by b desc结果集过滤条件基本算子A300GB/小时多表500GB/小时集群2TB/小时并行操作：JoinGroup bySortScanLike 查询DataEngine MPP集群表的基本概念在DataEngine MPP 集群中，数据模型分为以下几种：复制表：集群中每个节点均有完整的表数据，且对该表数据进行管理分布表：将数据分布存储到不同的节点上，每个节点上只存储一部分数据哈希分布表：将表中某列指定

15、为哈希列，然后将数据按照哈希算法的取值存储到不同的节点上。经常用于对哈希列进行等值查询的场景，是大型数据中心最常用的数据分布方式。随机分布表：将数据随机存储到不同的节点上，每个节点只存储一部分数据，各个节点上的数据量接近。这种数据分布方式，通常用于对数据进行汇总计算的场景。同组的节点之间会互备分布表的数据，分布表具有高可用性。DataEngine MPP核心技术-数据分布策略 table副本table副本table副本分布表复制表随机分布表hash分布表annbobliliannlilibob1,5,103,8,157,16,19数据部署方式：复制(Replicated)和分布(Distrib

16、uted)两种DataEngine MPP核心技术-安全组高可用机制node1T1p1T1p2T1p3node2T1p1T1p2T1p3node3T1p1T1p2T1p3标注：T1p1Node1故障组内节点数据互备executor指向备份分片节点主分片文件备份文件DataEngine MPP核心技术-在线动态扩展机制DataEngine MPP 通过Safegroup 动态扩展集群节点每个节点同时提供计算和存储能力DataEngine MPP在线动态扩展能力Scale out （MPP）.Scale up （SMP）高性能+高扩展能力高性能节点扁平，对等高扩展能力MPP集群Shared Not

17、hing + MPP集群性能随节点数增加呈近似线性关系DataEngine MPP 数据读取 应用场景总结数据仓库支撑ODS，EDW，DM：TB、PB级数据量支撑能力 - 百亿行多表join海量数据查询，统计、分析互联网、移动互联网、金融、电信、物联网等：PB支撑能力 海量数据边入库边使用ROLAP Cube基于星形、雪花模型的多维分析：TB、PB支撑能力 - TB级别的CUBE实时钻取即席查询、统计分析基于任何字段组合的随机查询、统计：百TB、PB支撑能力 几百列的宽表任意组合查询 .Interconnect1. DataEngine MPP产品概述2. DataEngine MPP核心技术

18、3. DataEngine MPP日常维护4. DataEngine 数据抽取及加载目录27集群管理命令gcadmin 命令28gcadmin命令:gcadmin showclustergcadmin showlockgcadmin switchmode gcadmin addsggcadmin setnodestategcadmin -help 查看帮助信息gcadmin -V集群状态集群工作状态 ：ACTIVED / LOCKED集群LOCKED 状态原因:当前集群中Online 的节点个数小于等于1/2 时，集群总的状态为 LOCKED 状态集群LOCKED后表现： 不再执行SQL操作。

19、29集群的模式:normal表现：能执行所有SQL操作场景：正常模式readonly表现：只能执行查询SQL，不能执行DDL/DML/Loader操作场景：数据备份、扩容操作时集群处于只读模式recovery表现：不能进行任何SQL操作场景：数据恢复时集群处于恢复模式gcadmin切换集群模式举例：备份之前设置集群模式为readonly。gcadmin switchmode readonly30集群状态节点的工作状态:31online场景：节点在线场景：节点掉线或集群 gcware 服务未启动offline处理方法：排查是否掉电或断网等硬件、网络问题重新启动该节点的gcware服务servic

20、e gcware start查看gcware日志分析原因/var/log/corosync.log 或者 corosync f 查看错误信息排除offline节点故障举例：删除一个节点的gcware配置文件 corosync.conf ，导致节点offline。查看日志报错信息。32集群状态各模组工作进程状态:33open场景：进程正常场景：进程启动失败或消失close处理方法：查看相关日志找原因并重启相关进程模块进程节点服务启动后，正常有以下模块进程启动： gcluster进程名：gclusterd gnode进程名：gbased gcware进程名：corosync gcsync同步进程名

21、：gc_sync_server （由gc_sync_client触发） 自动恢复工具：gcrecover 监控工具：gcmonit / gcmmonit检查进程是否正常命令ps ef |grep 进程名34模块进程close状态故障排除进程基本操作进程如果close或者消失可以重新启动相应进程gcware进程启动会连带启动其他所有相关进程35查看进程gcadminps ef | grep 进程名service 进程名 status启停进程（root帐号）service 进程名 startservice 进程名 stopservice 进程名 restart模组进程close状态故障排除各进程异

22、常排查及处理36gbasedgnode配置文件中参数问题：内存过大或带小数gnode配置文件config权限过大（如777）5050端口被占用可查看gnode相关日志文件/opt/gnode/log/gbase/system.loggcluster5258端口被占用查看gcluster相关日志文件/opt/gcluster/log/gcluster/system.log/opt/gcluster/log/gcluster/express.loggc_sync5288端口被占用查看相关日志/opt/gcluster/log/gcluster/syncserver.log/opt/gcluster

23、/log/gcluster/gc_recover.log数据一致性状态数据一致性状态datastate:370场景：数据一致性正常场景：数据不一致，执行DDL/DML/loader失败导致1系统自动恢复：gcrecover 先恢复 DDL 操作然后调用同步服务 gc_sync 恢复数据恢复后，系统自动将 1 转换为 0。数据恢复datastate状态为1的故障排除 当某个节点执行命令失败后，数据恢复工具可监控到错误日志，然后调用同步工具，自动修复节点数据不一致的情况，确保各节点数据的一致性38节点一致性状态节点状态nodestate:390场景：节点正常，可用场景：节点不正常，不可用 节点有硬

24、件等长期故障，可手动设置该节点不可用1处理方法：节点故障后可将节点状态置为failure，该节点不可用gcadmin setnodestate 00 failure(有时数据需手工同步处理)节点故障排除后可将节点状态置为normal，节点自动同步上线gcadmin setnodestate 00 normal设置节点为故障不可用状态当某个节点出现故障时，短时间无法修复，需设置节点状态failure，以避免集群继续使用该节点。gcadmin setnodestate nodeip 3 failure40集群备份恢复41功能：集群备份恢复工具为gcrcman.py工具在/opt/gcluster/

25、server/bin目录下支持实例级别的全备和增备使用在各节点需要一个建立同样的备份目录使用mpp账号执行备份恢复操作每次只能运行一个gcrcman.py程序在每个节点下面，都要有备份路径，且要求mpp账号有写权限。备份方案42集群备份恢复原理本地备份恢复同一个组中只在一个节点上备份数据，恢复前先手工把备份数据拷贝到未备份的节点上，恢复时将备份数据恢复到本节点上43集群备份恢复原理异地备份恢复同一个组中备份目录跟异地服务器的一个目录连接，备份时在一个节点上备份数据，恢复时直接恢复到节点即可44集群备份恢复45语法格式：gcrcman.py -h|-help -V|-version -e|-ex

26、ecute command主要参数：path -d：该参数用于设定备份数据的存放路径，必选参数。注意，要求集群所有节点都拥有这个目录才能正常执行。execute -e：按命令行的方式执行备份恢复操作，可选参数。version -v：查看版本信息。help -h：显示帮助信息。执行命令：backup level -0 全备、1 增备recover point_id 集群备份恢复执行模式交互式模式：46su - mpp $ cd /opt/gcluster/server/bin$ python gcrcman.py -d /home/mpp/backuptestgcrcman show backu

27、psu - mpp $ cd /opt/gcluster/server/bin$ python gcrcman.py -d /home/mpp/backuptest -e show backup命令行模式：集群数据库的备份与恢复47备份时前提条件：集群的状态切换到readonly模式，此命令仅在一个节点上执行一次即可。 gcadmin switchmode readonly备份命令对集群数据进行全备份：BACKUP LEVEL 0 对集群数据进行基于上次备份的增量备份：BACKUP LEVEL 1备注：增备要在全备的基础上进行。集群数据库的备份与恢复查看备份点信息SHOW BACKUP48#

28、su mpp$ gcrcman.py -d /home/mpp/backup/gcrcmanshow backupcycle point level time0 0 0 2013-11-13 12:16:040 1 1 2013-11-13 12:26:110 2 1 2013-11-13 12:36:161 0 0 2013-11-14 12:16:231 1 1 2013-11-14 12:26:281 2 1 2013-11-14 12:36:322 0 0 2013-11-15 12:16:422 1 1 2013-11-15 12:26:48备份周期备份点集群数据库的备份与恢复49删

29、除集群数据库备份记录命令：delete 删除一个周期内的全部备份记录。举例： delete 1删除备份记录中的最后一个备份点。 举例： delete last对集群中的无效备份数据进行清除命令： cleanup当在备份过程中出现异常（如系统掉电）时，产生无效备份，可以将对集群中的无效备份数据进行清除。集群数据库的备份与恢复恢复恢复时前提条件将集群的状态切换到recovery模式，此命令仅在一个节点上执行即可。 gcadmin switchmode recovery各节点备份目录下均有相同的备份文件 本地备份方式时，非备份节点需拷贝备份文件。 拷贝命令如下：50$ scp -r /home/mp

30、p/backup/* mpp2:/home/mpp/backup/mpp10s password: 100% 93 0.1KB/s 00:00 backuppoint.ini.shadow 100% 94 0.1KB/s 00:00 db_mount_path 集群数据库的备份与恢复-恢复对集群数据进行所有节点恢复：命令： recover point_idrecover命令有以下三种形式：recover：恢复到最新周期的最新备份点。recover cycle_id：恢复到指定周期cycle_id内的最新备份点。recover cycle_id point_id：恢复到指定周期cycle_id内

31、的指定备份点示例：对数据库中第一个备份周期的第三个备份点的数据进行恢复。gcrcman RECOVER 0 2恢复操作完成后，切换到root 用户，执行service gcware restart 命令重启gcware 服务。51MPP集群管理器-介绍52已注册服务器菜单栏对象资源管理器工具栏模板资源管理器SQL历史记录MPP集群登录方法1MPP节点地址端口默认5258默认用户名mpp默认密码h3cMPP集群登录方法2rootnode5 bin# su - mppmppnode5 $ gccli -u mpp -ph3cDataEngine MPP client build 54349. Co

32、pyright (c) 2003-2016,H3C. All Rights Reserved.mpp 切换到mpp用户gccli u 用户名 p密码1. DataEngine MPP产品概述2. DataEngine MPP核心技术3. DataEngine MPP日常维护4. DataEngine 数据抽取及加载目录55数据抽取工具-OratoMPP56MPP数据库文件Oracle数据库gbloaderOratoMPP数据加载数据抽取数据抽取工具-OratoMPP57功能：可以快速、高效的从Oracle数据库中抽取数据的专用工具部署：OratoMPP是一个独立运行的数据抽取工具，需要将此工具

33、部署在可以访问到oracle的机器上，或者直接与oralce server部署在一台服务器上。 执行OratoMPP的用户，必须是可以访问oracle数据库的用户。数据抽取工具-OratoMPP58查询语句导出：$ ./OratoMPP -user=ssbm/ssbmmaya -table_name=lineorder -file=/home/oracle/lineorder.txt -field=; -format=0 -parallel=4export columns: 17export rows: 6001215export time: 31 secprocess ok!$ OratoM

34、PP -user=ssbm/ssbmmaya -query=select * from lineorder -file=/home/linna/lineorder.txt -field=; -format=0export columns: 17export rows: 6001215export time: 1 min 18 secprocess ok!全表导出，其中登录用户需要对表有select权限OratoMPP主要参数59参数功能user指定连接oracle数据库的相关参数，例如orcl/orcl09:1521/maya query配置抽取数据所使用的SQL语句table_name全表导

35、出，与query 参数只能说明其一format0，导出文本格式；2，导出二进制格式（默认）；3，导出数据为无转义的文本格式；file导出数据的文件名field间隔符，可多个字符，只有当参数format=0 | 3 时，该参数有效。string_qualifier指定字段包围符，该参数只在format=3时有效。只能单个字符。line_separator用于设定行分隔符。只能单个字符。null_value用于设定null值，可多个字符。parallel指定并行模式，只能全表导出时有效。集群加载工具60功能：加载功能是将从其他数据源得到的原始数据文件（文本），按照各种加载规则分发至集群节点，集群各

36、节点接收数据入库保存到本地磁盘。支持：文本文件加载（带分隔符）定长文本文件加载（不带分隔符）部署：数据分发服务器要跟数据文件部署在同一台服务器上，即加载机，可以是集群外独立的服务器，也可以部署在集群的某个节点上。数据分发客户端可以部署在任意一台服务器上，只要跟加载机和集群同一个网段即可。集群加载示意61.Interconnect数据库节点数据分发节点ftp, nfs etc外部数据来源数据分布策略Hash,Random集群加载组件62程序包：独立的程序包tar xfj dispatch_server-build28197-redhat6.2-x86_64.tar.bz2解压后生成一个dispa

37、tch_server的目录，包含dispserver 和 dispcli 两个程序集群加载采用C/S架构，包括三个组件：数据分发服务器 dispserver负责原始数据文件切分数据文件的下发数据分发客户端 dispcli将具体的加载请求（加载任务文件中内容：库名、表名、数据文件路径等）发送给服务器各节点导入工具 gbloader (路径：/opt/gnode/server/bin/gbloader)各节点接收数据入库并保存到本地磁盘。DataEngine MPP高性能数据加载DataEngine MPP数据加载原理图重要参数65dispserver主要参数：port： dispserver的监

38、听端口，默认端口：6666log-file： 日志文件，默认位置：$HOME/dispsvr_PORT.loglog-level： 指定设置日志输出级别（0-4），默认为2-warningloader-log-dir：gbloader加载日志文件的存储路径，默认位置：“$HOME/loader_logs”dispcli 主要参数：log-file： 日志文件，默认/tmp/dispcli.loglog-level：指定设置日志输出级别（0-4），默认为2-warningtimeout： 监测dispcli连接dispserver的超时时间 单位为秒，默认5分钟host： 目标集群中的某个可用节

39、点的主机名或IP地址port ： 用来连接集群GCluster的端口，默认是5258备注：使用help可以查看所有参数。集群加载操作步骤1.分析数据文件（文本/二进制/定长，分隔符，字段个数，字段类型，日期格式，空值）2.建表（分布表，复制表，压缩，distributed列）3.编写加载任务文件 4.进行加载导入操作（启动数据分发服务器 dispserver，启动数据分发客户端 dispcli）5.检查加载是否成功（条数，查看日志，是否有未导入数据，分析原因，再次导入，直至全部导入）不同表、数据文件格式，只需编写不同的加载任务文件即可。集群加载操作举例加载控制文件67$ cat lineord

40、er.ctl test_lineorder （任务头名称）disp_server=1:6666 （分发服务器IP和端口）file_list=/home/lineorder1.tbl,/home/lineorder2.tbl （待分发的数据文件）format=3 （格式：0-文本文件 3-无转义的文本文件 4-定长文本文件 ）db_name=test （目标数据库名）table_name=lineorder （目标数据表名，只能写一个表）delimiter=| （字段分隔符，使用单引号引起来）socket=/tmp/gbase_8a_5050.sock （节点上gnode使用的套接字）extra

41、_loader_args=-parallel=4 -def_date_format=%Y%c%d （调用gbloader时的参数，多个参数直接用空格分隔）集群加载操作举例普通的文本文件加载68启动数据加载命令启动数据分发服务器（建议用mpp帐号操作）启动数据分发客户端具体参数请查看DataEngine MPP数据抽取及加载工具参考手册$ ./dispserver -log-file=/home/mpp/dispatcher.log -port=6666 & -log-file 设置分发服务器的日志文件参数 查看是否存在dispserver 进程$ ps aux | grep dispserve

42、r$ ./dispcli t 300 h 3 /home/mpp/dataloader/mission.lst -t 设置超时时间。单位：秒，默认值300。将服务放到后台运行集群加载操作举例高可用加载69高可用加载在指定多个节点IP的情况下，dispcli首先尝试与第一个节点IP建立连接，如果无法建立连接，则尝试与下一个节点IP建立连接。以此类推，如果配置的多个集群节点IP均无法建立连接，则dispcli无法建立与集群的连接，本次启动失败。$ ./dispcli t 300 h 3,4 ,5 /home/mpp/dataloader/mission.lst 11.4 版本集群dispcli启动

43、时，允许指定多个ip。集群加载操作举例加载状态70加载状态信息：START TIME (加载启动时间)RATE (加载速度)BAD REC (加载错误数据条数)ELAPSED (加载耗时)集群加载举例含特殊字符的数据文件加载71特殊文本：当数据文件中的文本中不仅包含字段分隔符，还包含了界定符时，需要在文本字段对特殊字符进行转义，定义转义符为。1,Supplier#000000001,sdrGnXCDRcfriBvY0KL,i,PERU 0,PERU,AMERICA,27-989-741-2988参数string_qualifier=” -文本限定符为”escape_character= -文本

44、转义符为 format=0才有效应用方法在数据加载控制文件中，直接使用此参数。例如：Format=0string_qualifier=“ escape_character=集群加载举例列数不匹配的数据文件加载72应用方法在数据加载控制文件中，使用table_fields ，字段名以数据文件顺序为准，略过的数据列用 filler 替代。例如：数据文件：数据1|数据2|数据3|数据4|数据5|数据6表结构： 列1，列2，列3，列4，列5对应关系：table_fields=列3，列1，列2，列4，filler，列5表结构列1列2列3列4列5数据文件数据2数据3数据1数据4数据6filler代表数据文

45、件中对应列不加载入库，略过集群加载举例定长格式的数据文件加载73功能：定长格式数据导入时，要设置每个字段的长度，有多个字段时，用逗号分隔。参数field_length_define=3,10,50,11,40 format=4 4表示定长文件格式应用方法在数据加载控制文件中，直接使用此参数，这个参数建议配合table_fields参数，table_fields参数列出表字段名称，跟字段长度一一对应，例如：format=4table_fields=Id,SysId,DataSrcTypeCd,SysPtyId,PtyTypeCdfield_length_define=1,3,4,18,1集群加载举例不同日期格式的数据文件加载74标准日期格式 2013-01-30 16:35:32当日期格式跟标准格式不同时，需设置日期格式才能导入，日期格式定义参数：日期格式：2015-feb-01 23:35:32def_timestamp_format