版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、Security Level:OceanStor 9000 V100R001WushanSQL基本操作与数据导入介绍介绍xxAuthor/:Ver: V1.0(201405)TECHNOLOGIES CO.,.目录1相关概述2SQL基础操作3WushanSQL常用操作4WushanSQL常用工具介绍5WushanSQL数据导入介绍6Q&ATECHNOLOGIES CO.,.3Page 3相关概念(1)在开发应用程序之前,有哪些概念需要了解呢?本节将对一些常用的概念进行描述。实例(Instance)实例在WushanSQL数据库中是运行在内存中的一组数据库进程,一个实例可以管理一个或多个数据库(
2、database),这些数据库组成一个集簇,存放在data目录下。data目录在安装时初始化并由一个目录组成,所有数据都在这个目录中,这个目录被称为数据目录。在WushanSQL中,一个Coordinator或一个Datanode即为一个数据库实例。数据库(Database)数据库用于管理各类数据对象,与其他数据库。创建数据时可以指定对应的表空间,如果不指定相应的表空间,相关的对象会默认保存在PG_DEFAULT空间中。数据库管理的对象可分布在多个表空间上。为方便结构化数据的管理,WushanSQL具备通用数据库的基本特性,包括: SQL语法、数据库工具、数据分区、事务管理和数据压缩等。表空间
3、(Tablespace)包含表、索引、大对象等数据的逻辑结构。表空间在物理数据和逻辑数据间提供了抽象的一层,为所有的数据库对象分配空间。表空间创建好后,创建数据库对象时可以通过名称指定该对象所属的表空间。表空间与操作系统内的具体一个表空间允许被多个数据库占用。位置绑定。一张表只能属于一个表空间。TECHNOLOGIES CO.,.4相关概念(2)模式( Schema )可包含表、数据类型、函数、操作符等的一种数据对象。所包含的对象允许属于不同的Schema,因此可通过定义Schema实现不同数据对象在所有数据库内的共享。事务(Tranion)事务保证数据库中的操作的原子性,即只有提交事务,事务
4、中的操作才会生效。因此事务也维持了数据库的一致性。事务管理确保事务中的操作要么被全部提交,要么全部不提交。用户和角色WushanSQL通过用户和角色控制外部对数据库的。一个角色可以视为一个数据库用户,或一组数据库用户。在WushanSQL中,用户和角色是基本相同的概念,区别仅在于角色默认无LOGIN权限。与使用CREATE User创建用户不同,使用CREATE ROLE创建用户,将不会创建同名的SCHEMA,并且默认没有LOGIN权限,换句话说,一个拥有LOGIN权限的角色可以被认为是一个用户。但是,在实际应用中,建议使用ROLE来组织权限,而不是使用ROLE来据库。事务管理数事务保证数据库
5、中的操作的原子性,即只有提交事务,事务中的操作才会生效。因此事务也维持了数据库的一致性。事务管理确保事务中的操作要么被全部提交,要么全部不提交。TECHNOLOGIES CO.,.5相关概念(3)接口支持情况JDBCJDBC(Java DataBase Connectivity)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供接口。应用程序可基于JDBC操作数据。WushanSQL库提供了对JDBC 4.0特性的支持,需使用JDK1.6编译程序代码。ODBCODBC(Open Database Connectivity),是由公司基于X/OPEN CLI提出的用于数据库的应
6、用程序编程接口。应用程序通过ODBC提供的API与数据库进行交互,在避免了应用程序直接操作数据库系统的同时,增强了应用程序的可移植性、扩展性和可性。WushanSQL目前在如下表所示的环境中提供对ODBC3.5的支持操作系统Suse1032位/64位Suse11 Windows 7Windows Server 2003Windows Server 2008AIX 5.332位/64位32位/64位32位/64位32位/64位IBM小型机TECHNOLOGIES CO.,.6接口 类型支持情况目录1相关概述2SQL基础操作3WushanSQL常用操作4WushanSQL常用工具介绍5Wushan
7、SQL数据导入介绍6Q&ATECHNOLOGIES CO.,.7Page 7SQL规范标识符命名规范标识符用来命名对象,例如表名、列名、变量、游标、类型和过程名。标识符由字母和“_”开头,可以选择跟随任何字符序列,包括字母、数字、和“_”字符。变量命名规范变量名的关键是要具有描述性,即变量名称要有一定的意义,变量名要有前缀标明该变量的类型。过程命名规范为了更好的定义Wu山SQL数据库的过程,建议在定义时,遵循过程名规范。过程名长度限制是64个字符,但是为了兼容其他数据库,建议用户定义的配置模板的过程名不要超过30的字符,以免影响互迁移性。过程(表别名不超过15个字符):例如,SP_HW_CM_
8、INS_表别名对象模板的过程(为对象名,不超过15个字符):例如,SP_HW_MIT_NTADDTECHNOLOGIES CO.,.8设计约束在设计过程中请注意WushanSQL数据库的系统规格。表1 WushanSQL数据库的系统规格数据库最大容量单表的最大容量单行的最大容量单行中单列的最大容量单表的最大行数单表的最大列数 单表的最大索引数复合索引中的最大列数受限于操作系统和硬件32TB1.6TB1GB250 1600(随字段类型不同会有变化)64666641024函数和过程的最大参数个数标识符的最大长度(如表名、字段名、函数名等)最大路径长度(如数据库系统中的目录、文件绝对路径长度等)高性
9、能应用开发建议WushanSQL数据库提供了 OceanStor 9000 V100R001C10 WushanSQL数据库开发介绍,描述OceanStor 9000 WushanSQL的JDBC接口和ODBC接口,同时阐述了开发流程、开发方案和代码示例等信息。TECHNOLOGIES CO.,.9项目描述SQL参考Wu山SQLWushanSQL作为MPP(Massively Parallel Prosing) SQL引擎,继承tgresSQL,支持结构化数据的高性能与大容量,默认支持SQL92和SQL99的主要特性。SQLSQL(Structured Query Lanuage),即结构化查
10、询语言,是关系数据库的标准语言,SQL是一种通用的、功能极强的关系数据库语言。 SQL语法中介绍的内容,包括SQL标准、常量与宏、数据类型、操作符、函数、表达式、数据定义语言、数据操作语言、数据控制语言、事务控制和审计操。本次培训中只会简单罗列WushanSQL数据库支持的SQL语法,详细的语法参考请参见OceanStor 9000 V100R001C10 产品文档。TECHNOLOGIES CO.,.10SQL基础操作-DDL语法一览表(1)DDL(Data Definition Language数据定义语言),用于定义或修改数据库中的对象。如:表、索引、视图等。定义数据库数据库是组织、和管
11、理数据库的仓库,而数据库定义主要包括:创建数据库、修改数据库属性,以及删除数据库。所涉及的SQL语句,请参考下表。创建数据库修改数据库属性删除数据库定义模式CREATE DATABASEALTER DATABASEDROP DATABASE模式是一组数据库对象的集合,主要用于控制对数据库对象的。所涉及的SQL语句,请参考下表。创建模式修改模式属性删除模式CREATE SCHEMA ALTER SCHEMADROP SCHEMATECHNOLOGIES CO.,.11功能相关SQL功能相关SQLSQL基础操作-DDL语法一览表(2)定义表空间表空间用于管理数据对象,与磁盘上的一个目录对应。所涉及
12、的SQL语句,请参考下表。创建表空间修改表空间属性删除表空间CREATE TABLESPACEALTER TABLESPACEDROP TABLESPACE定义表表是数据库中的一种特殊数据结构,用于下表。数据对象以及对象之间的关系。所涉及的SQL语句,请参考创建表根据查询结果创建新表修改表属性删除目录CREATE TABLE CREATE TABLE AS ALTER TABLEDROP TABLETECHNOLOGIES CO.,.12功能相关SQL功能相关SQLSQL基础操作-DDL语法一览表(3)定义分区表分区表是一种逻辑表,数据是由普通表的,主要用于查询性能。所涉及的SQL语句,请参考
13、下表创建分区表创建分区修改分区表属性删除分区删除分区表CREATE TABLE PARTITION ALTER TABLE ADD PARTITION ALTER TABLE PARTITIONALTER TABLE DROP PARTITIONDROP TABLE定义索引索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速所涉及的SQL语句,请参考下表。数据库表中的特定信息。创建索引修改索引属性删除索引重建索引CREATE INDEX ALTER INDEX DROP INDEXREINDEXTECHNOLOGIES CO.,.13功能相关SQL功能相关SQLSQL基础操作-D
14、DL语法一览表(4)定义分区索引分区索引是针对表分区创建的索引,以数据检索性能。所涉及的SQL语句,请参考下表。创建分区索引修改分区索引属性删除分区索引CREATE INDEX PARTITIONALTER INDEX PARTITION DROP INDEX定义序列序列可以产生一组等间隔的数值,能自增,主要用于表的主键。所涉及的SQL语句,请参考下表。创建序列修改序列属性删除序列CREATE SEQUENCE ALTER SEQUENCEDROP SEQUENCE定义角色角色是用来管理权限的,从数据库安全的角度考虑,可以把所有的管理和操作权限划分到不同的角色上。所涉及的SQL语句,请参考下表
15、。TECHNOLOGIES CO.,.14功能相关SQL功能相关SQLSQL基础操作-DDL语法一览表(5)创建角色修改角色属性删除目录CREATE ROLE ALTER ROLEDROP ROLE定义用户用户是用来登录数据库的,通过对用户赋予不同的权限,可以方便地管理用户对数据库的涉及的SQL语句,请参考下表。及操作。所创建用户修改用户属性删除用户CREATE USER ALTER USERDROP USER定义目 录目录是为文件系统中的路径创建的别名,以方便在管理数据库对象时使用。所涉及的SQL语句,请参考下表。创建目录删除目录CREATE DIRECTORYDROP DIRECTORYT
16、ECHNOLOGIES CO.,.15功能相关SQL功能相关SQL功能相关SQLSQL基础操作-DDL语法一览表(6)定义过程过程是一组为了完成特定功能的SQL语句集,经编译后在数据库中,用户通过指定过程的名字并给出参数(如果该过程带有参数)来执行它。所涉及的SQL语句,请参考下表。创建删除过程过程CREATE PROCEDUREDROP PROCEDURE定义函数它和过程类似,也是一组SQL语句集,使用上没有差别。所涉及的SQL语句,请参考下表。创建函数修改函数属性删除函数CREATE FUNCTION ALTER FUNCTIONDROP FUNCTION定义触发器触发器就是定义在数据库某
17、一操作前后,所要执行的SQL语句集。所涉及的SQL语句,请参考下表。创建触发器修改触发器属性删除触发器CREATE TRIGGERALTER TRIGGER DROP TRIGGERTECHNOLOGIES CO.,.16功能相关SQL功能相关SQL功能相关SQLSQL基础操作-DML语法一览表DML(Data Manipulation Language 数据操作语言),用于对数据表中的数据进行操作。如:询、删除。数据数据是往数据表中添加一行或多行数据,请参考INSERT。修改数据修改数据是修改数据库表中的一个或多个数据,请参考UPDATE。查询数据数据库查询语句SELECT是用于在数据库中检
18、索适合条件的信息,请参考SELECT。删除数据、更新、查Wu山SQL数据库提供了两种删除表数据的语句:删除表中指定条件的数据,请参考DELETE;或删除表的所有数据,请参考TRUNCATE。TRUNCATE快速地从表中删除所有行,它和在每个表上进行无条件的DELETE有同样的效果,不过因为它不做表扫描,因而快得多。在大表上最有用。拷贝数据Wu山SQL数据库提供了在表和文件之间拷贝数据的语句,请参考COPY。锁定表Wu山SQL数据库提供了多种锁模式用于控制对表中数据的并发调用函数,请参考LOCK。Wu山SQL数据库提供了三个用于调用函数的语句,它们在语法结构上没有差别,请参考EXEC、EXECU
19、TE、CALL。TECHNOLOGIES CO.,.17SQL基础操作-DCL语法一览表DCL(Dontrol Language 数据控制语言),是用来设置或更改数据库用户或角色权限的语句。Wu山SQL数据库提供了针对数据对象和角色的语句,请参考GRANT。收回权限Wu山SQL数据库提供了收回权限的语句,请参考REVOKE。TECHNOLOGIES CO.,.18目录1相关概述SQL基础操作23WushanSQL基础操作4WushanSQL常用工具介绍5WushanSQL数据导入介绍6Q&ATECHNOLOGIES CO.,.19Page 19WushanSQL架构WushanSQL采用MPP
20、(Massively Parallel Prosing)架构(也称为Shared Nothing架构),将各物理存储设备节点(下面简称“节点”或“节点”)组成一个集群,对外提供结构化数据的高性能与大容量。负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执行结果Coordinator负责业务数据、执行节点级的执行计划,以及向DatanodeGTM(Global TranManager)Coordinator返回执行结果ion负责生成和全局事务ID、事务快照、时间戳等全局唯一的信息TECHNOLOGIES CO.,.20名称描述WushanSQL基础操作-连接
21、数据库背景信息安装阶段完成后,WushanSQL内已缺省存在一个名称为tgres的数据库。第一次连接数据库时,可以连接到此数据库。下面以连接此数据库为例,介绍连接操作。缺省存在的数据库管理员账号为“pgdba”,为“Pgdbastorage”,此账号也为所有WushanSQL节点Linux操作系统的账号。tgres数据库的缺省端口是8000。操作步骤以“pgdba”用户登录含有Coordinator的节点Linux操作系统。(通过KVM或PuTTY登录)含有Coordi执行如下命令。和WushanSQL:MIX,不包含WushanSQL:DN。的节点指gsql -d示例:tgres -p 80
22、00TECHNOLOGIES CO.,.21WushanSQL基础操作-创建数据库WushanSQL内可创建多个数据库。管理员可根据业务需要,规划和创建新的数据库。背景信息安装完成后,除tgres数据库外,还缺省存在两个模板数据库template0、template1。系统需根据模板数据库创建新的数据库,因此请不要连接及操作这两个模板数据库。数据库名称遵循SQL标识符的一般规则。当前角色自动成为新创建数据库的所有者。管理员具有“pgdba”账号或其具体创建数据库权限的账号操作步骤连接数据库在gsql命令行中执行SQL命令创建数据库。create database dbname;示例:TECHN
23、OLOGIES CO.,.22WushanSQL基础操作-执行SQL当需要手动执行SQL语句时,请执行此任务。操作步骤连接数据库。输入待执行的SQL语句。说明:除在定义时引号指定的对象名称外,SQL语句中大小写不敏感。您可以根据使用要了解关于SQL语句的详细信息,请参见SQL基础操作章节。下面类似的不再赘述。示例:选用。TECHNOLOGIES CO.,.23WushanSQL基础操作-查看运行参数管理员在使用数据库时,可以通过多种途径查看数据库运行时的参数。操作步骤可选方法如下:方法一:执行SHOW命令如果要查看所有运行参数,请执行如下命令:show all;如果要查看单个运行参数,请执行如
24、下命令:show name;方法二:查询pg_settings视图select * from pg_settings;示例:查看服务器端版本号。TECHNOLOGIES CO.,.24WushanSQL基础操作-查看用户会话连接数(1)当用户连接数达到上限后,将无法建立新的连接。因此,当数据库管理员发现某用户无法连接到数据库时,需要查看连接数是否已达到上限。背景信息全局的连接数:由运行参数max_connections指定,默认值为800。某用户的连接数:在创建用户时由CREATE ROLE命令的CONNECTION LIMIT number子句直接设定,也可以在设定以后用ALTER ROLE
25、的CONNECTION LIMIT number子句修改。某数据库的连接数:在创建数据库时,CREATE DATABASE的CONNECTION LIMIT connlimit参数指定。系统管理员只受全局连接数的限制。操作步骤查看全局会话连接数限制show max_connections;tgres=# SHOW max_connections;max_connections-800(1 row)TECHNOLOGIES CO.,.25WushanSQL基础操作-查看用户会话连接数(2)查看已使用的会话连接数。执行如下命令查看连接到指定用户USER1的会话连接数上限。其中,-1表示没有对用户U
26、SER1设置连接数的限制。SELECT ROLNAME,ROLCONNLIMIT FROM PG_ROLES WHERE ROLNAME=USER1;查看指定用户的会话连接数上限。ROLNAME | ROLCONNLIMIT+USER1 |(1 row)-1执行如下命令查看指定用户USER1已使用的会话连接数。其中,1表示USER1已使用的会话连接数。SELECT COUNT(*) FROM V$SESWHERE USERNAME=USER1;COUNT查看指定用户已使用的会话连接数。1(1 row)执行如下命令查看连接到指定数据库tgres的会话连接数上限。其中,-1表示没有对数据库tgre
27、s设置连接数的限制。SELECT DATNAME,DATCONNLIMIT FROM PG_DATABASE WHERE DATNAME=tgres;查看指定数据库的会话连接数上限。DATNAME | DATCONNLIMIT+tgres |-1(1 row)执行如下命令查看指定数据库tgres上已使用的会话连接数。其中,1表示数据库tgres上已使用的会话连接数。查看指定数据库已使用的会话连接数。SELECT COUNT(*) FROM PG_S_ACTIVITY WHERE DATNAME=tgres;COUNT1(1 row)执行如下命令查看所有用户已使用的会话连接数。SELECT CO
28、UNT(*) FROM V$SES;查看所有用户已使用会话连接数。COUNT10(1 row)TECHNOLOGIES CO.,.26描 述命令WushanSQL基础操作-查看表空间使用率为更好的控制数据文件背景信息,需要查看表空间使用率。WushanSQL的表空间对应所有含有Datanode的空间时可以通过MAXSIZE指定表空间的最大值。节点Linux操作系统目录,用户使用以下语句创建表create tablespace fastspace location /home/tester/opt/data maxisize 5G;如果创建表空间时没有指定最大值,则此时表空间最大值即为表空间目录
29、所在磁盘的大小。操作步骤(以表空间TEST_SPACE为例)查询表空间的当前使用情况。 SELECT PG_TABLESPACE_SIZE(TEST_SPACE);WushanSQL返回如下信息:PG_TABLESPACE_SIZE-17043972 (1 row)查询表空间最大值。 select * from PG_TABLESPACE whereAME=TEST_SPACE;AME | SPCOWNER | SPCACL | SPCOPTIONS | SPCMAXSIZE+TEST_SPACE |10 | 5G(1 row)计算表空间使用率。 表空间使用率=PG_TABLESPACE_SI
30、ZE/SPCMAXSIZE如果SPCMAXSIZE的值为空,请将SPCMAXSIZE的值替换为表空间所在目录的磁盘大小。TECHNOLOGIES CO.,.27WushanSQL基础操作-查看默认用户查看数据库的所有默认用户。缺省情况下,WushanSQL只有一个默认用户“pgdba”。操作步骤查看默认用户,可使用如下命令:select ROLNAME from pg_authid where oid=10;任务示例:select ROLNAME from pg_authid where oid=10; rolnamepgdba (1 row)TECHNOLOGIES CO.,.28目录1相关
31、概述SQL基础操作23WushanSQL基础操作4WushanSQL常用工具介绍5WushanSQL数据导入介绍6Q&ATECHNOLOGIES CO.,.29Page 29WushanSQL数据库工具-客户端一览WushanSQL的客户端应用程序。这些应用程序的特点是他们可以在任何主机上运行,与数据库服务器所处的位置无关。浏览、创建数据库对象(例如:数据库、schema、表、索引);PLIDE执行任何SQL语句和SQL;编辑和执行PL/SQL语句。连接WushanSQL :默认只支持从服务器本机连接,如果需要连接到远端的WushanSQL必须在服务端进行配置;执行SQL命令:支持交互式地键入
32、并执行SQL命令,也可以执行一个文客户端工具gsql件中指定的SQL命令;执行元命令:元命令可以帮助管理员查看数据库对象的信息、查看查询缓存区信息、格式化SQL输出结果,以及连接到新的数据库等。导出数据;导出数据库状态信息;导出syslog日志。gs_restore是WushanSQL提供的针对gs_dump备份数据的恢复工具。通过此工具可由gs_dump生成的导出文件进行恢复。gs_dumpgs_restoreTECHNOLOGIES CO.,.30工具描述具工WushanSQL数据库工具-服务器端一览WushanSQL服务器端提供令行工具,这些工具只能在数据库服务器所在的主机上运行。启动、
33、停止、重启WushanSQL服务,包括单机和双机;gs_ctl在不停止数据库的情况下,重新加载配置文件(tgresql.conf,pg_hba.conf);双机切换、双机状态查询、双机重建和重建状态查询。提供了set和reload模式;应用程序可以调用gs_guc set修改配置文件tgresql.conf中的任意参数;gs_gucgs_guc reload模式不仅会修改参数,而且会尝试发送信号量使得WushanSQL进程重新配置文件,但是只有部分参数能通过发送信号量的方式生效。gaussdb是WushanSQL数据库的主进程一个系统上可以同时运行多个gaussdb进程,只要他们使用不同的数据
34、目录和不同的端服务器端应用gaussdb客户端应用程序为了数据库,将连接(通过网络或本地)到一个正在运行的gaussdb进程。然后该进程实例会启动一个独立的线程来处理这个连接。gaussmastergaussmaster是gaussdb的一个符号。应用方法与gaussdb相同收集信息、调用堆栈在某一节点进行日志检查PDK配置GUC、集群集群事务TECHNOLOGIES CO.,.31工具描 述具工目录1相关概述SQL基础操作2WushanSQL基础操作35WushanSQL常用工具介绍4WushanSQL数据导入介绍6Q&ATECHNOLOGIES CO.,.32Page 32WushanSQ
35、L数据并行导入-概述WushanSQL提供了并行导入功能,以快速、高效地完成大量数据导入。导入模式:数据导入前,需要根据数据的规模、分布和文件格式选择并行导入的模式。各模式适用场景描述如下数据量较大且分散于多台数据服务器上时,使用Normal模式。 这种模式,需要在各个数据服务器上部署GDS,由GDS向WushanSQL集群提供待导入数据。数据量较大,数据服务器可以开放NFS服务给整个数据库集群时,使用Shared模式。 这种模式只支持txt格式数据文件。数据量较小,文件较多,并可方便得到WushanSQL集群的节点上时,使用Private模式。 这种模式,需要将文件(或mount)到各个节点
36、以Datanode节点名命名的目录下。数据量 数据位置文件格式限制数据分配较大数据服务器txt,csv数据服务器部署GDS GDS较大数据服务器txt数据服务器提供NFS服务Coordinator较小WushanSQL集群的txt,csv节点数据存放在以Datanode节点名命名的目录下用户自行规划TECHNOLOGIES CO.,.33项目Normal模式Shared模式Private模式WushanSQL数据并行导入-Normal模式(1)Normal模式适用于数据量较大且分散于多台数据服务器上的情况。操作步骤WushanSQL安装目录下的/opt/wisequery/gaussdb/bi
37、n/gds端口。到数据服务器上。在数据服务器上,启动GDS并设置gds -d 数据文件目录 -p端在WushanSQL中,创建FOREIGN TABLE。CREATE FOREIGN TABLE 表名 列定义 SERVER gsmpp_server OPTIONS (location gsfs:/GDS IP地址 : GDS端 /*, format text, mode normal, delimiter ,);在WushanSQL中,执行导入。INSERTO 目标表名 SELECT * FROM foreign table表名任务示例:两台数据服务器,IP分别为10.0.0.1,10.0.0
38、.2。数据文件存放在/input_data/目录下,格式为txt,分割符为“,”。数据是两列,第一列, 第二列text。导入的目标表Table(col1, col2 text)已经创建。分别WushanSQL安装目录下的/opt/上。在10.0.0.1和10.0.0.2上启动GDS,设置# gds -d /input_data -p 8888/wisequery/gaussdb/bin/gds到10.0.0.1和10.0.0.2端口为8888。TECHNOLOGIES CO.,.34WushanSQL数据并行导入-Normal模式(2)在WushanSQL上,创建FOREIGN TABLE s
39、ourceTable。tgres=# CREATE FOREIGN TABLE sourceTable (col1, col2 text) SERVER gsmpp_serverOPTIONS (location gsfs:/10.0.0.1:8888/*|gsfs:/10.0.0.2:8888/*, format text, mode normal,delimiter ,); CREATE FOREIGN TABLE在WushanSQL上,导入tgres=# INSERTTable。Table SELECT * FROM sourceTable; INSERT 0 21OTECHNOLOGI
40、ES CO.,.35WushanSQL数据并行导入-Shared模式(1)Shared模式适用于数据量较大且数据服务器可以开放NFS服务给整个数据库集群时的情况。操作步骤在数据服务器上配置NFS文件共享服务,确保WushanSQL所有节点均限。在WushanSQL各个节点中挂载数据服务器的NFS共享目录。在WushanSQL上,创建FOREIGN TABLE。CREATE FOREIGN TABLE 表名 列定义 SERVER gsmpp_server OPTIONS (location file:/数据目录/*, format text, mode shared, delimiter ,);
41、在WushanSQL上,执行导入。INSERTO 目标表名 SELECT * FROM foreign table表名任务示例:数据服务器10.0.0.1通过NFS共享了目录/data。数据文件格式为txt,分割符为“,”。数据是两列,第一列, 第二列text。导入的目标表在数据服务器上启动NFS服务。# service nfs startTable(col1, col2 text)已经创建。在WushanSQL各个节点上mount数据服务器的NFS服务。# mount -t nfs 10.0.0.1:/data /input_dataTECHNOLOGIES CO.,.36WushanSQL
42、数据并行导入-Shared模式(2)在WushanSQL上,创建FOREIGN TABLE sourceTable。tgres=# CREATE FOREIGN TABLE sourceTable (col1, col2 text) SERVER gsmpp_serverOPTIONS (location file:/input_data/, format text, mode shared, delimiter ,); CREATEFOREIGN TABLE在WushanSQL上,导入tgres=# INSERTTable。Table SELECT * FROM sourceTable; INSERT 0 21OTECHNOLOGIES CO.,.37WushanSQL数据并行导入-Private模式(1)Private模式适用于数据量较小,文件较多,并可方便得的情况。操作步骤到WushanSQL集群的节点上时规划各个Datanode导入的文件,通过或mount方式置于Datanode所在节点下。以路径Datanode节点名做目录名,区分各个Datanode的导入文件。在WushanSQL上创建FOREIGN TABLE。CREATE FOREIGN TABLE 表名
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026中国北方人才市场(天津市人才服务中心)招聘高层次人才2人备考题库及答案详解(考点梳理)
- 2026北京海淀区卫生健康委所属事业单位第二次招聘281人备考题库及一套答案详解
- 2026江西赣州市建兴控股投资集团有限公司招聘1人备考题库附答案详解(预热题)
- 2026广东佛山市中心血站南海血站招聘公益一类事业编制工作人员备考题库含答案详解(考试直接用)
- 2026中国科大党委教师工作部、人力资源部劳务派遣岗位招聘1人备考题库(安徽)及答案详解(基础+提升)
- 2026陕西宝鸡第三医院(宝鸡市老年病医院)招聘13人备考题库含答案详解(黄金题型)
- 2026广西贺州市人力资源和社会保障局招见习人员4人备考题库附答案详解(轻巧夺冠)
- 2026广东中山公用集团股份有限公司财务条线管理岗位招聘2人备考题库含答案详解(预热题)
- 高中物理48个解题模型归纳
- 物品采购合同范本
- 重庆水务环境集团招聘笔试真题2025
- 陕西省汉中市(2025年)纪委监委公开遴选公务员笔试试题及答案解析
- 2026年高考地理考前20天冲刺讲义(二)(解析版)
- 2026江苏盐城市交通运输综合行政执法支队招录政府购买服务用工人员2人备考题库含答案详解(综合题)
- 2026重庆联合产权交易所集团股份有限公司招聘13人笔试备考题库及答案详解
- 2026年保安考证通关试卷附答案详解(考试直接用)
- 考试-四川省省情省策知识点
- 宿舍用电智能管理系统设计毕业论文
- 有机化学光谱法在有机化学中的应用公开课一等奖优质课大赛微课获奖课件
- 思想道德与法治课件:第四章 第二节 社会主义核心价值观的显著特征
- 质量信得过班组ppt课件(PPT 17页)
评论
0/150
提交评论