科技安装手册s使用手册t00150 x

1、Transwarp Data Hub Version 5.0 Transwarp Search 使用手册星环信息科技（上海）版本号 T00150x-12-011, 2017-07-31目录1. Transwarp Search使用手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.1. Transwarp Search简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.1.1. Transwarp Search是什么 . .

2、 . . . . . . . . . . . . . . . . . . . . . . . . . . .1.1.2. 关于本手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2. Transwarp Search入门 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2.1. 安装Transwarp Search . . . . . . . . . . . . . . . . . . . . . . . . . .

3、 . . . .1.2.2. Transwarp Search管理页面 . . . . . . . . . . . . . . . . . . . . . . . . . . . .22222223445566667889101010111111111111111212121313131415161617...Transwarp Search集群状态 . . . . . . . . . . . . . . . . . . . . . . . . . .集群节点 . . . . . . . . . . . . . . . . . . . . . .

4、. . . . . . . . . . . .索引（Index）信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2.3. 和Transwarp Search交互 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. REST API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Esdrive SQL . . . . . . . .

5、. . . . . . . . . . . . . . . . . . . . . . . . .1.3. curl命令快速入门 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ......7.新建一个Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .编入Document . . . . . . . . . . . . . . . . . . .

6、. . . . . . . . . . . . . . .查看Document是否. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .获取整个Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .更新Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .删除Document . . . . . . . . . . . . . . . . . .

7、 . . . . . . . . . . . . . . . .删除Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.4. Transwarp Search数据模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.4.1. Transwarp Search中Index关系 . . . . . . . . . . . . . . . . . . . . . . . .1.4.2. Transwarp Search中的数据

8、对象 . . . . . . . . . . . . . . . . . . . . . . . . . .....Index（索引） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9、. . . . .Field（字段） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.5. Transwarp Search架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.5.1. 分片（Shard）和副本（Replica） . . . . . . . . . . . . . . . . . . . . . . . . .1.6. Transwarp Search API. . . . . . . . . . . . . . .

10、. . . . . . . . . . . . . . .1.6.1. API使用约定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 多Index的使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 输出格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.6.2. Document API . . . .

11、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .......编入Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .获取Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .查看Document是否. . . . . . . . . . . . . . . . .

12、 . . . . . . . . . . .删除Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .更新Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .新建一个Document . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.6.3. Index级别API . . . . . . . . . . . . . . . . . . . .

13、. . . . . . . . . . . . . .......创建Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .删除Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1818181819192020212121222223242525282831313434353637373839394040404142434344444

14、44445454646查看Index是否. . . . . . . . . . . . . . . . . . . . . . . . . . . . .API . . . . . . . . . . . . . . . . . . . . . . . . . . . . .API . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Index IndexIndexsettingsoptimizemapping API . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15、1.6.4. Cluster级别API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....ClusterCluster Clusterhealth API . . . . . . . . . . . . . . . . . . . . . . . . . . . . .stats API . . . . . . . . . . . . . . . . . . . . . . . . . . . . .settings API . . . . . . .

16、 . . . . . . . . . . . . . . . . . . . . .Nodes stats API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.7. Transwarp Search检索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...3.空检索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .检

17、索请求的格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .URI检索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 输出结果分页 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. Query String语法 . . . . . . . . . . . . . . . . . . . . . . . .

18、. . . . . .1.7.4. Request Body检索（Transwarp Search 1.3.1） . . . . . . . . . . . . . . . . . . .. Query DSL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.7.5. Request Body检索（Transwarp Search 2.0.0） . . . . . . . . . . . . . . . . . . .. Query DSL . . . . . . . . . .

19、. . . . . . . . . . . . . . . . . . . . . . ....8.4.（mapping）与分词（analysis）基础 . . . . . . . . . . . . . . . . . . . . . . .数据类型差异 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .确切值(Exact values) vs. 全文文本(Full text) . . . . . . . . . . . . . . . . . .倒排索引(inver

20、ted index) . . . . . . . . . . . . . . . . . . . . . . . . . . . .分词与分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..........8.5.5.内建的分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .分词器的使用 . . .

21、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .测试分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .指定分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .(mapping) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .简单字段类型 . . . . . . . . .

22、. . . . . . . . . . . . . . . . . . . . .查看mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .自定义字段mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . .更新mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .测试mapping . . . . . . . . . . . . . . . . .

23、 . . . . . . . . . . . . . . .1.8.6. 复合. . . . ..字段类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .多值字段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .空字段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24、 . .多层对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .内部对象的mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . .内部对象是怎样被索引的 . . . . . . . . . . . . . . . . . . . . . . . . . . .内部对象数组 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.9. Mapping操作 . .

25、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.9.1. 如何显式定义Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.9.2. 定义元数据字段Mapping（META-FIELD_MAPPING） . . . . . . . . . . . . . . . . . .1.9.3. 定义字段Mapping（FIELD_MAPPING） . . . . . . . . . . . . . . . . . . . . .

26、. . .4849495050515152525353535456565656575757575858585859596060606162636464656666666667676868691.10. 常见Transwarp Search语句 . . . . . . . . . . . . . . . . . . . . . . . . . . .1.10.1. Full Text. match1.10.2. Term-level语句 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .语句语句语句 . 语句

27、语句. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.10.2.

28、.... 复合term terms range wildcard语句语句 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .语句（Transwarp Search 1.3.1） . . . . . . . . . . . . . . . . . .语句（Transwarp Search 2.0.0） . . . . . . . . . . .

29、 . . . . . . .. bool. bool2. Esdrive SQL使用手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.1. Esdrive简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.1.1. Esdrive功能特性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.1.

30、2. 关于本手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.2. Esdrive SQL 快速入门 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....2.2.5.连接到Inceptor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .建表：CREATE . . . . . . . . . .

31、. . . . . . . . . . . . . . . . . . . . . . . .数据: INSERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .数据: SELECT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .删除表: DROP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.3. Esdrive SQL基础 . . . . .

32、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...3.2.4. DDL 2.4.1.Esdrive作用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .内外表与区别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Esdrive SQL约定符号 . . . . . . . . . . . . . . . . . . . . . . .

33、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .创建表： CREATE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....创建内表： CREATE TABLE . . . . . . . . . . . . . . . . . . . . . . . . . .Esdrive内外表支持的数据类型 . . . . . . . . . . .

34、. . . . . . . . . . . . .创建外表： CREATE EXTERNAL TABLE . . . . . . . . . . . . . . . . . . . . . .2.4.2. 修改表：ALTER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 修改表属性： SET TBLPROPERTIES . . . . . . . . . . . . . . . . . . . . . . .. 添加列： ADD COLUMNS . . . . . . . . .

35、 . . . . . . . . . . . . . . . . . . ... DML 2.5.1.清空表： TRUNCATE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .删除表： DROP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .数据：INSE

36、RT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 单条. 批量：INSERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .：BATCHINSERT . . . . . . . . . . . . . . . . . . . . . . . . . . ...4.同步数据：sync table . . . . . . . . . . . . . . . . . . . . . . .

37、 . . . . . . .更新数据：UPDATE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .删除数据：DELETE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.6. DQL：SELECT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.7. Esdrive SQL检索语义 . . . . . . . . . . . . . .

38、. . . . . . . . . . . . . . . . . .2.7.1. 检索语义的优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.7.2. 对列指定分词器的语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6969707070707171727373747575767676777. 对中. 对英指定分词器 . . . . . . . . . . . . . . . . . . . . .

39、. . . . . . . .指定分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.7.3. CONTAINS 语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. NEAR 操作符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. FUZYY 操作符 . . . . . . . . . . . . . . . . . . .

40、. . . . . . . . . . . . .2.7.4. MATCHES 语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.8. 中文语义检索实战 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....创建含中文分词列的内表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .CONTAINS. . . .

41、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .NEAR操作符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .FUZZY操作符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2.9. 附录一：分词及分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..9

42、..3. 客户服务英文分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .中文分词器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .查看文本分词结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43、 . . . . . . . .免责本说依据现有信息制作,其内容更改,恕不另行通知。星环信息科技（上海）有限公司在编写该说的时候已尽最大努力保证期内容准确可靠,但星环信息科技（上海）任。具体不对本说中的遗漏、确或印刷错误导致的损失和损害承担责使用请以实际使用为准。注释: Hadoop 和 SPARK 是ApacheTM 软件商标。 Java 是 Oracle公司在美国和其他和Xeon 是英特尔公司在美国、中国和其他在美国和其他的商标或的的商标或的商标或的商标。 Intel的商标。所有 2013年-2017年星环信息科技（上海）。保留所利。星环信息科技（上海）所有,并保留对本说归星环信息科技（上

44、海）及本的最终解释权和修改权。本说技（上海）的的所有。未得到星环信息科,任何人 不得以任何方式或形式对本说内的任何部分进行业用途。、摘录、备份、修改、翻译成其他语言、或将其全部或部分用于商手册版本信息版本号: T00150x-12-011发布日期: 2017-07-31Preface | 11. Transwarp Search使用手册1.1. Transwarp Search简介1.1.1. Transwarp Search是什么Transwarp Search基于开源的Elasticsearch进行开发，在其基础架构的基础上进行了多种功能优化，并通过Esdrive实现了SQL交互方式。Tr

45、answarp Search是一个可扩展的分布式全文搜索和分析引擎。在TranswarpData Hub中，Transwarp Search扮演两个： 作为Transwarp HBase全文索引的底层实现。 作为一个单独的服务，它是： 分布式文件（Distributed Document Store）； 强大的搜索引擎。常见应用场景有海量数据的和搜索、日志分析等。1.1.2. 关于本手册本手册将分别如何在Transwarp Data Hub平台上将Transwarp Search作为一个单独的服务来使用，以及如果通过SQL与Transwarp Search进行交互。1.2. Transwarp

46、 Search入门1.2.1. 安装Transwarp Search登陆集群的Transwarp Manager（用浏览器http:/:8180）。Transwarp Manager首页若显示有Transwarp Search，则说明集群已安装Transwarp Search服务。若无，则请参考Transwarp Data Hub安装手册安装Transwarp Search服务，这里不多加赘述。1.2.2. Transwarp Search管理页面Transwarp Search管理界面的地址为指Transwarp Search集群主节点的地址。打开后的主页面如下图：，其中 master_no

47、de_ip2 | 1. Transwarp Search使用手册图 1. Transwarp Search主页面在Transwarp Search管理界面主要可以帮助用户查看集群状态和索引信息等，下面一一。. Transwarp Search集群状态Transwarp Search主页面上方的Search集群的名称及健康状态。显示的是当前Transwarp green： HEALTHY。表示集群正常运行。 yellow ： WARNING。表示集群中有错误，但错误之外的部分仍可正常运行。 red ： DOWN。表示集群有错且完全无法运行。另外，我们可以通过 CURL 命令查看集群

48、的健康状态，如下：curl -XGET localhost:9200/_cat/health?v输出结果如下：上图中需要注意的输出项有：cluster ： elasticsearch1，当前Transwarp Search集群的名称。 status ：green，当前Transwarp Search集群的状态。 node.total ：3，当前Transwarp Search集群的节点个数。1. Transwarp Search使用手册 | 3 node.data ：3，当前Transwarp Search集群的数据节点个数。 shards ：62，当前Transwarp Search集群的分

49、片个数。. 集群节点从Transwarp Search主页面可以看到，当前集群总共有3个节点，其中，有主节点是 shiva01 。标志的是主节点，图例中的另外，我们可以通过 CURL 命令查看集群的节点数目和主节点等信息，如下：curl -XGET localhost:9200/_cat/nodes?v输出结果如下：正如. 索引（Index）信息导航栏下方第一行所显示的是当前集群的所有索引（Index），索引名下的每一个绿色方框都表示该索引（Index）的一个分片，分布在不同的节点上。下面以Transwarp Search主页面中的索引 default.tmptes

50、t 演示管理页面对索引的基本操作。点击Transwarp Search主页面中索引名 default.tmptest 下方的选项框，选择“索引信息”，会弹出如图中的包含当前索引的元数据信息的黑色方框，包含该索引的state, settings, mappings。这些信息同样可以通过 curl 命令来查看。索引的settings,和mappings命令分别是：curl命令查看索引的settings:curl -XGET localhost:9200/default.tmptest/_settings?pretty输出结果与索引信息中输出相同。如下：default.tmptest : setti

51、ngs : index : enable_transwarp_storage : false, creation_date : 1480928469820, number_of_shards : 10, number_of_replicas : 1,uuid : 3L5VsfSHSC-e9gw3qWmJPg, version : created : 2000099 代表索引的主分片的数目，建表后不可改。4 | 1. Transwarp Search使用手册 代表一个分片有几个副本，建表后可改。由Index的总分片计算公式：（1+副本数）*shard数，得出当前Index的分片总数目为20。这2

52、0个分片分布在3个节点上，并且同一分片的不同副本放在同一个节点上。因此，副本数必须小于节点数。Transwarp Search主页面中每个索引下的一个方框代表一个分片。每个分片都包含了丰富的索引信息，如下： 方框的颜色表示分片的状态，比如当前的绿色表示HEALTHY。 边框为深色的分片是 default.tmptest 的主分片，其他为主分片的副本。 方框中的数字表示同一索引的不同分片，相同数字表示同一分片的不同副本。curl命令查看索引的mappings:curl -XGET localhost:9200/default.tmptest/_mappings?pretty1.2.3. 和Tra

53、nswarp Search交互和Transwarp Search交互有两种方式： REST API 和 Esdrive SQL ，可分别参考本手册的API 和Esdrive SQL使用手册部分。章节. REST APITranswarp Search提供的丰富的REST API用于交互。默认设置下，Transwarp Search使用9200端口提供RESTAPI。在命令行中通过 curl 来向REST API提出请求，您只需进入一个Transwarp Search节点的Shell执行我们的指令便可和Transwarp Search集互，这些指令的通用格式为：通过 curl 使用

54、REST API的通用格式curl -X http:/:9200/? -d 为HTTP方法，可以为：GET, POST, PUT, HEAD 和 DELETE。为一个运行着Transwarp Search的服务器的IP或者hostname。用于指定Index和Type，形式一般为 / 为可选项，用于指定接受请求的REST API。 为API可以接受的参数，API可以接收多个参数，参数之间用 & 隔开：例如pretty&q=age:26&size=5。 为可选项，是一个JSON格式的“请求体”（request body），包含检索请求的细节。我们可以在实际操作中省去 http:/ 部分，将指令直接写为：curl -X :9200/? -d 另外，您也可以按需使用 curl 自带的选项。j为了描述的简洁，除非另外指出，后文“PUT ”指代“curl -XPUT ”。直接用HTTP方法名指代执行的指令。例如1. Transw