版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、YCSB安装与初步使用整理:岳凯 2016年4月29日1 什么是YCSB1.1 简介YCSB英文全称:Yahoo! Cloud Serving Benchmark。是 Yahoo 公司的一个用来对云服务(cloud serving)/NoSQL/Key-Value Store进行基础测试的工具,代码开源。目标是促进新一代云数据服务系统的性能比较。1.2 YCSB客户端架构随着cloud serving的流行,传统数据库不能满足Avalability、Scalabilty等要求,简化了功能(表连接等)、一致性(事务处理)的NoSQL数据库开始流行。这类数据库数量很多,各有tradeoff(rea
2、d and write,latency and durability,sync and async等),开发人员和用户很难根据应用的特点选择合适的解决方案。YCSB的目的是提供一个公平的舞台。上图是YCSB的结构,可以看成是一个数据库客户端。暗色的模块是可以替换的,Workload Executor是产生应用负载的,DB Interface Layer是将特定数据库的API转为YCSB的API,用户可以自定义负载和数据库。目前YCSB自带了6种负载(workloads/目录下),其中五种如下表。用户可以自定义操作(read、update、insert和scan)的比例,以及选择操作目标记录的分
3、布:Uniform(等概率随机选择记录)、Zipfian(随机选择记录,存在热纪录)和Latest(近期写入的记录是热记录)。YCSB目前支持多种数据库,如:HBase、Hypertable、Cassandra、Couchbase、Voldemort、MongoDB、OrientDB、Infinispan、Redis、GemFire、DynamoDB、Tarantool、 Memcached等。用户可以用任意负载测试任意数据库。YCSB有很好的扩展性,只要按要求实现DB抽象类,就可以添加新的数据库支持。1.3 当前版本当前版本:YCSB 0.8.0, 发布时间:Apr 13, 2016源代码地
4、址:/brianfrankcooper/YCSB/当前版本对各种数据库的测试情况(Tested Databases):Tested supportThe following datastore bindings have been verified as working as of this release: Apache Accumulo 1.6.0 (via accumulo binding). Apache Cassandra 2.5.5 (via cassandra2-cql binding). Couchbase 4.1 (via couchbase
5、 binding). DynamoDB using AWS SDK 1.10.48 (via dynamodb binding). Elasticsearch 2.0.2, 2.1.2, 2.2.2, 2.3.1 (via elasticsearch binding). Apache Geode (incubating) 1.0.0-incubating.M1 (via geode binding). Apache HBase 1.0.0 (CDH5.5.2) (via hbase10 bindings). MongoDB 1.8.5(async only), 2.0.9, 2.2.7, 2.
6、4.14, 2.6.12, 3.0.11, 3.2.4 (via mongodb and mongodb-async bindings). Amazon S3 (via s3 binding). Tarantool 1.6.6-249, 1.6.8, 1.7-alpha (via tarantool binding).Supported Aerospike (via aerospike binding). Apache HBase 0.9.8 (via hbase098 binding). Apache Kudu (incubating) (via kudu binding). Apache
7、Solr 5.4.0 (via solr binding). Google Cloud Datastore (via googledatastore binding). JDBC on MySQL 5.1.73 (via jdbc binding). Memcached 1.4.4 (via memcached binding).Untested Apache Cassandra versions prior to 2.0 (via cassandra-7, cassandra-8, cassandra-10 bindings). Apache Cassandra versions 3+ (v
8、ia cassandra2-cql bindings). Apache HBase (via hbase094 binding). HyperTable (via hypertable binding). Infinispan (via infinispan and infinispan-cs bindings) Mapkeeper (via mapkeeper binding) NoSQLDB (via nosqldb binding) OrientDB 2.1.2 (via orientdb binding).2 YCSB安装YCSB的编译和安装依赖Maven、JRE、和Python。2.
9、1 Maven下载与安装1、Maven官网:官网:/最新版本:2015-11-18,Maven 3.3.9下载地址:/apache//apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip2、下载及安装1)进入opt目录,创建/opt/modules/目录# cd /opt# mkdir modules# cd modules/2)下载Maven,并解压# wget http:/mirrors.
10、/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip# unzip apache-maven-3.3.9-bin.zip3)追加路径到/etc/profile环境变量中# vi /etc/profileexport MAVEN_HOME=/opt/modules/apache-maven-3.3.9PATH=$MAVEN_HOME/bin:$PATHexport PATH使环境变量生效# source /etc/profile4)使用mvn -version验证安装安装成功。5)JAVA安装Maven需要
11、调用JRE,如果没有安装JDK,需要单独安装JDK。2.2 YCSB下载与安装源代码地址:/brianfrankcooper/YCSB/1)下载源代码并解压缩进入/usr/local# cd /usr/local # wget /brianfrankcooper/YCSB/archive/master.zip# unzip master解压后的YCSB-master目录:2)编译YCSB源代码编译有两种方式方式一:全部编译命令: mvn clean package说明:编译全部数据库,要下载很多依赖包,时间要很久,不建议采用。
12、方式二:只编译一个数据库,如编译mongodb的命令为:mvn -pl com.yahoo.ycsb:mongodb-binding -am clean package# cd YCSB-master/# mvn -pl com.yahoo.ycsb:mongodb-binding -am clean package下载无数依赖包之后,出现如下提示,说明YCSB编译成功。如果编译过程意外中止,可以重新运行编译命令。我使用mongodb验证,所以只编译了YCSB的mongodb部分,也用了很长时间,中断了几次。3)其他问题问题一:缺少argparse包。运行YCSB,如果报错如下:ERROR a
13、rgparse not found. Try installing it via pip.说明:报错提示缺少argparse包,让通过PIP方式下载argparse。 argparse是python用于解析命令行参数和选项的标准模块,用于代替已经过时的optparse模块。如果服务器已经安装了PIP,可以使用命令pip install argparse 下载;如果没有安装pip,有easy_install,可以使用命令easy_install argparse下载。安装后问题解决。3 YCSB初步使用3.1 YCSB运行命令命令的格式是:bin/ycsb load|run dbname P p
14、ath/to/workloadfile p key=value具体例子如:./bin/ycsb load mongodb -threads 100 -P workloads/workloada./bin/ycsb run mongodb -threads 100 -P workloads/workloada bin/ycsb load redis -s -P workloads/workloada -p redis.host= -p redis.port=6379 bin/ycsb run redis -s -P workloads/workloada -p redis.ho
15、st= -p redis.port=6379 -threads 128 -p operationcount=10000 -p measurementtype=timeseries -p timeseries.granularity=5000说明:用户首先需要用load初始化数据库,然后用run运行负载。dbname指定了目标数据库。-P指定负载文件的位置。-p用来设置一些参数,比如数据库的ip和port。-threads是模拟的线程数。还有一个常用的参数是-target,指的是每秒最大操作数,当一秒内到达这个阈值,线程就会休眠1毫秒。当然,在运行YCSB之前,目标数据库必须是
16、开启的。测试完成后,YCSB会打印平均/最小/最大延迟等信息。3.2 Workload文件在YCSB-master/workloads目录下有6个workload文件,主要区别如下表:文件名模式各种操作比例具体参数workloadaUpdate heavy workloadread/update ratio: 50/50readproportion=0.5updateproportion=0.5workloadbRead mostly workloadread/update ratio: 95/5readproportion=0.95updateproportion=0.05workloadc
17、Read onlyread/update ratio: 100/0readproportion=1updateproportion=0workloaddRead latest workloadread/update/insertratio: 95/0/5readproportion=0.95updateproportion=0scanproportion=0insertproportion=0.05workloadeShort rangesscan/insert ratio: 95/5readproportion=0updateproportion=0scanproportion=0.95in
18、sertproportion=0.05workloadfRead-modify-writeRead/read-modify-write ratio: 50/50readproportion=0.5updateproportion=0scanproportion=0insertproportion=0readmodifywriteproportion=0.5Workload文件部分参数意思如下面注释:mongodb.url=mongodb:/localhost:27017 # 待测试mongo实例的数据库地址mongodb.database=ycsb # 测试时使用的数据库名称mongodb.w
19、riteConcern=normal # 写入安全性为常规recordcount=10000 # 测试数据集的记录条数operationcount=10000 # 测试过程中执行的操作总数workload=com.yahoo.ycsb.workloads.CoreWorkload # workload实现类readallfields=true # 查询时是否读取记录的所有字段readproportion=0.5 # 读操作的百分比updateproportion=0.5 # 更新操作的百分比scanproportion=0 # 扫描操作的百分比insertproportion=0 # 插入操作
20、的百分比 requestdistribution=zipfian # 请求分布模式,包括:Uniform(等概率随机选择记录)、Zipfian(随机选择记录,存在热纪录)和Latest(近期写入的记录是热记录)3.3 运行YCSB1)创建自己的workload文件# cp workloada workloadyk01# vi workloadyk01添加如下mogodb的设置:mongodb.url=mongodb:/localhost:27017mongodb.database=ycsbmongodb.writeConcern=normal保存workloadyk01文件2)运行YCSB l
21、oad# cd /usr/local/YCSB-master/# ./bin/ycsb load mongodb -threads 100 -P workloads/workloadyk01运行成功后显示:说明如下:OVERALL, RunTime(ms), 720.0 / 数据加载所用时间:0.7秒OVERALL, Throughput(ops/sec), 1388.9 /加载操作的吞吐量,平均并发量每秒1388条TOTAL_GCs, Count, 2.0 CLEANUP, Operations, 100.0 /参数中的100个线程CLEANUP, AverageLatency(us), 4
22、50.58 /平均响应时间0.45msCLEANUP, MinLatency(us), 0.0 /最小响应时间0msCLEANUP, MaxLatency(us), 45055.0 /最大响应时间45msCLEANUP, 95thPercentileLatency(us), 1.0CLEANUP, 99thPercentileLatency(us), 8.0INSERT, Operations, 1000.0 /执行insert操作的总数,1000INSERT, AverageLatency(us), 29928.784 /每次insert操作的平均延时29.9msINSERT, MinLat
23、ency(us), 827.0 /所有insert操作的最小延时,0.8msINSERT, MaxLatency(us), .0 /所有insert操作的最大延时,351msINSERT, 95thPercentileLatency(us), .0 / 95%的insert操作延时在203.5ms以内INSERT, 99thPercentileLatency(us), .0 / 99%的insert操作延时在329.9ms以内INSERT, Return=OK, 1000 /成功返回数10003)运行YCSB run# cd /usr/local/YCSB-master/# ./bin/ycs
24、b run mongodb -threads 100 -P workloads/workloadyk01运行成功后显示:OVERALL, RunTime(ms), 720.0OVERALL, Throughput(ops/sec), 1388.9TOTAL_GCs, Count, 2.0READ, Operations, 514.0READ, AverageLatency(us), 27392.8READ, MinLatency(us), 940.0READ, MaxLatency(us), .0READ, 95thPercentileLatency(us), .0READ, 99thPercentileLatency(us), .0READ, Return=OK, 514CLEANUP, Operations, 100.0CLEANUP, AverageLa
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026事业单位工勤技能-山西-山西计算机信息处理员五级初级历年参考题库含答案详解
- 2026事业单位工勤技能-山西-山西无损探伤工二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-山西-山西军工电子设备制造工五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-山东-山东舞台技术工一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-山东-山东护理员四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-山东-山东保育员五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-安徽-安徽热力运行工五级(初级工)历年参考题库含答案详解
- 工业互联网平台同态加密技术在工业设备生产效率提升中的应用报告
- 2025年财务审计服务合同协议
- 2026年石油行业勘探开发与安全报告
- 狼群算法课件
- 男性性教育课件
- 实施指南(2025)《JB-T 12927-2016固体绝缘材料中空间电荷分布的电声脉冲测试方法》
- DZ/T 0075-1993地球化学勘查图图式、图例及用色标准
- 危大工程应急预案
- 高考文言文考试单选题100道及答案
- 美豪酒店室内及客房设计标准手册内容
- DBJT45-007-2012 广西壮族自治区先张法预应力混凝土管桩基础技术规程
- 2025年广东省春季高考数学仿真模拟试卷试题(含答案解析+答题卡)
- JBT 6434-2024 输油齿轮泵(正式版)
- 核电站清洁管理手册
评论
0/150
提交评论