Aerospike使用介绍PPT学习课件

Aerospike介绍,崔雪征,1,Aerospike简介,Aerospike是什么？Aerospike(以下简称AS）是一个以分布式为核心基础，可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。它主要用于百G、数T等大数据量并且在数万以上高并发情况下，对性能也有ms读取插入要求的场景。目前主要集中于互联网广告行业，如eXelate、BlueKai、MediaV、InMobi、applovin等。,2,特性,可预见的高性能99%的响应可在1毫秒内实现，99.9%的响应可在5毫秒内实现。混合架构索引存储在RAM中，而数据存储在闪存/固态硬盘(SSD)上。群集感知客户端软件客户端知晓数据的存放位置，因此通常能够通过一次单跳检索到数据无热点使用复杂的哈希函数来确保数据均等地分布到所有可用节点，从而将需求平均分布到各资源上。数据完整性保持了高度的一致性，或者允许对跨越多个群集和数据中心的一致性进行调节。,3,特性,线性扩展能够根据需要安装到多个数据中心内分组为多个群集的多个节点上。添加节点，无需分片，无需人工干预跨数据中心支持不同数据中心内的群集能够自动协调，从而实现绝对的可靠性提供API的语言AS支持多种语言，诸如C/C+、Java、C#、Python、PHP、Go、Node.js、Ruby、Erlang、libevent2(C)、Perl等等。,4,基本概念,namespace策略容器，类似RDBMS中的schema，可以设置副本数、内存大小、有效时长、存储引擎、文件存储位置Sets类似RDBMS中的表Records类似RDBMS中的行，行级的失效时间（TTL）Bin类似RDBMS中的列，一行可以有多个bins,5,KEY操作命令,6,AS数据类型,基础类型Integer64位有符号整型，(263)to2631每个整型占用8字节存储过程StringString是以NULL-结尾的byte数组，可以达到128KBBytesByte数组，可以存储任何二进制数据复合类型List排序的数据集合,7,AS数据类型,Mapkey-value对集合List和Map都支持类型嵌套大数据类型说明超过普通bin大小1M的限制大数据类型允许在一个recordbin中有一个非常大并且可以在AS中高效存储和访问的元素集合存储的元素可以是Integer/String/Map/List,8,LargeOrderedList按key排序的集合提供的操作有add()/add_all()/update()/update_all()find()/exists()scan()/filter()(withandwithoutfilter)range()(withandwithoutfilter)remove()/remove_all()/remove_range()size(),9,函数,仅支持用LUA写，在server端执行RecordUDF单记录操作StreamUDF过分布于集群上的数据集进行过滤、转换、汇总,10,SecondaryIndex和汇总,Secondaryindex支持integerstring类型支持等于和范围过滤每个namespace支持256个secondaryindexes汇总通过lua的类mapReduce实现,11,AS简单测试,为解决普通版解码对数据库的频繁访问，对AS进行了grpc封装下面的测试结果是只选了其中的一种查询进行测试。测试的查询相当于数据库里的查询：name,t.code_idfromdata_type_deftwheret.group_name=USER_EVENTandt.enname=app_call_connect_success;测试环境：智能管道生产116做RPC服务器，118做ASserver、RPC客户端116CPU24核，118CPU32核都是万兆网,12,13,ASwithgrpcandthrift,14,AsVSrediswiththrift性能测试,AS次数=1000000并发=300tps=57793#瓶颈在server的CPU，使用率710%次数=1000000并发=500tps=58036Redis次数=100000并发=300tps=28413次数=100000并发=500tps=30370#瓶颈在redisCPU,15,ASvsRedis,AS优势数据可存储于内存、SSD同步复制，无需手工配置，可做机架感知、跨数据中心复制，不会丢失数据机群自动扩展，自动平衡数据客户端感知集群，app不需要知道集群节点二级索引、汇总概念、处理方式与RDBMS接近,16,ASvsRedis,Redis优势多种数据结构完善的文档，广泛的使用丰富的客户端