Aerospike使用介绍.ppt

Aerospike介绍,崔雪征,Aerospike简介,Aerospike是什么？ Aerospike(以下简称AS）是一个以分布式为核心基础，可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。它主要用于百G、数T等大数据量并且在数万以上高并发情况下，对性能也有ms读取插入要求的场景。目前主要集中于互联网广告行业，如eXelate、BlueKai、MediaV、 InMobi、 applovin等。,特性,可预见的高性能 99% 的响应可在 1 毫秒内实现，99.9% 的响应可在 5 毫秒内实现。 混合架构 索引存储在 RAM 中，而数据存储在闪存/固态硬盘 (SSD) 上。 群集感知客户端软件 客户端知晓数据的存放位置，因此通常能够通过一次单跳检索到数据 无热点 使用复杂的哈希函数来确保数据均等地分布到所有可用节点，从而将需求平均分布到各资源上。 数据完整性 保持了高度的一致性，或者允许对跨越多个群集和数据中心的一致性进行调节。,特性,线性扩展 能够根据需要安装到多个数据中心内分组为多个群集的多个节点上。添加节点，无需分片，无需人工干预 跨数据中心支持 不同数据中心内的群集能够自动协调，从而实现绝对的可靠性 提供API的语言 AS支持多种语言，诸如C/C+、 Java、 C#、 Python、 PHP、 Go、 Node.js、 Ruby、 Erlang、 libevent2 (C)、 Perl等等。,基本概念,namespace 策略容器，类似RDBMS中的schema，可以设置副本数、内存大小、有效时长、存储引擎、文件存储位置 Sets 类似RDBMS中的表 Records 类似RDBMS中的行，行级的失效时间（TTL） Bin 类似RDBMS中的列，一行可以有多个bins,KEY操作命令,AS 数据类型,基础类型 Integer 64位有符号整型， (263) to 263 1 每个整型占用8字节存储过程 String String是以NULL-结尾的byte数组，可以达到128KB Bytes Byte数组，可以存储任何二进制数据 复合类型 List 排序的数据集合,AS数据类型,Map key-value对集合 List和Map都支持类型嵌套 大数据类型 说明 超过普通bin大小1M的限制 大数据类型允许在一个record bin中有一个非常大并且可以在AS中高效存储和访问的元素集合 存储的元素可以是Integer/String/Map/List,Large Ordered List 按key排序的集合 提供的操作有 add()/add_all()/update()/update_all() find()/exists() scan()/filter() (with and without filter) range() (with and without filter) remove()/remove_all()/remove_range() size(),函数,仅支持用LUA写，在server端执行 Record UDF 单记录操作 Stream UDF 过分布于集群上的数据集进行过滤、转换、汇总,Secondary Index和汇总,Secondary index 支持integerstring类型 支持等于和范围过滤 每个namespace支持256个secondary indexes 汇总 通过lua的类mapReduce实现,AS简单测试,为解决普通版解码对数据库的频繁访问，对AS进行了grpc封装下面的测试结果是只选了其中的一种查询进行测试。测试的查询相当于数据库里的查询：select name,t.code_id from data_type_def t where t.group_name=USER_EVENT and t.enname=app_call_connect_success; 测试环境： 智能管道生产 116做RPC服务器，118做AS server、RPC客户端 116 CPU 24核， 118 CPU 32核 都是万兆网,AS with grpc and thrift,As VS redis with thrift性能测试,AS 次数=1000000 并发=300 tps=57793 #瓶颈在server的CPU， 使用率710% 次数=1000000 并发=500 tps=58036 Redis 次数=100000 并发=300 tps=28413 次数=100000 并发=500 tps=30370 #瓶颈在redis CPU,AS vs Redis,AS优势 数据可存储于内存、SSD 同步复制，无需手工配置，可做机架感知、跨数据中心复制，不会丢失数据 机群自动扩展，自动平衡数据 客户端感知集群，app不需要知道集群节点 二级索引、汇总 概念、处理方式与RDBMS接近,AS vs Redis,Redis优势 多种数据结构 完善的文档，广泛的使用 丰富的客户