已阅读5页,还剩13页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Aerospike介绍,崔雪征,Aerospike简介,Aerospike是什么? Aerospike(以下简称AS)是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。它主要用于百G、数T等大数据量并且在数万以上高并发情况下,对性能也有ms读取插入要求的场景。目前主要集中于互联网广告行业,如eXelate、BlueKai、MediaV、 InMobi、 applovin等。,特性,可预见的高性能 99% 的响应可在 1 毫秒内实现,99.9% 的响应可在 5 毫秒内实现。 混合架构 索引存储在 RAM 中,而数据存储在闪存/固态硬盘 (SSD) 上。 群集感知客户端软件 客户端知晓数据的存放位置,因此通常能够通过一次单跳检索到数据 无热点 使用复杂的哈希函数来确保数据均等地分布到所有可用节点,从而将需求平均分布到各资源上。 数据完整性 保持了高度的一致性,或者允许对跨越多个群集和数据中心的一致性进行调节。,特性,线性扩展 能够根据需要安装到多个数据中心内分组为多个群集的多个节点上。添加节点,无需分片,无需人工干预 跨数据中心支持 不同数据中心内的群集能够自动协调,从而实现绝对的可靠性 提供API的语言 AS支持多种语言,诸如C/C+、 Java、 C#、 Python、 PHP、 Go、 Node.js、 Ruby、 Erlang、 libevent2 (C)、 Perl等等。,基本概念,namespace 策略容器,类似RDBMS中的schema,可以设置副本数、内存大小、有效时长、存储引擎、文件存储位置 Sets 类似RDBMS中的表 Records 类似RDBMS中的行,行级的失效时间(TTL) Bin 类似RDBMS中的列,一行可以有多个bins,KEY操作命令,AS 数据类型,基础类型 Integer 64位有符号整型, (263) to 263 1 每个整型占用8字节存储过程 String String是以NULL-结尾的byte数组,可以达到128KB Bytes Byte数组,可以存储任何二进制数据 复合类型 List 排序的数据集合,AS数据类型,Map key-value对集合 List和Map都支持类型嵌套 大数据类型 说明 超过普通bin大小1M的限制 大数据类型允许在一个record bin中有一个非常大并且可以在AS中高效存储和访问的元素集合 存储的元素可以是Integer/String/Map/List,Large Ordered List 按key排序的集合 提供的操作有 add()/add_all()/update()/update_all() find()/exists() scan()/filter() (with and without filter) range() (with and without filter) remove()/remove_all()/remove_range() size(),函数,仅支持用LUA写,在server端执行 Record UDF 单记录操作 Stream UDF 过分布于集群上的数据集进行过滤、转换、汇总,Secondary Index和汇总,Secondary index 支持integerstring类型 支持等于和范围过滤 每个namespace支持256个secondary indexes 汇总 通过lua的类mapReduce实现,AS简单测试,为解决普通版解码对数据库的频繁访问,对AS进行了grpc封装下面的测试结果是只选了其中的一种查询进行测试。测试的查询相当于数据库里的查询:select name,t.code_id from data_type_def t where t.group_name=USER_EVENT and t.enname=app_call_connect_success; 测试环境: 智能管道生产 116做RPC服务器,118做AS server、RPC客户端 116 CPU 24核, 118 CPU 32核 都是万兆网,AS with grpc and thrift,As VS redis with thrift性能测试,AS 次数=1000000 并发=300 tps=57793 #瓶颈在server的CPU, 使用率710% 次数=1000000 并发=500 tps=58036 Redis 次数=100000 并发=300 tps=28413 次数=100000 并发=500 tps=30370 #瓶颈在redis CPU,AS vs Redis,AS优势 数据可存储于内存、SSD 同步复制,无需手工配置,可做机架感知、跨数据中心复制,不会丢失数据 机群自动扩展,自动平衡数据 客户端感知集群,app不需要知道集群节点 二级索引、汇总 概念、处理方式与RDBMS接近,AS vs Redis,Redis优势 多种数据结构 完善的文档,广泛的使用 丰富的客户
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中语文现代文阅读理解记叙文结构特点解析试题及答案
- 小学劳动实验探究园艺种植技巧训练试题及答案
- 初中科学实验物质锌的性质训练试题及答案
- 高中地理选择性必修2“国际合作”教学设计-以“一带一路”倡议下的区域协调发展为主题探究
- 高三历史一轮复习课两次鸦片战争与列强侵略的加剧教学设计
- 小学四年级英语教学设计:Revision 3 单元整合与语篇产出实践
- 初中七年级劳动教育教学设计 垃圾分类实践与核心素养培育
- 小学六年级劳动下册《描样》劳动技艺启蒙课教学设计
- 高三地理教学设计:构造地貌形成机制与区域差异专题
- 初中英语九年级上册 Unit 2 Brilliant Thoughts 单元整体教学设计
- 2025年共青团团课考试题库及答案
- DB32T 4355-2022 建筑施工附着式升降设施安全技术规程(修)
- 废气处理行业营销策略方案
- 法务岗位招聘笔试题与参考答案(某大型国企)
- 七年级地理下学期人教版 8.3撒哈拉以南非洲第二课时 教学设计
- T-CECS120-2021套接紧定式钢导管施工及验收规程
- 年产100万套2GWh高性能摩托车锂离子动力电池产业基地项目可行性研究报告-立项备案
- 授权他人使用车辆委托书
- 幼儿园语言领域活动设计
- 上海财经大学《801经济学》历年考研真题及详解
- 玻璃绝缘子技术参数表
评论
0/150
提交评论