云原生多模数据库Lindorm

lQQ9奥运会全球指定云服务商CONTENTCONTENT0.1数据融合架构收敛在线服务能力运维难成本高关系模型分库分表碎片化事务0.1数据融合架构收敛在线服务能力运维难成本高关系模型分库分表碎片化事务互联网移动互联网互联网奥运会全球指定云服务商万物互联20202025.2005201020202025.20052010海量多模型数据海量多模型数据灵活灵活+SQL在线服务在线服务非结构化数据非结构化数据支付宝账单高度可控节点400PB+存储支付宝账单高度可控节点400PB+存储峰值请求奥运会全球指定云服务商手淘消息手淘消息菜鸟物流监控,大屏,轨迹,设备状态…g蚂蚁智能风控推荐,搜索,BI报表…淘宝搜索与推荐生意参谋减少运维负担优化资源效率减少运维负担优化资源效率奥运会全球指定云服务商关系型Spark关系型Spark结构化数据元数据运行数据宽表型宽表型检索分析检索分析Search非结构化数据(图片/视频/文件) 文件存储结构化数据元数据关系运行数据!宽表非结构化数据(图片/视频/文件)时序文件云原生多模数据库云原生多模数据库Lindorm •zstd+字典采样，最高15 •zstd+字典采样，最高15储•支持归档存储，历史数据可永久保存•水平扩展，无单点瓶颈•千万级吞吐，百PB规模•吞吐性能为HBase的3-•热点自愈，自动拆分和终一致可选延迟，最终一致 ••数据融合：宽表、时序、时空、搜索、文件•计算融合：查询、检索、批处理、流计算动态列、行级TTL、行列转存 奥运会全球指定云服务商和丰富业务功能的持续扩展需求。低成本低成本•按需在线弹性扩容•低成本存储介质弹性扩展弹性扩展•按需在线扩容•100PB水平扩展•数据倾斜，分片自动高性能高性能•千万级高并发下保证小于10ms•多维实时检索•实时数据高并发写入•离线数据快速导入数据处理数据处理•交互式分析(规划中)•离线计算(规划中)•流计算(规划中)金融级高可用金融级高可用/高可靠•跨机房容灾•数据多副本•硬盘/服务器故障不中•备份恢复读写热点保护读写热点保护•单机抗热点缓存•分区级别在线动态迁移•指定对象Quota限流多租户多租户数据生态数据生态•开源生态兼容•丰富的数据同步通道LindormSparkLindormStreamLTS(TunnelService)易扩展存算分离在线扩容无限水平扩展海量存储低成本存储介质数据分层，多级存储LindormSparkLindormStreamLTS(TunnelService)易扩展存算分离在线扩容无限水平扩展海量存储低成本存储介质数据分层，多级存储诊断调优数据透视系统管理每秒千万级写入百PB存储规模HBase/Cassandra,OpenTSDB,Solr,HDFS,s3文件LindormSQL文档索引对象宽表文件/对象Table宽表引擎TimeSeries搜索引擎文件引擎HadoopCompatibleFilesystemProtocol冷热转存容量型存储数据归档归档型存储性能型存储标准型存储数据归档奥运会全球指定云服务商宽表引擎搜索引擎搜索引擎文件引擎文件引擎智能转存云原生存储LindormStore智能转存容量型存储30容量型存储标准型存储性能型存储标准型存储性能型存储归档存储(离线存储，容量型存储20%的价格，适合无需在线访问的历史归档数据)归档存储(离线存储，容量型存储20%的价格，适合无需在线访问的历史归档数据)在线扩容，无需搬迁数据，十分钟完成加/减节点操作集群性能线性扩展，无单点瓶颈，支持百PB存储规模和千万级并发吞吐数据多级异构存储，兼顾性能和存储成本，历史数据归档永久存储稀疏表行级TTLcolumn5column6column7……column499多维索引&全文检索column500对象稀疏表行级TTLcolumn5column6column7……column499多维索引&全文检索column500对象宽表搜索宽表+搜索+文档+时空+对象一体化融合•upsertintotb(column1,column2,…,column499,column500)values(1,2,…,“010100001111111111110001001010101011111000101011101以宽表呈现的逻辑试图以宽表呈现的逻辑试图columncolumn1column2column3column4(空天引擎)LDFSLDFS共享存储池动态列&稀疏表车辆ID车型颜色动力城市里程变速器000001新能源杭州无000002轿车黑色燃油88888000002蓝色北京行级TTLValueCpu_userCpu_userLoad_oneLoad_oneLoad_one若TTL为一个月2019-6-116:00:00过期2019-6-116:10:00过期2019-6-215:00:00过期2019-6-316:00:00过期2019-6-316:10:00过期设备ID上次登陆时间上次登陆城市杭州北京杭州…… value数据点 timestamp fields&values稀疏Tag特点APM适用场景多值型 value数据点 timestamp fields&values稀疏Tag特点APM适用场景多值型单值型Metric:temperatureTags:Room=3302Building=7TimestampValue25.826.1temperaturetemperatureRoom:3302Building:7tagstagstemperaturetemperatureRoom:3302Building:7extern:ü时间线：由相同Metric、Tags组成的一系列数据点ü数据点：由Metric+Tags+Timestamp+Value组成的一条数据记录ü度量（metric）：数据所表示的指标ü标签（tags表明指标项监测针对的具体对象的属性）：有多个字段值，表示指标的不同方面奥运会全球指定云服务商低成本•低成本•4u36盘位高密度存储机型•支持EC，最高可做29+3p，出盘率可达90.6%，成本接近单副本•EC冗余技术，冗余度内，磁盘和服务器故障，不丢失数据，不影响数据读写•8+2p、9+2p、18+3p、29+3p等多种EC模式可选高性能&简运维在线扩容高性能&简运维•单节点提供接近2GB/s吞吐••单节点提供接近2GB/s吞吐•集群性能随节点数量线性增长•集群水位均匀分布•在线扩容，不影响数据读写•灵活的标签组合查询时空位置检索-〕里云相似向量检索••可查询标注内容、元数据信息、场景标签等多类信息•支持AND/OR/NOT/数量等各种表达式类型与其的组合•支持分词检索•用于快速检索各类已标注的场景，例如“标注中有四个以上的信号灯并且有一个卡车”千万级数据实现秒级检索•支持点、线、面等空间几何位置检索•用于“卡口”查询、电子围栏预警、轨迹查询和分析••二维图片/3D点云根据已选择或上传的样本中检索相似样本•用于人工发现的单个Case快速扩展找到大量相似样本第一阶段第三阶段•第一阶段第三阶段•建表时支持json类型的列•支持读取json列，读取json中的指定字段或者集合•在where条件中基于json中指定字段过滤•支持json列的原地更新，可更新json中指定字段或者集合奥运会全球指定云服务商使用SQL访问，语法对齐MySQL8.0第二阶段•支持使用json中的字段建立索引整存整取整存整取基于Lindorm多模能力，实现大json对象的存储和高并发实时检索•数据库存储大对象数据，容易引发OOM按需展开按需展开车辆ID时间戳车辆ID时间戳索引1column500多维索引&全文检索以宽表呈现的逻辑试图以宽表呈现的逻辑试图奥运会全球指定云服务商点线面历史数据查询•“卡口”场景：查询在过去某个时间段内经过某个区域的车辆实时数据查询•查询当前正在某个区域的车辆•查询最后一个轨迹点在某个区域的车辆地理围栏告警•车队管理场景：车辆是否在指定区域或者指定线路形式时空聚类轨迹相似性查询&检索&分析&计算的超融合处理简单易用ü产品特性，开箱即用，无需额外开发和维护在线业务统一SQL访问ü数据读写、查询等统一SQL接入，根据SQL类型自动选择合适的存储引擎ü在线请求与分析请求自动资源隔离，消除相互影响离线分析，行列转存ü元数据互通，计算引擎可直接分析宽表中的数据ü支持行列转存，基于log订阅，将行存数据导出成列存，并提供元数据管理能力数据一致ü元数据自动打通ü数据按需自动同步，毫秒级低延迟低成本ü数据统一存储在LDFS，大幅减少碎片高性能ü宽表引擎：使用行存格式，支持高并发在线服务ü搜索引擎：使用倒排+列存(自研PAX、开源Parquet等多种格式支持高性能分析ü计算引擎：基于Spark引擎深度优化，提供高性能融合分析，提供元数据管理，支持行列转存分布式ü全分布式架构，水平扩展，自动容错，满足企业级高可靠需求索Lindorm宽表引擎TableServerTableServerTableServerLindorm搜索引擎SearchServerSearchServerSearchServerLindorm计算引擎SparkServerSparkServerLindormSQL引擎(DDL/DQL/DML等统一接入)在线高并发请求复杂分析行格式列格式标准数据格式计算集群一体机存储集群标准数据格式计算集群一体机存储集群•Signalflow用于从Python到高效可执行文件的策•SignalflowJob允许用户通过Python方便的定义批量计算任务•SignalflowJob任务会被编译为底层计算引擎计算引擎存储引擎•SignalflowTable提供了针对量化研究非常方便的数据格式的定义•底层基于Tair/Lindorm，阿里自研的高效数据库引擎分布式计算集群之上奥运会全球指定云服务商•方便的指定回测日期(dates)，股票池(univ)•自动根据日期与股票池进行并发回测•用户无需关心底层并行执行的细节•以task的形式组织Job中计算的先后顺序•task之间可以是顺序执行或者并行执行•task的前后计算顺序构成DAG，自动按照•task的类型包括最基本的cmd，可以执行任意命令•也具有带有语意的task，如SFTask表示signalflow的脚本。此类task内置了一些常用的设置可以省掉很多繁琐的底层配置奥运会全球指定云服务商•SignalflowTable以四维数组为组织数据的基本格式•底层存储在Lindorm/Tair数据库内•向上屏蔽存储细节，用户不需要关注数据如何存储•向上支持多个接口，方便signalflow程序访问•Python接口允许把数据读入为Numpy或者Pandas•支持C++接口-〕里-〕里云•机器学习技术广泛应用，例如推荐、预测、反欺诈等场景•数据准备、数据处理、特征工程、模型训练、部署、服务等多个阶段，门槛高•训练、推理需要频繁访问/移动数据•利用数据库技术来优化机器学习流程•通过SQL训练、管理、部署、预测模型•数据库企业级优势，如高可用、加密、审计等datadatadata训练机器通过SQL……AIAI引擎机器学习算法：时序预测、异常检测支持用户自定义模型导入(开发中)FROM(SELECTdate,site,ca)PROBLEM_TYPETIME_SERIES_FORECASTSELECTforecast_capacity(5)FROMcapacity_data;CONTENTCONTENT奥运会全球指定云服务商400000002.9XXX2.8X0单行读范围读单行写批量写Lindorm-2.1社区版HBase-2.0注：1.P99延迟指99%请求的响应时间小于该值2.图中数值供参考，具体以实际场景为准3.测试环境请参考附录0单行读单行写批量写社区版单行读单行写批量写社区版HBase-2.0Lindorm-2.1高性能吞吐(时序)奥运会全球指定云服务商信通院时序数据库性能评测第一读数据点读数据点/秒写数据点/秒AppleAppleXiaomiAppleAppleXiaomi-2XORXORLindorm跨机房部署，支持机房级故障的自动恢复，并保证数据的强一致使用场景优势关键技术4.节点/机房故障后，自动切换Leader资源利用率高率请求容错，去毛刺奥运会全球指定云服务商机房A机房B机房CZoneZoneAZoneZoneB逻辑图部署图数据同步服务t数据同步服务t奥运会全球指定云服务商优势以表为粒度，自由单双向同步百毫秒数据延迟对lindorm集群无影响，由LTS做数据同步参与同步的集群数量、表数量无限制延迟可监控报警、数据链路可API管理分布式、自容错、数据校验ü冷数据存储成本减少80%，热数据访问性能提升15%0WarmData…1不压缩2…快速压缩3ü冷数据存储成本减少80%，热数据访问性能提升15%0WarmData…1不压缩2…快速压缩3…ü即开即用，按表开启ü应用零改造ü冷热分隔线，灵活调整ü自由设置冷热的存储介质、压缩算法深度压缩性能型存储标准型存储容量型存储冷热分离冷热分离 whereCol2>=?whereCol2=?andCol0>=？whereCol1>=?whereCol1=?andCol0>=？非主键查询易用写后可读 whereCol2>=?whereCol2=?andCol0>=？whereCol1>=?whereCol1=?andCol0>=？非主键查询易用写后可读排序键排序键排序键属性键属性键索引2按需冗余索引1whereCol0>=?属性键ClientLindLindormServer主表索引列Col2冗余列Col3、Col4索引列Col1冗余列Col2、Col3异步增量索引 Schema转换数据写入全量索引构建TLogSegment 异步增量索引 Schema转换数据写入全量索引构建TLogSegment Query查询编译查询编译Lindorm宽表Lindorm宽表Schema转换数据同步搜索引擎Lindorm多模引擎>查询时基于编译优化(RBO)自动路由到搜索引擎，并智能判断是否需要回查宽表引擎丰富搜索能力>支持文本相关性查询、多语言(中英文、繁简体)智能分词>具备查询补全、结果高亮显示、聚合分析等全文搜索功能数据自动同步到搜索引擎>异步增量索引，基于LTS提供可扩展的同步通道，数据同步可视化技术挑战技术挑战 租户 命名空间数据表 △租户配额 租户 命名空间数据表 △租户配额 用户ACL层智能诊断多模引擎多模引擎l……存储引擎存储引擎l……硬件硬件l……奥运会全球指定云服务商停顿时间三大核心技术一.一.CCSMap：无锁高并发无对象Skiplist核心设计•object-free•cacheline友好•slab复用•内存按需申请•吞吐提升20%•内存效率提升40%•YGC时间优化4倍•兼容JDKConcurrentMap接口HBase3.0核心特性CompactorCompactor :等待内存块回收:等待引用释放PutWriteAck85Ack8Ack8Ack8Ack8Ack6PutWriteAck85Ack8Ack8Ack8Ack8Ack6 ü坏盘，宕机故障恢复时间长ü写3等2的Quorum机制，屏蔽坏、慢节点ü慢节点摘除，节点落后较多时重选QuorumGroup678WAL678WAL故障恢复，通过RecoverLease确定文件使用LLC替换Pipelineü抖动、坏盘、宕机无感知奥运会全球指定云服务商对一条时间线上的数据按指定时间间隔进行聚合，从而数据按不同精度存储，满足不同时间范围高效查询需求t1t2t3t4t5t6奥运会全球指定云服务商按指定条件对同一个Metric的多条时间线的数据按时间戳对齐后进行数值聚合，Lindorm时序引擎内置时序流式分析引擎，支持预聚合与插值t1t2t3t4t5t6边云一体边缘计算场景时序数据存储解决方案高可用架构，与Lindorm时序Cloud功能对齐数据自动同步到远端Cloud实例集群奥运会全球指定云服务商奥运会全球指定云服务商3.时序异常检测（算法由达摩院提供）尖峰、深谷均值变化方差变化更好的HBase奥运会全球指定云服务商性能稳定热点region自动均衡，热点key自动隔离跨机房容灾(强一致模型和最终一致模型可选)SLA99.9%，跨可用区集群SLA99.99%压缩自适应编码算法+深度优化的ZSTD压缩，压缩率高达5-10倍冷热分离容量型存储弹性支持ScaleUp：升配/磁盘扩容支持ScaleOut：扩缩节点/扩缩计算节点支持Serverless：无需感知水位，完全自动弹性功能支持SQL支持二级索引支持多维检索和全文检索内置列存和Spark引擎数据输出安全营销运营报表业务平台资金平台数据输入数据输出安全营销运营报表业务平台资金平台数据输入外部用户客服客服运营商家商家消费者消费者月账单账单备忘年账单账单地图创新产品月账单账单备忘年账单账单地图分类标签分类标签智能账本智能账本基础产品账单记录账单记录资金记录资金记录账单详情账单详情支付助手支付助手清洗标准化数据流交易信息资金信息账单订单信息智能化清洗标准化数据流交易信息资金信息账单订单信息智能化分类分类标签标签高可用高可用弹性伸缩高性能高性能热点保护低成本低成本数据生态高可靠高可靠多租户百万+QPS平滑扩容千万+TPS账单查询账单写入百万+QPS平滑扩容千万+TPS账单查询账单写入生活缴费生活缴费金融服务金融服务信用信用………业务诉求：核心系统，非常高业务诉求：核心系统，非常高的可用性要求业务痛点：读写热点痛点：数据永久保存，增长快，存储成本压力巨大痛点：大KV，写入性能要求高痛点：大促千万级读写1.分区级别的动态、快速迁移1.高吞吐写入能力1.无限水平扩展1.多机房部署，分区级主从副1.ZSTD高压缩2.大促弹性伸缩本，强一致保证，可用率高于2.单机抗热点缓存2.冷热数据分离99.99%3.存储计算分离百TB+数据千万+新增百TB+数据千万+新增千亿千亿+账单支付网关支付网关write主DRDSreaddelete 数据备份服务账本、报表等账本、报表等只读只读DRDS6个月以内数据历史数据问题:支付网关支付网关write主DRDSreaddelete 数据备份服务账本、报表等账本、报表等全量数据效果:•成本下降77.42%•千亿数据支持15+维度的多维随机组合实时查询•毫秒级响应时延统计窗口高频交易数据计算结果统计窗口高频交易数据计算结果计算结果高频交易数据统计窗口高频交易数据计算结果统计窗口高频交易数据计算结果计算结果高频交易数据成交量 •分库分表无法应对业务持续增长带来的扩容需求成交量 成交明细•在线弹性扩容，支持海量数据存储和处理•数据自动均衡和成熟的数据热点处理方案供数据分析能力存储成本下降70%K线/指标计算 索和数据统计功能核心存储使用Lindorm核心存储使用Lindorm存储在线实时计算引擎在线实时计算引擎离线批量计算引擎风险数据处理平台流式引擎Velocity会员信息交易信息设备指纹数据MaxCompute/Spark 简单数据映射云查询系统Spark分析复杂数据映射数据在线保留N个月数据永久或指定周期保留价值:•大幅降低存储成本•对应不同业务在线库(含分库分表)，提供全局历史库入口简单数据映射云查询系统Spark分析复杂数据映射数据在线保留N个月数据永久或指定周期保留价值:•大幅降低存储成本•对应不同业务在线库(含分库分表)，提供全局历史库入口•具备良好的扩展能力•具备在线查询&数据分析能力•具备多维查询&分析能力一分钟即可构建RDS->Lindorm的实时通道:AppAppAppAppApp•多RDS可以同步到一个Lindorm集群•异步实时同步，平均延迟小于200ms•支持跨可用区、异地实时同步•指标监控、可视化•在线配置即可生效 海量数据•某直辖市新能源汽车公共数据平台，70万辆车，1PB数据•某豪华汽车品牌，存量180TB，明年预计400TB•某国产汽车品牌，规划未来3年数据量•不同图片识别得到的标签不一样，典型的稀疏表特征大对象数据•某自动驾驶公司单条json数据>100MB•某造车新势力单条json数据>10MB•多维度标签检索：模型训练生成的标注数据存储，检索维度20+，qps2万/s，未来规划20万/s实时监控历史数据时间窗口计算容量空间水平扩展，支持百PB存储规模运维存算分离，自助快速扩容成本压缩率，数据多级存储检索算法训练实时监控历史数据时间窗口计算容量空间水平扩展，支持百PB存储规模运维存算分离，自助快速扩容成本压缩率，数据多级存储检索算法训练事故分析…实时监控发动机状态性能性能秒千万级吞吐结构化数据车机数据/位置数据/标签数据非结构化数据视频/图片事件回溯事件回溯事件触发事件触发Stream(实时数据时间窗口计算)SparkSpark宽表搜索运营分析运营分析奥运会全球指定云服务商奥运会全球指定云服务商l低成本高可用弹性灵活自动数据冷热分离低延迟异常分析cornercase异常分析cornercase模型训练模型训练CONTENTCONTENT优化资源成本提升访问效率优化资源成本提升访问效率奥运会全球指定云服务商元数据运行数据Tracing宽表+搜索设备关系图多模数据库多模数据库湖仓计算平台减少运维负担减少运维负担单可用区集群版多可用区集群版Serverless版专有云企业版专有云敏捷/ADP/DBstack特点公共云标准跨机房强一致容灾按需付费，即时(以实际为准)适用场景任何规模企业生产任何规模企业生产培训学习、测试任何规模企业生产企业生产合作伙伴集成服务等级协议技术架构标准SLA强分布式部署多副本、自动容灾强双可用区部署标准SLA中分布式部署多副本强强分布式部署多副本CONTENTCONTENT离散工业过程改进流程工业生产监控APM/NPM运维离散工业过程改进流程工业生产监控APM/NPM运维•边缘部署单节点InfluxDB版本•边缘部署单节点TSDBV3版本•边缘、云端MQTT、HTTP/RESTAPI实时数据同步•开放第三方边缘硬件集成版Lindorm•高频交易实时数据存储计算•采集、计算、分析、可视化全链路监控数据解决方案•分布、异构监控数据存储一体化解决方案，低部署、运维成本•开放生态，支持插件、应用扩展，支持自定义数据存储、分析能力。奥运会全球指定云服务商金融高频交易监控金融高频交易监控Lindorm产品优势：适合监控数据存储场景、高性价比、高性能快速融合对接大数据生态，实现IoT数据遍在可•支持TSDB、HbaseServer•支持LTS增强自主可控，专属隔离：支持客户监控/业务系统无缝对接和安装•边端云一体化方案•高性价比监控数据全量存储LindormStore：LindormStore：高性价比数据库备份恢复存阿里云计算有限公司与华为技术有限公司阿里云计算有