Lindorm TSDB 产品简介介绍

LindormTSDB产品简介阿里云数据库产品架构应用案例关键技术01产品架构Lindorm整体架构边云同步边云同步LindormTSDB引擎架构LindormTSDB：面向物联网、工业互联网、应用监控场景的高性能时序引擎LindormTSDBEdge集群管理TimeRange+Hash分片，弹性伸缩兼容OpenTSDB、InfluxDB开源生态认证鉴权执行引擎查询优化时序定制引擎，高并发写入、高压缩率时序定制引擎，高并发写入、高压缩率时序定制引擎，高并发写入、高压缩率内置时序计算引擎，时序特征算子TSCompute时序计算TSCoreTSCore标准型、性能型、容量型等多种类型存储、自动冷热分离TSCoreTSCore本地存储LindormTSDB核心特性开放融合.兼容开源时序协议、支持ANSISQL访问.多模融合，满足多类型数据一体化存储需求高性价比.云原生分布式存储，多类型存储，自动冷热分离弹性伸缩.Serverless弹性伸缩，按需使用、按量付费时序计算.支持时序聚合、降采样、插值、预测等算子.边云融合，边缘数据全量、增量同步到云端02时序模型whereiP=whereiP=andtimetemperature#ALL#2020-10-24T00:00:10ZA2020-10-24T00:00:20ZB2020-10-24T00:00:30Z………B2020-10-24T00:00:10ZB2020-10-24T00:00:20Z数据内容Tag数据内容Tag设备/数据源数据时间戳时序模型SQL访问创建时序表CREATETABLEsensor(device_idVARCHARTAG,temperatureDOUBLE,humidityDOUBLE,INSERTINTOsensor(devicetime,temperature,humidity)1619076780000,12.1,45);基本查询SELECTavg(humidity)FROMsensorWHEREdevice_id=xxxSELECTavg(f1)FROMsensorSAMPLEBY5m;时序最新值查询SELECTlatest(f1)FROMsensorID、型号、厂商三个Tag时序模型示例-业务视图Table:wind-generators功率、风速两个功率、风速两个Field数据点（数据点（DataPoint）TimeSeriesTimeSeries2020-10-24T00:00:10Z2020-10-24T00:00:20Z2020-10-24T00:00:10Z时序模型示例-数据视图Table：wind-generators存储所有风机的运行指标信息厂商time功率风速7AD45ECV110_20Vetas2020-10-24T00:00:10Z7AD45ECV110_20Vetas2020-10-24T00:00:20Z7AD45EEV110_20Vetas2020-10-24T00:00:10Z7AD45EEV110_20Vetas2020-10-24T00:00:20Z92CE73A1GW_115_202020-10-24T00:00:10Z92CE73A1GW_115_202020-10-24T00:00:20Z设备/设备/数据源数据内容数据时间戳时序模型示例-典型查询哪些数据源哪些数据源/设备t1t2t3t4t5t6t7哪些数据源哪些数据源/设备03应用案例典型应用场景应用监控（应用监控（APM）.10,000实例x200项监控指标.每秒2,000,000点写入.查询指定实例部分监控指标.监控指标按条件聚合查询.监控异常分析，未来趋势预测智能家居（智能家居（IoT）.200,000设备x60项监控指标.每秒1,200,000点写入，每小时.查询200,000设备最新的某个指标.90,000,000用户x20项监控指标，每月.查询所有用户每月用电量总和.查询所有用户的指定指标.查询各区域/线路总使用情况（按需聚应用监控智慧家居工/农业大脑智能电网应用案例-云原生应用统一监控采集存储可视化分析采集存储APPAPPAPP监控数据采集监控数据采集监控数据采集PrometheusPrometheusPrometheusPrometheusRemoteWriteLindormLindormTSDB自动冷热分离兼容GrafanaGrafanaPrometheus是云原生监控的事实标准•支持PrometheusRemoteWrite，实现监控数据统一存储•时间分区索引，解决云原生场景时间线膨胀问题•兼容PromQL查询协议，通过Grafana实现统一监控视图•冷热数据分离，冷数据自动归档到低成本OSS存储•支持预降采样，支持长周期数据的实时查询访问典型客户：得物、虎牙、阿里云ARMS…计算分析…计算分析应用案例-物联网平台统一数据存储物联网设备统一数据管理平台Lindorm宽表引擎Lindorm时序引擎Lindorm文件引擎Lindom搜索引擎云原生多模数据库Lindorm•多类型数据统一融合存储•弹性伸缩，冷热数据分离存储•兼容开源生态，统一数据分析 应用案例-工业边云一体时序存储边缘数据采集边缘数据采集边缘数据采集边缘时序存储LindormTSDBEdgeLindormTSDBEdgeLindormTSDBEdge边云同步通道云端统一时序存储LindormLindormTSDBCloud自动冷热分离JDBC集中式分析处理•边缘轻量化部署，管理维护简单，支持自动同步到云端•云端集中式存储，弹性伸缩，冷热数据分离存储•ANSISQL支持，对接开源计算引擎，统一数据分析04核心技术基于时间范围分片基于时间范围分片核心技术-弹性伸缩..扩容后路由表新写入数据分布存储到3个节点ShardGroup2[shard3,shard4,shard5]ShardGroup1[shard1,shard2]集群增加节点C扩容前路由表数据分布存储到2个节点ShardGroup1[shard1,shard2]基于设备/时间线Hash分片云原生分布式存储云原生分布式存储LindormDFSPre-downsample/aggregation核心技术-高性能时序存储引擎TSFileTSFileTSFile2021-10-2402:01:02Value:2021-10-2402:03:02Value:原始数据流压缩后数据112021-10-2402:01:02Value:2021-10-2402:03:02Value:原始数据流压缩后数据11Header:2021-10-2402:00:00`0`0`11`:11:1:`1’核心技术-时序定制压缩时序数据压缩：通过Delta-of-Delta、Xor、ZigZag、RLE等压缩算法对时间序列进行压缩，最高可达15:1压缩比...,降低存储成本。2021-10-2402:02:02Value:热最近6小时温最近3个月热最近6小时温最近3个月核心技术-冷热分层存储OSS分层存储，成本降低50%..可选择标准型、容量型、性能型等不同特性的存储。.时序引擎内存时序引擎内存本地磁盘本地磁盘/云盘 查询最近1周数据保留最近3年保留最近3年查询最近1周数据保留最近3年保留最近3年保留最近3个月查询最近1小时数据核心技术-时序数据预处理.存储；查询直接访问预处理后的数据，查询性能提升10+倍。. 查询最近1天数据查询最近1天数据原始数据原始数据LocalStorageLocalStorageLocalStorageLocalStorage核心技术-边云融合1创建模型6模型推理CREATEMODELFROM(SELECT1创建模型6模型推理CREATEMODELFROM(SELECTx,y,zFROM…)FUNCTIONpredict_salesSELECTpredict_sales(x,y)FROM…核心技术-机器学习时序预测（预览）多模数据库Lindorm4455通过SQL拉取训练数据通过SQL拉取训练数据借助机器学习平台完成训练3创建训练任务3创建训练任务模型训练引擎Pre-Processing&TrainModelOptimize•用户可以通过Lindorm，执行CREATEMODEL语句创建机器学习模型；LindormML模块负责模型训练，并将模型部署到数据库内，用户可通过SQL函数调用模型进行推理；也支持用户导入外部训练好的模型（BYOM)。信通院产品能力评测功能评测性能评测稳定性评测05竞品对比业界对比对比项LindormTSDBOpenTSDBTDEngineTimescaleDB查询语言性价比读写性能、存储成本高高一般高一般压缩时序压缩+通用压缩通用压缩时序压缩+通用压缩时序压缩+通用压缩数据模型多值模型多值模型单值模型多值模型多值模型多维检索支持存在高基问题通过超级表弱化不支持高可用开源版不支持依赖HBase商业版本横向扩展商业版本依赖HBase商业版本不支持预降采样支持支持较弱不支持不支持不支持边缘版本、边云同步无