ISOIEC 9075-152023 信息技术.数据库语言SQL.第15部分多维数组（SQLMDA）标准立项发展报告

信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）标准立项发展报告StandardizationDevelopmentReport:Informationtechnology—DatabaselanguagesSQL—Part15:Multidimensionalarrays(SQL/MDA)摘要随着地球观测、生命科学、金融工程及工业物联网等领域数据量的爆炸式增长，大规模多维数组（如卫星影像、基因表达矩阵、传感器网格数据）的高效存储与查询成为数据处理领域的核心挑战。传统关系型数据库管理系统（RDBMS）基于行的存储模型在应对此类“科学数据”或“张量数据”时存在性能瓶颈与表达不便。为填补这一技术空白，国际标准化组织（ISO/IECJTC1/SC32）历经多年研制，于2023年6月正式发布了ISO/IEC9075-15:2023《信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）》。本报告旨在全面阐述该标准的立项背景、核心技术内容及其对数据管理领域的重要影响。报告首先分析了多维数组数据的管理现状及标准化需求，随后详细解读了SQL/MDA引入的数组数据类型、基于位置与切片的查询语法以及与传统SQL的融合机制。标准通过定义“数组-关系”双层模型，使开发者能够在统一的SQL框架内同时处理结构化关系数据和复杂数组数据，避免了大型二进制大对象（BLOB）传输或异构系统间数据转换的繁琐开销。本报告认为，SQL/MDA的发布是数据库语言标准化进程中的一个重要里程碑，它不仅拓展了SQL的应用边界至科学计算领域，也为构建面向AI、地球科学等领域的下一代融合型数据库奠定了坚实基础。该标准具有极高的应用价值，将显著降低多维数据处理的技术门槛与系统复杂度。关键词：SQL/MDA；ISO/IEC9075；多维数组；数据库语言；科学数据管理；数据查询；数据标准Keywords:SQL/MDA;ISO/IEC9075;Multidimensionalarrays;Databaselanguages;Scientificdatamanagement;Dataquerying;Datastandardization正文1.引言：多维数据时代的标准诉求在当今数字化浪潮中，数据类型正从传统的文本与数字向高维、密集的科学数据进行深刻变革。遥感影像生成的多光谱波段、气象模型的网格化预测、基因组测序的表达矩阵及深度学习框架中的权重张量，其本质均为高度结构化、具有规则维度的多维数组。据业界估算，此类科学数据占全球数据总量的比重正快速增长，并已成为驱动新型研究与应用的关键生产要素。然而，现有主流数据管理技术在处理这类数据时显得力不从心。传统关系型数据库（RDBMS）将多维数组作为二进制大对象（BLOB）或拆解为大量行记录来存储，前者导致“全数据读取”的低效网络传输，后者则破坏了数据的空间连续性并带来巨大的查询开销。非关系型数据库（NoSQL）或专用文件格式（如HDF5、NetCDF）虽能高效组织数组数据，但缺乏SQL这一通用查询语言所具备的标准、易用及强大的数据操作能力。这导致企业级应用中往往出现“双栈”系统：关系库处理业务元数据，科学数据存储在外部数组中，数据工程师需付出大量努力进行跨系统交互与集成。为从根本上解决上述困境，国际标准化组织（ISO）联合国际电工委员会（IEC）的第一联合技术委员会（JTC1）下属的SC32数据管理与交换分技术委员会，启动了SQL多维数组扩展（SQL/MDA）标准的研制工作。经过长期论证与开发，标准于2023年正式面世。2.标准核心技术内容解读ISO/IEC9075-15:2023标准的全称是“信息技术—数据库语言SQL—第15部分：多维数组（SQL/MDA）”，它并非对现有SQL语法的颠覆，而是一种有机且优雅的扩展，核心在于四个层面的创新。2.1核心数据类型定义：数组类型标准引入了新的`ARRAY`类型，但与SQL标准中已有的定长一维数组不同。SQL/MDA的数组是多维的、稠密的、元素类型统一的张量。其定义语法包括：-维度（Dimension）：明确数组的轴数和各轴大小，如`integerArrayINTEGERARRAY[256][512]`定义一个二维数组。-元素类型（ElementType）：可以是任何内置或用户定义的SQL类型，包括浮点数、整数、乃至嵌套的数组类型。-形状（Shape）：数组的维度大小，查询时可以动态获取形状信息。2.2强大的位置查询与切片能力（AffineTransformations&Slicing）这是该标准最核心的语义扩展。它允许用户在SQL的`SELECT`语句中直接对数组的特定部分进行定位访问。-定点索引：通过`a[i][j][k]`语法直接获取某个特定位置的元素。-切片（Slicing）：使用类似PythonNumpy的语法进行范围选取。例如`arr[1:100][*][5:10]`表示提取第一个维度从1到100、第三个维度从5到10的整个子数组。这里的`*`表示获取该维度的所有值。-降维与重塑：查询结果可以依然是多维数组，支持对齐操作。2.3数组与关系的无缝集成：“数组-关系”双模式SQL/MDA在传统行/列模型上叠加了数组视图。一个典型场景是：一个`satellite_image`表包含`image_id`、`acquisition_time`、`cloud_cover`等列，以及一个存储多维像素数组的`pixel_data`列。SQL/MDA使得以下查询成为可能：```sqlSELECTimage_id,acq_time,(SELECTSUM(v)FROMpixel_data[1:100,1:100]ASv)AStop_left_corner_brightnessFROMsatellite_imageWHEREcloud_cover<0.1ANDacq_timeBETWEEN'2024-01-01'AND'2024-01-31';```在这个查询中，`pixel_data[1:100,1:100]`这一数组切片操作直接嵌入在SQL的表达式里。标准规定数组可以通过`UNNEST`逻辑还原回行，也可以聚集行成数组，从而实现了两种数据模型的无缝互转。2.4聚集与窗口函数扩展标准定义了新的聚集函数，比如用于计算数组内所有元素平均值、标准差、最大值最小值的函数，这些函数可以在一个数组列上直接使用，无需预先将数组展开成表。此外，也扩展了窗口函数，使其能在数组相邻元素上进行滑动窗口计算（例如，生成图像的卷积核效果），这对于在线分析处理（OLAP）十分关键。3.标准立项的产业背景与技术价值SQL/MDA的发布并非学术研究的空中楼阁，而是深刻根植于以下产业需求的迫切呼唤。3.1地球观测与遥感分析地球科学是最大的多维数据产生源之一。一颗小型卫星每天即可产生数TB级的L1C影像数据（三维：光谱-行-列）。传统方法需将影像转为GeoTIFF文件存储，链路极其复杂。SQL/MDA支持将影像数据直接作为数据库的一列，可通过SQL语句按需裁剪、融合、投影转换。这为数字孪生、智慧农业、环境监测应用提供了一体化数据底座。3.2金融量化计算在金融风控和量化交易中，资产回报率张量（时间×产品×因子）是核心数据。过去，银行需要将数据导出至Matlab或Python环境进行矩阵运算。通过SQL/MDA，金融数据库可以直接存储这类张量，并利用扩展的SQL进行移动平均、协方差矩阵计算及回测分析，大幅提升了模型计算效率。3.3物联网（IoT）与工业4.0工业传感器生成的高频时序数据实际上构成了二维数组（传感器×时间点）。使用SQL/MDA，可以轻松地设计查询如下：“提取过去24小时内，3号产线上所有温度传感器的数据数组，并计算该数组的均值与峰值，找出温度异常区域。”这种查询能力在传统关系模型中需要多次关联和子查询，而SQL/MDA可在一次扫描中完成。3.4生命科学基因测序的BAM文件、单细胞RNA测序的表达矩阵本质上都是稀疏或稠密的多维数组。一个基因由一个维度的坐标表示，一个细胞由另一个维度的坐标表示。SQL/MDA使得生物信息学家可以直接在数据库中查询“哪些在组织A中高表达的基因，在细胞B中的表达水平是前十的”，进行高效的数据探索。4.主要参与单位介绍本标准的成功研制是国际合作的典范，其核心推动力量之一是来自瑞士的ETHZurich（苏黎世联邦理工学院）的ArrayDataAnalysis研究组领导的调研与开发工作，但具体到起草和编辑工作的主导单位，则是位于德国的rasdamanGmbH公司。rasdamanGmbH公司是一家全球领先的科学大数据管理和分析平台提供商，拥有超过20年历史。该公司是国际标准SQL/MDA（ISO9075-15）的最主要贡献者与联合编辑单位。公司创始人兼首席执行官PeterBaumann教授是数据库领域的权威专家，长期致力于阵列数据管理的研究。在该标准的整个生命周期中，rasdamanGmbH承担了以下关键角色：-标准撰写与架构设计：公司团队基于其开源的rasdaman引擎二十年实践和在数组语言上的深厚造诣，撰写了SQL/MDA标准核心的语法规范与语义模型。该标准中关于数组切片的语法`[low:high]`以及数组聚集函数的概念几乎完全借鉴了rasdaman本身成熟的查询语言。-跨行业推广与试点：在标准草案阶段，rasdamanGmbH联合欧洲空间局（ESA）、美国国家海洋和大气管理局（NOAA）等机构，实际部署并演示了使用SQL/MDA标准在超大规模遥感数据上的即席分析能力，验证了标准的实用性与性能，为其最终获得共识通过提供了决定性的实践经验。可以说，没有rasdamanGmbH及其团队坚持不懈的基础编码、标准草案打磨和实地部署验证，SQL/MDA标准不会如此高效且优质地完成。该公司不仅是标准的贡献者，更是新一类“阵列数据库”计算范式的标杆与引领者。5.结论与展望ISO/IEC9075-15:2023的发布，标志着关系型数据库语言SQL正式迎向科学计算与多维数据处理的挑战。它并非一种针对特定领域的“方言”，而是基于严谨的数学定义和成熟的数据库工程实践，对通用查询模型的一次重大扩充。该标准成功化解了传统数据库中“行与列”对于空间维度数据的固有束缚，使得在一个统一的、经过数十年优化的SQL查询规划器内，高效地完成“关系过滤-数组切片-聚集计算”的混合处理成为可能。展望未来，SQL/MDA标准的演进与发展将体现在以下几个方向：首先，生态普及与互操作性将是下一阶段的核心。标准虽已发布，但主要商业数据库（如Oracle、DB2、SQLServer等）及主流开源数据库（PostgreSQL、MySQL）何时原生化支持MDA语法仍是业界关注焦点。预计随着客户对于高性能时空、科学数据管理需求增长，数据库厂商将其纳入路线图的速度将加快。标准的参考实现将提供对接桥梁，但深度集成至查询优化器才能发挥极致性能。其次，存储引擎与索引优化。随着SQL/MDA标准落地，底层存储引擎需要重新设计以适应数组的高局部性、维度感知的访问模式。多维模型的数据布局、近似查询处理（AQP）以及基于分布的索引技术将迎来研究热潮。最后，与AI行业的深度共鸣。人工智能（AI）的核心模型——深度学习Tensor（张量）本质就是高维数组。S