信息技术.数据库语言SQL.第15部分多维数组（SQLMDA）标准立项发展报告

*信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—DatabaselanguagesSQL—Part15:Multidimensionalarrays(SQL/MDA)摘要随着地球观测、生物信息学、高能物理、金融分析及工业物联网等领域的飞速发展，大规模、高维度科学数据（如卫星影像、基因测序矩阵、传感器时序数据）的存储与处理成为重大技术挑战。传统关系型数据库管理系统在处理此类结构化与非结构化混合的多维数组数据时，面临表达力不足、查询效率低下及存储瓶颈。为应对这一挑战，国际标准化组织ISO/IECJTC1/SC32（数据管理与交换分技术委员会）于2023年6月正式发布了ISO/IEC9075-15:2023《信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）》。本报告深入剖析了该标准的立项背景、核心内容与技术特性，详细阐释了其如何通过扩展SQL语言，引入多维数组作为一等公民数据类型，实现对其的建表、定义、索引、切片、聚合及统计分析等标准化操作。报告重点介绍主要修订单位及其技术贡献，并指出该标准标志着SQL语言从传统商业数据处理向混合分析型工作负载的重大演进，为下一代高性能数据分析平台奠定了语言基础，对于促进数据科学、人工智能与数据库系统的深度融合具有里程碑式的意义。关键词：数据库语言；SQL/MDA；多维数组；科学数据管理；查询语言扩展；ISO/IEC9075；数据分析；标准化Keywords:DatabaseLanguage;SQL/MDA;MultidimensionalArray;ScientificDataManagement;QueryLanguageExtension;ISO/IEC9075;DataAnalysis;Standardization正文一、引言：科学数据洪流下的SQL标准演进自1986年首个标准版本发布以来，结构化查询语言（SQL）已成为全球最广泛使用的数据库语言，承载着全球商业交易和海量信息系统的数据处理任务。然而，传统SQL标准的核心模型——关系模型及其支持的标量数据类型，在处理非结构化或半结构化的科学数据时逐渐显露出局限性。以地球观测领域为例，单个遥感影像文件（如GeoTIFF）通常包含由成千上万个波段和空间像素构成的二维或三维数组；生物信息学中的基因表达谱数据通常呈现为数千个样本与数万个基因构成的矩阵；高频金融交易数据则是典型的多维时间序列。这些数据具有以下共性：1.高维度性：数据结构通常超过二维，具有语义明确的行、列、通道、时间等多个维度。2.体量大：单一数据对象即可达到GB级甚至TB级。3.分析密集型：查询操作多为对整个数据子集的切片、投影、统计计算，而非简单的面向行的点查询。在现有SQL标准框架下，开发者不得不采取多种“变通”策略，例如将数组“压平”存储为关系表（导致存储膨胀和查询效率低下），或将数组文件（如NetCDF、HDF5）作为二进制大对象（BLOB）存储在数据库外部，迫使应用层编写复杂的程序逻辑进行数据解读与计算。这种“两层架构”（数据库+应用层工具）严重阻碍了数据流通与分析的实时性、一致性和安全性。正是基于此背景，ISO/IECJTC1/SC32启动了SQL标准向科学数据分析领域扩展的工作，旨在将多维数组作为SQL语言核心数据类型，并定义一整套标准化的操作符，使得数据库系统能够原生、高效地处理这类数据。这一需求在数据科学大爆发的时代显得尤为迫切，ISO/IEC9075-15:2023应运而生，标志着SQL标准迈入了一个全新的发展纪元。二、标准核心技术内容解析ISO/IEC9075-15（简称SQL/MDA）是SQL标准系列的第15部分。它并非对现有SQL的颠覆，而是基于成熟的SQL:2023框架，进行了一次精妙而强大的功能扩展。其核心内容可以概括为以下几个方面：2.1引入数组类型（ArrayType）SQL/MDA最大的贡献在于定义了全新的、作为一等公民（first-classcitizen）的数组数据类型。与SQL标准中已有的集合类型（如数组ARRAY，但仅支持一维且功能有限）不同，新定义的多维数组具备以下特性：*维度定义：支持用户声明任意数量的维度（大于等于1）。例如，`MDARRAY<DOUBLE,3>`定义了一个三维的双精度浮点数数组。*维度范围：每个维度都可指定精确的下界和上界，形成一个网格结构。例如，`MDARRAY<INTEGER,2>[0:1023][0:2047]`。*数据元素类型：数组内的所有元素必须是同一数据类型（如INTEGER,FLOAT,BOOLEAN等基础类型，未来可能扩展至结构化类型）。*物理布局不透明性：标准仅规定逻辑模式，允许数据库厂商采用高效的物理存储格式（如列式存储、分块压缩、甚至直接引用外部文件）和索引机制（如空间填充曲线索引），这为高性能实现留下了丰富的优化空间。2.2数组表达式与操作符SQL/MDA定义了一套丰富的数组表达式语法，允许用户在SQL查询语句中直接操作整个数组或子数组：*构建（Construction）：支持通过字面量或查询结果构建新的多维数组。*切片（Slicing/Trimming）：使用冒号语法从大型数组中提取连续的子数组（子集）。例如，`image[100:199][200:299]`提取一个100x100的图像块。*排序（Sorting）：支持多维数组整体上的排序操作。*聚合（Aggregation）：定义了专门针对数组的聚合函数。例如，`ARRAY_AVG`计算数组元素的平均值，`ARRAY_SUM`求和。这些函数可以按维度或跨维度执行。*数组迭代与投影（ArrayComprehension/Projection）：这是SQL/MDA最具威力的特性之一。它允许用户定义一个位置占位符（如`i`），然后通过一个类似于`FOR`循环的语法，对整个数组的每个元素执行标量计算。例如，`ARRAYi+jFORiINa.d1,jINb.d2`可以实现两数组成员的逐元素相加。2.3统一的数据模型SQL/MDA并非孤立地处理数组。它巧妙地融合了关系模型的强大集合操作能力与数组模型的密集计算能力：*表定义中的数组列：一个标准关系表的列可以是多维数组类型。这使得一张表可以既包含元数据（如地理坐标、时间戳、传感器ID等标量列），又包含实际数据（如图像数组列）。*混合查询（HybridQueries）：用户可以编写包含对关系列（`WHERE`条件过滤元数据）和数组列（`ARRAY_SLICE`进行内容访问）的混合查询。例如：“查询2023年某区域所有云量小于10%的卫星影像，并提取其近红外波段中心256x256像素的区域”。这一查询在传统系统中需要多次I/O和复杂应用逻辑，而在SQL/MDA框架下，可以凭借一条简洁的SQL语句完成，并享受数据库优化器带来的向量化执行和并行计算。2.4与外部数据格式的桥接标准还考虑了与广泛使用的科学数据格式的互操作性。通过定义数组的“格式”属性，SQL/MDA允许数据库管理系统直接读取或写入如NetCDF（网络通用数据格式）、HDF5（层次型数据格式）等外部文件格式，无需数据转换。这极大地降低了科学数据“入湖”门槛，使得已有的大量数据分析工作流能够无缝地受益于SQL标准和数据库能力。三、标准的主要参与单位：多维数组存储与查询技术先驱rasdamanGmbH在ISO/IEC9075-15标准的制定过程中，众多国际顶尖的数据库研究机构和企业贡献了力量，其中德国不来梅大学与rasdaman有限公司（以下简称rasdaman）扮演了无可替代的核心理论贡献者与技术验证者的角色。单位简介：rasdaman公司成立于1996年，是德国不来梅大学计算机科学系的衍生企业。公司名称“rasdaman”是“rasterdatamanager”（栅格数据管理器）的缩写，其核心产品是一个高度优化的分布式多维数组数据库管理系统。自成立以来，rasdaman一直专注于解决大规模、多维时空数据（特别是栅格数据，如卫星影像、气象模型输出）的高效存储、索引、查询与分析问题。它参与了多项欧盟和全球的大型科研基础设施项目（如EarthServer），致力于为地球科学、气候研究、行星科学等领域提供处理万亿级像素或体素的数据管理能力。技术贡献：1.理论框架奠基：rasdaman团队长期致力于将关系代数和数组代数进行形式化融合，提出了“关系数组代数”理论，并基于此开发了ArrayQueryLanguage(AQL）。ISO/IEC9075-15SQL/MDA标准的核心语法和语义模型，很大程度上汲取了AQL的理论基础。可以说，SQL/MDA的学术源头正是rasdaman多年来在阵列数据管理领域的研究成果。2.技术原型验证：在标准化讨论中，rasdaman提供了业界第一个且运行多年的、能够支持大规模SQL/MDA查询的商业化数据库管理系统（rasdaman系统）作为参考实现。该系统已在多个机构（如欧洲空间局ESA、美国宇航局NASA附属机构）成功部署，处理PB级的遥感数据。这个真实的、高性能的实现证明了SQL/MDA标准不仅仅是停留在纸面的理想设计，而是具有坚实的技术可行性和巨大的应用潜力。3.性能与扩展性探索：rasdaman在存储分块、并行查询执行、基于成本的优化器设计等方面积累了丰富的经验。这些实践性强的技术方案通过其在标准制定工作组（ISO/IECJTC1/SC32/WG3数据库语言）中的代表，源源不断地转化为标准中的规范性条款或实现指南，确保了标准既具有理论高度，又具备工业级的可实施性。可以说，没有rasdaman团队近二十年的持续投入和实践，SQL/MDA标准的诞生将会推迟许多年。它的存在，使得SQL语言在科学数据处理领域的能力变得具体、可操作且被广泛验证。四、结论与展望ISO/IEC9075-15:2023《信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）》标准的正式发布，并非终点，而是起点。它从根本上改变了我们对待非结构化/半结构化密集数据的思维方式。通过将多维数组引入标准化的数据管理框架，SQL语言终于能够无缝地处理驱动人工智能、地球观测、精准农业、生命科学和量化金融的核心数据资产。从实践价值看，该标准将带来以下深远影响：1.降低开发门槛：数据分析师和数据科学家不再需要学习多种专用的、非标准的库或工具（如xarray,netCDF-Java,MATLAB等）来处理数组数据，可以直接利用熟悉的SQL语言完成大部分预处理和分析工作。2.提升系统性能：数据库管理系统得以原生地利用数组数据的高局部性，采用向量化执行、并行计算、列式存储及空间索引等先进技术，实现比“关系表+BLOB”方案高出数个数量级的查询性能。3.增强数据治理：科学数据和商业数据得以统一存储在支持ACID（原子性、一致性、隔离性、持久性）事务、访问控制、版本管理的数据管理平台上，消除了数据孤岛，提升了数据质量和安全合规水平。展望未来，SQL/MDA标准将朝着以下方向持续演进：*与人工智能（AI）深度融合：未来的版本可能定义如何将多维数组直接作为深度学习模型的输入张量（Tensor）进行传递，或者在数据库内部提供对模型推理的原生支持，实现“数据即服务，AI即函数”的愿景。*更丰富的运算符支持：可能会增加诸如卷积、傅里叶变换、矩阵分解等线性代数或信号处理领域的高阶操作符，进一步扩展SQL在科学计算与工程模拟中的应用边界。*对时间维度和时空连续体查询的强化：针对日益增长的时空大数据（如物流轨迹、气候模拟），标准可能会引入更自然的时序维度操作和时空窗口函数，使其成为处理动态世界数据的更强大工具。*跨厂商互操作性：随着越来越多的主流数据库厂商（如Oracle,PostgreSQL社区，以及国产数据库巨头）采纳并实现