ISOIEC 9075-152023 信息技术.数据库语言SQL.第15部分多维数组（SQLMDA）标准立项发展报告

信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—DatabaseLanguagesSQL—Part15:Multidimensionalarrays(SQL/MDA）摘要随着遥感观测、地球科学、生物信息学及高性能计算等领域的迅猛发展，多维数组数据（如卫星影像时间序列、气候模型输出、基因表达矩阵等）已成为大数据生态系统中至关重要的数据类型。然而，传统的关系数据库管理系统（RDBMS）在处理此类维度化数据时存在显著局限：一方面，SQL标准缺乏对多维数组的一等公民支持，导致数组数据被迫以二进制大对象（BLOB）或规范化关系表的形式存储，查询表达力不足且性能低下；另一方面，科学计算社区依赖的NetCDF、HDF5等数组文件格式与数据库技术栈之间存在割裂，难以实现统一的声明式查询与事务管理。为弥合这一鸿沟，国际标准化组织（ISO/IECJTC1/SC32）在SQL标准系列框架下制定了ISO/IEC9075-15:2023，即SQL/MDA（Multi-DimensionalArrays）标准。该标准为SQL语言引入了多维数组类型系统、数组构造函数、切片/聚合/排序等数组操作算子及嵌套查询语法，使得数组数据可以在SQL引擎内以声明式方式高效处理。本报告系统梳理了该标准的立项背景、技术内容、核心创新点及产业应用前景，分析了其对数据库技术标准化进程的重要意义，并对标准参与单位及未来演进方向进行了深入探讨。报告指出，SQL/MDA标准的发布标志着关系数据库与科学计算融合进入新阶段，对推动时空数据管理、在线分析处理（OLAP）及人工智能数据管道的标准化具有里程碑意义。关键词：多维数组；SQL标准；数据库语言；科学数据管理；ISO/IEC9075；声明式查询；数组数据库1标准立项背景与研制历程1.1多维数据管理的时代需求进入21世纪的第三个十年，全球数据生产量呈指数级增长，其中高维数组型数据占据越来越大的比重。以地球观测领域为例，哥白尼计划（CopernicusProgramme）的哨兵卫星群每天产生的遥感影像数据量超过数十TB，这些数据以多维数组（行×列×波段×时间）为基本组织形态。类似地，气象再分析资料、海洋环流模型输出、地震波场模拟结果、基因组表达谱数据，乃至深度学习模型中的张量数据，均天然以多维数组为表征形式。据国际数据公司（IDC）预测，到2025年全球结构化数据中约40%将以数组或张量形态存在。然而，主流关系数据库在处理此类数据时长期缺乏标准化支撑：多维数组既不能作为原生数据类型被定义，也没有内建的数组查询算子供用户调用。实践中，用户要么将数组扁平化为关系表导致存储膨胀和查询效率低下，要么将整个数组封装为BLOB对象从而丧失内部结构可见性和可操作性，要么完全依赖文件系统与NetCDF/HDF5库进行离线分析，无法利用数据库的事务、安全、并发控制等核心能力。1.2早期探索与rasdaman项目的先行实践在标准化需求形成之前，学术界与工业界已在数组数据库管理领域进行了长期探索。德国不来梅雅各布大学（JacobsUniversityBremen）的PeterBaumann教授团队自1990年代起主导开发了rasdaman（rasterdatamanager）系统，该系统实现了面向大规模多维栅格数据的阵列查询语言——rasql，支持切片、裁切、聚合、缩放等丰富操作，并提供了基于分布式架构的高性能并行处理能力。rasdaman的技术方案在多个大型地球科学基础设施中得到验证，包括欧盟的地球观测数据服务平台EarthServer、NASA的多项遥感数据项目以及澳大利亚的地球科学数据网格（AURIN）等。这一系列的实践积累为后续SQL/MDA的标准化工作提供了坚实的技术储备——事实上，SQL/MDA中的核心数组操作语义与rasql有着明确的继承关系和设计呼应。此外，行业中也出现了SciDB、TileDB、ArrayFire等专用的数组数据库或数组计算引擎，它们从不同角度验证了"数组数据库"范式的可行性，并共同构成了推进SQL/MDA标准化的底层共识。1.3标准研制进程2014年，ISO/IECJTC1/SC32（数据管理与交换分技术委员会）下设的WG3（数据库语言工作组）正式启动SQL/MDA标准的预研工作，由PeterBaumann担任编辑（ProjectEditor）。2016年，项目正式立项，编号为ISO/IEC9075-15。在接下来的数年中，工作组围绕数组数据类型的定义方式、数组操作的语法设计、与SQL既有类型系统的兼容机制、以及数组和关系数据混合查询的语义规则等核心议题进行了多轮深入讨论和草案修订。2019年发布委员会草案（CD），2021年发布国际标准草案（DIS），在经历严格的投票和评审程序后，最终于2023年6月1日正式发布为ISO/IEC9075-15:2023，标准标题为"Informationtechnology—DatabaselanguagesSQL—Part15:Multidimensionalarrays(SQL/MDA)"。该标准作为ISO/IEC9075系列（即SQL标准家族）的第15部分，与基础部分（ISO/IEC9075-1:2023框架）、SQL/Foundation（第2部分）、SQL/XML（第14部分）、SQL/PGQ（第16部分，属性图查询）等共同构成了当代SQL语言标准的完整体系。2标准主要内容与技术解析2.1标准定位与核心目标ISO/IEC9075-15:2023的核心目标可概括为以下四个方面：-类型扩展：在SQL类型系统中引入一等公民的多维数组类型，使用户能够在SQL模式（Schema）中直接声明数组类型列，实现数组数据的结构化存储和管理。-查询表达：扩展SQL查询语言，支持对数组类型数据进行声明式的切片、裁切、聚合、投影、排序、重塑等操作，使数组查询无需依赖外部编程语言或专用工具。-无缝集成：确保数组数据与关系数据能够在同一查询语句中协同处理——例如，可以按区域标识（关系数据）关联对应的卫星影像块（数组数据）执行联合分析。-性能优化接口：在标准层面描述数组操作的语义规则，为数据库厂商在查询优化器、索引结构及并行执行引擎中实现高效数组查询提供规范依据。2.2多维数组类型系统SQL/MDA定义了一种新的SQL预定义数据类型——数组类型。该类型由三个维度属性描述：-维度（Dimension）：数组的维数，从1维到n维，每一维度由下界（lowerbound）和上界（upperbound）界定（默认下界为1）；-元素类型（ElementType）：数组元素的数据类型，可为SQL数值类型（如INTEGER、FLOAT、DOUBLEPRECISION）、布尔类型、文本类型，也可以是用户自定义类型（UDT）；-容量（Capacity）：数组在各维度上的大小范围。用户可以通过`CREATETYPE`语句定义具名的数组类型，也可以在表的列定义中直接使用匿名数组类型。示例：```sql--定义一个3维遥感影像块类型CREATETYPEImage3DASINTEGERARRAY[1:1000][1:1000][1:4];--在表中使用数组类型列CREATETABLESatelliteScenes(scene_idINTEGERPRIMARYKEY,acquisitionTIMESTAMP,locationVARCHAR(128),dataImage3D);```该设计使得数组类型具有了与INTEGER、VARCHAR等标量类型同等的地位，数组对象可以作为完整单元进行INSERT、UPDATE、SELECT操作，也可以被分解为子数组进行操作。2.3核心数组操作SQL/MDA定义了一组丰富的数组操作算子，使开发者能够以纯声明方式完成复杂的数据分析任务。标准核心算子包括：-数组构造函数（ArrayConstructor）：支持通过元素列表或子查询结果构建数组，例如`ARRAY[1,2,3]`、`ARRAY(SELECT...)`等。-切片（Slicing）：通过维度范围操作提取子数组。语法形式为`data[1:100][50:200][*]`，其中`*`表示取该维度的全部范围。-索引（Indexing）：精确定位数组元素的标量提取操作。-聚合（Aggregation）：在指定维度上执行聚合函数（如`SUM`、`AVG`、`MIN`、`MAX`），消除一个或多个维度后返回降维后的数组结果。例如，`AGG_AVG(data,3)`返回沿第三维度取平均的二维矩阵。-排序与重塑（SortingandReshaping）：支持对数组元素按指定规则排序、维度重排（permutation）、扩展（extend）和截断（trim）等维度结构修改操作。-数组连接（Concatenation）：沿某一维度拼接两个兼容数组。-布尔与存在性操作：如`ANY`、`ALL`等，用于条件判断。-标量-数组混合运算：允许数组与标量之间进行逐元素（element-wise）算术运算，如`data*2.5`、`data+offset`等。2.4嵌套查询与关系-数组协同SQL/MDA的一个重要创新在于允许数组作为子查询的结果出现——这使得关系数据和数组数据可以在同一查询上下文中无缝流动。考虑以下示例：查找2023年内某区域NDVI（归一化植被指数）变化最大的10个场景。```sqlSELECTs.scene_id,AGG_MAX(s.data[*,*][3]-s.data[*,*][1])ASmax_ndvi_changeFROMSatelliteSceness,RegionsrWHEREs.acquisitionBETWEENDATE'2023-01-01'ANDDATE'2023-12-31'ANDST_Intersects(s.location,r.geom)GROUPBYs.scene_idORDERBYmax_ndvi_changeDESCLIMIT10;```在该查询中，`s.data[*,*][1]`和`s.data[*,*][3]`分别提取红波段和近红外波段，二者相减进行逐元素计算，`AGG_MAX`在空间维度上取最大值——整个工作流完全以SQL声明方式表述，无需数据导出和外部脚本。2.5与其他SQL标准的协同SQL/MDA并非孤立存在，它与SQL家族的既有标准实现了良好的协同：-与SQL/Foundation（第2部分）：数组类型作为SQL数据类型体系的扩展，兼容既有的类型转换、比较运算及空值语义；-与SQL/OLAP（第2部分中的窗口函数）：数组聚合与窗口函数可以嵌套使用，支持复杂的时间序列分析；-与SQL/PSM（第4部分，持久化存储模块）：存储过程与函数中可以声明数组变量、执行数组操作，为服务端业务逻辑中的数组处理提供了编程接口；-与SQL/XML（第14部分）及SQL/JRT（第13部分，Java例程）：支持数组数据与XML文档及Java对象之间的映射机制。3标准的技术创新与产业价值3.1填补标准空白的里程碑意义在SQL/MDA发布之前，国际标准化层面尚不存在一套能够完整定义"如何在SQL中声明式地存储和查询多维数组数据"的规范。尽管R语言、Python的NumPy/Xarray等科学计算生态提供了丰富的数组操作接口，但它们游离于SQL标准体系之外，既不具备数据库管理系统的事务保障和权限控制能力，也无法与既有的企业数据资产统一管理。SQL/MDA的发布从根本上填补了这一空白，使"数组"与"表"、"XML"、"JSON"等数据类型并列，成为SQL标准体系中正式支持的数据形态。3.2对产业界的深远影响SQL/MDA的发布为数据库产业带来了明确的技术方向指引。主要数据库厂商可以在其产品中实现符合标准语义的数组类型扩展，从而在既有SQL引擎之上支持栅格影像、传感器时序、科学模拟输出等新型工作负载。对用户而言，SQL/MDA意味着无需学习专用查询语言、无需在数据库和文件系统之间反复搬运数据，即可利用标准SQL技能完成复杂数组分析。在应用层面，该标准对以下领域具有直接的赋能效果：-地球观测与遥感数据管理：实现卫星影像的入库、切片查询、波段运算和时间序列分析的一体化SQL处理；-科学模拟与工程计算：支持气候模型、流体力学模拟输出结果的高效存储与声明式统计；-时空数据分析与智慧城市：将传感器网格、交通流量矩阵等多维数据纳入SQL分析框架；-生物信息学：支持基因表达矩阵、蛋白质结构数组等数据的标准化管理和交集分析；-AI数据管道：为机器学习特征矩阵的存储、版本管理和预处理提供规范化的SQL接口。4主要研制单位与标准化组织4.1ISO/IECJTC1/SC32/WG3SQL/MDA标准的研制由ISO/IECJTC1（信息技术联合技术委员会）下属SC32（数据管理与交换分技术委员会）中的WG3（数据库语言工作组）主导进行。SC32/WG3是SQL标准化的核心阵地，负责维护和演化整个ISO/IEC9075系列标准。该工作组汇聚了来自全球主要数据库厂商（如Oracle、Microsoft、IBM、SAP）、学术机构、政府研究机构及标准化咨询机构的权威专家，形成了跨行业、跨国界的协作机制。4.2核心贡献单位：rasdaman项目团队与JacobsUniversityBremen在SQL/MDA的研制过程中，德国不来梅雅各布大学（JacobsUniversityBremen）的rasdaman团队发挥了不可替代的核心作用。该团队由PeterBaumann教授领衔，自1990年代以来持续深耕数组数据库技术，是国际学术界在该领域最具影响力的研究群体之一。rasdaman系统是该团队三十年技术积累的结晶，也是SQL/MDA标准的最直接技术原型。rasdaman实现了完整的数组查询引擎，支持分布式环境下的大规模并行数组处理，已成功应用于多个国际性基础设施，包括欧盟资助的EarthServer项目——该项目建立了覆盖多个数据中心的分布式地球科学数据服务网络，实现了PB级遥感与气候数据的在线即席查询。在标准制定过程中，JacobsUniversityBremen团队承担了标准编辑（ProjectEditor）、技术方案设计、草案撰写和互操作性验证等核心工作。该团队深厚的学术造诣和丰富的工程实践经验，保证了SQL/MDA标准既有理论上的严谨性，又具备工程上的可实施性。此外，参与标准草案评审的重要机构还包括美国国家标准协会（ANSI）、德国标准化协会（DIN）、中国国家标准化管理委员会（SAC）下属的全国信息技术标准化技术委员会数据库工作组，以及多家主要数据库厂商的代表。5标准实施现状与未来展望5.1实施与应用现状自2023年6月正式发布以来，SQL/MDA标准已在多个层面开始落地。rasdaman系统作为该标准的参考实现，已全面对齐SQL/MDA规范，并在EarthServer等基础设施中提供基于标准SQL的数组查询服务，用户可通过`psql`等标准SQL客户端直接访问多维数据服务。在开源社区，PostgreSQL生态中已有围绕数组类型扩展的探索性实现，部分时空数据库扩展模块开始参考SQL/MDA语义设计其数组操作功能。商业层面，部分云数据仓库和地理空间数据库产品已将多维数组支持纳入技术路线图。总体而言，该标准正处于从发布到产业采纳的早期扩散阶段。5.2标准应用的关键挑战尽管SQL/MDA在技术设计上具有充分的前瞻性，但其广泛应用仍面临若干关键挑战：-实现复杂度较高：数组查询的下推优化、并行执行及索引加速（如基于M-tree或R-tree的辅助索引）需要数据库内核的深度改造，供应商的工程投入成本不容低估。-与生态工具的衔接：JDBC/ODBC驱动及主流BI工具对数组类型的感知与可视化支持尚需完善，数据科学工作流（如Jupyter、RStudio）与SQL/MDA的融合也有待深化。-基准与测试套件缺失：目前尚缺乏权威的SQL/MDA符合性测试套件和公开基准数据集，不利于不同实现之间的横向对比和一致性验证。-交叉领域协调：与地理信息标准（如OGC的Coverage数据模型）及科学数据格式（HDF5、NetCDF）之间的语义映射需要跨标准化组织的协调推进。5.3未来演进方向展望未来，SQL/MDA标准的持续演进将聚焦于