ISOIEC 9075-152023 信息技术.数据库语言SQL.第15部分多维数组（SQLMDA）标准立项发展报告

信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-DatabaseLanguagesSQL-Part15:MultidimensionalArrays(SQL/MDA)摘要随着地球观测、生命科学、高能物理及金融风控等领域数据规模的爆发式增长，多维数组（栅格）数据已成为科学发现与行业应用的核心数据形态。传统关系数据库管理系统（RDBMS）在存储与查询该类数据时长期面临语义缺失、操作碎片化及性能瓶颈等突出问题，导致应用系统被迫在数据库之外构建繁琐的中间层，严重制约了数据资产的统一管理与价值挖掘。在此背景下，国际标准化组织（ISO）与国际电工委员会（IEC）联合发布ISO/IEC9075-15:2023《信息技术数据库语言SQL第15部分：多维数组（SQL/MDA）》，首次将多维数组的存储、切片、聚合及分析操作以标准化SQL语法形式纳入数据库语言体系。本报告对该标准的立项背景、研制历程、核心技术架构、应用价值及实施要点进行系统阐述。报告指出，SQL/MDA填补了SQL标准在多维数值数据处理领域的空白，通过与SQL:2023其他部分（特别是第3部分SQL/CLI及第9部分SQL/MED）的协同，为大规模科学数据管理提供了统一的声明式查询范式，对推动数据库技术演进与科学数据基础设施标准化建设具有里程碑意义。关键词：SQL/MDA；多维数组；栅格数据；数据库语言标准化；ISO/IEC9075；声明式查询；科学数据管理AbstractWiththeexplosivegrowthofdatascalesinfieldssuchasEarthobservation,lifesciences,high-energyphysics,andfinancialriskcontrol,multidimensionalarray(raster)datahasbecomeacoredatamodalityforscientificdiscoveryandindustrialapplications.Traditionalrelationaldatabasemanagementsystems(RDBMS)havelongfacedprominentchallenges—semanticgaps,fragmentedoperations,andperformancebottlenecks—instoringandqueryingsuchdata,forcingapplicationsystemstobuildcumbersomemiddlewarelayersoutsidethedatabaseandseverelyconstrainingunifieddataassetmanagementandvalueextraction.Againstthisbackdrop,theInternationalOrganizationforStandardization(ISO)andtheInternationalElectrotechnicalCommission(IEC)jointlyreleasedISO/IEC9075-15:2023,"Informationtechnology—DatabaselanguagesSQL—Part15:Multidimensionalarrays(SQL/MDA),"whichforthefirsttimeincorporatesstorage,slicing,aggregation,andanalysisoperationsofmultidimensionalarraysintothedatabaselanguagesystemintheformofstandardizedSQLsyntax.Thisreportsystematicallyelaboratesonthestandard'sprojectbackground,developmenthistory,coretechnicalarchitecture,applicationvalue,andimplementationkeypoints.ThereportpointsoutthatSQL/MDAfillsthegapintheSQLstandardregardingmultidimensionalnumericaldataprocessing.InsynergywithotherpartsofSQL:2023(particularlyPart3SQL/CLIandPart9SQL/MED),itprovidesaunifieddeclarativequeryparadigmforlarge-scalescientificdatamanagement,markingamilestoneinadvancingdatabasetechnologyevolutionandthestandardizedconstructionofscientificdatainfrastructure.Keywords:SQL/MDA;MultidimensionalArrays;RasterData;DatabaseLanguageStandardization;ISO/IEC9075;DeclarativeQuery;ScientificDataManagement一、引言1.1立项背景多维数组（又称栅格数据）是地球空间信息、遥感影像、气象预报、地震勘探、基因表达谱分析及数值模拟等科学领域中最基本的数据组织形态。据统计，全球规模最大的科学数据仓库中，超过70%的数据以多维数组形式存储，仅欧洲中期天气预报中心（ECMWF）单一机构的数据归档量已逾PB级。然而，长期以来，SQL标准——这一关系数据库领域最具影响力的国际标准——在应对多维数组数据时存在严重的"语义鸿沟"：关系模型以二维表为基本结构，强行将高维数组压平为行集，不仅导致存储冗余和查询效率低下，更使得切片（slicing）、降维（reduction）、窗口聚合（windowing）等数组原生操作无法以直观、高效的方式表达。面对这一挑战，实际工程中普遍采用"数据库+文件系统+专用计算引擎"的混合架构，如PostgreSQL配合PostGIS栅格扩展、OracleGeoRaster以及配合NetCDF/HDF5文件的SciDB等方案。这些方案虽然在特定领域取得了一定成效，但彼此语法迥异、能力参差，导致应用可移植性差、数据共享困难、人才培训成本高昂。业界亟需一套统一的、纳入SQL标准的数组操作语言规范。1.2标准定位ISO/IEC9075-15:2023（以下简称SQL/MDA）是ISO/IEC9075（SQL标准）系列的第15部分，由ISO/IECJTC1/SC32（数据管理与交换分技术委员会）负责制定。SQL/MDA标准定义了SQL语言中多维数组的抽象数据类型、构造函数、访问方法、操作符及查询语法，使得多维数组能够作为关系表中的列值或独立数据库对象进行存储和操作。该标准与SQL:2023框架中其他部分（如第2部分SQL/Foundation、第3部分SQL/CLI）协同工作，共同构成完整的数据库语言标准体系。值得关注的是，SQL/MDA标准的制定并非从零起步，而是以学术界十余年的研究成果——阵列数据库管理系统RasDaMan（RasterDataManager）的查询语言为基础，经过标准化改造和扩展而成。RasDaMan自1998年起在德国不来梅大学持续研发，其查询语言已在实际生产环境中运行超过二十年，积累了丰富的设计经验与用例验证，为标准的实用性和成熟度提供了有力支撑。二、标准研制历程2.1预研阶段（2015—2018年）2015年，ISO/IECJTC1/SC32/WG3（数据库语言工作组）在详细调研科学与工程领域数据管理需求的基础上，正式启动多维数组SQL扩展的研究课题。工作组广泛征集了来自地球观测、生物信息学、天文学等领域专家的意见，梳理出多维数组数据管理的核心需求清单，包括：支持任意维数的数组类型定义、高效的切片与子数组提取、丰富的聚合与归约操作、与关系表结构的灵活嵌套以及大规模数据的分布式存储与并行查询能力。2017年，工作组发布技术报告ISO/IECTR19075-7，系统梳理了多维数组数据管理的应用场景、现有方案及标准化需求，为标准制定奠定了前期基础。2.2标准制定阶段（2018—2021年）2018年，SC32正式立项，成立专门编辑团队，以RasDaMan查询语言为基线草案，启动标准正文的编制工作。在标准制定过程中，编辑团队吸纳了来自学术界（不来梅大学、雅各布大学）、工业界（rasdamanGmbH）及国际组织（欧洲航天局、美国地质调查局）等多方力量，通过多轮工作组会议和评论征询，逐步完善了标准的语法定义和语义规范。2020年，标准草案进入委员会草案（CD）阶段，面向SC32各成员国家机构广泛征求意见。期间共收到来自美国、德国、中国、日本、英国等国家的数百条评论意见，编辑团队逐一进行了处理和回复，重点解决了数组维度的动态性、类型系统的严格性以及操作符重载的歧义性等技术难题。2.3批准发布阶段（2022—2023年）2022年，标准草案进入国际标准草案（DIS）阶段，通过SC32的最终投票表决。2023年6月1日，ISO/IEC9075-15:2023正式发布，成为SQL:2023系列标准中最为引人瞩目的新成员。该标准的发布恰逢SQL标准四十周年之际，标志着SQL语言从传统商务数据处理向科学大数据管理的重大跨越。三、标准核心技术内容3.1多维数组类型体系SQL/MDA定义了一套完整的类型构造机制，允许用户声明任意维数的数组类型。一个数组类型由维度集合和单元格类型（celltype）组成，其中单元格类型可以是SQL标准中定义的任何数值类型、布尔类型或用户自定义类型（UDT）。数组的每个维度具有下界（lowerbound）和上界（upperbound），且支持稠密和稀疏两种存储模式。例如，以下语句定义了一个三维气象数组类型：```sqlCREATETYPETemperatureCubeASMDARRAY<double,[0:360,0:180,0:100]>;```该类型表示一个经度维度361个格点、纬度维度181个格点、高度维度101层的三维温度场。3.2核心操作符SQL/MDA提供了一套丰富的数组操作符集，涵盖以下几大类：（1）构造与导入操作符：支持从文本、二进制数据流及现有数组对象构造新数组，包括`MDARRAY`构造函数、`ARRAY`转换函数等。（2）切片与修整操作符：支持沿任意维度提取子数组，包括固定索引切片（`[i,j,k]`形式）和区间提取（`[i:j,k:l]`形式）。切片操作的结果仍为数组类型，可参与进一步的计算。（3）聚合与归约操作符：支持在全部或部分维度上进行统计计算，包括求和（`SUM`）、平均值（`AVG`）、最小值（`MIN`）、最大值（`MAX`）以及标准差（`STDDEV`）等。这些操作可以将一个n维数组归约为n-1维、0维（标量）或同等维数的数组。（4）逐元素算术与逻辑运算：支持数组与标量、数组与数组之间的逐元素加、减、乘、除及比较运算。运算结果的维度与操作数维度保持一致。（5）空间运算操作符：包括`SHIFT`（沿指定维度平移数组）、`EXTEND`（扩展数组边界）、`GROW`（按指定偏移量扩展数组）、`TRIM`（精确裁剪数组）、`OVERLAY`（数组覆盖合并）以及`CONCAT`（数组拼接）等。（6）条件运算：支持`CASE`表达式、`MDCASECOND`条件替换等，实现数组中满足特定条件的元素的定向处理。3.3查询语法框架SQL/MDA的典型查询语法结构如下：```sqlSELECT[windowspecification]MDA_OPERATOR(...)FROMtable_nameWHEREcondition```其中，窗口规范（windowspecification）允许在查询中定义切片和维度子集，操作符用于指定在该数据块上执行的计算。多维数组既可以作为关系表的列存储（即数组类型列），也可以通过SQL/MED外部数据包装器对文件系统中的NetCDF、HDF5、GeoTIFF等格式数据进行联邦查询，实现"存储与查询分离"的灵活架构。3.4性能优化机制SQL/MDA在标准层面定义了对数组数据的并行分块（tiling）存储和分布式查询优化要求。数据库系统可根据数组的维度结构和访问模式，将大规模数组自动划分为若干分块（tile），在查询执行时仅读取必要的分块（即"查询驱动式"IO调度），从而在保障标准语义一致性的前提下获得接近专用阵列数据库的查询性能。这一设计直接回应了多维数组数据管理中"数据量大、访问局部性强"的核心特点。四、标准创新与应用价值4.1标准创新点SQL/MDA的发布填补了SQL标准在数组数据处理方面的空白，实现了多维数组操作的全面标准化。其主要创新体现在以下方面：第一，填补标准空白。在此之前，SQL标准仅支持标量数据及一维集合（即关系表），对多维数组没有定义统一的类型系统和操作语义。SQL/MDA首次将数组作为一等公民（first-classcitizen）纳入SQL类型系统，实现了关系模型与数组模型的深度融合。第二，支持可扩展维度。SQL/MDA突破了传统数组固定维数的限制，支持任意维数的数组类型定义和操作，极大增强了标准对未来新型数据形态的适应能力。第三，定义融合查询范式。SQL/MDA允许在同一SQL语句中混合使用关系操作（如`JOIN`、`GROUPBY`）和数组操作（如切片、聚合），实现了关系数据与多维数组数据的无缝融合查询，为跨模态数据分析提供了统一语法接口。4.2典型应用场景SQL/MDA的典型应用场景覆盖多个关键领域：（1）地球观测与遥感影像分析。卫星遥感影像本质上是具有时间维的空间栅格数据。SQL/MDA支持对多时相遥感影像进行时间序列分析，如植被指数（NDVI）的批量计算、变化检测及云掩膜处理。欧洲航天局（ESA）的Sentinel系列卫星数据分发系统已率先采用SQL/MDA兼容技术进行数据服务化改造。（2）气象与气候数据分析。气象数值模式输出为典型的多维数组（经度×纬度×高度×时间），SQL/MDA提供的时间切片和垂直剖面查询能力，为气象预报产品的快速检索和衍生指标计算提供了极大便利。德国气象局（DWD）在其气候数据运营服务中采用了该技术方案。（3）生命科学与基因信息学。基因表达谱数据（基因×样本×条件）、医学影像数据（CT、MRI三维体数据）等具有天然的多维数组特征。SQL/MDA支持对这些数据进行OLAP式分析，实现维度下钻、切片旋转等操作，为精准医学研究提供了高效的数据管理工具。（4）金融风险分析。金融市场的多维风险因子数据（资产×时间×情景）可采用SQL/MDA进行存储与查询，支持组合风险的批量计算和压力测试分析，显著减少了传统方案中大量使用临时表和行列转换的复杂操作。五、主要参与研制单位介绍5.1核心研制机构SQL/MDA标准的研制汇聚了国际标准化组织、科研机构及企业的多方力量。其中，德国不来梅大学（UniversitätBremen）及由其孵化的rasdamanGmbH公司承担了标准草案的基线技术提供和核心编辑工作。rasdamanGmbH（德国）是SQL/MDA标准最主要的贡献者和推动者。该公司成立于2009年，源自德国不来梅大学数学与计算机科学学院PeterBaumann教授领导的阵列数据库研究团队。rasdamanGmbH是全球首家专注于栅格数据管理系统商业化的企业，其核心产品rasdaman（rasterdatamanager）是世界上最早、最成熟的阵列数据库管理系统之一，自1998年起持续研发和部署，目前已被欧洲航天局、美国国家航空航天局（NASA）、德国气象局、欧盟联合研究中心（JRC）等全球数十家权威机构采用。在SQL/MDA标准制定过程中，rasdamanGmbH的技术团队深度参与了标准的需求分析、语法定义、语义规范及一致性测试的全部环节。公司创始人PeterBaumann教授亲自担任SQL/MDA标准的编辑（Editor），亲自执笔了标准正文的绝大部分内容，将其在阵列数据库领域二十余年的研究成果和工程经验系统性地注入到标准文本之中。此外，rasdamanGmbH还提供了用于标准验证的开源参考实现，确保标准定义的操作语义可以通过实际系统进行一致性验收。可以说，SQL/MDA标准的核心技术基因直接源自rasdamanGmbH的研究积累，二者的紧密互动保证了标准既有学术前沿性，又具备工业落地的务实品质。其他主要参与单位包括：欧洲航天局（ESA，提供了地球观测领域的实际用例与测试数据集，并在标准验证阶段承担了分布式大数据的协调测试工作）、美国地质调查局（USGS，贡献了陆地卫星Landsat数据管理的需求输入）、德国气象局（DWD，提供了气象科学数据的业务场景分析）以及来自美国、英国、日本、中国等国的SC32国家成员体专家团队（在标准评审阶段作出了系统性贡献）。六、标准实施建议与展望6.1实施建议对于计划采用SQL/MDA标准的数据库厂商和应用单位，建议关注以下要点：对于数据库产品厂商而言，建议在现有SQL引擎的基础上，按照SQL:2023框架做好增量式扩展规划：在语法层实现`MDARRAY`类型定义和操作符解析；在执行层设计面向分块存储的物理算子和并行查询计划；在存储层构建面向数组数据的列式或分块式存储格式，并建立与NetCDF/HDF5等科学数据格式的高效转换通道。同时，建议尽早参与标准一致性测试，确保产品实现与标准语义的高度一致。对于应用单位和科研机构而言，建议采取"存量兼容、增量升级"的渐进式策略：首先通过SQL/MDA的外部数据包装能力将现有文件型数组数据纳入统一查询入口；继而逐步将高频使用的分析任务迁移至SQL/MDA查询语句，减少专用脚本的维护成本；最终形成以SQL/MDA为核心的统一科学数据服务层。6.2未来展望SQL/MDA的发布仅是开端。展望未来，该标准的发展方向包括：在空间维度上，SC32已启动将数组坐标参考系统（CRS）