2026大数据平台在DATA+AI时代下的融合创新-腾讯云

2026年5月大数据平台在DT+时代下的融合创新腾讯云计算（北京）有限责任公司中国通信标准化协会大数据技术标准推进委员会（CCSATC601）中国通信标准化协会大数据技术标准推进委员会（CCSATC601）目录/CONTENTS01.AI时代下大数据产业洞察011.1自主可控与数据安全成为产业发展的核心问题1.2AI浪潮下数据产业面临多重挑战021.3我国大数据产业发展新范式正加速形成0302.大数据技术演进的核心路径与挑战052.1大数据技术产品国产化——分阶段、分层次的系统性工程2.2安全可控的企业级部署——从“合规底线”到“竞争力壁垒”082.3Data+AI一体化架构演进1003.腾讯云Data+AI一体化平台的系统工程实践133.1TBDS三层融合架构143.2核心技术创新与亮点153.3TBDS核心能力支撑1704.大数据平台实施建议1905.未来展望21附件腾讯云TBDS产业落地案例23 案例一金融行业核心数据平台国产化与智能化升级案例二能源行业云化数据中心大数据平台建设 图目录/CONTENTS图2TBDS三层融合架构图表目录/CONTENTS表2国产操作系统梳理表3大数据国产化关键组件梳理表4数据工具与应用梳理08表5部分行业关键要求梳理09表6企业级部署场景优化方向梳理09表7国内外主流厂商路线对比AI时代下当前，全球数字经济进入深度发展阶段，数据已成为驱动产业升级、保障国家竞争力的核心生产要素，而数据平台作为承载数据存储、加工、分析与价值释放的关键基础设施，其安全可控性直接关系到数字经济发展的根基。在国际技术竞争日趋激烈、国内政策监管不断收紧、企业数字化转型加速深化的三重背景下，自主可控已从“可选方向”转变为“必由之路”，中国大数据产业正迎来一场以信创替代为核心、以安全合规为底线、以价值释放为目标的深刻变革。本章将立足行业宏观背景，剖析当前企业大数据平台面临的核心痛点，洞察产业发展趋势，为企业推进自主可控大数据平1.11.1自主可控与数据安全成为产业发展的核心问题速增长”向“安全可控、高质量发展”转型。核心技术自主可控与数据安全保障，已成为国家数字安全战略的核心组成部从产业层面来看，截至2025年底，我国数字经济规模持续壮大，数字经济外Hadoop、Spark等开源组件及商业发行版，底层技术架构、版本迭代、安全补丁、功能升级均受制于外部厂商如今，全栈自主可控已不再是企业的“被动选择”，而是主动提升核心竞争力、保障自身安全的“战略举措”，在政策驱1.21.2AI浪潮下数据产业面临多重挑战遍面临技术、治理、安全、融合、运维五方面痛点，这已成为制约企业数字化转型与信创落地的关键瓶颈，亟待系统性能因地缘政治、商业利益等因素，限制核心功能的使用、停止版本迭代或安全补丁更新，导致企业大数据平台面临功能受数仓运行在CDP上，CDP商业发行版调整授权策略后，银行面临短期内完成迁移自建的难题。原有数百个ETL作业、上千标准不统一、数据格式不一致、数据口径不规范，导致跨部门、跨系统的数据整合效率极低，大量数据难以发挥其核心价成效。如某省级电网公司拥有700+套业务系统、90万+张数据表，但同一个“电量”指标在营销系统、计量系统和财务系统中定义不同：营销口径含线损，计量口径不含，财务口径含税。一份看似简单的“全省月度电量报表”，需合规投入占大数据平台总投入的比例已超过30%，安全与合规已成为企业大数据平台转型过程中不可忽视的重要成本因素。例如，某银行发现，数据分析师为完成报表需求，将生产库中含有客户身份证号、手机号的数据导出为CSV文件后上传到本地Jupyter环境——全程无脱敏、无审计、无权限管控。因系统缺乏从“数四是AI融合瓶颈突出，智能化转型滞后。当前，大模型快速普及，AI技术已成为企业提升核心竞争力、实现业务创新的重AI发展的需求。例如，某券商尝试构建RAG知识库用于智能投顾，但企业核心知识分散在研报、会议纪要和财务报表中。五是运维复杂度高企，人力与成本双重承压。在国产化替代过程中，企业大数据平台的架构日益复杂，国产芯片、操作系统、数据库、大数据组件与国外产品形成异构混合架构，不同组件之间的兼容性、协同性较差，导致平台部署、升级、监控、故障定位等运维工作的复杂度大幅提升。某大型能源集团同时运行Hadoop2.x（存量业务）、Hadoop3.x（新业务）、Kubernetes上的AI训练集群和独立的StarRocks实时分析集群，四套集群分属不同团队维护，监控告警分散在Grafana、Ambari等平台上。一次跨集群Hive查询超时故障，运维需要多天才定位到根因是Kubernetes集群的DNS解1.31.3我国大数据产业发展新范式正加速形成面对当前的行业痛点与发展需求，我国国产化大数据产业正加速转型，逐步摆脱对国外技术的依赖，形成以自主可控为核渐向大数据平台、数据库、中间件、算力底层等核心技术栈延伸，形成了“芯片－操作系统－存储－计算引擎－数据工具”三是Data+AI一体化成为标配，平台能力全面升级。大模型与生成式AI的快速普及，推动大数据平台从单一的数据加工、向量存储、异构算力调度、AI工作流编排等核心能力，实现结构化数据、非结构化数据、多模态数据、向量数据的统一管四是湖仓一体架构普及，兼顾灵活与高效。湖仓一体架构融合了数据湖的低成本、灵活性与数据仓库的高性能、强事务能在全球数字化浪潮与国家信创战略双重驱动下，我国企业正面临一场技术基础设施的全面重构：一方面要完成从国际主流技术栈向国产自主体系的有序迁移，另一方面需构建满足AI时代需求的新一代数据智能平台。这不是简单的“换芯换系统”，而是涉及硬件、操作系统、基础软件、应用工具由非核到核心：从非关键业务场景向关键业务场景逐步迁移，从外围系统（开发测试环境、辅助分析系统）向核心系统2.1.1底层软硬件层——国产化的“地基”的高度并行化特征与国产ARM芯片的多核优势天然互补，关键在于大数据引擎能否针对国产芯片进行深度优化（如SIMD芯片平台架构路线典型代表场景适用性鲲鹏ARM（自主指令集授权）华为鲲鹏920多核高并发，适合分布式计算与存储密集型工作负载海光x86兼容海光7000系列兼容性最佳，可平滑迁移现有x86大数据应用飞腾ARM飞腾S2500/D2000多核并行优势，适合政务与安全敏感型场景X86兼容兆芯KX-7000桌面及轻量服务器场景为主，逐步拓展至大数据龙芯LoongArch（完全自主）龙芯3A6000自主程度最高，生态建设中，适合安全性要求极致的场景操作系统定位与特色行业应用统信UOSLinux（Debian系）桌面+服务器双线发展，生态丰富政务、金融、教育广泛部署麒麟OSLinux（CentOS系）安全增强，通过多项等保认证国防、政务、关键基础设施TencentOSServerLinux（CentOS系）面向云场景深度优化，高性能大规模云与大数据集群OpenEulerLinux（社区开源）面向服务器与边缘计算运营商、能源、制造2.1.2大数据基础组件——国产化的“深水区”2015—2019年，我国大数据产品主要基于开源的商业发行版。国内企业以Hadoop/Spark/Flink等开源项目为基础构建商2019—2023年，我国大数据产品进入深度定制与核心优化阶段。随着信创要求提升和业务规模增长，领先厂商开始对核YARN单体调度向Kubernetes云原生调度迁移；元数据层从HiveMetastore向多引擎联邦、多模态资产的新一代元数据—面向向量计算的专用引擎、AI推理加速引擎、GPU虚拟化调度引擎等。这些引擎不再是对Apache社区项目的简单修改，组件类别国际主流方案国产化替代方向技术难点分布式存储HDFS、AmazonS3多协议统一存储引擎、国产对象存储多协议一致性、大规模稳定性、性能对标批计算引擎ApacheSpark国产优化Spark发行版、国产芯片性能优化、超大规模集群调度流计算引擎ApacheFlink国产优化Flink、自研流处理引擎毫秒级延迟保障、精确一次语义OLAP引擎Trino/ClickHouse国产OLAP引擎、优化适配版本多表关联性能、高并发查询能力资源调度YARN/Kubernetes国产云原生调度系统（如Volcano）大数据与AI混合调度、异构算力管理元数据管理HiveMetastore/Atlas多模态资产管理、Data+AI血缘融合消息中间件ApacheKafka国产优化Kafka、自研消息队列超高吞吐、低延迟、国产芯片适配Pinecone/Weaviate大规模向量检索性能与成本平衡2.1.3数据工具与应用层——国产化的“最后一公里”工具与应用层，直接决定用户的体验好坏，是国产化能否“真正落地”的决定性因素。当前，工具层的挑战不在于“有没08工具类别功能定位国产化关键要求数据集成工具多源异构数据采集、同步与转换支持全链路国产化数据源、高性能增量同步数据开发IDESQL/Python数据处理与开发易用性对标国际产品、支持多语言混合编程BI分析平台可视化报表与交互式分析大屏渲染性能、自助分析能力、移动端适配AI开发平台模型训练、调参、部署与监控与数据平台无缝集成、支持国产GPU/NPU数据治理平台资产管理、质量监控、合规审计全域资产纳管（含非结构化与AI资产）、智能化治理任务调度系统数据与AI工作流编排支持DAG可视化编排、Data+AI任务混合调度2.1.4国产大数据体系建设的三大挑战高性能IO方面的成熟度不及主流Linux发行版。目前，大数据引擎在国产平台上的“开箱性能”通常低于X86平台15%~30%，仍需进一步针对性优化。二是生态建设从“单点突破”到“体系成熟”。国际大数据生态经过十余年发展，已形成以Apache三是人才培养从“会用”转向“能优化”。国内多数大数据工程师的知识体系基于Intelx86+CentOS+Hadoop/Spark技2.2.1数据安全与合规：不可逾越的底线企业在安全可控部署中需要构建纵深防御的安全体系，核心能力包括：统一身份认证与行列级权限管控（RBAC+ABAC）、数据全生命周期加密（传输TLS+落盘AES-256+国密SM2/SM3/SM4）、全链路不可篡改审计追行业关键要求金融《金融数据安全数据安全分级指南》等敏感数据本地存储、交易数据不出境、全链路审计可追溯政务《数据安全法》《关键信息基础设施安全保护条例》等保2.0核心数据物理隔离、国产化硬件与软件、定期安全评估《健康医疗数据安全指南》患者隐私保护、数据脱敏、访问日志留存能源《关键信息基础设施安全保护条例》工控数据隔离、实时监控、应急响应运营商《电信和互联网用户个人信息保护规定》用户数据本地化、最小化采集、加密传输2.2.2资源利用与成本控制：企业级部署场景的“永恒命题”载的潮汐效应、Data与AI集群分离导致资源壁垒、GPU以整卡为最小分配单位导致算力碎片化等。当前针对各个优化方向优化方向核心策略预期效果存算分离按需扩容，避免资源配比浪费资源池化大数据与AI集群统一纳管打破资源壁垒，提升整体利用率潮汐调度基于时间窗口和优先级的动态编排GPU虚拟化GPU任意比例切分与强隔离降低碎片率，提升GPU利用率智能冷热分层基于访问频率的数据自动分层在保证性能的前提下降低存储成本2.2.3运维效率与稳定性：企业级部署场景的“隐性成本”一个完整的大数据+AI平台往往涉及数十个组件，版险大、故障定位困难三大核心痛点。针对这些问题，当前运维的终极方向是“智能化运维”（AIOps）——将资深运维专应用洞察、智能巡检、存储治理、计算治理2.2.4业务定制与集成：企业级部署的“价值放大器”有IT体系（ERP、CRM、OA等）无缝集成，打通数据与流程壁垒；二是深度适配垂直行业专属场景，如金融实时风控、政务城市大脑、制造设备预测性维护、能源电力负荷预测、运营商网络优化等；三是推动数据资产服务化（DaaS），通过2.3Data+AI一体化架构演进2.3.1数据平台的架构演进过去15年间，全球企业数智平台沿着数据规模扩大、计算范式升级、智能深度融合的主线持续演进，先后完成四次关键架结构化分析时代（2005–2014）：以EDW、MPP数仓为核心，强Schema约束、面向BI报表，仅支持结构化数据，湖仓双栈并行时代（2014–2020）：采用Hadoop数据湖+MPP数仓Lambda架构，实现海量数据存储与批流分离处湖仓一体时代（2020–2023以Delta、Iceberg、Hudi开放表格式为基础，实现一份存储、ACID事务、SQL与Data+AI一体化时代（2023–至今以Lakehouse为底座，叠加AI原生运行时，实现数据、特征、向量、模型同源2.3.2业界主流厂商的演进路径对标2023年以来，大模型与多智能体系统加速融入企业生产场景，对底层数据与算力平台提出三大要求：一是数据二是算力形态由CPU同构计算转向CPU+GPU等异构协同，要求平台具备调度、拓扑感知、显存切分等AI原生能力；三是应用形态从传统看板分析升级为“读数-检索-推理-行动-反馈”的智能体闭环，需要平台开放标准API并完成全链路谱系建栈；二是元数据层收敛，从分散的元数据服务转向统一Catalog，将表、特征、向量、模型、Prompt、Agent工具纳入同一血缘与权限体系；三是运行层收敛，从数据与AI集群分离转向统一资源池与异构调度，SQL、训练、推理、Agent任务共享算力，按SLO弹性分配。Data+AI一体化并非简单的功能叠加，而是数据平台架构的底层范式重构，也是企业级AI应用规模化落地的核心基础底座。厂商起点一体化关键动作DatabricksSpark+DeltaLakeDataIntelligencePlatformUnityCatalog统一治理，MosaicML/AIFunctions内嵌LLM，VectorSearchGASnowflake云数仓AIDataCloudSnowparkContainerServices，CortexLLM函数，向量原生类型AWSS3+EMR+Redshift多栈Zero-ETL+Sage-MakerLakehouseGlueCatalog统一元数据，Bedrock+SageMaker与湖仓打通MaxCompute+DLF瑶池+PAI一体化DLF统一元数据，PAI-EAS接管模型推理，Hologres兼容向量2.3.3Data+AI一体化关键能力梳理随着人工智能技术正从“以数据处理为中心”向“以数据智能为中心”演进。大数据平台需要从数据仓库/数据湖，进化为一是多模态数据支持从“表”到“万物”。传统大数据平台仅能较好支撑结构化数据，对半结构化数据支持有限，非结构化、向量、模型文件及特征数据基本无法有效处理，而AI时代对数据平台提出全新要求。结构化数据需强化实时写入与更新，半结构化数据需支持深度解析、嵌套查询与流式处理，非结构化数据需实现图片、音频、视频、文档的语义理解与检索，向量数据需支持Embedding存储、索引与高效检索，模型文件实现统一纳管、版本管理与可追溯，特征数据具备FeatureStore能力以保障注册、版本管理及在线离线一致性。未来数据平台核心需求是实现存储统一、协议互通、元数据二是统一元数据管理需打破数据、模型、代码壁垒。统一元数据管理的核心价值在于：实现全域资产可见，覆盖从Hive表、PDF合同到MySQL数据库、AI模型文件的统一数据地图搜索、理解与度量；支持全链路血缘追踪，完整追溯从原始阶段1：HiveMetastore时代只管只管Hive表单引擎绑定无血缘追踪无资产管理HiveMetastore阶段2：数据湖元数据时代阶段3：Data+Al一体化全链路全链路Data→Al血缘Apachelceberg/Hudi新一代Data+AI元数据引擎+ApacheAtlas三是实现高效AI算力调度。传统大数据工作负载以CPU+内存为核心资源，调度策略为尽力而为，运行时长分钟至小时级，以x86CPU为主，异构性低；而AI工作负载则依赖GPU/NPU、大内存与高速互联，采用GangScheduling（全部就绪才启动）调度策略，大模型训练运行时长达小时至天级，呈现CPU+GPU+NPU+DPU混合的高度异构特性。其核心技术能力需求为：统一资源池化以打通YARN与K8s壁垒，潮汐智能调度将资源利用率从15%～20%提升至50%～70%以四是AI-Native开发实现从“数据就绪”到“模型上线”的自动化。在数据准备环节，AI-Native模式可在平台内直接访问数据湖，实现数据零搬运、即用即算。在特征工程环节，AI-Native通过FeatureStore统一注册特征，实现一次开发、多场景复用。在模型训练环节，AI-Native提供集成式实验追踪与自动化超参调优，全流程可追溯。在流程编排环节，AI-Native以统一DAG编排Data+AI全链路，协同高效。在模型发布环节，AI-Native支持一键发布API，并具备自动灰度与回滚能力。在持续迭代环节，AI-Native可自动检测数据漂移与模型退化，智能触发重训，大幅提升迭代效率与系统稳定性。在以上六方面的共同作用下，AI-Native模式通过全流程自动化、资产化、一体化，彻底重构数据到AI的生产链路，腾讯云Data+AI一体化AI时代，企业数据基础设施正迎来根本性变革：数据不再仅服务于分析决策，更要深度支撑大模型训练与推理、智能体构建等核心AI生产活动。据GARTNER分析，80%的企业知识以非结构化数据形态存在，传统大数据平台“烟囱式”架构——存储系统离散、计算引擎割裂、AI开发环境独立，3.1TBDS三层融合架构针对这一问题，腾讯云TBDS大数据平台完成内核级彻底重构，推出全新“全栈一体底座+全域资源中枢+数智协同开发”三层融合架构，实现数据采集、存储、加工、治理、服务至AI应用的全链路贯通。架构以“DataforAI”（数据赋能AI）一是全栈自主可控，深度适配鲲鹏、海光、飞腾等国产芯片与统信UOS、麒麟OS等国产操作系统，实现端到端国产化替代；二是全域统管，单底座同时承载大数据分析与AI训练推理，消除平台割裂、数据孤岛与资源浪费；三是TCO极致优化，依托存算分离、潮汐混部、GPU虚拟化等技术，将集群资源利用率从行业平均不足15%提升至50%~70%。算力资源池化+弹性伸缩算力资源池化+弹性伸缩全域资产一本账/数据可信可追溯全栈一体底座层统一架构+统一存储湖仓一体存算分离多协议互通存储介质融合一套引擎处理多模态数据智能缓存5A安全体系数据与AI开发一站式体验智能驱动治理，合规可控TBDS三层融合架构架构降本-资源提效-数智协同全域资源中枢层统一调度+统一元数据+统一引擎XOps编排智能治理资产融合安全合规数智协同开发层统一开发+统一治理全栈自主可控深度适配国产芯片/OSTCO极致优化利用率提升至70%+全域统管Spark+Al深度融合TBDS-VecturboWeDataCopilotOneKubernetesVolcano批量调度TBDS-CatalogDataAgent全链路血缘图2TBDS三层融合架构图三层架构的设计逻辑如下：全栈一体底座层（统一架构+统一存储）：构建存算分离、湖仓一体、全栈安全的坚实底座，通过多协议互通与智能缓存实现“原地计算”，同时以5A安全体系（认证、账号、授权、访问控制、审计）构建纵深防御安全基座，实现平台集约化全域资源中枢层（统一调度+统一元数据+统一引擎）：打通全域资源调度、元数据管理与多引擎融合数智协同开发层（统一开发+统一治理）：为数据分析师与算3.2核心技术创新与亮点基于三层融合架构设计理念，腾讯云TBDS在各层级均实现了一系列关键技术突破与创新。针对传统企业大数据集群与AI平台独立部署，造成“两套系统、两套运维、两套安全体系”的痛点，腾讯云TBDS实现TBDS的核心创新集中在两大模块：一是统一管控平台，将大数据与AI组件的安装、部署、监控、告警、日志收集等全运维环节，统一收敛至单一Web控制台，实现跨异构集群的一体化管理，破解运维割裂、集群资源难以统筹规划的难题；二是统一安全基座，依据等保三级标准，以SecuritybyDesign为设计原则，采用纵深防御架构到5A（认证/账号/授权/访问控制/审计）体系：通过认证（Authentication）：Kerberos+LDAP；账号（Ac-count主账号+子账号分级隔离；授权（AuthorizationRanger行列级权限；访问控制（AccessControl静态/动态脱敏、传输/存储加密、安全网关；审计（Audit）：全链路操作留痕，实现全流程防护和数据全生命周期实践表明，TBDS统一体系的构建实现了降本、合规、提效、安全四重核心价值的量化突破。运维层面，平台综合运维人力投入降低30%以上，大幅缩减运维成本；安全层面，单次授权/审计操作时间缩短约60%~70%，操作可审计覆盖率达到100%，顺利满足等保三级与信创合规要求；资源层面，集群综合资源利用率提升至70%以上，有效破解资源浪费统一存储：从“数据搬运”到“原地计算”传统存储架构普遍存在大数据与AI训练存储体系割裂问题，前者基于HDFS、后者则采用POSIX/S3挂载，两套存储相腾讯云TBDS针对这一核心痛点，在存储层面开展深度技术创新，构建统一、高效、多模态融合的Data+AI存储底座。支持HDFS、S3、POSIX、CSI四种协议并行访问同一份数据，业务应用无需改造即可无缝对接，从根本上消除数据拷贝与迁移。依托智能缓存加速，在计算节点构建分布式缓存层，充分适配AI训练重复读取数据的特征，显著减少远程IO耗时。同时通过介质融合与智能冷热分层，将SSD与HDD统一池化管理，按策略自动实现热数据高性能访问、冷数据低成本存储，兼顾效率与经济性。在此基础上，TBDS进一步打造多模态湖仓体系，实现结构化、非结构化、向量及模型上述创新带来显著量化收益，依托EC纠删码与冷热分层策略，存储空间节省50%～80%，AI训练首轮数据加载提速3~5倍，首轮加载后GPU有效计算占比提升20%–30%，数据准备周期从天级缩短至分钟级，全面支撑数据高效流转与AI统一元数据引擎TBDS-MetaLake：全域资产一本账随着企业数据资产从传统结构化表扩展至图片、音视频、PDF文档及AI模型等多模态形态，以HiveMetastore为代表的传统元数据体系已难以支撑全域管理。物理字段仅面向代码设计，缺乏业务语义，导致AI无法理解数据内涵，在智能问腾讯云TBDS-MetaLake针对上述痛点，构建面向Data+AI融合的新一代元数据平台，实现元数据管理范式的全面升级。一是实现多模态资产统一纳管，基于开放元数据标准，实现多云、多引擎（Trino/Spark/Flink）元数据联邦，统一管理结构化数据、非结构化数据、AI资产及函数、MQ等扩展资产，彻底消除元数据孤岛。二是统一语义模型与业务实体建模，区别于传统“表结构中心”模式，TBDS-MetaLake引入业务实体建模层，将底层物理字段映射为具备属性、关系、行为的业务实体，并构建知识图谱关联，大幅提升AI分析可靠性与复用性。三是实现全链路Data+AI血缘融合，打通从原始文件、ETL、特征工程到模型训练与发布的端到端血缘图谱，实现一数多态精细权限控制，支持多云与混合通过上述创新，非结构化资产标签覆盖率从低于20%提升至50%以上，资产查找时间缩短50%，通过元数据质量改善实统一计算调度：OneKubernetes+潮汐混部+qGPU虚拟化在计算调度层面，TBDS以OneKubernetes资源统一池化为基础，彻底打破YARN与Kubernetes分离架构，将所有计算任务统一纳入同一Kubernetes资源池，并依托Volcano高性能批调度引擎，实现大数据与AI任务的统一编排与高效调度，从架构根源消除资源壁垒。同时，平台采用潮汐智能调度，充分利用大数据离线任务与AI在线业务的时间错峰特性实现“削峰填谷”，白天优先保障AI在线推理与交互式查询，夜间将空闲资源弹性分配给离线报表与模型训练，系统可秒级感知资源水位并自动完成调度切换。此外，平台支持全栈异构算力融合，对X86/ARM等CPU、Nvidia及国产GPU、昇腾NPU实现统一纳管，屏蔽底层硬件差异，业务开发者仅需声明算力需求即可无感使用。结合腾讯云自研qGPU虚拟化技术，支持GPU按任意比例切分并提供强隔离，有效降低GPU资源碎片率。通过上述创新，TBDS实现了显著的资源与成本收益。集群平均CPU/GPU利用率从不足15%提升至50%～70%，同等算力规模下硬件采购成本降低30%，GPU碎片率降低40%，为企业构建了高性价比、高弹性的Data+AI算力底座。统一引擎：从“栈式拼接”到“原生融合”传统大数据与AI引擎进行交互时存在数据冗余、链路冗长、开发门槛高、性能损耗大等问题，难以支撑大规模多模态数据与实时AI推理需求。腾讯云TBDS将引擎架构从“拼接式”升级为原生融合架构，实现大数据计算与AI能力的深度一TBDS实现Spark与AI深度原生融合，支持在Spark任务中直接调用PyTorch、TensorFlow模型完成分布式批量推理，PB级数据无需导出至独立AI推理集群，大幅缩短数据流转链路；推出向量计算融合引擎，在标准SQL中内置向量检索函数，可直接通过SQL完成非结构化数据语义检索，完美支撑RAG场景；Vecturbo针对大规模向量检索进行了深度优化，索引构建效率提升3倍，存储占用降低约70%；平台内置抽帧、OCR、NLP等标准化算子，实现非结构化数据规模化智能处理，降低大数据工程师使用多模态数据的技术门槛；深度集成Python原生分布式框架Ray，与YARN、Kubernetes无缝协同，支持Python作业弹性扩展至千节点规模。通过上述原生融合创新，TBDS实现批量推理吞吐量提升3–5倍，AI应用开发人力成本降低40%，向量检索硬件成本节统一开发平台：从DataOps+MLOps到XOps一体化工作流传统企业数据与AI团队长期处于工具割裂、流程分离状态：数据团队依托DataStudio开展SQL开发，AI团队基于Notebook进行Python建模，两套体系资产不互通、协作成本高。从传统BI向AI分析平台迁移时，还需大量重复构建与长期适配，严重制约业务迭代效率。腾讯云WeData围绕开发、协同、资产全流程实现深度融合创新，全面打通Data与WeData是腾讯云一站式数据工作平台，内置DataStudio、Notebook、DataAgent等子模块实现开发环境深度融合，统一DataStudio数据开发IDE与NotebookAI交互式环境，支持SQL、Python、Scala多语言混合编程，单一界面即可完成全流程开发。同时通过XOps流程编排融合，将ETL、AI训练、模型部署统一纳入同一DAG可视化画布，实现数据就绪、自动训练、模型评估、一键上线的端到端全自动链路，大幅减少人工干预。同时，平台构建FeatureStore资产融合体系，数据清洗后的字段可直接注册为AI特征，形成“表→特征→模型→服务”的全链路血缘追踪，实现特征资产高效复用。此外，内置WeDataCopilot（AI辅助开发助手）与数据工程Agent，依托大模型提供智能补全、SQL上述创新将带来显著成果，据统计，模型从立项到上线周期缩短50%，特征复用率提升3倍，数据准备时间减少60%，统一治理：AIforGovernance——智能治理新范式AI时代背景下，企业数据治理需求已发生根本性升级：不仅需要管控传统结构化数据，更需覆盖图片、文档、AI模型等多模态资产；治理目标也从单纯保障数据质量，延伸至确保AI训练数据的安全合规、质量可靠，为AI模型的稳定性与合规性筑牢基础。针对这一升级需求，腾讯云TBDS在治理与合规层面开展系统性创新，构建面向Data+AI融合的全域智一是全域资产统一治理，打破传统治理仅聚焦结构化数据的局限，将结构化数据、非结构化数据、AI资产（模型、特征等）统一纳入数据地图管理，实现全域资产“一本账”，彻底解决多模态资产分散、难以管控的痛点；二是治理标准融合升级，在传统数据质量标准基础上，延伸适配AI场景需求，建立涵盖图片清晰度、文本含毒率、向量分布偏差等全新质量维度，形成适配大模型时代的一体化治理标准；三是AI驱动的智能治理，通过大模型自动为数万张数据表生成业务描述、识别数据质量规则、完成数据分类分级；四是构建全链路数据血缘图谱，打通“源数据→特征工程→训练集→模通过应用上述四大创新，数据治理自动化程度提升80%；模型上线通过率提升30%，既实现了多模态资产的高效管控，3.3TBDS核心能力支撑在AI深度重构企业数据基础设施的趋势下，平台智能化服务、自治运维能力与全栈自主可控已成为核心竞争力。腾讯云TBDS通过DataAgents智能体生态实现从被动工具到主动智能服务的跃迁，以全栈自主可控深度优化构建安全、合规、高性能的企业级底座，同时，依托TBDS-Insight智能管家打造AI驱动的平台自治运维体系。三者共同构成TBDS面向关键DataAgents生态是腾讯云TBDS面向AI时代的核心差异化能力，其核心价值在于将传统被动式数据平台升级为主动式、可进化、可协作的智能数据服务体系，实现从工具到智能体的范式跃迁。TBDSDataAgent以业务本体（Ontolo-gy）为核心资产，构建可复用、可进化的企业知识数字孪生。相较于传统Text-to-SQL方案（如ChatBI类产品）仅做TBDS构建了覆盖全链路的AgenticAnalytics体系。数据分析Agent支持传统BI资产快速迁移、知识自进化、智能洞察在关键信息基础设施自主可控、数据安全合规日益强化的背景下，全栈自主可控已成为金融、能源、政务、运营商等重点行业建设Data+AI平台的刚性要求。腾讯云TBDS并非仅实现基础级兼容运行，而是从芯片指令、操作系统内核到平台架构进行全栈深度优化，构建满足等保三级、关基保护与数据安全合规等要求的安全可信底座。TBDS全面适配鲲鹏、海光、飞腾等主流国产芯片，并针对多核调度、SIMD指令集、内存管理与I/O路径开展专项性能调优；在操作系统层面原生支持统信UOS、麒麟OS及TencentOSServer，实现从底层硬件到系统环境的端到端自主可控。同时，平台与腾讯5T生态（涵盖容器基础设施、操作系统、分布式数据库、智能体开发平台、企业知识库等核心产品）深度集成，形成覆盖容器基础设施、操作系统、分布式数据库、智能体开发平台及企业知识库的一体化协同体系，为企业级部署提供预集成、预调优、预加固的整体解决方案。依托上述能力，TBDS在国产化环境中可达到接近X86平台的性能水平，同时通过存算分离、潮汐混部、qGPU虚拟化与国产专有机型优化实现资源利用率与成本结构大幅改善。平台具备统一管控、全链路血缘、细粒度权限与全程审计能力，形成安全合规闭环，真正实现自主可控、性能无损、极简运维与极致成本的统一，成为企业构建下一代Data+AI融合平台的核心支撑。AI驱动的平台自治运维在千节点规模大数据集群运维场景中，组件异构复杂、升级风险高、故障定位困难成为核心痛点，企业对集群运维、作业性能优化、资源利用率提升及监控日志管理的诉求日益迫切，亟需一套具备全栈可观测性与自主决策能力的智能运维系统。TBDS-Insight聚焦全景集群资源管控、作业分析与智能化运维，以“感知—诊断—处置”端到端闭环为设计核心，为平台管理员、数据工程师、运维工程师等不同角色提供差异化运维服务，助力企业实现作业稳定运行、资源高效利用与集群智能自治。TBDS-Insight构建了资源洞察/应用洞察/智能巡检/AISQL调优/存储治理/计算治理六维能力体系。资源洞察可实现集群CPU、内存、磁盘IO等多维度资源的全景透视与钻取分析，为成本控制和容量规划提供数据支撑；应用洞察能够全链路追踪Spark、Hive等作业运行状态，自动预警性能退化趋势。智能巡检通过定时与按需两种模式，覆盖主流大数据组件，实现问题事前预警并生成优化报告；AISQL调优依托人机协同模式，自动识别低效查询节点并提供改写建议，大幅缩短问题修复时间。存储治理可自动识别冷数据与小文件，通过归档与合并实现存储空间节省约50%~80%；计算治理能够精准识别资源浪费与异常任务，支持通过API对接业务平台实现自动化调优闭环。当前，TBDS-Insight已在金融、能源等行业头部客户生产环境中稳定运行，取得显著成效：某行业头部客户通过存储治理将HDFS存储从4.81PB优化至3.32PB，下线17台存储节点并节省数百万硬件成本；可精准识别63.5%的HDFS冷分区，日均处理数十个小文件分区，有效提升查询时效，同时每月识别数十条低效SQL，显著提升任务稳定性与资源利用率。企业面向信创、数据智能与大数据平台的转型，是一场涉及技术架构、组织流程、业务模式与安全体系的系统性变革。转型成功与否，不仅取决于技术选型，更取决于路径规划、实施节奏、治理能力与生态协同。为帮助企业平稳、高效、低风险完成自主可控数字化转型，本章将提出可落地、可企业须以业务连续性为底线，以“可用、好用、易用”为目标，结合自身行业属性、系统重要程度、技术成熟度与成本预算，制定分阶段、分层次、分场景的落地路线图，确保转型过程平稳有序、风险可控。企业应将信息系统划分为核心生产系统、重要业务系统、一般支撑系统、办公辅助系统四大类别，明确替代优先级。核心生产系统关系业务命脉，应采取“先兼容适配、后灰度切换、再全面替代”的稳健策略；非核心系统可优先推进全量替代，积累适配与运维经验。其次，国产化推进必须坚持业务导向、性能优先、体验友好。企业在选型与改造过程中，应重点关注国产软硬件在高并发、低延迟、稳定性、扩展性等方面的真实表现，充分开展压测、容灾、故障演练。最后，企业应采用混合架构过渡策略，允许新旧系统并存、异构组件兼容，实现平滑迁移。在过渡期内，通过统一管控平台纳管原有系统与国产化平台，屏蔽底层技术差异，确保业务无感知、数据不中断、流程不脱节。同时建立完善的回滚机制与应急方案，对关键节点进行双轨验证，最大限度降低转型风险。数据分散、烟囱林立、重复建设、资源浪费，是多数企业数字化转型的首要瓶颈。在信创背景下，企业必须将统一数据底座建设放在优先位置，通过整合全域数据、统一存储计算、规范架构标准，为数据治理、数据分析、AI应用、业务创新提供坚实支撑。企业应推动全域数据统一入湖，将业务系统数据、日志数据、IoT数据、文件数据、第三方数据、外部协同数据等全面接入，打破部门壁垒与系统孤岛，实现“一份数据、全域共享”，大幅减少数据重复采集、重复存储、重复加工，降低存储成本与开发成本，同时提升数据一致性与时效性。在此基础上，采用湖仓一体架构进行统一建设。数据湖负责海量多模态数据的低成本存储与灵活处理，数据仓负责高并发、高性能、强事务的结构化分析与服务输出，二者无缝协同、统一访问、统一权限、统一调度。企业无需在湖与仓之间重复搬运数据，即可同时支撑BI报表、实时分析、离线计算、AI训练、模型推理、数据服务等全场景需求，真正实现“统一底座、多元服务”。在AI深度应用的时代，数据质量即决策质量，没有完善的数据治理，再多的数据、再强的算力、再先进的模型都无法发挥价值，甚至会带来决策错误、合规处罚、数据泄漏等重大风险。因此，企业必须坚持“治理先行”，将数据治理贯穿于采集、接入、存储、加工、服务、共享、归档、销毁的全生命周期，构建统一标准、统一权限、统一安全、统一可信的数据治理体系。企业需要建立全域统一的数据标准，从源头消除数据歧义、口径冲突、计算不一致等问题；构建全流程数据质量保障体系，通过自动化监控、智能校验、异常告警、问题闭环，实现数据完整性、准确性、一致性、及时性、有效性的持续保障；完善数据安全与合规体系，对敏感数据、核心数据、个人信息进行自动识别，建立精细化权限管理体系，实现“最小权限、按需授权、全程可溯”。四是拥抱Data+AI一体化。随着大模型技术普及与业务智能化需求提升，传统大数据平台已无法满足企业发展需要。未来的核心竞争力，来自数据与AI的深度融合。企业必须主动从“单一数据处理平台”向“Data+AI一体化平台”升级，让数据为AI供能、AI为数据赋能，形成数据与智能相互增强、持续迭代、持续增值的闭环，大幅提升数据价值释放效率。打通数据到AI的全链路，实现数据接入、数据预处理、特征工程、模型训练、模型部署、推理服务、监控迭代一站式完成。推动AI能力普惠化，通过自然语言交互、低代码拖拽、智能助手、自动建模等能力，让业务人员直接完成取数、分析、预测、报表、诊断等工作，实现“人人可用AI、处处可见智能”。以AI反哺平台效率，实现智能运维、智能优化、智能治理，降低整体拥有成本，实现效率与效益双提升。企业信创转型、Data+AI一体化建设，技术链条长、场景复杂度高、实施周期长、安全要求严，仅凭自身力量很难高效完成。选择技术深厚、经验丰富、服务可靠、生态完善的合作伙伴，是降低风险、保障质量、加快落地、持续演进的关键。企业应优先选择具备全栈能力、国产化深度适配、大规模落地案例、长期服务承诺的厂商，共同构建面向未来的数据智能引擎。合作伙伴应具备深厚的技术自研能力与全栈产品体系、全面的国产化适配能力、丰富的行业落地经验及大规模交付能力四大核心能力。当前，全球数字经济进入以数据要素化、AI原生、自主可控为核心特征的新阶段，大数据平台正从传统的数据分析工具，升级为驱动企业决策、业务创新与安全运营的核心数字底座。在信创全面深化、数据安全法规持续完善、大模型技术快速普及的背景下，企业数字化转型已进入“数据智能”数据要素化将从政策导向走向全面落地，围绕数据产权、流通交易、收益分配、安全治理的基础制度体系持续完善，数据真正成为可确权、可核算、可流通、可变现的核心生产要素。在产权与制度层面，数据“三权”分置加快落地，数据登记、确权、评估、定价机制逐步成熟，数据资产入表、会计处理规则全面普及，公共数据、企业数据、个人信息的边界更加清晰，政企数据共享、跨行业数据协作在合规框架内有序推进，数据要素市场化配置效率显著提升。在流通与交易层面，全国一体化数据流通体系加快形成，隐私计算、数据脱敏、联邦学习、可信执行环境等技术广泛应用，在确保“数据不出域、可用不可见”的前提下，实现数据价值安全释放，破解“数据共享”与“数据安全”的长期矛盾。在治理与运营层面，企业从“被动合规”转向“主动治理”，数据治理从项目制走向常态化、自动化、智能化，成为企业竞争力的重要人工智能正从专业技术能力，走向全员可用、全流程嵌入、全场景覆盖的普惠化、泛在化阶段，大模型与行业数据深度耦合，成为企业决策与运营的“原生智能”。在研发环节，AI辅助设计、仿真测试、材料发现大幅缩短研发周期；在生产环节，质量检测、设备预测性维护、柔性生产实现降本增效；在运营环节，智能风控、精准营销、供应链优化、智能客服全面普及；在管理环节，自然语言取数、自动报表、智能分析、决策建议让管理者“一键洞察”。AI不再是算法团队的专属工具，而是业务人员、管理人员、一线员工均可便捷使用的基础能力。单一大数据平台或AI平台已无法满足企业需求，Data+AI一体化平台将成为企业数字化的标准底座，实现数据、模型、应用、算力全域协同，构建“数据供给—模型生产—智能应用—持续迭代”的完整闭环。通过实现统一数据底座、统一资产治理、统一算力调度、统一开发范式，Data+AI一体化将不再是工具叠加，而是架构重构与范式升级，平台从“支撑分析”升级为“智能生产中枢”，实现数据即服务、模型即服务、智能即服务，成为企业数字化转型的标配基础设施。在政策趋严、监管细化、风险加剧的背景下，安全合规将成为常态化、内生性、体系化的企业基础能力，成为企业稳定经营、市场准入、品牌信任的生命线。未来，企业安全能力建设将从“外挂防护”转向内生安全，架构设计之初即嵌入数据加密、脱敏、权限最小化、操作留痕、异常检测能力，安全治理覆盖数据全生命周期，与业务流程深度融合，安全团队、法务团队、技术团队协同联动，形成“制度+技术+流程+人员”的一体化防护体系。安全投入从成本中心转变为价值中心，保障业务连续性、降低合规风险、提升市场信任，成为企业可持续发展的核心保障。附件一附件一腾讯云TBDS产业落地案例案例一金融行业核心数据平台国产化与智能化升级——逻辑架构某大型国有商业银行|250PB+数据·5100+节点·25+集群·4000+分析师·30+部门业务应用层实时反欺诈精准营销监管报送智能风控RAG知识库智能客服经营分析（统一开发+统一治理）WeData统一开发平台案例一金融行业核心数据平台国产化与智能化升级——逻辑架构某大型国有商业银行|250PB+数据·5100+节点·25+集群·4000+分析师·30+部门业务应用层实时反欺诈精准营销监管报送智能风控RAG知识库智能客服经营分析（统一开发+统一治理）WeData统一开发平台SQL/Python/Scala多语言XOps流程编排ETL+Al训练+模型部署DAG可视化编排FeatureStore特征复用TBDS-Insight智能管家BadSQL治理/AISQL调优DataAgents智能体数据分析Agent数据工程Agent资源提效层（统一调度+统一元数据+统一引擎）OneKubernetes统一调度Volcano批调度引擎qGPU虚拟化·日调度任务10万+资源利用率：15%→50%+TBDS-MetaLake统一元数据86租户分权分域统一引擎Spark·Flink·Trino·HiveRay原生分布式AlSQL内置向量检索(RAG)（统一架构+统一存储+5A安全）TBDSConsole统一管控统一存储：250PB+湖仓一体HDFS联邦·多协议互通(HDFS/S3/POSIX/CSI)lceberg湖仓格式·智能冷热分层EC纠删码·原地计算(零拷贝)5A安全体系(等保三级)Authentication·Kerberos+LDAPAuthorization·Ranger行列级权限AccessControl·Knox安全网关Audit·全链路100%可审计基础设施层（国产化率80%）鲲鹏/海光/飞腾国产操作系统统信UOS/麒麟OS异构算力X86·ARM·GPU·NPU5T生态容器·数据库·智能体项目成效80%15%→50%+50%~60%缩短50%减少60%智能协作层架构降本层某银行是国内大型国有商业银行，数据总量超250PB，运行节点达5100+，服务全行30+部门、4000+数据分析师，是金融行业超大规模数据平台典型代表。该行面临核心系统全面国产化替代的刚性要求，同时需要从传统经营分析向AI驱动的智能风控、精准营销、智能客服等方向演进，还要满足金融强监管下数据血缘清晰、权限精细、安全可审计的合规要求。原有CDP/CDH平台与AI平台完全割裂，数据准备流程冗长，无法支撑向量检索、RAG等新一代AI能力；YARN与Kubernetes两套架构独立运行、资源无法共享，集群资源利用率不足15%，运维成本高、升级窗口长；全行数据分散在多系统，数据标准不统一、资产家底不清，大量非结构化数据处于“暗数据”状态，普遍存在找数难、懂数难、用数难问题；同时需要在超大规模集群下实现国产化替代与业务连续性双重保障。腾讯云TBDS解决方案：项目采用TBDS三层融合架构，构建统一数据湖平台，分阶段完成国产化与智能化升级。全栈一体底座层通过TBDSConsole实现25+集群、5100+节点统一管控，搭建“两地三中心”灾备体系，以Ranger+Kerberos+Knox构建统一安全边界；采用HDFS联邦与多协议互通，实现250PB+数据原地计算，配合智能冷热分层大幅降低存储成本。全域资