益企研究院:AI时代边缘存储新范式_第1页
益企研究院:AI时代边缘存储新范式_第2页
益企研究院:AI时代边缘存储新范式_第3页
益企研究院:AI时代边缘存储新范式_第4页
益企研究院:AI时代边缘存储新范式_第5页
已阅读5页,还剩66页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

AI时代边缘存储新范式RedefiningEdgeStoragefortheAIEraAI时代·边缘存储新范式目录CONTENTS 22 22 25 26 27 27 32 33 33 34REDEFININGEDGESTORAGEFORTHEAIERAI34IREDEFININGEDGESTORAGEFORTHEAIERAAI时代·边缘存储新范式序言AI时代的边缘存储AI热潮,尤其是AI推理需求的激增带动了数据中心的投资。当前存储供应链面临的巨大挑战,凸显生成式AI仍是主要的应用模式,并积极地从文本向富媒体发展。早期的聊天机器人,到图片生成、视新的创作能力真是令人印象深刻。AI对数据生成、推理复杂度的增长是新的价值点。从长思维链到智能体,数据不仅仅是燃料和结果,还在确保处理结果的持续性和可靠性方面发挥关键作用。记忆和储存能力,以及数据长期留存的能力,支撑复杂工作负载的高效处理与规模化扩展。在过去,存储扩容提升服务质量。这也是数据中心对存储基础设施的在边缘侧,AI也促进了存储投资的扩张。在本地或边缘侧使用算力和数据仍是重要的方式,这背后有部分原因是受到延迟要求、数据治理考量以及相关监管框架的影响。根据行业预测,企业数据在边缘侧创建和复制的比例会从2024年的28%上升至企业应用上云已是普遍现象。在本次面向中国市场用户的调研当中,我们看到部署私有云基础设施的企业占比约60%。这个比例与我们在其他国家或地区的调研数据是近似的。中国市场不但规模巨大,从数据价值角度看,云原生有利于打通企业数据孤岛,易于访问的数据更适合AI应用的引入。当然,企业数据的AI就绪并非一蹴而就,在AI时代,移动、存储和管理数据比以往任何时候都更加困难。我们的调研也会重点关注我们的客户如何构建存储架构和组织数据。我们看到边缘侧用户非常重视存储系统的可靠性,但我们也清醒地认识到,数据安全性并不等同于数据价值。AI与数据价值互相成REDEFININGEDGESTORAGEFORTHEAIERAI5AI时代·边缘存储新范式第一章关于本次调研——关注边缘存储应用场景的现在与未来1.1认识边缘存储场景的需求与特征边缘侧部署的核心目标是强化本地处理能力、强调数据隐私、降低延迟、提升响应速度、减少带宽消耗,并支持在离线或弱网环境下的业务连续性。常见的边缘侧部署场景包括工厂车间、零售门店、分边缘侧与中心/云各有优缺点,二者的关系并非是对立的,也常常需要协同工作、优势互补,也就是大譬如,在边缘侧可以运行实时性高的应用,控制逻辑、中小模型推理等,从而将数据挖掘、模型训练边缘侧可以对IoT等物联网设备、传感器的数据流对靠近区域数据中心,可以是城市级、产业园区据中心等,CDN、私有云等可以部署在这些位置。近边缘设备的技术特点与数据中心的更为相似。缘靠近数据源或最终用户,如生产线、零售网点研机构等。远边缘设备的部署环境千差万别为更好地理解边缘场景下,企业存储的使用特点,益企研究院联合希捷科技进行了本次调研。本次调研以相关非云企业,即从制造业、IT服务、金融、互联网、医疗等行业入手,调研了相关企业的存储根据调研可知,当前企业边缘存储以私有云为AI时代·边缘存储新范式6IREDEFININGEDGESTORAGEFORTHEAIERA署形态,本地部署与公有云、IDC托管形成互补,整体呈现小规模、轻量化特征,七成以上企业存储在存储架构的层面上,相关被调研企业的主流仍然是采用集中式存储,当然分布式存储与超融合架构正在快速渗透,以分布式存储纳管集中式存储的混在存储介质的选择上,硬盘仍然占据绝对不可或缺的地位,SATA接口也已经能够满足绝大多数边缘存储的场景使用需求。在硬盘容量上,单盘容量以8TB在归档场景,磁带与光盘库仍然有应用的需求,只在边缘侧,AI的应用仍未大规模普及,处于试点渗透阶段,但是已经推动超半数企业的数据量出现了明显增长,成为边缘存储扩容的重要驱动力。从行业实践来看,AI的落地已经深度嵌入到各行业的核心业务流程中。其中,制造业、IT服务与网络安在边缘存储场景,企业的核心诉求集中在读写速度、故障恢复速度与容量利用率,兼顾扩容成本与整体而言,边缘存储有着鲜明的场景使用特征,也当前,企业数字化建设加速深化,人工智能应用从试点走向规模化部署,驱动数据产生量激增,对存在此背景下,存储技术与产品亟需适应从中心云向边缘端延伸的新趋势。边缘侧数据采集、实时处理与本地留存需求显著增长,催生对高可靠、大容本次调研重点关注边缘应用场景的兴起,覆盖智能制造、能源电力、医疗健康、金融服务及智能交通等关键行业,旨在洞察一线实践者的真实挑战与选型逻辑。本次调研以在线方式进行,调研对象为存系统架构师及运维负责人。本次调研共回收有效问问卷采用结构化设计,涵盖从业时间、行业属性、存储部署位置、AI应用影响、存储架构偏好、数据安全机制、介质选择及数据价值认知等多个核心维度。除问卷外,研究团队还对典型行业用户代表进最终结论由研究团队结合定量分布、质性反馈及行业趋势综合研判形成,力求真实反映边缘数据时代1.2调研对象的行业分布——制造业占主流调研数据显示,受访者行业分布代表了边缘侧应用远超其他行业;IT服务与网络安全占12.5%,位列占6.25%,教育科研与零售批发行业各占4.46%。这一分布清晰勾勒出边缘场景对数据存储、利用具•制造业为主,符合当前行业发展现状本次调研聚焦边缘计算领域,因此我们刻意回避了公有云及数据中心相关行业。鉴于制造业是边缘计算的重点应用行业,而中国也正在从传统制造向智能制造加速转型升级,企业高度关注信息技术发展进程,致力于以构建完善的数据基础设施化解各类挑战,实现精细化管理,降低运营成本、提升生产比成为受访对象最集中的行业,非常符合当前的行息系统。工厂车间内部署的传感器、PLC控制器、AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI7机器视觉设备、AGV物流系统以及边缘计算节点,每时每刻都在产生海量结构化与非结构化数据。据发布的《工业大数据白皮书(2023年)》指出,在典型离散制造场景中,单条智能化产线每小时可生成数GB级别的设备运行日志、工艺参数及视觉质检图像等多源异构数据;一个拥有20~3这些数据的生命周期呈现出明显的分层特征:部分实时数据用于闭环控制或即时质量判定,需低延迟处理;而绝大多数历史数据则进入归档流程,用于长期趋势分析、产品追溯、工艺优化或合规审计。尤其在汽车制造、电子设计、药品研发与生产、航空航天设备等强监管行业中,生产过程的关键参数点。集团型企业往往横跨多个地域甚至覆盖全球,涵盖研发、生产、仓储、销售、服务等多个环节的数据体系,亟需统一、可扩展、高可靠的数据底座来支撑跨部门协同与全局洞察。由于IT预算通常直接服务于生产效率提升和良率改善,企业在构建数据基础设施时高度关注总体拥有成本(TCO)、系性、完整性、可追溯性要求最为严苛的行业之一。其庞大的数据规模、严格的合规约束、分层使用模式及成本敏感度,催生了对大规模、高韧性、可演进存储架构的长期刚性需求,使其成为企业级存储•IT技术服务与网络安全次之,体现数据基础彰显其在数字化基础设施中的枢纽作用及其对存储作为技术密集型行业,此类企业既需要存储自身运),承担为其他行业提供云服务、托管平台、安全审计及灾备解决方案的重要职责。他们需长期留存海量操作日志、网络流量记录、漏洞报告、合规证据及客户备份数据。这些数据往往具备法律效力或安全AI时代·边缘存储新范式8IREDEFININGEDGESTORAGEFORTHEAIERA随着零信任架构、安全信息与事件管理(SIEM)系统以及AI驱动的威胁检测技术普及,安全运营中心因此,该行业不仅是技术创新的推动者,更是高可靠、大规模、长周期存储需求的核心来源。其业务本质决定了对稳健、可审计、可扩展数据基础设施的长期依赖,也成为存储厂商在安全性与合规性方•金融与互联网行业并列第三,高度依赖数据反映出这两个关键数字经济支柱对数据基础设施的金融业是典型的高价值、强合规、高可用性要求行业。银行、保险、证券等机构每日处理大量交易流水、客户身份信息、风险模型数据、反欺诈记录等相关规定,核心业务数据需保留至少5年以上,部分审计与司法相关数据需永久保存。同时,金融科技的发展推动了实时交易分析、智能投顾、信用评分、区块链应用等新型场景,进一步加剧了数据吞吐量和复杂性。例如,大型商业银行单日交易数据可达TB级别,且对延迟极为敏感。因此,金融行业对高性能、高可靠性、强加密保护的存储系统有刚性需求,尤其是在核心交易系统、灾备中心和数日志监控、推荐算法训练等多样化存储需求。社交提出更高要求。同时,随着大模型训练兴起,AI模型训练所需的数据集动辄数百TB,推动了对高性能AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI9扩展性、性能,共同构成了高端存储市场的两大重•医疗/生命健康,展现数据存储长期需求该行业涉及患者电子病历(EMR)、医学影像(如CT、MRI)、基因测序、临床试验数据等高敏感、管理条例》,医疗数据需严格加密、权限控制,并单次扫描可达数十GB,一个三甲医院年新增数据可智慧医院、远程诊疗、精准医疗的发展,AI辅助诊断、医学图像识别等应用的日益普及,对存储系统医疗数据具有不可再生性,一旦丢失将造成重大损失,因此对存储系统的容灾能力、数据一致性保障此外,医疗数据的共享与互通仍处于起步阶段,跨机构协作受限于隐私政策和技术壁垒,也促使医疗•教育科研与零售批发占比相近,数据需求差高校、科研院所承担着大量科研项目、实验数据采集与学术成果存储任务。例如,天文观测、气象模拟、生物基因组学研究等项目产生的数据量巨大,且多为长期保存的科研档案。这些数据常用于后续复现、交叉验证和学术发表,要求存储系统具备良好的元数据管理、版本控制与开放共享机制。近年也在加速部署云计算、AI教学平台,进一步增加了零售与批发行业业务特性催生了明确且持续的存储需求。日常运营高度依赖交易系统、库存管理、CRM及门店POS终端,每日产生大量交易流水、出入库记录和客户行为数据。这些数据初期用于实时销售分析与供应链调度,后期依财务审计、税务合规及趋势回溯要求,需留存3至7年甚至更久。“高生成量、低访问频次、长保留周期”是其典型特征,对大容量、高可靠、低成本存储方案需求稳定。随着智慧零售推进,视频监控、客流统计、电子价签、智能货架等物联网设备广泛部署,中型连锁企业日均新增数据可达数TB级。部分数据在边缘侧短期处理后,原始素材与分析结果仍需集中存AI时代·边缘存储新范式10IREDEFININGEDGESTORAGEFORTHEAIERA储,用于后续复盘及模型训练,对存储扩展性与经济性提出更高要求。此外,该行业普遍存在IT预算有限、投资回报导向明确的特点,倾向于选择成熟稳定、运维简便、单位容量成本可控的存储方案,行业分布数据虽无法直接反映不同介质市场占有率,但清晰揭示了各行业存储技术需求差异,为存1.3受访者从业时间丰富,具备丰富的存储经验业经验,仅有2.68%为入职不足两年的新手。这一结构意味着调研样本以资深技术人员为主,具备丰数字技术的成效需要结合行业实践反复验证,特别是那些具备较高技术含量的基础设施,其中存储架构涉及数据生命周期管理、容灾备份、性能调优等复杂决策,需要长期实践积累。这种经验密度使调研结果更具行业风向标意义——资深从业者更倾向于理性评估存储技术的适用性,而非盲目跟风新技同时,长期从业者的稳定性也反映出行业对技术连续性的重视。企业在升级存储系统时往往采取渐进式策略,避免一次性替换带来的风险与成本压力。这种谨慎务实的态度,进一步延缓了传统存储被全据此我们认为,高比例的资深从业者增强了调研结论的可信度,也说明当前存储技术的选择更多基于REDEFININGEDGESTORAGEFORTHEAIERAI11AI时代·边缘存储新范式第二章边缘场景的存储部署逻辑特征鲜明2.1企业偏爱私有云部署方式数据显示,存储系统部署位置私有云(58.04%)显私有云是主要的落地形式,一方面说明虚拟化、容对应的基础设施部署位置通常会比较接近数据源,可以是在企业自有的楼宇、园区当中,也可以在区其次,不论是否上云,数据就近存储依旧是比较常见的使用模式,在办公场所或生产现场部署存储系•私有云(58.04%)私有云以高性能、高安全、强可控为核心,普遍等核心系统提供低延迟、高可靠保障。同时作为边缘智能的中心节点,汇聚IoT、移动终端等端侧数据流,实现统一存储治理与分析。该架构既满足金融、制造、政务、零售等行业对关键数据本地留存的合规要求,又支持对端侧数据的集中备份与灾备办公场所是文件共享、邮件系统、协作平台等日常应用的主要存储节点。企业普遍采用NAS、超融合或虚拟化存储方案,兼顾访问效率与数据安全。随着远程办公普及,办公存储正向轻量化、权限精细化方向演进,并逐步与零信任安全架构融合,强化面向工厂、矿山、交通等工业场景,边缘存储设备(如工业服务器)就近部署于产线,支撑设备监控、AI质检等实时应用。该方式既降低回传带宽压力,又保障断网环境下的业务连续性,是智能制造与工AI时代·边缘存储新范式12IREDEFININGEDGESTORAGEFORTHEAIERA•公有云(34.82%)开发测试及海量非结构化数据(如日志、视频)存该环境适合需保留硬件所有权且具有专业运维能力的企业。由第三方数据中心提供基础设施托管,企业远程管理存储设备,兼具安全性与成本效益。常用于制造、医疗等行业的核心数据库与灾备系统,•结论:私有云主导、场景化并存感度和成本效率等因素,在多环境间动态分配存储2.2小规模部署为主流在存储总容量方面,37.5%的被访企业低于1PB,容量未超过10PB。这说明尽管数据爆炸式增长,但多数企业尚未迈入超大规模数据管理阶段。值得注意的是,即便服务器数量不多,部分企业仍能实现整体来看,头部企业拉动高端市场,而广大中小企业更关注单位容量成本与部署效率,倾向于选择经济型、易扩展的存储方案,这也为分布式存储和云•4成企业存储服务器少于10台AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI13象反映出当前企业IT基础设施仍以轻量级、模块化为主,尤其在制造业、零售、教育等广泛行业中,往往仅在总部或核心工厂部署少量服务器。同时,该分布也契合边缘计算的发展趋势——企业不再依赖单一数据中心,而是将计算与存储能力下沉至多个边缘节点,每个节点仅需一至数台设备即可满足AI时代·边缘存储新范式14IREDEFININGEDGESTORAGEFORTHEAIERA2.3存储架构偏爱集中式,数据安全偏爱RAID和多副本•集中式存储与分布式存储集中式存储依然是调研企业中的主流架构和主流选•集中式存储依然是企业在边缘存储部署时的主流选择。57.14%的调研企业选择了采用集中式存储架传统较长,通常具有易于使用、可靠性高的高的占比体现了企业在IT基础设施中的使用习惯偏•有接近半数的企业表示,在其内部采用了分布式存储。50%的调研企业选择了采用分布式存储的架义存储和超融合在内的分布式存储市场份额,已有50.2%,首次超过集中式存储的趋势保持了一致。随着分布式存储应用的进一步成熟,企业在边缘存储•有将近三分之一的企业部署了混合架构,以充分利用资源。集中式存储与分布式存储并非互斥的关系,二者可以协同使用。分布式存储可以实现对集中式存储甚至云存储的纳管,更有效地整合数据资源。尤其是随着AI应用对数据复制、移动规模的增大,存储空间、性能、能源的消耗都变得难以忽视,对分散于各个业务子系统中的存储资源与数据进行更高层次的统一管理是降本增效必由之路。分布式存储的发展也越来越重视对旧有集中式存储的再利用,鼓励企业利用分布式存储对现有存储进行统一纳管,以便更好地服务企业的存储需求。一些企业和机构在其原有的集中式存储过保之后,选择不将其退役,而是纳入到分布式存储之中,实现资在调研企业中,制造业企业占40.18%,其次是IT服务与网络安全的12.50%,金融和互联网的制造行业传统的数字化应用,对于数据存储的需求远低于当前的智能制造阶段。包括ERP、MES、PLM在内的多款应用,以结构化、低频、小规模的AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI15数据为主,而且对存储系统的安全性、稳定性要求更高,因此大多采用集中式存储的架构进行部署。此外由于制造业的数字化应用时期,数据的扩充主要来自于制造产线的扩容,由于产线扩容周期长、且可预测,不需要借助分布式存储快速、灵活的扩同时,集中式存储依靠高可靠硬件和冗余组件进行避免故障的方式,比如说多控制器技术、RAID等方式,比分布式存储依赖多副本、纠删码等软件冗余和多节点分布容忍故障的方式,更能够得到企业的但是随着智能制造比率的提升,数据已经成为众多制造企业的核心生产要素,包括金融、医疗等行业在内也都是如此。受智能化的影响,在制造行业,随着产线自动化和物联网的发展,相关的智能设备无时无刻不在产生数据,包括结构化/非结构化的,以及图像、日志等;另外,随着视觉质检、AI推理的逐渐普及和全流程质量追溯的需求,在产品生产过程中,都会产生大量的图片、视频和标注数据相对而言,分布式存储的性价比更高,因此这类业务的存储系统大多会选用分布式,这逐渐推高了分布式存储在企业中采用的份额。传统的集中式存储并没有消亡,在数据量整体规模增长的背景下,其调研企业更习惯物理层面实现的安全,对软件方式实现的数据安全还在逐渐熟悉和采纳过程中。一方面,绝大多数企业选择采用RAID的方式来保障数方面,引入了分布式存储架构的企业中,他们更愿意采用成本更高的多副本方式,而不是采用成本较这说明,在调研企业中,由于数据量的关系以及对于数据安全可靠性的更强烈需求,数据存储的成本不是最在意的因素,他们更愿意采用较为稳妥的方占将近80%——数据规模相对较小也导致用户对于单位存储成本的敏感度相对较低,经济性会让位于•RAID依然是最主要的数据安全手段。75.89%的下图所示),这与超过半数的企业选择集中式存储进行数据保持是一致的。传统的企业存储,无论数据的安全可靠。此外,在一些超融合的初期部署•多副本的使用率,远高于纠删码。55.36%的调研企业采用了多副本的方式来保障数据安全,相较而一方面说明在分布式存储的架构中,企业更为信任对还较低,毕竟纠删码技术方案要充分发挥也依赖时代,与多控制器等一起,是确保数据安全的重要法宝。该技术能够将多块硬盘组合起来,在性能、尽管在分布式存储场景和云存储场景中,RAID技术然是企业IT基础设施的重要组成部分。其重要原因就是RAID能够提供冗余,借助控制器的帮助还有能力避免单点故障。即便随着技术的进步,单盘故障对业务的影响已经大幅降低,但用户对于基于软件方式实现数据安全的信任度还需要逐步改善——毕竟单一依赖软件实现的数据安全,其背后服务中RAID6之后,其条带化技术,可以将数据分散到多块盘并行读写,对于数据库、虚拟化等I/O密集型AI时代·边缘存储新范式16IREDEFININGEDGESTORAGEFORTHEAIERA的应用,可以显著提升性能。这也是企业在数据量可控且可预期情况下,更多采用容量相对较小的盘来组成的应用,可以显著提升性能。这也是企业在数据量可控且可预期情况下,更多采用容量相对较小的盘来组成RAID的方式,而不是单纯采购超大容量硬正如本次访谈中相关业内人士所评价的那样,集中式存储如果未采用RAID机制,其风险无异于车辆未购买保险。虽然在短期内节省了一定成本,但一在另一方面,尽管分布式存储中,纠删码是比多副本得盘率更高的技术,整体而言单位存储成本更低。但是在实际应用中,特别从此次调研的数据来在读写性能上来说,多副本比纠删码的方式要高,写入只需要同步到多个节点,没有计算开销,而纠本的方式可以从任意副本并行读取,纠删码的方式最重要的是故障修复速度,在多副本的方式下,企企业需要读取多个数据块+校验块,计算恢复,网的企业,尤其是本次调研中大多数企业均在制造行对节点数量、硬盘数量有一定的要求。如果数据规模较小,可用节点较少,纠删码方案的总体成本并不一定具备足够明显的优势。随着存储节点、业务网络、盘片的性能的不断进步,纠删码的使用率会REDEFININGEDGESTORAGEFORTHEAIERAI17AI时代·AI时代·边缘存储新范式第三章边缘侧AI应用尚待普及3.1AI应用渗透率还有巨大成长空间调研数据显示,目前尚有45.54%的企业仍未开始的企业占10.71%。这说明AI在企业中的普及还处于从尝试到大规模应用的过渡阶段,并且不同行业制造业是最大的用户群体,他们广泛采用工业传感的实时数据。然而,由于流程复杂、模型训练成本高以及安全性的考虑,AI主要应用于一些生产线上的质量检测和设备维护等小范围测试中。为了支持这些功能,车间需要配备低延迟、高可靠的边缘存IT服务与网络安全行业由于技术背景雄厚,已先一应用的先锋。这些应用场景要求边缘存储具备大容量、长期保存和可审计的能力,以应对大量安全事边缘数据中心/云/AI+作为新兴力量,在自动驾驶测试和智慧园区等场景中扮演着重要角色,其核心的需求非常多样化,包括实时性、存储容量、能耗据存储的需求是容量投资的主要动力,不论是多模金融行业利用其丰富的用户数据和强大的资金实力,在智能客服、反欺诈和网点行为识别等方面引医疗/生命健康领域正推进AI辅助诊断,如CT/AI时代·边缘存储新范式18IREDEFININGEDGESTORAGEFORTHEAIERA零售和批发行业则利用AI优化客流分析、商品推荐和库存预测等功能。门店部署的边缘设备进行视频处理和数据分析,对低成本、易扩展的本地存储有值得注意的是,仅有约10%的企业通过AI开辟了全新的业务模式,表明当前AI更多地被用作提升效一个共同的方向前进:数据处理的重点逐渐从中心向边缘转移,这意味着存储系统需要变得小型化、坚固耐用、符合安全规范并且便于远程管理,从而支撑起3.2AI显著增加数据产生量调研数据显示,AI应用已显著推动企业数据量的增31.25%的企业数据增幅达到20%-50%,两者合计占比高达56.25%,表明超过一半的企业在引入AIAI之所以能强劲拉动数据产生,根本原因在于其运行机制本身:AI模型训练依赖海量数据输入,推理过程也持续生成日志、特征向量、预测结果等新数据。例如,在智能制造中,AI质检系统不仅采集原始图像,还输出缺陷分类标签、置信度评分和工艺为并记录风险评分;在零售场景中,AI客流分析系统每分钟生成数十个行为轨迹点。这些新增数据并非简单复制,而是经过结构化处理的高价值信息,非代表无感或拒绝,而恰恰反映出一种对AI未来潜力的高度预期与当前认知尚未完全落地的状态。这部分企业多处于AI试验阶段,虽未形成稳定的数据随着模型迭代、应用场景扩展和边缘端部署深化,实挑战:如存储容量规划不足、数据治理机制不健AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI19全、网络带宽受限等。然而,这些障碍正在被快速突破——磁盘容量不断突破,分布式存储、智能分层架构、边缘缓存策略等技术手段不断成熟,为AI综上所述,AI不仅是业务智能化的催化剂,更是数据生产的加速器。当前已有超半数企业明确感受到爆发即将来临。可以预见,随着AI渗透率提升,企3.3AI已逐步渗透至各行业边缘端显的数据量增长。广义上来说,制造业是应用AI技企业也在为在为部署私有化的AI基础设施做准备。从硬件角度看,边缘侧的AI服务器形态已经日趋成熟,从多块推理卡分工协同的推理一体机,到胜任高吞吐量、可扩展性的训推一体机,甚至整机柜交付的超节点等,可以适应不同应用层次、不同用户规模的企业需求。从软件角度看,开源模型百花齐放,较小参数量的模型已经开始具备较高的推理能载的开源工具进一步提升质量、降低成本。简而言之,大语言模型已不再是大型数据中心的专属,其本地化部署,包括近边缘、远边缘、端侧等多层数据安全也是企业关注私有化部署的核心要求。数据包括了客户隐私,也蕴含着企业核心竞争力——不论历史数据中隐藏的价值是否已被充分识别。从大数据挖掘,到机器学习,再到大语言模型,乃至除了原始的业务数据,智能体这类具有自学习倾向的应用模式让AI的历史交互也开始展现出独特的价值。不论哪种数据,其蕴含的难以估量的竞争力决定其必须尽可能保持在企业监管能力范围之内,私有化部署算力、存储、备份,即使不是唯一,也是作为数据底座,存储技术也将在AI深化过程中迎来结构性升级机遇期,并针对不同成熟度企业提供差AI不仅是业务智能化的催化剂更是数据生产的加速器超半数企业明确感受到数据增长则预示着更广泛的数据爆发即将来临AI时代·边缘存储新范式20IREDEFININGEDGESTORAGEFORTHEAIERA3.4与相关企业访谈企业内存储系统采用混合部署模式,以实现性能型其中,分布式存储(vSAN,混合闪存)主要承载虚拟化平台的生产系统与部分研发负载,采用双副本策略,侧重高可用性和快速故障恢复。分布式存储在双副本策略下,容量利用率低,扩容需要同时引存储系统数据安全整体策略是强调高可用,采用快照结合备份的多层保护机制。分布式存储选择多副本机制,相较纠删码,更适合对恢复时间和一致性要求较高的生产负载,以保障节点级故障下的业务连续性。集中式存储采用了双控制器架构,消除控制器单点故障。磁盘层采用双校验RAID(RAID-DP配合快照、本地备份与跨厂区复制,形成完工作集大小、IO模式与并发特征进行持续的评估,目前该企业内存储系统主要采用分布式方案。分布式存储在线性的性能扩展、海量数据存储需求、数随着业务规模扩大与数据类型日益多样化,结构化与非结构化数据均持续增长。预计在块存储上承载海量小文件可能会出现inode寻址与元数据访问压力,从而引发访问性能瓶颈。因此,计划在瓶颈出现前,将该类负载迁移至文件存储或对象存储以应对上述问题。对于结构化数据,后续可考虑采用基对于非结构化数据,则计划以对象存储、文件存储数据安全方面更倾向多副本模式。多副本模式在读、写时有较均衡的性能。纠删码在写入的性能比多副本差,且如果在底层数据发生损害时,恢复速度也更慢。但纠删码能在指定容量空间内提供更大的可用存储空间,降低存储单位成本。因此,根据不同的场景,生产环境、热数据选择多副本模式,AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI21该医院采用集中式存储与分布式存储相结合的混合架构,以集中式存储为主,首要考虑的是稳定性与可靠性。集中式存储技术成熟,直连架构易于使集中式存储主要用于承载数据增长快、对性能与稳定性要求极高的核心业务,如HIS(医院信息系统)、电子病历、影像系统(PACS)的数据库部分。采用RAID技术,在空间利用率和可靠性之间取得平衡,且对磁盘类型(SSD或硬盘)的选择更分布式存储主要用于承载增长量不大、以提供外部布式存储的多副本机制带来的空间浪费是主要的成本制约因素。纠删码方案不适合以硬盘为主要存储分布式存储在软件层面的复杂度可能会引入额外的风险点,但对其发展会持续跟踪、评估。新院区建设时,增加分布式存储系统的可能性较高。选型策略受政策影响大,若建设资金来源于政府,有相应目前仅在HIS这类对性能有一定要求的系统上少量此类数据存在增速放缓的可能。这类数据主要存储22IREDEFININGEDGESTORAGEFORTHEAIERAAI时代·边缘存储新范式第四章硬盘仍是最主要的存储介质4.1硬盘是绝大多数场景选择在关于存储介质的选择方面,我们覆盖了传统的物理介质(硬盘、SSD、磁带、光盘库),并将云存储也纳入调研,反映了当前用户大量购买云服务的从使用比例看,硬盘依然是调研企业最主流的选择,高达91.96%。这说明在调研企业中,硬盘依然有着不可替代的优势地位。结合前述调研企业主体大多为制造业以及相关的使用场景,硬盘由于其成本效益高、性能足以满足负载需求,以及技术成REDEFININGEDGESTORAGEFORTHEAIERAI23在现有的价格体系中,企业级的硬盘售价远低于同容量的SSD。对于预算敏感、数据量庞大的边缘存的大量数据是冷或者温数据,传感器数据、日志、备份、归档等,这些数据更注重存储带宽而不是随机IOPS。现有的企业级硬盘已经足以满足需求。当然,更重要的是硬盘存储的技术成熟,相关的产品可靠性、安全性较高,维护也相对简单,更受到调研企业的青睐。另外,即便在一些AI渗透率较高的企业中,引入了AI训练之后,部署AI推理应用之后,也需要海量的历史数据,相关的冷数据和温数随着企业级存储管理软件的发展,云存储的使用也变得更为便捷,帮助用户尽量打通跨区域的存储资AIAI时代·边缘存储新范式依然是绝大多数场景的当然选择,这一点从后续的两选项A是以直接写入SSD为主,业务部署在SSD选项B是业务包括混闪存储服务器和超融合,在一个比例最高的,有42.86%的调查企业选择新数据直AI时代·边缘存储新范式24IREDEFININGEDGESTORAGEFORTHEAIERA他们更适合以直接写入硬盘的方式进行存储,一方面性能已经足以满足需求,另外一方面硬盘的价格更合复制、移动过多的问题,可能产生不必要的能耗、网络压力,设备投资也较大。还有38.39%的调查企业选择了混闪架构。作为综合了硬盘和SSD两而是在性能、成本与成熟度之间的一种主流选择。不论是将业务部署在SSD上,还是传统的混闪架构设计,都更多依赖对业务所涉及的IO模式的统计及预判,采用相对静态的配置方式满足业务需求,而较新的系统则开始追求充分利用分层协同、智能调约有40%的企业选择了这样的方式。采用自动分层后,可将SSD作为高性能缓存或者热数据层,并在将业务部署在SSD上,数据先写入SSD也有41.9随着存储系统自动分层技术成熟,越来越多的企业引入了该技术,以SSD加速关键业务,而用硬盘来承载海量数据。这样构筑的企业级存储系统,能够在性能、成本、容量和可靠性之间达成一个相对理性的平衡,因此相关企业在构筑数据湖时,更愿意无论是混闪架构还是自动分层方式的存储架构设计,调查企业都可以充分利用既有的硬盘存储池投造、政务、医疗等IT预算有限但需逐步提升性能和AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI25容量的企业。在这一点上,跟此次调研企业所在的4.2磁带和光盘库仍有一定规模硬盘渐成归档主力从调查可以看出来,虽然硬盘和SSD已经占绝对主流,但是在调查企业中,磁带和光盘库依然有一定的规模,尤其是在归档场景,不过,这个场景中,企业目前仍然使用光盘库,这一点反映了使用磁带更重要的是,由于在金融、广电、医疗甚至现在的制造业中,都有着数据长期保存、合规性和安全性的需求。磁带和光盘库由于其超低成本、超长寿命和空间隔离安全等因素,在归档场景和长期保存场景,以及某些要求保存数据不可篡改的场景中有着不过,对于另外的一些场景,磁带则已经被逐渐抛弃和淡出。在调查企业中,提及归档场景时,有逐步增加硬盘在归档中的容量比例”、有25%的调数据虽然访问频次低,但是在一段时间,比如说对于制造业产品来说的3年保质期内、5年维修期内磁带需要先召回才能够读取上线,耗时数分钟至数AI时代·边缘存储新范式26IREDEFININGEDGESTORAGEFORTHEAIERA小时,而硬盘能够直接挂载成为文件系统或者对象存储等,对于AI场景、业务回溯等非常有效样的趋势下,硬盘逐渐成为归档的主力,也就理所4.3云存储成为存储系统重要补充了云存储。随着虚拟化成为主流的应用部署模式,业务流程逐步围绕云资源展开。在问题3中可以看到私有云和公有云均占据了较大的比例,混合云已指公有云。使用公有云中的存储服务,主要出于几控制存储成本。从存储成本角度,企业级存储的容量扩展确实面临较大的投入,尤其是在集中式存储占比依旧较大的背景下,以节点为单位进行扩展是沉重的投资负担。云存储可以提供良好的扩缩容弹性,降低了一次性投入的风险,成为业务快速成长相对于公有云的计算资源的定价,公有云的存储服务通常被认为是相对昂贵的,数据迁移费用更是痛点。这限制了云存储的使用规模。但冷数据的存储是公有云使用的典型场景。一方面,异地备份是合理的数据安全策略;另一方面,云存储的容量基础费用还是有竞争力的,如果对性能有要求则另当别论。由于光盘、磁带等归档设备有较高的采购成本,可维护性也不高,但如果使用硬盘阵列进行存储,仍存在性价比不够高的问题。此外,数据可靠性方面的支出对于企业而言也是较重的负担,而云服务商相对更强的技术实力和部署规模摊薄了这方面的成本,这也是许多企业认为将较冷的数据交给不论是生产环境,亦或者归档需要,云存储都扮演REDEFININGEDGESTORAGEFORTHEAIERAI27AI时代·边缘存储新范式第五章硬盘接口与容量选择体现核心需求5.1SATA满足绝大多数场景需求价比方面的优势获得了高度认可。理论上SAS可以盘已经基本退出近线存储场景;3.5英寸硬盘的转速AI时代·边缘存储新范式28IREDEFININGEDGESTORAGEFORTHEAIERA5.2有4成使用双端口卡可连接数十个上百块硬盘,甚至理论上可以上千块,因此专用的大容量存储服务器习惯配置SAS端口。在这种场景下,使用SATA硬盘其实也是可行SAS还支持双端口,对于需要高可靠性、高可用性存储,使用双控制器甚至四控制器,可以有效应对单点故障对于业务连续性的影响。在本次调研中,有超过40%的企业选择了SAS双端口特性,说明使用了集中式存储的双控甚至多控特性,体现了对硬盘配合RAID5构建存储节点有利于降低单位存储的可靠性风险还是显著高于RAID6的,而单节点内,RAID6也只是多损失一块盘的容量而已,在有条件部署RAID6的用户还是应该尽量选择RAID6。不能选择RAID6的原因也是客观存在的,例如一些中低档的NAS,仅能支持RAID1和RAID5,规模较小的用户出于降低设备初始投资的考虑,在选型之初便放弃了部署RAID6的可能。建议这类用户应确保RAID5上的数据在其他设备上有副本,而不是将5.3单盘容量较小,设备年限较长当前企业已有的存储系统中,单盘主流容量较小,8TB以下合计占比达85%,构成绝对主力。这一格较小单盘容量占据存量主流的首要原因肯定是历史因素,大多数存储系统的部署时间较早。存储系统在企业整体IT基础设施中确实也是相对长寿的部分,运行周期达到5年甚至更长的比比皆是。这一方面体现了传统存储硬件的成熟稳定,尤其是在多层次的技术保障手段支撑下,数据可以长期稳定地保存。另一方面则体现了数据的价值,这种价值附加在硬件之上后便难以剥离,用户为了保持数据和业务的稳定性,更常使用滚动升级、降级使用等方AI时代·边缘存储新范式REDEFININGEDGESTORAGEFORTHEAIERAI29味着配置较多的硬盘,可以获得更高的整体性能,尤其是IOPS。这种偏好在新采购硬盘时也会有所表的双磁臂技术(MACH.2)让硬盘的IOPS有了实质小容量的硬盘,但性能密度较传统硬盘更高。除了性能,较多数量的驱动器也可以提升业务稳定性,虽然增加了单点故障的概率,但降低了单盘故障对也确实是当前市场比较主流的容量点。多数CMR/范围,选择8~30TB的受访者合计数量也是最多的,体现了技术演进对用户决策的影响。从定价角度看,在同代技术平台下,中等容量硬盘的性价比我们也发现,还有大量受访者选择8TB以下单盘容量,这一方面说明部分受访者的数据量增长较为缓慢,另一方面也符合前文介绍过的以数量换性能的技术偏好。在这里可以举一个细分场景的例子:视频监控必须承载多路视频流,对应的硬盘数量其实比硬盘容量更为重要。针对全天候视频录制设计的希捷酷鹰(SkyHawk)便将主力容量点依然规划在8TB及以下。这个例子虽然略显极端,但有助于读随着数据量的增长,在空间和能耗约束下,提升单盘容量可以显著改善经济性。高密度硬盘主要强生成、冷数据存储等高容量、存储成本敏感的场景。在本次调研中,已部署30TB以上容量点的受访者达到了7.14%,这个比例甚至高于新购意愿容量硬盘已实现商业化落地。这说明有一部分用户对于大容量硬盘的应用积极性是非常高的,他们的从单盘容量的整体需求分布看,当前存储市场仍以险偏好是吻合的。但我们也应该意识到,生成式AI与云原生趋势也会引导用户需求向高容量迁移。存储解决方案供应商需持续优化大容量硬盘、高密度存储节点的性能与兼容性,同时加强客户教育,迎接存储系统对数据价值的重新匹配与再权衡。30IREDEFININGEDGESTORAGEFORTHEAIERAAI时代·边缘存储新范式第六章边缘存储应用的需求与痛点6.1读写速度是最重要的指标在问题17中,超过7成的参与调查的企业认为读写速度是存储系统最重要的指标。相形之下,关注IOPS的参与者不足40%。本次调研的受访者均是非云企业,大多不存在面向公众提供服务的需求,满足企业内部相对稳定的需求即可。企业内部业务的IO模式通常也是稳定、可预测的,针对性地部署少量SSD满足部分高随机读写业务即可。既然高并发、峰谷差异并非普遍的关注点,那么对REDEFININGEDGESTORAGEFORTHEAIERAI31AI时代·边缘存储新范式IOPS相对较低的关注度是可以理解的。而存储系统的读写速度直接关系到是否能够尽快获取数据、让数据稳定落盘。实际上,在问题12当中,确实有超过四成的参与调查企业选择了让数据直接写入硬盘,随后的问题13当中有七成受访者认为硬盘6.2恢复速度是第二指标故障/备份恢复速度是参与调查者关注的第二大指6.3将近一半的企业关注容量利用率有近50%的参与调查者会关注存储系统的容量利用率。按需采购、配置存储容量当然是合理的,但由此也可以看到这也意味着在用户眼中,未来业务产生的数据量是稳定的、可预测的,暂时不必考虑超前投资。在问题5关于AI对数据产生量的影响中,确实仍有过半的公司认为AI产生量的择集中式存储、RAID、多副本的比例高,所需要付在比较传统的存储系统部署经验中,影响容量利用相对较高的可预期性能,刻意只使用硬盘的部分容6.4只有三分之一的企业关注扩容成本关注扩容成本的参与调查者约占三分之一。存储系统扩容并非单纯的介质采购成本问题,还涉及了存储系统的扩展弹性问题。以RAID为例,向阵列中添加硬盘,相当于重建阵列,会引发长时间的读写操作,对系统性能产生明显的影响。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论