2024年度中国GenAI技术栈市场报告

2024年中国GenAI技术栈市场报告RAG、多代理系统、模型微调、模块化、去中心化、MaaS33沙利文市场研读研究框架（1/2）GenAI技术栈概述----------5GenAI技术栈的结构与研究范围----------6GenAI技术栈的演变发展----------7GenAI技术栈重要性分析----------8GenAI技术栈核心组件分析----------9GenAI应用构建架构----------10RAG-构建更懂业务的生成式AI应用----------11MAS-提供更高效的复杂任务解决方案----------12提示工程-指引更精准的模型输出----------13防护栏-构建更安全的应用----------14API服务-助推更流畅的应用集成----------15MLOps-实现更快速可靠的应用发布----------16用户构建GenAI应用考量因素分析----------17高质模型的构建----------18安全合规的优化----------21推理成本的降低----------23数据价值的释放----------25产品应用化的实现----------27GenAI技术栈发展趋势----------29模块化与标准化----------30平台化与简易化----------31去中心化----------32MaaS模式重构生成式AI商业化生态----------33GenAI下的信息商品变革----------34400-072-558844沙利文市场研读研究框架（2/2）中国GenAI技术栈厂商竞争力分析----------35厂商竞争优势构筑----------36评价指标----------372024年中国GenAI技术栈市场综合竞争表现----------39中国GenAI技术栈行业领导者----------40名词解释----------48参考文献----------50方法论----------51法律声明----------52400-072-5588 章节一GenAI技术栈概述1.11.21.3GenAI技术栈连接了硬件设施层与终端用户交互，集成了包括基础模型、模型开发、数据处理、模型部署监控以及应用交互等在内的技术和工具，提供从模型初始化到在早期的决策式AI时代，AI栈。直至2012年AlexNet的突破，AI技术栈开始逐步建立，并在2018年开始的大模型阶段，生成式AI技术栈由原本的碎片化工具格局向更具凝聚力和专业化的生态系统演变。作为旨在简化生成式AI应用程序开发和管理的解决方案和组件合集，生成式AI技术栈的设计目的主要包括为开发者提供更高效的编程语言、开发框架与工具链以提升开发效率，给予生成式AI任务系统级的完善支持以及探索和满足大规模与跨平台部署等新需求挑战。沙利文市场研读

章节一 行业概述GenAI技术栈结构与研究范围关键发现GenAI技术栈连接了硬件设施层与终端用户交互，集成了包括基础模型、模型开发、数据处理、模型部署监控以及应用交互等在内的技术和工具，提供从模型初始化到部署全过程的一站式解决方案。协助开发者高效地构建、训练、微调、部署和维护生成式AI模型。AI包括CPU、GPU、存储设备等硬件设施层包括CPU、GPU、存储设备等硬件设施层数据管道数据存储上下文缓存ETL数据清洗与标注数据向量数据库特征工程数据采集模型维护模型路由代理框架部署与监控GenAI技术栈（本篇报告主要研究范围）终端用户用户交互使用应用层模型监控应用编排WorkflowsAgent用户体验UXAPIRAG用户界面UI基础模型文基础模型文本生成 • 语音生成图像生成 • 代码生成视频生成 • 多模态…模型开发模型管理模型微调FineTunning模型推理…来源：沙利文

6400-072-5588沙利文市场研读

章节一 行业概述GenAI技术栈演进:从基础到智能体关键发现在早期的决策式AI时代，AI技术栈的定义较为模糊，业内尚未出现确立的通用技术栈。直至2012年AlexNet的突破，AI技术栈开始逐步建立，并在2018年开始的大模型阶段，生成式AI技术栈由原本的碎片化工具格局向更具凝聚力和专业化的生态系统演变。GenAI技术栈的演进历程2012年以前 2012-2017年 2018年-至今发展背景：由弱人工智能阶段向统计机器学习阶段发展，进入1990年后，算法和模型开始向多样化发展。代表性技术成果:1966年：ELIZA对话系统20世纪70年代：HMM模型在语音识别领域开始应用1998年：LeNet-5模型被提出，开始应用于手写数字识别技术栈定义:由基于专家知识和规则的系统向“统计机器学习算法+算力包”结构转变

深度学习阶段：GenAI技术栈开始建立发展背景：深度学习的兴起标志着AI技术进入了全新的阶段，GenAI技术栈开始建立。代表性技术成果:2012年：AlexNet获奖，展示了深度学习在图像识别领域的潜能2015年：ResNet问题2017年：Transformer模型被正式提出，为自然语言处理奠定了基础技术栈定义:深度神经网络+开发框架（TensorFlow,PyTorch）

大模型阶段：GenAI技术栈生态系统逐步完善发展背景：2018年之后，大语言模型迅速崛起并高效地适用于不同地应用场景。代表性技术成果:2018年：BERT模型正式提出2020年：GPT-3完成大多数NLP任务2021年：CLIP被提出，实现了跨模态文本生成图像技术。2023年：LLaMA模型提出，对全球AI社区产生深远影响技术栈定义:基础模型+微调+开发者工具链+模型监督与运维等HMM模型 CTF

ImageNet

ResNet

BERT

LLaMA反向传播 卷积网络

Attention Transformer

GPT-4

GLMAI技术栈也由传统机器学习的碎片化格局向更完善且专业化的技术栈生态系统演变。AI：随着第一代GPT在2018年发来源：沙利文7400-072-5588沙利文市场研读

章节一 行业概述GenAI技术栈重要性分析关键发现作为旨在简化生成式AI应用程序开发和管理的解决方案和组件合集，生成式AI技术栈的设计目的主要包括为开发者提供更高效的编程语言、开发框架与工具链以提升开发效率，给予生成式AI任务系统级的完善支持以及探索和满足大规模与跨平台部署等新需求挑战。生成式AI任务的系统级支持生成式AI技术栈设计目的生成式AI任务的系统级支持提供高效编程语言、提供高效编程语言、开发框架和工具链协助开发者提升GenAI应用开发效率，屏蔽底层硬件计算的细节，提供更灵活的原语支持。02更直观的编辑、调试和实验工具。让用户可以完整的进行神经网络模型的开发、测试、调整诊断与修复和优化程序，提升所开发AI应用程序的性能与鲁棒性。02支持AI生命周期中的各个环03 节：数据处理、模型开发与训练、模型压缩与推理、安全和隐私保护等。

提供更强大和可扩展的计算能力。让用户的AI程序可扩展并部署于可以并行计算的节点或者集群，应对大数据和大模型的挑战。0102自动编译优化算法，实现对计算图的自动推导和根据不同结构的自动并行化。010203云原生自动分布式化，面对云与集群场景，自动将AI任务扩展与部署，进而支撑分布式计算、弹性计算，让用户按需使用资源。03

更大规模坏境的部署需求，探索解决新需求挑战01 享集群资源的环境下，提探索解决新需求挑战境也尤为重要。面对割裂的边缘侧硬件与软件栈，如何让模型训练一次，的重要问题。缺失更容易产生安全性问题，且在企业级环境以及云环境生成式AIAI应用开发效率、给予生成式AI任务系统级的完善支持以及探索解决新需求挑战层面起到至关重要的作用。AIAIAIAIAIGPU来源：Github、沙利文8400-072-5588 章节二GenAI技术栈核心组件分析应用构建完整的端到端GenAI应用涉及到复杂丰富的模块组件与流程，从用户交互至可落地应用的结果输出，涉及了AI模型的准备、调优、服务、以及治理等相关关键模块。在支持GenAI应用构建过程中，用户应依据项目、业务线以及组织成熟度等因沙利文市场研读

章节二 组件分析GenAI应用构建架构关键发现构建完整的端到端GenAI应用涉及到复杂丰富的模块组件与流程，从用户交互至可落地应用的结果输出，涉及了AI模型的准备、调优、服务、以及治理等相关关键模块。在支持GenAI应用构建过程中，用户应依据项目、业务线以及组织成熟度等因素在这些模块组件中进行选择组合，并非每个应用均涉及到所有组件模块。MLOps：编排GenAI应用构建的组件与流程MLOps：编排RAG多智能体体系

输入防护栏：个人身份信息、用户内部信息等…

模型网关模型列表、权限管理等API服务API服务模型管理用户 缓存 缓存模型管理只读操作SQL查询、Web搜索等

模型微调模型微调模型推理向量数据库模型推理…写入操作…进度保存、更新排序等输出防护栏：输出可观测性可观测性来源：TheGenAIReferenceArchitecture、沙利文10400-072-5588沙利文市场研读

章节二 组件分析RAG–构建更懂业务的生成式AI应用关键发现在各行业领域专向模型涌现的环境下，大语言模型在特定领域与企业知识缺失的局限性暴露，因此基于外部数据库，可及时调用最新数据和专有领域知识进行补充的RAG显得至关重要。此外，基于外部权威数据信息的整合及数据源的控制，RAG可提升模型回答准确性及可解释性，数据与模型本身的分离也给予了更好的数据隐私管理。LLMLLM因此RAG成为了为企业赋予特定内存的重要组件。工作原理及重要性：RAGRAG（如数）RAG的核心优势：RAG的保护以及成本效益的提升。RAG准和丰富的回答。济效益。RAG工作流程输入输入索引检索嵌入01文件问题向量块相关文档02提问无RAG部分领域及企业专属知识缺失生成0304用户 有RAG结合问题与提示器输出嵌入与索引：使用嵌入模型将文本转换为向量，并存储在向量数据库中查询检索：用户查询转换为向量，从数据库中检索相关知识提示增强：结合检索结果构建增强提示模板05增强模板生成准确答案来源：腾讯云、沙利文

11400-072-5588沙利文市场研读

章节二 组件分析MAS–提供更高效的复杂任务解决方案关键发现多智能体系统是分布式AI的重要分支，其将“大而杂”的任务分解给多个互相服务的单个智能体，通过相互通信、信息与资源共享，以及协作以实现共同的整体目标。在复杂任务下，多智能体系统弥补了单智能体的视角单一难点，在鲁棒性与容错性、灵活性与可扩展性等层面具备核心优势。框架短期记忆长期记忆日历反射记忆短期记忆长期记忆日历反射记忆计算器自我反思工具智能体规划思维链代码解释器行动子目标拆解搜索交互协作…智体 智体利己模式混合模式竞争模式合作模式协作方式Contct效率、鲁棒性与容错性、灵活性与可扩展性层面具备优势。系统可以根据需求轻松地扩展或缩减，这种灵活性使系统可快速使用不同的环境变化。下继续工作，这种冗余的设计增加了系统的鲁棒性与容错能力。来源：华为云、沙利文12400-072-5588沙利文市场研读

章节二 组件分析提示工程–指引更精准的模型输出关键发现提示工程通过提示词的优化设计，引导模型生成符合预期的回答。提示质量直接影响语境和输出，且具备效率提升、训练成本低、灵活性高等优势，因此对于模型尤为关键。但过于具体的提示也存在限制模型创新性的可能，因此用户需依据平衡点对该模块进行取舍。提示工程及提示优化工作流程11提示评价指标初始提示设计2目标LLM3评估LLM用户•••提示上下文例子输入问题输出设置提示更新优化6迭代循环4优化LLM5数据集7评估分数AIAI大语言模型的语境和输出，这对大语言模型至关重要。）势。反复修改和调整，提高整体工作效率。AI确的控制，以确保输出内容符合特定的需求与预期。型进行频繁调整与训练，减少了不必要的模型训练成本。AI行任务的灵活性与适应性，扩展AI模型的应用场景。和创造性的可能，因此用户在使用提示工程时应找到模型准确性与灵活性的平衡点进行取舍。来源：EvaluatingAIEvaluation:PerilsandProspects、沙利文13400-072-5588沙利文市场研读

章节二 组件分析防护栏–构建更安全的应用关键发现防护栏的重要性在AI技术动态发展中不可被低估，防护栏在防止AI技术滥用、确保内容公平性、维持公众信任以及遵守法规标准等层面起到核心作用。防护栏是抵御与AI技术部署相关的潜在风险的堡垒，是构建安全可靠应用不可或缺的部分。防护栏防护栏类型与设置防护栏输入防护设置防护风险：用户信息暴露给外部API；执行可能危及系统的不良提示。个人身份信息用户 • 企业商业机密人脸特征…

防护风险：模型输出内容存在恶意、不道德内容等。事实性错误内容带有偏见、不道德内容大模型调用病毒攻击…输出防护设置

话题限定防护栏对话安全防护栏防护栏AIGenAIGenAI技术得到负系统成机器学习技术采取主动防御措施提高系统的安全性与可靠性。AI度允许问责制，确保可以识别和纠正相关错误内容或信息与技术滥用。来源：亚马逊云科技、英伟达、沙利文14400-072-5588沙利文市场研读

章节二 组件分析API服务–助推更流畅的应用集成关键发现大模型API服务提供了一种强大、灵活且易于集成的方式协助用户快速将AI功能无缝集成到程序和服务中，进而降低用户的开发门槛，提升开发效率。API服务核心优势体现在促进软件集成、实现数据共享、提高可扩展性以及增强系统安全性等层面。可扩展性集成性安全性开发者接入API可扩展性集成性安全性开发者接入APIAssistants通用语言 多模态 语音合成 语音识别 文生图行业特色功能语音合成音色定制语音识别文生图图生图金融医疗RAG在线搜索… 模型微调…交通政务……助手构建自定义插件预置插件多模态对话对话生成函数调用LLM微调…APIAIAPI成AI能力，标准API在促进软件集成、实现数据共享以及提高可扩展性方面价值显著。：APIAPIAI强了系统的整体安全性。：APIAPI，用户可避免重复开发功能，提高开发效率。升级，新功能可以通过添加新的API或者扩展现有API实现。：利用APIAPI提供的安全特性保护用户数据。来源：商汤科技、ChallengesinDeployingMachineLearning:aSurveyofCaseStudies、百度智能云、沙利文15400-072-5588沙利文市场研读

章节二 组件分析MLOps–实现更快速可靠的应用发布关键发现MLOps整合了机器学习的应用开发、系统部署与运维，通过在整个机器学习生命周期中实现自动化和标准化以实现更快速的产品开发上市，更高效的团队合作以及模型的持续性改进优化，是协助企业用户将模型高效部署到生产环境中的重要组件。MLOps（机器学习运维）=ML+Dev+OpsMLOps（机器学习运维）=ML+Dev+Ops模型设计模型开发模型操作需求工程 • 数据工程ML用例优先级 • 机器学习模型工程数据可用性检查 • 模型测试和验证• … • …机器学习模型部署CI/CD管道监控和触发…AI模型的MLOps应用的其次通过自动创建和部署模型可缩短产品上市时间，降低运营成本。协作效率提高：通过统一的平台，开发团队可以在机器学习软件开发全生命周期中进行协作和协调，减少重复性工作，大幅提升工作效率。来源：亚马逊云科技、沙利文16400-072-5588 章节三用户构建GenAI应用考量因素分析大模型是生成式AI应用构建的核心，针对不同领域的用户，特定场景的适配性与生成内容质量可控性为模型质量的主要考量因素。模型适配性为用户提供专业领域更具针对性的决策建议，提升相关领域解决方案的灵活性，质量可控性则为用户提升领域内容生成效率。生成式AI错误决策等潜在风险，安全合规优化在用户权益与隐私保护、市场秩序与企业责任维护等方面至关重要，因此安全合规性为构建生成式AI应用的主要考量因素之一。模型推理是将联结终端场景需求的关键环节，随着生成式AI所融合的业务场景愈发多样化，推理在未来市场的发展潜力巨大，但目前AI支出的主要部分仍集中在推理部分，因此推理成本的降低是助推AI技术发展、提升用户对于生成式AI可及性的重要因素。大模型发展带来了数据架构新需求，生成式AI应用在用户企业内部落地过程中，企业与模型的数据协同以及数据价值的释放成为了“数据驱动决策”过程中的重要考量因素，数据资产的统一、自动化工具的操作以及高校计算能力均对数据价值释放的有效性产生影响。生成式AI产品应用化包含产品应用目标设立、生成式AI工具选择、产品流程整合以及用户体验反馈等步骤，其中生成式界面设计以及与用户的交互方式等为最直接影响产品应用反馈与迭代的因素。产品应用化是推动生成式AI技术从实验理论迈向实践应用的关键过程。沙利文市场研读

章节三 用户考量因素3.1高质模型的构建（1/3）关键发现大模型是生成式AI应用构建的核心，针对不同领域的用户，特定场景的适配性与生成内容质量可控性为模型质量的主要考量因素。模型适配性为用户提供专业领域更具针对性的决策建议，提升相关领域解决方案的灵活性，质量可控性则为用户提升领域内容生成效率。模型质量的影响因素及重要性准确率准确率重要性数据精准率数据集 模型适配质量数据多样性模型调整召回率模型复杂度 …稳定性••••泛化力更好地匹配用户业务需求提高用户业务决策质量提升相关领域生成内容效率为用户提供在不同场景下需求的灵活解决方案…内容可控…AI容的可控性为主要考量因素。模型质量的重要性：模型质量的重要性针对不同用户重要体现在模型适配与模型生成内容可控性两个层面。模型适配性：随着生成式AI与各产业的深度结合，大模型与下游任务的适配难题成为了主要关注点。大模型在预训练阶段需解决的广泛问题与在实际应用中所需解决问题存在模型内容质量可控性：除了与特殊场景的适配性，生成质量的可控性，即在保持生成内容的有效性、流畅性与多样性以外，保证模型生成内容符合预定的控制条件，满足用户的切实期望，例如场景一致性、语言风格等。模型内容质量的可控性为用户提高相关领来源：百度智能云、沙利文18400-072-5588沙利文市场研读

章节三 用户考量因素高质模型的构建（2/3）关键发现针对不同业务场景的模型适配性，用户可结合计算资源成本、效果呈现以及数据量级等考量因素最优化模型专属化路径，较为常见的模型专属化包含应用层的直接调优、外挂知识库、参数微调与继续与训练等方式。模型适配性优化措施11应用层调优2外挂知识库3 参数高效微调业务应用业务应用业务应用Prompt调优 企业业务流程调优 知识库垂直场景大模型少量标注数据LoRA基座大模型基座大模型基座大模型4全量SFT5继续预训练业务应用业务应用Prompt调优业务流程调优企业知识库应用调优垂直场景大模型大量精标数据全量SFT基座大模型基座大模型价值对齐L1大模型海量无标注数据垂直场景模型调优L2大模型企业知识库Prompt调优业务流程调优Prompt调优业务流程优化应用层调优：通过从应用端的Prompt工程优化，指引模型对用户需求的理解，该方式所需的数据量级与开发成本均较低，但效果受限于提示工程的质量。外挂知识库：基于相关领域外挂知识库信息的检索，提高模型预测适配性，该方式在信息的实时动态性与回答相关性层面优势显著，但其效果极大依赖于检索信息的相关性和准确性。参数高效微调：在冻结与训练模型的大多数参数的基础上，仅微调或添加少量参数以提高生成内容的适用性，该方式在计算资源受限的条件下尤为重要。全量SFT：通过将预训练模型中的参数进行微调，使其更好地适应目标任务的输入与输出，由于全量SFT需要大量标注数据，对于数据分布差异较大的任务下可能存在过拟合等难题继续预训练：基于大规模预训练语言模型，针对下游任务的特定语料对模型进行相关领域的继续训练，该方式效果受到预训练模型选择影响且对于计算资源需求极高。来源：商汤科技、腾讯云、沙利文19400-072-5588沙利文市场研读

章节三 用户考量因素高质模型的构建（3/3）关键发现模型选择与模型评估为提升模型生成内容质量可控性的常用方式，模型选择是理解问题的核心，其依据验证误差最小等原则筛选出业务场景下的最优模型。模型评估则通过准确率等一些列评估指标对模型性能进行量化与优化，决定了模型的预测精度与实用性。模型生成内容质量可控性优化措施内容生成内容生成可控性假设空间 损失函数评估模型算法训练数据准确率精确率和召回率F1分数ROCAUC值•••真相••常用评估指标常用评估方法数据集划分为训练集（训练模型）、验证集（调整模型参数）测试集（评估模型的最终性能）交叉验证：将数据集分为多个子集，并重复进行训练和测试迭代优化•2 模型评估训练、调参、确定模型验证集测试集训练集“训练+验证+测试”流程1 模型选择机器学习模型测试集训练集最终性能数据集特点，灵活应用模型评估和选择可提升模型的准确性和可靠性。来源：百度智能云、沙利文20400-072-5588沙利文市场研读

章节三 用户考量因素安全合规的优化（1/2）关键发现生成式AI应用构建的过程涉及到数据、模型等安全合规问题，为用户带来隐私泄露、错误决策等潜在风险，安全合规优化在用户权益与隐私保护、市场秩序与企业责任维护等方面至关重要，因此安全合规性为构建生成式AI应用的主要考量因素之一。••••••••恶意软件攻击服务拒绝攻击数据传输泄露未授权访问…设计硬件兼容硬件篡硬件安全 • 旁路攻设计 • …软硬件安全••••训练数据污染模型保密性数据偏差数据集不一致性…数据完整性安全合规数据安全模型模型••••••••••成员推断攻击属性推断攻击模型反演模型窃取…对抗样本…••••敏感数据泄露数据滥用身份盗用…数据隐私性模型 • 算法不透明可解释性 • 系统决策复缺乏严格的数学证明…重要性用户权益保护用户隐私保护市场秩序维护企业责任维护…AI生成式AI：生成式AI：首先，构建生成式AI应用的过程中需要处理大量的敏感数据和个人来源：百度安全、沙利文21400-072-5588沙利文市场研读

章节三 用户考量因素安全合规的优化（2/2）关键发现在应用构建到业务部署过程中构建完善的安全防御链路是优化安全合规的基础框架，根据安全合规优化措施三层防御链路三层防御链路攻防安全防闪避攻击防药饵攻击防后门攻击…模型安全数据可解释模型可验证模型可解释…隔离与检测冗余与熔断数据自恰性…架构安全设备数据设备数据设备数据功能功能功能AI推理业务反馈业务总控模型推理部署业务部署模型大模型训练数据云侧训练…安全策略配置语料过滤清洗安全率评估语料来源筛选从生成式AI应用构建到真实业务场景部署过程中，完善的安全合规防御架构是优化安全合规的基础。来源：华为、沙利文

22400-072-5588沙利文市场研读

章节三 用户考量因素推理成本的降低（1/2）关键发现AI推理在未来市场的发展潜力巨大，但目前AI支出的主要部分仍集中在推理部分，因此推理成本的降低是助推AI技术发展、提升用户对于生成式AI可及性的重要因素。推理成本的影响因素及重要性100生产资料昂贵100生产资料昂贵芯片制造、电力消耗等成本高75计算需求提高50LLM参数越来越大，更大的模型意味着更高的计算需求25硬件架构和模型推理特性限制了推理效率0所有企业501-1,001-1,000FTEs 5,000FTEs5,001-26,000FTEs >26,000FTEs训练推理落地链路拉长业务场景愈发丰富，落地链路拉长带来的计算存储资源消耗降低推理成本的重要性的是提高AI可及性与普适性的关键因素。9093969794

推理成本居高不下的因素AIAI高，降低推理成本成为了提升生成式AI产品普适性的关键因素。生成式AI推理成本的影响因素：生成式AI推理成本主要受到生产资料成本、计算需求、推理AI推理与用户终端场景需求更为紧密，是将AI技术从实验室搬到实际应用的关键步骤，AIAI支出AI应用可及性与普惠性来源：MenloVentures、百度智能云、沙利文23400-072-5588沙利文市场研读

章节三 用户考量因素推理成本的降低（2/2）关键发现模型推理优化技术可从数据层、模型层与系统层全方位展开，其中模型层优化措施使用较为广泛，其包含知识蒸馏、模型剪枝、模型量化等在保证模型性能前提下，减小模型大小和计算难度的一系列技术。模型推理优化技术数据层优化模型推理优化技术数据层优化模型层优化系统层优化输入压缩技术高效结构设计推理引擎•••••基于软提示词的压缩检索增强生成…（）……服务系统输出规划技术模型压缩技术SoT…••••量化稀疏…调度…推理优化方式使用较为广泛。过对输入内容进行相关性筛查、凝练与压缩进而优化数据层输入。技术为常见的推理优化途径。计算难度。低推理成本。服务系统的优化。来源：北京大学、沙利文24400-072-5588沙利文市场研读

章节三 用户考量因素数据价值的释放（1/2）关键发现大模型发展带来了数据架构新需求，生成式AI应用在用户企业内部落地过程中，企业与模型的数据协同以及数据价值的释放成为了“数据驱动决策”过程中的重要考量因素，数据资产的统一、自动化工具的操作以及高校计算能力均对数据价值释放的有效性产生影响。数据加载与接入大模型在企业落地对数据体系的关键需求数据资产的统一数据加载与接入大模型在企业落地对数据体系的关键需求数据资产的统一数据数据管道嵌入模型向量数据库•多模态数据需要多种加载、转换方法提示示例Playground(OpenAI等)API接口插件提问LLM缓存自动化工具件工具和模型算法自动化驱动输出LLM运维应用托管频繁的数据交互箭头代表数据在技术栈的流动开发者为大模型输出所提供的上下文数据输入大模型的提示及示例评估用户提问•返回用户的结果输出高效计算能力频繁的数据交互带来计算量倍增编排框架（Python、LangChain、ChatGPT等）生成式AIAI应用在企业用户内部落地的流生成式AI来源：a16z、《大模型趋势下的企业数据体系思考》、沙利文25400-072-5588沙利文市场研读

章节三 用户考量因素数据价值的释放（2/2）关键发现生成式AI应用数据价值的释放可通过算力、模型以及决策三层形成完整的数据优化闭环。其中模型优化与决策优化路径较为轻量灵活，模型层，用户主要通过RAG等方式将专向数据与大模型进行结合产生独特价值；决策优化可通过“AI+BI”工具实现智能决策支持。数据价值释放的优化措施模型优化层：决策优化层：AI与BI工具的结合，可依据用户数据查询和分析需求，通过应用、增强分析等，提供进一步深入分析，实现层层递进的智能决策支持。数据价值优化闭环数据价值优化闭环决策流业务应用平台PaaS层…AI+BIBI应用多维分析增强分析…决策优化模型优化数据管理数据存储数据清洗模型微调RAG算力优化…硬件配置软件优化…数据流来源：百度智能云、沙利文26400-072-5588沙利文市场研读

章节三 用户考量因素产品应用化的实现（1/2）关键发现生成式AI产品应用化包含产品应用目标设立、生成式AI工具选择、产品流程整合以及用户体验反馈等步骤，其中生成式界面设计以及与用户的交互方式等为最直接影响产品应用反馈与迭代的因素。产品应用化是推动生成式AI技术从实验理论迈向实践应用的关键过程。生成式AI产品应用化的影响因素及重要性AIAI生成式AI产品应用化的影响因素：生成式AI产品应用化流程围绕用户体验反哺产品应用目标AIAI产品应用化是一项系统工程，其不仅是对前沿技术AI技术从实验理论迈向实践应用，从实验室走向市场选择合适的工具生成式AI工具的功能价值生成式AI工具的易用性生成式AI工具的性能生成式AI工具的成本…

整合产品流程数据集成模型训练和部署（确保模型可以准确接受传输产品数据）…明确产品目标应用设定具体且可衡量的目标定位明确的业务场景及目标用户…

用户中心化，重塑产品构建

关注用户体验生成式界面设计编辑体验交互方式设计…产品迭代优化来源：百度云、阿里云、沙利文27400-072-5588沙利文市场研读

章节三 用户考量因素3.5产品应用化的实现（2/2）关键发现生成式AI产品应用化可从最为直接的用户交互体验进行优化，平台可以对用户操作界面设计创新，例如融合了LUI与GUI交互的CUI对话式用户界面，通过更加直观和自然的语言交大脑里的隐喻：操作一台机器大脑里的隐喻：操作一台机器大脑里的隐喻：和顾问或助理沟通GUI交互VSLUI交互清晰的指引和约束交互和功能缺乏灵活性交互更为灵活指引和约束的缺失LUI包含GUI 交互 GUI包含LUI本质是解决“沟通成本”难题力无边界CUI更应该是LUI包含GUI核心优势：以更加直观和自然的语言交互，降低用户操作难度，直接通过语音或文字与系统进行对话映射，延伸用户能力100为优化用户体验，生成式AI产品的用户界面设计不断演变，为改善传统GUI交互方式的高学习CUI（对话式用户界面）：CUI是一种允许用户通过自然语言对话与计算机系统或者软件进行GUILUIGUI交互UI设计师所设计的GUI交互，CUI来源：阿里云、沙利文

28400-072-5588 章节四GenAI技术栈发展趋势目前生成式AI成为未来重要发展方向。通过将技术栈划分为一系列的模块和标准化接口，进而更生成式AI用开发生态，形成一站式的开发服务平台。此外，与平台化并行的是平台的简易化，通过易用工具与开放式API的提供，降低用户开发门槛，为用户提供操作性强的完整的开发解决方案。目前AI等风险。AI去中心化旨在将AI的开发、部署以及控制权分散到多个实体或用户之间，以提高透明度、减少滥用风险，是未来发展的一大趋势。旨在通过一系列工具与服务协助用户降低模型开发门槛的MaaS模式将成为未来大模型的主流商业模式，并对生成式AI应用在商业化生态、产品落地等方面产生连带影响，反向重构生成式AI商业模式。GenAI外，GenAI孕育着创造新信息商品类型的巨大空间，这也助推了全新产品时代与超级产品诞生的可能性。沙利文市场研读

章节四 发展趋势模块化与标准化关键发现目前生成式AI技术栈工具与系统存在碎片化与不兼容性等难题，模块化与标准化将成为未来重要发展方向。通过将技术栈划分为一系列的模块和标准化接口，进而更方便地进行组件替换与升级，提高系统的灵活性与可扩展性。技术栈模块化与标准化数据模块化数据模块化学习标准化框架任务模块化模块化与标准化价值：…评估工具模型模块化碎片化交互接口模块化……感。随着生成式AI技术栈的复杂性不断增加，通过将技术栈划分为一系列的模块和标准化接口将提高系统的灵活性和可扩展性。技术栈碎片化现状：目前生成式AI技术栈面临系统和工具链互不兼容和碎片化难题，各种多模块化与标准化价值可复用性提高等方面。的模块以实现定制化设计，使用不同的应用场景。来源：百度智能云、ModularityinDeepLearning:ASurvey、沙利文30400-072-5588沙利文市场研读

章节四 发展趋势平台化与简易化关键发现生成式AI技术栈基于模型开发、场景适配、推理部署以及产品应用将进一步完善应用开发生态，形成一站式的开发服务平台。此外，与平台化并行的是平台的简易化，通过易用工具与开放式API的提供，降低用户开发门槛，为用户提供操作性强的完整的开发解决方案。生成式AI技术栈平台化与简易化微调工具开发工具微调工具开发工具应用工具部署工具

场景适配

推理部署

产品应用…

应用层调优RAG参数高效微调全景SFT继续预训练…

大小模型结合自适应分布式推理自动化压缩加密部署…

Agent…一站式、简易化开发服务平台AI技术栈平台化现状技术栈平台化与简易化价值：AI平台AI大模型内的AI插件，探索AI加持下自身应用的新场景。这些应用可以依赖大模型的AI来源：阿里云、沙利文

31400-072-5588沙利文市场研读

章节四 发展趋势去中心化关键发现目前AI系统仍多依赖于中心化架构以便高效的管理与控制，但随之带来了数据隐私等风险。AI去中心化旨在将AI的开发、部署以及控制权分散到多个实体或用户之间，以提高透明度、减少滥用风险，是未来发展的一大趋势。中心化结构去中心化结构中心化结构去中心化结构数据隐私保护减少垄断提高鲁棒性与容错能力促进公平性与包容性AIAI滥用风险，AI的去中心化发展被认为是未来的必然趋势。AI中心化现状：现今，AIAI决策AI去中心化价值能力的提升以及公平性与包容性的提升。行大规模的拆卸与重组，仅需对存在问题的模块单独替换维修即可，大幅降低维修成本。的模块以实现定制化设计，使用不同的应用场景。添加新模块，标准化接口都能保证系统运行的稳定性。来源：阿里云、百度智能云、沙利文32400-072-5588沙利文市场研读

章节四 发展趋势MaaS模式下的商业模式重构关键发现旨在通过一系列工具与服务协助用户降低模型开发门槛的MaaS模式将成为未来大模型的主流商业模式，并对生成式AI应用在商业化生态、产品落地等方面产生连带影响，反向重构生成式AI商业模式。SaaS应用智能硬件应用层SaaS应用智能硬件应用层优化微调提供SDK产品/一体化解决方案变现大型 大型CV大模型基础层：多模态大模型多模态RLHF基础层：多模态基模型计算/存储/网络/数据库 公有云/私有云/GPU/XPU景的深度耦合应用。MaaS模式的发展将为生成式AI产品的商业化落地带来重大改革。MaaS模式结构：MaaS模式由基础层、中间层以及应用层三部分构建。其中基础层提供基模型SaaS应用以及CCChatGPT的单来源：百度智能云、沙利文33400-072-5588沙利文市场研读

章节四 发展趋势GenAI下的信息商品变革关键发现GenAI作为底层创新技术，对于信息商品各环节产生了全面的、革命性的影响，此外，GenAI孕育着创造新信息商品类型的巨大空间，这也助推了全新产品时代与超级产品诞生的可能性。GenAI对信息商品经济各环节的影响生产分配消费信息商品是指以某类信息为核心价值的产品。GenAI生产分配消费生产环节信息商品的生产效率将脱离生产者的时间和精力限制：创意和算力将成为信息商品的关键生产要素信息商品的生产范围将更加社会化

分配环节信息商品生产端到终端订单需求的逻辑变化由“需求决定分配”转向“需求决定生产”，中间分配环节将弱化甚至消失

消费环节用户消费的信息商品类型由GenAI算法能力决定用户与信息商品交互的方式由GUI向CUI进行转变：从追求效率转向效率与灵活度兼备GenAI对信息商品类型的影响对已有信息商品类型影响对已有信息商品类型影响评价维度GenAI不仅对已有信息产品类型产生深刻的影响，且孕育着创造新信息商品类型的巨大空间。•能力：决定了GenAI在哪些信息商品类型中发挥作用质量：决定了GenAI在某种信息商品中能够兑现的价值和被兑现的方式可交互信息••对已有信息类型的影响，能力、质量、效率三个评价维度分别决力、兑现价值以及商业可行性。•效率：决定了GenAI在某种信息商品中的商业可行性以及商业模式融合对于新信息商品类型尚无具体性方向，但可交互的信息以及信息的模态融合在GenAI技术发展下存在较大新产品形态的可能性。来源：沙利文400-072-558834 章节五中国GenAI技术栈厂商竞争力分析沙利文市场研读

章节五 竞争力分析厂商竞争优势构筑关键发现针对用户构建GenAI应用面临的匹配需求难、数据与隐私安全、输出质量以及推理成本等挑战，GenAI技术栈厂商是否有匹配高效的工具及技术经验协助用户更便捷、安全地构建高质应用为主要核心优势。需求匹配难输出质量不佳标准化支持服务不足应用构建效率低…数据安全与需求匹配难输出质量不佳标准化支持服务不足应用构建效率低…数据安全与隐私保护推理成本高昂专业知识缺失场景落地难用户构建生成式AI应用面临挑战基础模型触达厂商关键成功因素应用的高效构建合规与安全工作流构建增长因素创新因素行业客户与场景应用应用开发交互数据与存储模型质量生态建设支持AI算力基础设施与模型部署构筑竞争优势来源：沙利文

36400-072-5588沙利文市场研读

章节五 竞争力分析创新指数评价指标关键发现本报告设立创新指数评估体系对GenAI技术栈进行评价及分析，下设工作流构建、数据与存储、AI算力基础设施与模型部署、模型质量、应用的高效构建五大指标。一级指标二级指标指标要点工作流构建工作流构建支持工具与方案编排框架的兼容、工作流支持的目标用例、工作流的持续优化、可配置触发器功能、跨团队协作等全局数据治理组织内部的数据联通、数据质量与一致性、数据隐私保护、数据共享、配置方式设置、数据与存储数据存储部署技术栈一体式融合的数据存储解决方案、GenAI专用功能集、GenAI数据存储基础设施等算力供给能力AI芯片类型、算力资源的管理与分配、LaC能力、预置吞吐量与成本效率优化等AI算力基础设施与模型部署资源利用率优化管理高性能编译器和运行时、推理GPU优化、推理加速工具集成、自研网络架构等模型部署成本优化资源配置商业模式支持、优化咨询服务、灵活的部署模式等模型微调调优与微调方式、精调模版、全流程自动调优功能等缓存与记忆长期记忆功能支持、数据库方式读写用户结构化信息输入模型质量模型评估模型评估