AI 原生应用开发实战营·深圳站分享材料 2025

构建AI原生应用的关键要素解读下载量破万的《AI原生应用架构白皮书》王晨(望宸)阿里云智能高级技术运营专家《AI原生应用架构白皮书》开放下载20万40+位AI领域的四大核心赛道通用智能体通用智能体AI客服AI硬件…应用开发框架存储安全……红色字体：把和应用运行相关的要素抽象出来，形成一个可表达、可传播、可共识的概念，就是AI原生应用架开发工具链的4个发展阶段*确定性基础开发框架协作&工具强化学习模型更加中心化通过模块化抽象来降低开发复杂度脑力->行动力数据驱动优化上下文工程能力内化到跨部门协作减少人为干预模型侧SpringAIAlibaba…FunctionCalling低代码(Dify、n8n…)Jina.aiClaudeskills2022年-2023年2023年-2024年2024年-2025年2025年10月~*以阶段来划分，是为了更全面的理解开发工具链的发展历程，但每个阶段的标志性工具并不是迭代和替代关系，而是协同发展。开发工具链的4个发展阶段*确定性基础开发框架协作&工具强化学习模型更加中心化通过模块化抽象来降低开发复杂度脑力->行动力数据驱动优化上下文工程能力内化到跨部门协作减少人为干预模型侧SpringAIAlibaba…FunctionCalling低代码(Dify、n8n…)Jina.aiClaudeskills2022年-2023年2023年-2024年2024年-2025年2025年10月~*以阶段来划分，是为了更全面的理解开发工具链的发展历程，但每个阶段的标志性工具并不是迭代和替代关系，而是协同发展。AI领域的四大核心赛道通用智能体通用智能体AI客服AI硬件…应用开发框架存储安全……红色字体：把和应用运行相关的要素抽象出来，形成一个可表达、可传播、可共识的概念，就是AI原生应用架AI云原生应用架构新范式人的思维能力被机器内化智能化范式机器思考+执行，人监督智能化范式机器思考+执行，人监督解决问题的链路步骤解决问题的链路步骤人想清楚，机器执行11意图与需求解析明确任务目标、理解背景与约束人完全主导人主导，系统辅助22解决方案规划构思达成目标的路径、逻辑或创意人完全主导智能系统主导规划（模型推理），人辅助微调33执行载体构建将规划转化为可运行的形式数字系统执行智能系统自主构建+执行44运行与优化迭代系统运转并根据结果迭代人主导优化智能系统自主运行+迭代数字化让机器会执行智能化让机器会思考AI云原生应用架构定义基于模型，Agent驱动，以数据为中心，整合工具链AI原生应用架构AI原生应用架构模式Tools泛化（LLM编排）具象（code编排）单单应用多应用单任务单Agent单任务高代码/零代码Workflow低代码/高代码Workflow低代码/高代码高代码/零代码AI云原生应用架构定义云原生+AI原生双轮驱动手机APP手机APP生态GenUI手机APP手机APP生态GenUI大数据（Blink+ES大数据（Blink+ES）微服务3据AI原生应用架构（智能化）微服务1微服务1微服务2微服务2AgentAgentMySQL/Redis/OSS向量数据库（RAG）CPU（FC）CPU（K8s）大模型（通义大模型（通义…）AI原生应用架构定义-数据飞轮大小飞轮，打磨垂类场景模型的输出能力前沿的AI工程实践事件驱动重塑AI应用数据全链路陈涛阿里云智能集团产品专家01AI时代的数据准备与处理03数据处理ETL如何使用AIAI时代的数据准备与处理什么是AI？whatISAI?人工智能（AI）诞生于20世纪50年代，自90年代以来随着数据量的爆发式增长以及算力的不断提升，AI被广泛应用于各行业，为社会带来巨大机遇。AI提升了企业的决策效率和精准度，驱动创新，优化运营，并助力组织变革和构建竞争优势。麦肯锡调研显示，2022年全球有50%的公司部署了AI，投资超过总预算的4%。生成式AI（GenAI）的崛起进一步推动了企业转型，其在流程优化、个性化服务等方面的应用超越了传统AI。人工智能的发展历程，即感知人工智能（PerceptionAI）->生成式人工智能（GenerativeAI）->智能体人工智能（AgenticAI）->具身人工智能(PhysicalAI），代表了人工智能从基本数据解读到复杂的现实世界交互的演进。AgenticAIAgenticAIAI时代的数据挑战与机遇-GenAI演进DatachallengesandopportunitiesintheAIEraGenAIEvolution最初的起点Generation从现在的视角看，可能过于“简陋”，不过当时大语言模型刚出来的时候，一些基于AILLM能力之上包装的一些现象级的应用产品，都是使用这么直白的架构，比如文本总结、AI算命、AI情感等，在这个架构下能起到比较大作用的是Prompt的调优。GenerationAI时代的数据挑战与机遇-GenAI演进DatachallengesandopportunitiesintheAIEraGenAIEvolutionGenerationGenerationtables,chathistory,vectorDB)(e.g.,vectorsearch,websearch)增强上下文上下文增强主要是解决模型在处理特定问题时的信息补充，在上下文增强上，比较常用的技术是RAG，RAG提供了面向模型输入Prompt做动态信息增强的能力。主要用途包括：1.问题域特有信息：比如分析用户在某个平台购买喜好时，需要给到一些用户在该平台购买的数据2.时效信息：比如股票信息，实事新闻等AI时代的数据挑战与机遇-GenAI演进DatachallengesandopportunitiesintheAIEraGenAIEvolutionAgent是在特定环境下的plan+Cache(ModelcatalogCache(Modelcatalog,accesstokenmanagement,(e.g.,vectorsearch,websearch)Plan说明Agent有思考和规划能力，(e.g.,vectorsearch,websearch)CacheCachetables,chathistory,GenerationvectorDB)GenerationScoring•Safety•StructuredoutputsAI时代的数据挑战与机遇–数据种类由统一的结构逻辑来表示和存储的数据具有结构化形式，但并不符合数据模型结构DatachallengesandopportunitiesintheAIEraTypesofData由统一的结构逻辑来表示和存储的数据具有结构化形式，但并不符合数据模型结构无预定义数据模型，不可直接用数据库逻辑来表现的数据AI时代的数据挑战与机遇–主流数据采集网络数据采集系统日志采集更日志、系统运行日志端侧数据采集物理量Datachallengesandopportunitiesin网络数据采集系统日志采集更日志、系统运行日志端侧数据采集物理量数据库采集AuditLogsSOC2ComplianceHIPAAComplianceCustomCodeBedrockCustomCodeOpenAICustomCodeOpenAIpython-docxCustomCodecoherecohereCustomCodeCustomCodeChunkingpython-pptxVectorVectorStorage稳定性差CustomCustomCustomCodeCustomCodeCustomCodeCustomCodeConnectionsCustomCodeConnectionsEventBridgeStorageVectorStorageStorageEvent&BridgewhatISanEvent?简单来说，事件就是状态的显著变化，针对当用户采取特定行动时触发或指一切能够输入计算机中，且能被处理的符号。以4S店销售汽车为例：•当客户购买汽车并且其状态从ForSale变为Sold是一个事件。•成功交易后，从帐户中扣除金额是一个事件。•单击预订试驾后，从将预约信息添加到指定用户就是一个事件。•用户资料和预约单本身也可以成为一个事件。Event&BridgewhatISEventBridge?转换（Transform）事件模式结构化/半结构化数据事件模式结构化/半结构化数据转换代码指定值匹配消息队列前缀匹配数据库包含匹配调用百炼模型服务，使用API转换代码指定值匹配消息队列前缀匹配数据库包含匹配调用百炼模型服务，使用API多模式匹配结构化/半结构化数据对象存储调用外部API完成数据转换消息队列数据库API/云产品通知&其他…Event&BridgewhatISEventBridge?事件总线模型经典EDA（事件驱动）场景的N：M模型，提供多事件路由，事件匹配，事件转换等核心能力，帮助您快速搭建事件驱动架构。事件源事件规则事件源对象存储事件总线事件总线目标服务事件总线容器服务目标服务事件总线钉钉Event&BridgewhatISEventBridge?事件流模型标准Streaming（1:1）流式处理场景，无总线概念。适用于端到端的数据转储，数据同步及数据处理等，帮助您轻松构建云上数据管道服务。事件源事件源匹配/转换事件流匹配/转换事件流EventBridgeMultisourceRAGcapabilityoverviewStructured•JSON(JSONLoader)•Markdown(UnstructuredMarkdownLoader)•PDF(PyPDFLoader、MathpixPDFLoader、UnstruOtherChunking：ModelScopeJinaMore...MultisourceRAGUnstructuredDataLoader非结构化数据结构化数据半结构化数据非结构化数据支持读取多种非结构化数据结构读取，如TEXT非结构化数据结构化数据半结构化数据非结构化数据支持读取多种非结构化数据结构读取，如TEXT，JSON、XML、YAML、CSV等。兼容主流Loader数据处理方式，包括单文档加载，分块加载等。结构化数据支持读取多种结构化数据源拉取，如Kafka，RocketMQ、SLS、MQTT、数据库等。为客户提供丰富的数据源支持。MultisourceRAGVectorDatabasestorage多种向量数据支持多种向量数据支持支持专用向量数据库和传统数据库向量插件等，涵盖市面主流向量数据库能力，支持一键白屏化入库。userinputSystemuserinput“杭州市西湖区灯彩街1008号"Province“杭州市西湖区灯彩街1008号"Province:“浙江”City:“杭州",District:“西湖区",Street:"灯彩街1008号",ZipCode:”310000"此处省略1000+行…SystemReceivesSystemReceivesuserinputProvince:“浙江”CityProvince:“浙江”City:“杭州",District:“西湖区",Street:"灯彩街1008号",ZipCode:”310000"SYSTEM：你是一名电商平台的数据工程师，需要处理来自不同渠道的用户地址信息。希望能在数据入仓前，自动将它们标准化为统一的省-市-区-街道格式，并补全邮政编码。“杭州市西湖区三墩镇灯彩街1008号"实时推理/异步推理能力概述overviewofRealTimeReasoning/AsynchronousReasoningcapabilities……AlertLogSourceFilterTansformSinkSourceAlertLogLLM(Bailian),Qwen,DSLLM(Bailian),Qwen,DSStructuredOutputsStructuredOutputs……实时推理/异步推理-结构化输出Real-TimeReasoning/AsynchronousReasoningstructuredoutput结构化输出大型语言模型(LLM)结构化输出大型语言模型(LLM)的结构化输出是指让模型生成特定格式的数据，而不是自然语言文本。通常，LLMs默认的输出是非结构化的，例如散文、段落或对话。然而，在很多数据处理场景中，我们需要模型能按照预定义的格式（如JSON、XML、YAML、CSV甚至是特定的代码结构）来输出信息。EventBridge支持产品化结构输出，优先使用模型JsonSchema能力，当模型原生不支持JsonSchema入参时，通过产品化提示词注入解决LLM链路结构化输出的问题。这款产品真是太棒了，我非常喜欢它的设计和性能。{"summary":"产品设计和性能出色，客户非常满意。"}实时推理/异步推理数据应用层使用，通过调用模型推理能力，增强数据Transform能力，完成传统数据清洗无法实现的场景训练数据预处理服务于模型训练场景，为模型训练提供预处理能力，满足数据集整理诉求增强检索数据入库RAG通过将不同的数据入库向量数据库，并召回符合的上下文信息喂给模型场景：数据预处理(DataPreprocscenario:Datapreprocessing事件源场景描述事件源Transform在数据集用于模型训练前，使用一定方法对数据进行处理，以便把数据变换成适用于机器学习模型训练的格式或形式。Transform处理类型：数据错误，数据重复，数据缺失，数据集不均衡。实现效果工作流CloudFlow场景：检索增强生成RAG(Retrieval-augmentedGeneration)数据入库scenario:DatastorageofRetrievalAugmentedGeneration(RAG)事件源（OSS,Kafka..）ChunkingChunking场景描述需要处理来自不同渠道的结构化和非结构化数据，可通过配置事件源和目标服务来完成对RAG链路的多源数据接入。场景：数据清洗与标准化(DataCleansing&Standardization)scenario:Datacleansing&standardization事件源事件源Transform(百炼)AgentAgent 结构化输出场景描述需要处理来自不同渠道的用户地址信息，这些地址格式不一、存在错别字。希望能在数据入仓前,自动将它们标准化为统一的省-市-区-街道格式，并补全邮政编码。实现效果输入：["杭州市西湖区灯彩街1008号"]输出：Province:“浙江”,City:“杭州",District:“西湖区",Street:"灯彩街1008号",ZipCode:”310000场景：数据富集与打标(DataEnrichment&Tagging)scenario:DataEnrichment&Tagging事件源事件源Transform(百炼)AgentAgent 结构化输出场景描述需要分析用户评论的情感倾向，以评估市场活动的效果。希望能在ETL流程中，自动为每一条用户评论打上“正面”、“负面”或“中性”的情感标签。实现效果输入：["这款新手机的拍照功能太惊艳了！"]输出：Sentiment:"正面",Confidence:0.98scenario:compliance&privacyprotection场景描述事件源确保所有进入分析系统的数据都符合GDPR/CCPA规范，不能包含用户的个人身份信息（PII）Transform(百炼)。希望在ETL过程中自动识别并脱敏处理文本中的姓名、电话和身Transform(百炼)实现效果Agent输入：["客户张三反馈了一个问题..."]Agent输出：["客户***（138****5678）反馈了一个问题..."]结构化输出企业落地AI应用架构的最短路径孤弋自主决策的合伙人ReActAgent自主决策的合伙人ReActAgent任务型顾问智慧层人机协同、辅助决策Agent智慧层人机协同、辅助决策静态知识静态知识知识(RAG、图谱)知识层动态信息工具(MCP)动态信息信息层数字化转型是“业务数据化”，解决了“看得见”的问题；数据层数智化转型是“数据业务化”，解决了“看得准、看得远”的问题。数据层AIAgent/APP支付管理Marketplace订单管理支付管理Marketplace订单管理商品管理商品详情API支付详情API客户管理商品详情API支付详情API客户管理搜索商品API查询订单API客户信息搜索商品API查询订单API客户信息API开发者我们是谁：HiMarket是一个AI开开发者开发者注册账号密码/OIDC开发者注册账号密码/OIDC展示/订阅/调试测试用例生成观测分析开发者维度可观测AI开放平台门户开放平台管理员构建开放平台管理员域名/审批/样式AI驱动/千人千面开发者管理开发者管理关联AI网关实例/文档管理/策略管理观测分析AI开放平台后台网关管理员支撑网关管理员路由/服务路由/服务/限流/认证AIAPI/MCPServer/限流/认证网关/Nacos链接企业内部最短路径标准API开放平台易于企业定制化快速落地AI应用和验证链接企业内部最短路径标准API开放平台易于企业定制化快速落地AI应用和验证企业级AI接入管理能力AI入口统一AI创新市场AIagentHiMarketAI开放平台统一AI接入/统一安全监管/统一计量计费Model市场/Agent市场API开放平台HiMarket快速验证AI场景，便捷结合企业线上业务，构建标准化创新平台欢迎一起来共建~~本，与社区共同打磨，优化体验Q3：Agent市场Q4：智能API管理加入社区•我们已经准备了一系列goodfirstissue，期待你的第一个PR•坚持代码结构友好，便于二次开发与扩展，欢迎fork定制并回馈贡献，共同完善生态•欢迎企业客户使用，交流需求与场景，助力构建私有化MCP市场宋明强（鸣溯）阿里云智能集团云原生解决方案架构师01从“互联网+”到“人工智能+”AI时代将带来全新的应用形态和全新的运维模式02云监控2.0:全栈智能可观测平台03阿里云AI应用可观测能力建设面向AI应用稳定性，全栈智算可观测助力业务创新04AI应用可观测演示交通银行-姣姣、小姣招商银行-小招上海银行-海小智、海小慧浦发银行-小浦><小鹏绝影智能汽车平台senseAuto交通银行-姣姣、小姣招商银行-小招上海银行-海小智、海小慧浦发银行-小浦><小鹏绝影智能汽车平台senseAuto硬件硬件娱乐AI手机AIPCAI眼镜AI耳机AI玩具AI讯飞晓医成交输入法蜜小语么小画桌会议助理会议助理正麦耳会记-腾讯会议办公小浣熊代码小浣熊ceEeMarscode代码小浣熊麦芽岛WOWWOW有灵智能体AI游戏创作平台月匣sasaBGM猫erdeepseekP医AlHial回xg⼈台阿里云百炼平台HiEcho星火科研助手HiEcho星火科研助手豆包爱学海豚AI学科研论文等小说等休闲文体爸百度APP作家平台公文、标书等正式文体科研论文等小说等休闲文体爸百度APP作家平台公文、标书等正式文体以墨狐AI稿易以墨狐AI稿易购光速写作Esn鸟易撰Esn鸟易撰'秘塔AI搜索'秘塔AI搜索百度文库AI助手你通义智文wui步通义万相百度智能云曦灵风平IP智造平台XEVA脸猫星绘醒蓝AI脸猫星绘醒蓝AI家居设计海报设计商拍设计家居设计海报设计D.DESIGN堆友I1模袋云Al数据来源：InfoQ研究中心根据新闻、官方公告和文章等公开渠道整理和分析总结应用复杂度•Serverless应用复杂度•Serverless★新一轮变革★★从“互联网+”到“人工智能+”，加快推动智能化应用建设及基础支撑能力保障有明确提及提升安全能力水平，建立健全人工智能技术监测、加强前瞻评估和监测处置，推动人工智能应用合规、透明、可信赖•阿里云可观测团队深度参与信通院云服务运行安全和可观测性领域、稳定性保障实验室等相关工作，今年也在推进大模型、智能体运维（AgentOps）等一些标准探讨及落地•牵头并参与国家重点研发计划《云原生软件生态系统智能化开发、测试与运维》项目AIOps落地挑战：如何突破数据、算力与认知困境系统间的依赖关系错综复杂,大模型容易只见树木不见森林数据关系缺失,大模型难以区分逻辑关联,可能推理幻觉数据割裂分散,大模型查不到、不好查,如同盲人摸象让大模型直接处理海量低价值密度的数据,无异于杀鸡用牛刀用户体验监控计算/网络/存储/中间件/安全/数据库/大数据/人工智能/……可观测监控Prometheus版可观测可视化Grafana版开源Grafana商业托管Grafana与Kibana可观测数据平台：统一接入、加工、存储与分析数据规整数据流转智能化依赖高质量数据并解决产品割裂带来的孤岛问题，在一个平台进行关联和分析，实现主动感知、探索的跃迁数据规整数据流转数据统一一站式功能智能分析数据统一一站式功能智能分析开箱即用的应用云产品可观测ARMS全栈可观测ITOps(开发运维)云产品可观测ARMS全栈可观测CloudLensSecOps(安全运维)SIEM对接FinOpsSecOps(安全运维)SIEM对接成本分析可观测领域全域模型NEW智能化的Ops平台工具可观测领域全域模型NEW多种数据检测和处理算法CopilotCopilot辅助数据探索处理引擎升级索引查询分析模式索引查询分析模式扫描查询分析模式扫描查询分析模式物化视图物化视图NEWSPLSPL多源联数据合分析NEW热存/低频/归档标准型/查询型数据统一建模（UModel）热存/低频/归档标准型/查询型数据统一建模（UModel）NEW时序引擎2.0时序引擎2.0NEW数据采集与管道数据写入处理器采集升级（数据写入处理器采集升级（LoongCollector）NEW新版数据加工规则消费底层存储升级（默认升级3底层存储升级（默认升级3AZ）感知层：构建更易于大模型理解的“数字孪生”世界可观测数据建模实体关联观测实体观测数据实体关联观测实体观测数据指标集 指标集 指标集数据库连接事件集数据库连接事件集 指标集-应用调用 链路集→.可观测UModel基于全栈数据图谱实现复杂问题定位与影响面分析自研AgenticAI设计：多智能体诊断闭环2）获取上下文和环境：order2）获取上下文和环境：order-service/近5分钟/prodDB连接池配置过小导致排队；建议恢复参数或关闭新特性。写入Session,LeadAgent发起诊断任务AnalysisAnalysis/Evaluate关联证据给出结论与置信度Summarize输出结论与证据智能运维助手智能巡检集群健康巡检资源水位巡检安全风险巡检智能告警智能告警规则告警规则治理告警风暴收敛智能巡检集群健康巡检资源水位巡检安全风险巡检智能告警智能告警规则告警规则治理告警风暴收敛应用分析调用链解读性能剖析解读JVM性能解读指标分析趋势预测维度下钻NL2PromQL可视化增强图表总结图表生成动态实体识别根因分析影响面分析故障总结与建议可观测可观测算法异常检测根因分析智能预测通用算子可观测可观测存储指标链路事件剖析实体拓扑智能运维助手：常见提问示例吕吕演示Demo：智能运维助手-容器洞察能力说明辅助辅助具备规划和推理能力，能排查复杂问题，给出决策建议支持对多种可观测数据的解读和分析，从海量数据中提炼关键信息基于拓扑感知实体关系，支持根据实体检索关联的可观测数据集支持使用自然语言对日志/时序库的SQL/PromQL生成及原始数据查询MCP工具典型场景AI全栈统一监控模型调用端到端链路追踪模型日志存储与评估分析•模型调用日志存储•统一日志分析平台•基于Prometheus实现前后Web/AndriodAI全栈统一监控模型调用端到端链路追踪模型日志存储与评估分析•模型调用日志存储•统一日志分析平台•基于Prometheus实现前后Web/Andriod/ios等RUMSDK托管模型服务LLM应用LLM应用LLM应用LLM应用开发平台/编排集成框架Dify/Coze/阿里云百炼/Langchain/LlamalndexPythonAgent链路上下文链路上下文链路上下文链路上下文OtelSDKOtelSDK通义千问DeepSeekOpenAIPythonAgent通义千问DeepSeekLlama3推理加速框架（SGLang/VLLM等）PythonAgent向量数据库缓存对象存储ToolsGPU集群…01用起来01用起来模型推理问题推理性能慢，服务器频繁超时，慢在哪里？模型输出的内容是否准确，是否合规？0202用得省成本问题Token消耗在哪些应用，哪些用户，哪些部0303用得好数据质量问题如何进一步提升数据的质量和准确性面向AI应用稳定性，全栈智算可观测助力业务创