《人工智能通识与进阶》 第11章 智能计算系统架构与开发

第十一章

智能计算系统架构与开发12智能音箱/智能语音助手你问“今天天气怎么样？”系统为什么能听懂、理解并回答？问题与导读：一个智能应用，是怎样来到我们手中的？电商推荐系统你刚浏览过商品，平台为什么很快就推来“更懂你”的推荐？这些智能服务，背后真的只是一个“模型”吗？本章目录11.1从模型到系统：AI应用为什么需要架构11.2智能计算架构基础：AI靠什么跑起来11.3AI应用开发全流程：从数据到部署11.4开发闭环与案例总结1本章目录11.1从模型到系统：AI应用为什么需要架构11.2智能计算架构基础：AI靠什么跑起来11.3AI应用开发全流程：从数据到部署11.4开发闭环与案例总结1511.1从模型到系统：AI应用为什么需要架构系统观从“能用”到“能做”：AI应用背后不只是一个模型用户看到的“前台功能”听懂并回答商品推荐真正支撑这些功能的，是一整套后台系统！611.1从模型到系统：AI应用为什么需要架构案例收集与标注植物图片形成高质量数据集选择合适算法与实现方式学习叶形、花瓣等特征模型训练与调优不断提升识别准确率封装为APP并发布让用户可以真正使用根据错误继续迭代把识别问题送回开发端分阶段构建，而不是“一次完成”【案例】校园植物识别APP：一个AI应用是怎样逐步形成的？7AI应用的形成阶段分成两种状态：开发态与运行态11.1

从模型到系统：AI应用为什么需要架构核心概念开发态定义：人工智能应用从数据源出发，经过数据处理、知识提炼、模型构建、训练调优，最终生成可部署应用的过程。核心关注：从“数据”到“应用”的生成。本质：把能力“做出来”运行态定义：人工智能应用被部署并实际投入使用后，通过推理服务处理真实输入、输出结果并为用户提供价值的过程。核心关注：把“模型能力”转化为“服务能力”。本质：把能力“用起来”8【案例】智能语音助手开发全流程11.1

从模型到系统：AI应用为什么需要架构案例9为什么说AI应用开发是一项系统工程？11.1

从模型到系统：AI应用为什么需要架构总结智能语音助手嘈杂环境下仍要“听得清、答得准”电商推荐系统既要懂用户偏好，也要兼顾业务约束自动驾驶等复杂系统需要在动态环境中做出安全决策AI应用开发不是单一算法的堆砌，而是覆盖“数据—算法—模型—系统”的综合性系统工程，需要各个阶段多种软硬件资源的支持。本章目录11.1从模型到系统：AI应用为什么需要架构11.2智能计算架构基础：AI靠什么跑起来11.3AI应用开发全流程：从数据到部署11.4开发闭环与案例总结11111.2智能计算架构基础：AI靠什么跑起来智能计算硬件架构：支撑AI应用落地的技术底座•计算决定“能不能高效算”•存储决定“能不能持续供数”•通信决定“多设备能不能协同”技术底座1211.2智能计算架构基础：AI靠什么跑起来计算发生在哪里：云计算与边缘计算高效计算边缘计算（EdgeComputing）把计算能力下沉到靠近数据源的位置，如手机、智能音箱、自动驾驶汽车或工厂设备。优势：响应更快、隐私更好、网络带宽压力更小。一句话理解：云更擅长“重型处理”，边更擅长“实时响应”。云计算（CloudComputing）像一个集中的“超级大脑”，大量数据与复杂计算任务通过网络送到远端数据中心，由大规模服务器集群统一处理。优势：算力强、资源弹性大，适合模型训练和重型分析任务。1311.2智能计算架构基础：AI靠什么跑起来现代AI通常采用“云边协同”高效计算云端模型训练数据分析参数更新边缘设备本地推理实时交互就近响应训练需要大算力和大规模数据，适合放在云端推理；更强调低延迟与本地响应，适合发生在边缘端；云边协同兼顾“强算力”和“快响应”。11.2智能计算架构基础：AI靠什么跑起来高效计算CPU：全能“管家”擅长逻辑控制、任务调度、数据预处理通用性强，能够处理复杂多变的指令面对大规模并行矩阵运算时效率相对较低GPU：并行“流水线工厂”拥有大量并行核心特别适合深度学习中的矩阵/向量运算目前是模型训练与推理的重要主力TPU：AI“专用加速器”面向张量运算做硬件级优化能效比高、吞吐量大更适合大规模训练和批量推理场景一句话理解：CPU重通用控制，GPU重并行加速，TPU重AI定制优化。14算力引擎：多样化的核心计算组件1511.2智能计算架构基础：AI靠什么跑起来高效计算为什么GPU会成为深度学习训练主力？CPU“总管式处理”少量强核心，适合复杂控制与调度GPU“流水线并行处理”大量并行核心，特别适合矩阵/向量运算深度学习中存在海量乘加运算，可被拆分后同时处理，GPU不是“万能”，但非常适合并行密集型任务，因此模型训练往往由CPU与GPU协同完成。11.2智能计算架构基础：AI靠什么跑起来高效计算异构计算：协同作战的“混合编队在同一个系统里，让CPU负责分配任务和复杂逻辑，让GPU或专用芯片负责疯狂计算，大家强强联合。专用场景芯片：“节能专家”针对特定场景（如自动驾驶、智能家居传感器）深度优化的芯片，核心目标是在边缘计算场景下追求极低的功耗和毫秒级的实时响应。16算力引擎：多样化的核心计算组件1711.2智能计算架构基础：AI靠什么跑起来不只有算力：存储是AI系统的“数据枢纽”海量存储高速内存：解决“送得快”当数据进入GPU/TPU计算时，如果供数速度跟不上，再强的芯片也会“等数据”。高带宽内存相当于芯片旁边的高速工作台，能够持续快速供数。一句话理解：分布式存储负责“海量保存”，高速内存负责“近距离高速供数”。分布式存储：解决“存得下”面对大规模训练数据，单一硬盘远远不够。分布式存储把数据分块保存在多台服务器上，通过统一调度实现并行读写，适合海量数据长期保存与快速访问。1811.2智能计算架构基础：AI靠什么跑起来数据为什么还要“跑得快”：通信网络低延迟通信高速互联：芯片与设备的“专用车道”PCIe：通用高速接口连接CPU、GPU、高速存储、网卡等部件，更适合中小规模训练或本地通信场景。NVLink：GPU专用高速通道面向GPU间高速互联设计，更适合多GPU集群和大模型训练。智能网络：数据流的“交通调度中心”可编程交换机：智能路口不仅能转发数据，还能在路口直接把数据“算”了。软件定义网络SDN：虚拟车道根据任务紧急程度，动态划出“虚拟车道”。一句话理解：高速互联解决“数据流动慢于计算速度”的矛盾，智能网络解决“当几万台设备同时开工，如何不堵车？”的问题。1911.2智能计算架构基础：AI靠什么跑起来分层架构从硬件到软件硬件层提供计算（如GPU/TPU芯片）、存储（如分布式存储系统）、通信（如高速网络）资源，为全流程提供物理算力支撑。智能计算架构基础软件层通过训练框架（如PyTorch）、编译框架、资源调度系统封装硬件能力，简化开发复杂度。应用层基于上层接口实现具体场景功能，例如模型训练依赖GPU集群的并行计算能力，应用发布需容器化平台保障跨设备兼容。各层级通过接口调用实现能力传递2011.2智能计算架构基础：AI靠什么跑起来分层架构为什么智能计算架构必须分层？分层的目的：提高复用性与开发效率。让底层更高效，让上层更易开发。智能计算架构架构需同时覆盖AI应用开发态与运行态全生命周期：开发系统聚焦模型研发，包含芯片、训练框架、开发环境等组件，支撑数据处理、算法实现与模型训练；运行系统聚焦模型部署与运维，通过芯片指令集标准、AI编译框架、垂直领域开放平台等确保模型高效推理。本章目录11.1从模型到系统：AI应用为什么需要架构11.2智能计算架构基础：AI靠什么跑起来11.3AI应用开发全流程：从数据到部署11.4开发闭环与案例总结12211.3AI应用开发全流程：从数据到部署流程总览六个彼此衔接的阶段如果我们想做出一个真正可用的AI应用，它通常会经历哪些阶段？先有输入，再有学习数据准备决定模型“看见什么”；算法选择与实现、模型训练决定系统“怎样学”。训练完成并不是终点评估与调优帮助发现问题；应用生成与发布让模型能力真正转化为服务能力。真正的应用还会继续变化运行中产生的新数据和新问题，会推动维护与迭代，形成持续改进。2311.3AI应用开发全流程：从数据到部署阶段匹配不同阶段，需要的支撑并不一样开发阶段典型支撑组件它在这一阶段主要做什么数据准备分布式存储、CPU集群存数据、清数据，让样本能被高效读取与处理算法选择与实现训练框架、代码仓库写算法、管版本，把思路变成可运行代码模型训练GPU/AI芯片集群、分布式训练框架提供大规模算力，加快参数更新与模型收敛评估与调优性能监控工具、算力调度系统跟踪指标变化，发现问题并动态分配资源应用生成与发布容器化平台、云服务器把模型打包部署，让应用跨设备稳定运行维护与迭代日志分析系统、边缘设备发现运行难例，支持快速修复与持续优化不同阶段依赖的系统组件并不一样；阶段和组件匹配得越精准，开发效率越高。2411.3AI应用开发全流程：从数据到部署阶段一阶段一：数据准备——先让系统“看见”真实世界举例：拍很多植物照片并标注名字如果照片模糊、标错名字，模型就会学错（比如把草当成花）。开发者需要收集原始数据、进行清洗与标注，再按用途划分为训练、验证和测试等不同部分。数据越贴近真实场景，后续训练越有意义。2511.3AI应用开发全流程：从数据到部署阶段二阶段二：算法选择与实现——为任务找到合适的方法举例：选一个能“看图识物”的方法识别图片不能用处理文字的方法，必须选能识别图片的模型。图像识别、语音理解、推荐排序所面对的数据形式和目标都不同，因此需要选择不同的算法思路与模型结构。2611.3AI应用开发全流程：从数据到部署阶段三阶段三：模型训练——让模型从样本中逐步学会任务举例：让模型反复学习这些图片就像做题训练，做得越多，错得越少。模型会不断读取样本，比较预测结果与真实答案之间的差异，再根据误差去更新参数。经过多轮训练后，模型的输出通常会越来越接近目标。2711.3AI应用开发全流程：从数据到部署阶段四阶段四：评估与调优——发现问题，再把结果做得更可靠举例：看看识别对不对，不对就改在训练图片上全对，不代表现实拍照也能识别（可能换个角度就错）。训练集上的表现好，并不代表模型在新样本上也一定表现好。评估的目的，就是检验模型是否真的具备稳定、可靠的泛化能力。2811.3AI应用开发全流程：从数据到部署阶段五阶段五：应用生成与发布——把模型能力变成服务能力举例：做成手机APP给同学用模型还不能直接用，必须做成APP或网页，别人才能用。模型本身只是能力的核心部分。要真正给用户使用，还需要把它封装成应用、接口或服务，并和其他模块一起组织成可运行的系统。2911.3AI应用开发全流程：从数据到部署阶段六阶段六：维护与迭代——真实使用会推动系统继续进化举例：收集识别错误，再改进模型新出现一种没见过的植物

→

识别失败

→

加入训练

→

下次就能识别维护与迭代会把运行中的反馈重新带回开发环节：记录指标、回流数据、更新应用。正是这种持续改进，让AI系统越用越稳、越用越好。本章目录11.1从模型到系统：AI应用为什么需要架构11.2智能计算架构基础：AI靠什么跑起来11.3AI应用开发全流程：从数据到部署11.4开发闭环与案例总结13111.4开发闭环与案例总结开发要点系统观：知道AI应用为何不能只看模型。架构基础：知道系统靠什么跑起来。开发六阶段：知道一个应用怎样被做出来。但是，一个真正可用的AI系统，上线之后，开发并没有真正结束。成熟系统的关键，在于能否把“运行中的真实反馈”继续变成“下一轮优化的输入”。AI系统开发要点总结：3211.4开发闭环与案例总结闭环思维开发态语音识别/语义理解/语音合成训练、调优、整合多个模块形成可部署的应用能力运行态用户真实说话并发出请求系统实时推理并输出结果在使用中暴露错误与偏差错误样本用户纠正效果监测运行态不是终点，而是新一轮优化的起点。开发态与运行态通过反馈形成持续迭代闭环智能语音助手为例：3311.4开发闭环与案例总结闭环思维为什么AI系统必须持续迭代，而不是“一次交付就不再变化”？•用户表达方式会变化•数据分布会变化•新类别、新需求会持续出现同一个模型，在新环境里可能不再像训练时那样稳定。•语音助手会听错词•系统会推荐偏离兴趣的内容•识别系统会在边缘样本上失误这些运行中的问题，恰恰是下一轮优化最有价值的线索。•对难例进行清洗与标注•用回流数据继续训练模型•通过小范围试运行后再全面更新持续迭代，才会带来长期可用性。从用户说话方式的变化，到新场景和新类别的出现，系统只有在更新中才能保持“高可用”。场景在变化错误会暴露出来系统要学会适