高校AI能力中心建设指南 2026_第1页
高校AI能力中心建设指南 2026_第2页
高校AI能力中心建设指南 2026_第3页
高校AI能力中心建设指南 2026_第4页
高校AI能力中心建设指南 2026_第5页
已阅读5页,还剩140页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

上海交通大学网络信息中心|华为技术有限公司高校AI能力中心建设指南高校AI能力中心总体架构02 基础设施建设06 082.3配电与UPS设计 09算力平台建设10 1 15运维体系建设17 23 模型与token服务 28 29 高校应用场景38 40 41 未来发展规划46 47遇到的问题对应章节高校AI平台如何进行运维管理?第四章怎样帮助师生快速上手并用好AI平台?第七章由、多级缓存共享缓存等能力的高校MaaS/TaaS(1)数据安全与合规管控。部分涉密科研项目、敏感学(2)科研创新的自主性与连续性保障。高水平科研尤其(3)人才培养与实践教学的深度适配。校内算力平台可(4)学科融合的定制化支撑能力。校内算力平台可深度据本地低时延流转;可根据学科需求定制编译环构,校内平台承载核心敏感业务、常态化科研与教学需的是架构的先进性、服务的先进性,以及系统的可演进景”(参考《“人工智能+教育”行动计划》)为总体框高校的是架构的先进性、服务的先进性,以及系统的可演进景”(参考《“人工智能+教育”行动计划》)为总体框高校AI能力中心的物理与技术根基,承载全部算力、存Token服务四Token服务四大场景三类服务一个底座(2)助学:(3)助研:·Al教学设计和课程生成核、自动办公)·Al能力画像、就业辅助运维体系运营体系高校AI能力中心总体架构1.3.1平台定位平台定位不是单一的设备集群,而是校级公共AI能力中1.3.2建设规模CPU节点Mem:2048GBDDR5(4800MHZ)/512GBDD高性能分布式存储节点高容量分布式存储节点主存盘:16TSATAHDD*50云存储总可用容量:4.6PB1网络参数面高性能交换机交换容量:25.6Tbps交换机主型号:CE8850-64CQ-EI交换容量:12.8Tbps/204.8Tbps平台面向全校不同用户提供差异化服务。面向教师、学2.1.1空间和承重632g436546热通道64“致远一号”智算机房平面图机柜规格为底面积600*1200(mm),内部空间47U;每柜2.2.1热负载估算2.2.1热负载估算比较项优点空调风机朝向微模块内部,机房整体噪声相对较小;冷池体积小,便于精密空调控制回风温度。观;机房整体温度较低,便于临时存放必要设备。缺点机房整体温度较高(约35℃),不利于运维和空调风机朝向机房外侧,运行噪声相对较大;冷池值功率达到650kW,过去3个月内运行期间平均功率约390kW;配套空调过去3个月内运行期间平均功率约供电架构应按照设备业务重要性进行分级,明确市电、上海交通大学网络信息中心“致远一号”校级智算平台以“先进、高效、可靠、可控、海量、安全”为总体原则,采用全链路自主创新方案,配备无阻塞冗余网络和等保三级安全体系,实现大模型训推一体化的自主创新智算底(1)技术先进成熟:采用符合国际趋势的成熟技术,遵循行业标准,保持持续迭代能力。(2)高生态满足度:支持主流模型训练与推理,涵盖LLM、多模态模型、强化学习及PD分离等训推能(3)故障快速恢复:针对大模型训练中硬件故障频发问题,选型充分考虑恢复时间,减少机时浪费。应稳定的自主创新AI芯片。其单卡FP16算力313TFLOPS,配64GB片上内存,8卡整机提供512GB台搭载8颗910处理器,合计1024卡,总算力约(4)高可靠性:关键部件(电源、风扇等)采用冗余设计,降低外部环境异常导致的系统瘫痪风险。3.2存储配置存储底座是AI平台关键组成部分,需满足大模型演进对存储先进性、高性能、大容量及高可靠性的要求,建设应遵(1)高性能原则:Al大模型训练过程中的数据样本读IOPS、高带宽、高并发),避免存储性能不足导(3)大容量原则:多模态预训练大模型通常需要数十PB容量、全局统一命名空间、热冷数据自动分级能力,提供存储容量平滑扩容能力。(4)高可靠性原则:大量高质量数据是Al大模型训练的核心资产,需要存储系统架构提供极高的可靠性。(2)先进性原则:支持多种协议(S3、HDFS、NFS、在“致远一号”智算平台方案中,使用了一套架构先进、技术领先、高性能、高效率、高可靠的方案与产品,为全国高校智算场景提供了一套可参考的AI平台存储底座建设实践经验。本方案采用分布式存储架构搭建存储集群为智混闪存储HDD可得容量6.5PB。“高性能分布式存储节点型号:OceanStorPacific9950高容量分布式存储节点型号:OceanStorPacific9550主存盘:16TSATAHDD*50云对象存储总可用容量:2PB1云块存储1云文件存储1(1)高性能全闪存储层:满足高带宽、高IOPS需求,存储训练数据集、Checkpoint、待处理原始数据等热(2)大容量混闪存储层:满足大容量、低成本诉求,存岔客户核心交换机(下行40口)(下行110口)(上行10口*100G)两层之间通过动态分级机制实现自动数据流动:基于文件池策略定义数据价值,高价值数据自动驻留高性能层,低价值数据自动迁移至大容量层。整个过程对业务完全透3.3网络配置(2)模块化设计:按业务属性与功能差异划分为多个独立功能区域。核心区负责全网数据交换与算力调迭代即可平滑升级至400GE乃至800GE,无需重010GE交换机10025GE交换机*2异腾A加速卡扩容000奥服务器通过16条400服务器通过16条400GE一分二光纤连接,构建1:1障。业务面接入交换机通过100GE端口下连服务仍可通过API等上层接口作为独立业务系统与云平台对接。(1)通算区:部署云平台底座及模型训练一体化平台。速卡接入参数面TOR交换机,参数面汇聚与每台核心交换机租户主机安全安全通信网络对管理面及出口进行边界隔离和访问控制国密SSLVPN提供IPSECVPN和客户端证书认证能力,支持运维安全区域防范外部Internet的DDoS攻击,包含检测、拦截设备和管理联动中心;在出口路由器,配套Anti-DDoS进行完成引流和回注;对出口流量(含管理面)的访问进行入侵检测,发现网络进行行为审计,对内容进行还原,分析敏感行为Web应用防火墙安全提供漏洞发现、资产发现能力数据加密(依赖加密机)为云平台提供密钥创建、密钥管理能力,保护加密数据安全安全中心云平台内置的系统加固、虚拟机隔离、API安全等功能日志审计云服务的操作审计和日志审计安全运营中心云平台密码系统服务为云平台提供SM2/SM3/SM4等商密标准算法,云平台证书签发服务自研的CA、RA等软件(配套服务器密码机使用),进行商密证书的签发、理平台通过TLS证书认证与API网关实现访问控(2)存储安全:实现数据隔离、访问控制及可靠存储,(3)数据销毁:内存分配前清零;支持一键逻辑删除;个/八八平台性能监测架构图底层资源侧通过node_exporte十户4.2使用量统计Top页面展示两类数据:通过/stats/realtime接口获取的实时运行指标(每5分钟刷新),通过/stats/daily接口获取的每日聚合指标(支持近7天、近30天两个时间范围查阅)。时可用率;按模型、机构业务、个人用户展示的当日使用量统计面板采用前后端分离架构实现,后端由API服务进程与Worker采集进程组成,共享同一数据库(支持读写并API服务层(FastAPl+uvicorn)智算卡数表格服务状态24h心跳条+可用率Key和模型名称区分),写入key_usage/mod-Worker定时调度(基于apscheduler)执行三类任vice_history表(保留7天,自动清理过期记录)、4.3.1人员组织项目安排了5名驻场人员,包括运维经理1名,以及MA运维、云资源运维、数通网络运维、服务器运维各1名。驻场运维人员职责表1名驻场组织日常运维协1名驻场大模型部署与监测、模型故障定位恢复、自动化运维云资源运维1名驻场计算/存储/网络资源监测、配置和容量管理,故障排查、性能优1名驻场交换机/路由器监测维护,网络连通性和性能故障处理,网络架构与容量优化1名驻场校方与驻场人员分工职责表服务所有者;负责资源与账号审批、重大变更和停服决策、安驻场运维经理及专业线负责日常监测、例行配置、一线受理与初判、故障止损和恢复、经批准的变更实施、资源交付、运行报告与跨专业协同。负责复杂产品缺陷、疑难性能问题、补丁与版本问题、硬件维修和备件更换,并提负责上层应用、业务配置和租户内数据;遵守资源与安全规范,提供故障复现信用户问题可通过使用手册、线上工单、用户社群进行反(1)发现与登记:由监测告警或用户报障触发,统一记(2)分级与分派:按照业务影响、影响范围、数据与安(4)升级协同:超出驻场权限、能力或约定时限的事(6)验证与关单:由平台和受影响用户共同验证服务、ModelArts类平台应定位为面向师生的一站式AI开(1)进入统一门户:师生通过校级统一身份认证登录,(3)核定项目配额:平台依据项目已有额度、资源利用(4)创建开发环境:用户按需创建Notebook或训练作(5)开展开发与训练:数据、代码和模型宜通过对象存(6)结束并释放资源:任务完成后停止或删除实例,保弹性云主机服务弹性云主机是由处理器、内存、操作系统和云硬盘组成的基础计算服务,可支持课程实验、科研软件运行、数据处理、应用部署及AI工具链辅助环境。平台提供标准化镜像、规格和网络模板,使用户在核定配额内自助创建、启动、停用和删除资源;对于长期稳定负载,可结合物理机或专属资源形成补充。弹性云主机服务的申请流程如下:(1)提出申请:申请人选择所属项目,说明使用场景、(3)平台核配:运营人员根据项目配额、资源库存、期(4)自助开通:审批通过后,用户在控制台选择区域、(5)运行管理:用户负责主机内软件、账号和数据安(6)变更与退出:扩容、续期和公网访问等变更应重新24225云主机仅在运行状态下允许登录。同时提供控制台远程登录和网络远程登录两类方式,并根据操作系统、网络条件和安全等级进行选择。控制台VNC方式通常不依赖弹性公网IP,适合首次配置和故障排查;网络远程登录效率更高,但应配置受控网络路径及最小化安全组规则。网络远程登录Linux服务器优先使用密钥;限制22端口来源;妥善保管私钥Linux服务器(1)访问页面并下载表单:进入资源申请页面,阅读裸(2)填写申请人与项目责任:填写项目负责人、所属单(3)完成适配与资源论证:如实勾选算法是否已在昇腾226台完成规格、镜像、系统盘、台完成规格、镜像、系统盘、VPC/子网/IP、(5)核定项目、配额与期限:审核通过后,将获批规服务门户访问平台登录页,点击“jAccount申请资格和可见服务由身份、所属单位和服管理控制台审核开通后,获授权项目成员通过jAccount进入项服务器实例Linux通常通过SSH、Windows通访问;具体初始用户名、端口和认证方式以镜像、安全组和交付单为准,可采用密钥对或密码。交付单记录实例/节点、IP、访问路径、初始录密码或私钥明文。网络路径或教学任务的必要性、昇腾适配情况、所需物理节点及机器,只能在审批确定的资源范围和使用期限内开展工6.2部署方案6.2.1GLM-5.2部署方案APIServerAPIServer填充吞吐,设置max-num-batched-tokens=8192、max-num-seqs=24、gpu-memory-u并启用分块预填充和eager执行;Decode侧面向持续生成,设置max-num-batched-tokens=128、max-num-seqs=8、gpu-memory-utilization=0.95,启预测3个token的推测解码。两类节点使用相同模型权重,均采用DP=4、TP=8及专家并行,其中Prefill和Decode的ContextParallel分别为1和8,KVCache交错粒度为128。载均衡代理提供统一访问入口,由代理维护Prefill和后,vLLM通过张量并行将模型分布到节点内的多张6.3模型测试模型测试是大模型服务上线前的核心准入环节,旨在从能力匹配度、性能达标度、稳定可靠性三个维度全面验证模型服务是否符合生产环境部署要求,确保上线后服务质量可控、用户体验稳定。测试工作遵循"量化指标、可复现、可对比"原则,所有测试结果均形成标准化报告归档,作为上线决策的核心依据。模型测试覆盖能力质量、关键性能、压力稳定性三类核心指标,所有指标均需达到上线要求方可进入下一流程。采用行业通用权威测试集对模型核心能力进行量化评估,测试评分与模型官方发布评分绝对误差需小于3%,确保部署后评估重点中文能力中文知识储备、语言理解和综合应用能力英文及综合能力逻辑与数学能力逻辑推理、数学运算和复杂问题求解能力代码能力代码生成、代码调试及软件工程相关能力关键性能指标测试在单模型实例、并发数20的标准条件下开展,重点验证服务响应效率与吞吐量表现:TTFT(首字延迟)TimeToFirstToken到接收到第一个Token的时间。流式输出模式下,平均TTFT≤3s(4k/1k),平均TTFT≤10s(16k/1k)输出Token吞吐量≥300token/s输入+输出token吞吐量(用例上下6.3.3稳定性测试行72小时,要求API请求成功率≥90%,系统无内存泄6.4.1多实例部署监控监控RPM限制用于控制模型服务的请求速率。可在用enforce_model_rate_limits,使模型级限流求转发前生效。model_group_alias可用于配置模型别6.4.3智能路由为此,在LiteLLM统一网关与后端模型之间部署vLLM8pcsA2分类规则分析、权衡、比较、推导等复杂推理任务内容创作、生成、修改和润色wrong-answer-escalati用户反馈上一轮回答错误want-different-escalati用户要求提供不同方法或答案未命中其他规则时的默认兜底经过业务验证,智能路由模型调度准确率为88%,任务-模型匹配度提升53个百分点,通过规避“小任务大模型”节省了32%推理资源。A2-2A2-3A2-4A2-5A2-6A2-7缓存池A2-1A2-8A2-9倍。7架构中的实线表示主要访问或数据流向。门户负责身份、容器负责智能体运行;模型服务、消息平台和用户持久化文件属于容器依赖或数据出口。模型、渠道、预制能力配置角色文件与工作文件飞书/微信基于门户,可部署不同的智能体服务,例如OpenClaw、Hermess等。智能体部7.2.1镜像封装7.2.2服务配置对门户的7.2.2服务配置对门户的service.yaml文件进行配置,包括服务Claw,包括模型、预制能力、渠道等。通过聊天界面端预制能力是AI智能体托管平台为常见高校场景准备的角色设定、技能和工作流集合。它的目标是让用户在完成模型配置后即可使用经过整理的任务能力,减少重复编写系统提示词、安装技能和准备工作区的成本。智能体预制能力表主要能力公文和邮件草拟、会议纪要、文档整理、校内服务问答教职工、行政部门消息渠道使用户可以在常用协作工具中向自己的OpenClaw智能体发送消息。渠道接入由智能体容器内的配置向导完成。飞书扫码创建个人机器人,或手动填写AppID和AppS课程群、课题组、项目协作和办公通知扫码绑定微信机器人账号渠道接入能力由镜像中的插件和运行时版本决定。新增钉钉、企业微信等渠道时,应先完成插件适配、凭据存储、消息权限、回调网络和数据合规评估,再在配置向导中开放。加灵活的资源调度能力。第二类是大规模训练和计算任 用环境,其中训练集群配置128张昇腾910NPU。服务力。初次训练使用14个8卡节点,全局批大小为112,8.2赋能教学服务。上海文通大等AI实践教学平台管理端Hi,高亦沁G全部课程人工智能基础(A)医学影像学8课程负责人:李若坤8课程负责人:管海兵实验库管理码和AI问答等功能。教师可进行实验内容管理、镜像配独立实验容器,根据课程和实验需求动态分配CPU、供实践支撑,覆盖2600名理工科一年级学生、37个教学班和27位授课教师;同时为4门大模型和智能体课程覆盖约700名学生。8.3赋能管理人用户超过1万人,活跃用户约5700人,累计Token调9.1.1资源申请APIKey申请流程如下:(1)登录“交我办”网页端/,或(2)搜索【“致远一号”AI模型API申请(测试)】→(3)填写申请表→提交申请。(4)申请通过后会在系统填写的邮箱及交我办消息中收9.1.2服务开通9.1.3服务支持(1)分层服务机制普通个人用户自助服务教学项目团队(2)官方用户社群AI诊断结果时身份验证未识库显示完成时(绿色√),刷新后又显示“嵌入失败404”,想请问这个该因为这不是嵌入模型吧嵌入模型应该是embedding类的,这些都embedding这些才能当嵌“交我算”用户群8(500)@Rekawiia您好,医学院您访问API的方式目前是浏览器直接输入的chat/completions是可以的是的,访问路径不全点击查看可以矣老二下船建云养虾交流群(19)@……刘老师,我想在小我要在邮箱里开启IMAP/以进行这项设置的地方?交大办公镜像吗是的务,用这个email-mail-master技能就可以了,可以参考这个问法如何申请扩容(4)工单系统(1)“走进院系”系列宣讲(2)智能体专题培训(3)“云养虾”优秀案例交流会环境适配跑起来代码优化跑得快9.3.1支撑团队文39篇。与知识共享,形成跨学科的“科学家集群”,在材料设同时提供版本管理、运行监测、问题反馈和持续更新能务形态,满足从通用模型调用到独立算力使用的不同需施支撑下,科研工作将从“单兵作战”的传统模式转向阔的认知疆域中自由探索,持续推动人类知识边界的拓认机制,在提升工作效率的同时保障数据安全和业务责化为师生能够自主开发、便捷部署和持续使用的智能服在资源配置方面,对于常规调用需求提供大模型API服合模型实际容量、近期负载和公共安全余量进行动态调(1)国务院:《新一代人工智能发展规划》,国发[2017〕35号。(2)教育部:《高等学校人工智能创新行动计划》,2018年。(6)ISO/IEC42001:2023,Infomation(8)《“人工智能+教育”行动计划》,教科信〔2026--data-parallel-size--data-parallel-address{Prima--data-parallel-pc-port2347\--mm_processor_cache_ty设置为1,--data-parallel-address仍指向主节点IP。--data-parallel-siz--data-parallel-address{Prima\50预填充吞吐,配置max-num-batched-tokens=8192tion=0.90,同时启用分块预填充和eagDecode侧侧重持续生成,配置max-num-batched-tokens=AscendStoreConnector:Mooncake--data-parallel-pc-port--prefill-context-pa--decode-context-parallel-size8\--cp-kv-cache-interleave-siz--served-model-nameglm-5.21--async-scheduling\--max-num-batched-tokens8192\--max-num-seqs2--gpu-memory-utilization0.90\--safetensors-load-strategyprefetc--quantizationascend\--enable-auto-tool-choice--reasoning-parser--speculative-configlocal_ip=$(ifconfig--data-parallel-rpc-port--served-model-nameglm-5.21--tool-call-parserglm47\4,8,16,24,32,40,48,--additional-config4\88例列表,并将请求调度到相应的推理节点。代理启动命令如下,实际部署时需填写各节点的IP和模型服务端口:DeepSeek-V4-Flash详细部署方案后,VLLM通过张量并行将模型分布到节点内的多张--served-model-name--quantizationascend\--max-num-seqs32\--gpu-memory-utilization--trust-remote-code\--tokenizer-modedeepseek_v4\--tool-call-parserdeepseek_v4\--reasoning-parserdeep--no-disable-hybrid-kv-cache---additional-config'{"ascend_compilation_config":{"enable_npugraph_ex":true,"en-able_static_kernel":false},"enable_cpu_binding":true,"enable_\\"#智能路由逻辑入口;正常请求会在回调中被改写为实际目标模型#仅对auto类型的文本生成请求启用智能路由json={except(httpx.HTTPEror,ma(A2)、device_sdma(A3)、hdevice_urma(A5)、device_uboe(A5)等负责管理整个集群中内存池空间的分配和管理,处理降低TTFT(首token响应时延)。下步骤说明步骤2:安装MemCache容器内安装MemCache配置mmc-meta.conf+mmc-local.conf文件,拉起MetaService步骤4:拉起开启MemCache特性的拉起命令中,配置相关环境变量并配置开启MemCache昇腾910NPU算力资源组成计算集群,集群内部通过力。校内科研人员依托熟悉的Slurm命令行方式接入集调度+昇腾镜像+MindSpeed-MMFSDP)已完成端到(1)建设目标对齐128卡(16×8)并行训练能力,可弹性缩放120~换、数据预热固化为标准应用服务(2)技术路线换、数据预热固化为标准应用服务(2)技术路线(3)总体架构科学大模型训练应用服务拆为五层,上下解耦、配置统一:内容昇腾节点、高速互联、每节点8×Ascend910B级NPU、/shared+/local驱动与运行时CANN、torch_npu、Python固化于训练镜像训练框架MindSpeed-MM/MindSp入口mindspeed_mm/fsdp/train/t领域语料、HF/DCP权重、ChemDFMready语料+共享cache+DCP云调度或裸金属直连主路径:Slurm;附录:裸金属(4)环境搭建方案硬件与系统基线:每节点8×Ascend910B级CPU/内存约192核/TB级内存/shared:代码、语料、权重、checkpoint、HFlocal或$SLURM_TMPDIR:作业临时文控制器与计算节点分离;计算分区注册GRE软件栈与训练镜像:/shared/xuanyu.zhu/MindSpeed-MM-interns2(PYTHONPATH指向共享树)训练入口mindspeed_mm/fsdp/train/traine3.11.x(镜像内)并行后端FSDP(NON_MEGATRON=true),MoE经model_id:qwen3_5_moe支持训练镜像软件清单与版本:版本(镜像A)自定义算子cann-8.5.2/opp/vendors/custo值(镜像A)MindSpeedCoreCommworkspace/MindSpeed-MM(打进镜像,自包含)远程仓库/chenjingsheng/Mi(5)数据准备与cache预热chem/gold_book/libretexts-text/bgithub/translation/scihub-text,统一为jsonlCache预热(正式大规模开训前完成):多机按jsonl文cessed_path直接load_from_disk,避免100+卡启动bashstart_pretra

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论