2024汽车AI大模型TOP10分析报告-佐思汽研-

微调预训练预训练语言模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型将模型在大规模无标注数据上进行自监督训练得到预训练模型比传统人工智能模型·微调预训练预训练语言模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型将模型在大规模无标注数据上进行自监督训练得到预训练模型比传统人工智能模型·预训练模型在下游应用中具AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型大模型特点从海量数据中自动学习知识Big-dataDriven，模型基于大规模语料训练而成；Multi-tasksAdaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；Few-shot(Zero-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。预训练语⾔模型“预训练预训练语⾔模型“预训练+微调”技术范式不同特定任务有标注训练数据模型微调⼤规模⽆标注⽂本数据模型预训练测试数据最终模型产业研究战略规划技术咨询22017年，Google提出Transformer框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。2018年Google和OpenAI基于Transformer提出了预训练语言模型BERT和GPT，显著提高了NLP任务的性能，并展示出广泛的通用性。众多预训练模型相继涌现，OpenAI以GPT2、GPT-3、ChatGPT等系列模型为代表，持续引领大模型时代的浪潮感知201220132014201520162017201820192020202220222023认知大模型发展历程感知201220132014201520162017201820192020202220222023认知大模型发展历程计算机视觉AlexNetAlexNet(图灵奖得主Hinton)CANCAN(Gioodfellow.图灵奖得主Bengio)ResNetResNet(MSR.引用183222)跨模态模型ViT(Google)GPT-4V(OpenAI)ViT(Google)GPT-4V(OpenAI)(OpenAI)自然语言处理Word2Word2Vec(Google.引用78550)Attention(图灵奖得主Attention(图灵奖得主Bengio)BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationBERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationModel(Stanford)PaLM(Google)ChatGPT(OpenAI)ERNIE(百度)CPM(智源)GLM(洁华)Transformer(Google.引用91332)预训练模型大模型来源：大模型驱动的群体智能行业白皮书产业研究战略规划技术咨询3大模型参数规模不断增长，推动大模型参数规模不断增长，推动AIGC技术升级。AIGC技术发展的背后是大模型（FoundationModels）技术的持续迭代。从2017年Transformer结构的提出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。图1：2018-2023年模型参数规模变化图图1：2018-2023年模型参数规模变化图来源：中国人工智能系列白皮书图2：图2：CPU与GPU算力演进比较来源：techovedas，国元证券产业研究战略规划技术咨询4图4：训练芯片算力成本呈下降趋势图3：英伟达GPU图4：训练芯片算力成本呈下降趋势图3：英伟达GPU架构演进图英伟达每2年推出一个微架构，对产品线进行升级，6月2日，英伟达在Computex2024大会上发布了至2027年的芯片路线图，GPU迭代周期由2年缩短到1年，走类似英特尔的Tick-Tock模式（一年工艺一年架构）。同时，英伟达践行“BuyMoreSaveMore”让算力成本指数级下降。我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主；2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraflops算力，以及性能密度超过每平方毫米370gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。来源：浙商证券研究所、华泰证券研究所产业研究战略规划技术咨询5中国科技企业的市场导向和商业化压力常使得大厂技术部门在追求KPI的同时，中国科技企业的市场导向和商业化压力常使得大厂技术部门在追求KPI的同时，难以专注于前言技术的研发 商业化压力大行业高精数据短缺中国在高质量数据获取方面面临挑战，主要由于缺乏完善的数据法规、行业内固有的竞争性保密性，对开源合作文化的不足中国科技企业较少开展全球化经营，导致在营收、人才获取、全球化商业场景方面制约明显中文语料 全球化中国科技企业较少开展全球化经营，导致在营收、人才获取、全球化商业场景方面制约明显中文语料 全球化经营短缺数据人才相较于英文、中文高质量开源数据非常少，特别是在构建通用领域大模型的百科类、问答类、图书贡献、学术论文、报告杂志等高质量内容发展发展AI大模型相关的软硬件技术需要大量人才，大量的优秀本科生选择出国深造，而其中超过60%的毕业生选择在海外工作，导致长期的优秀人才流失。另外在中西方脱钩的背景下，美西方限制了对中国高科技人才的培养与学术合作交流人才流失与、数据和语料的同质化人才流失与、数据和语料的同质化人才短缺由于各类政策管制和商业模式复制壁垒低，导致的基础数据和语言语料同质化产业研究战略规划技术咨询6科技大厂科技大厂创业新势力产业研究战略规划技术咨询7人模型测评方法论人模型测评方法论综合各测评平台的方法论来看，在基础能力的测评维度基本相同，仅测评数据集和评估权重占比不同；而在基础能力之外，各综合各测评平台的方法论来看，在基础能力的测评维度基本相同，仅测评数据集和评估权重占比不同；而在基础能力之外，各测评平台侧重点不同沙利文IDCOpenCompass沙利文IDCOpenCompass2.0司南Language语言Language语言知识Knowledge知识Knowledge推理推理ReasonReasonMath数学Math数学代码Code代码Code超长文本AgentTo超长文本AgentToC通用场景类其他OtherAgent其他OtherAgent特定行业类道德责任ToB特定行业类特定行业类道德责任ToB特定行业类产业研究战略规划技术咨询8IDC测试题目分为基础能力和应用能力两个大类共7个维度IDC采取实测的方式，成立产品测试团队，通过多个维度对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，在审核委员会的监督下，最终得出各厂商的评估结果，供用户选型参考。应用能力问答理解类常识、专业知识、多语言、多模态、角色扮演+多轮对话、安全陷阱应用能力问答理解类常识、专业知识、多语言、多模态、角色扮演+多轮对话、安全陷阱推理类情感推理、演绎推理、逻辑推理、归纳推理、类比推理创作表达类文字创作&创意、内容改写/续写、修改/润色、文字处理、编辑/语义匹配、摘要提取、关键、字提炼、标题生成、文本风格迁移、图像创作、短视频创作(文生视频)、其他创作(文学艺术、商业通用)数学类小学数学、初中数学高中数学、高等数学推理类代码生成、编程翻译代码解释、代码纠错代码自动补全生成代码文档单元测试基础能力创作表达类问答理解类数学类推理类代码类toC通用场景类生活助手办公工具toB特定行业类金融:推荐场景金融/咨询服务:财报/市场分析互联网/媒体:文案/海报设计、广告词创作、视频生成场景零售/电商:客服问答工业:产品设计辅助&&生产规划教育:智能问答、试题生成法律:智能法律助手，法律咨询医疗:问诊，用药咨询科研产业研究战略规划技术咨询9我们跟踪研究了多个通用大模型，其中包括：TencentHunyuanErnie-4.0Spark4.0UltraSenseChatV5Qwen-MaxTencentHunyuanErnie-4.0Spark4.0UltraSenseChatV5Qwen-Max-0428CongRong2.0GLM-4Baichuan4Yi-LargeCongRong2.0GLM-4Baichuan4Yi-Large产业研究战略规划技术咨询10迪用大模型2024年发膳趋势在2024年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准化未来的技术演进方向是实现大模型底层框架的整合与标准化，未来的技术演进方向是实现大模型底层框架的整合与标准化，从多样的架构（如双编码器、单边解码等）转向统⼀的、效率最优化的开源底层框架，提升模型的通⽤性和可维护性。在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实用、更易于产业落地的小型化大模型。为确保模型质量和性能，未来的大模型将采⽤更深层的⽹络结构和更庞⼤的数据集进⾏预训练，尤其在数据量和参数量上将迎来显著跃升。大模型将逐渐融入图⽚、⾳频、视频等多种模态信息，实现跨模态的交互与理解，从⽽拓宽其应⽤场景和实⽤价值。技术端大模型小模型化参数规模扩展模型整合统一多模态融合优化和完善现有数据标准和规范，是推动大模型优化和完善现有数据标准和规范，是推动大模型“燃料”质量提升和数量增长的重要驱动力，在2024年将作为产业发展的首要任务。为确保中国大模型的长远发展和避免外部制裁风险，国内AI计算芯片的自主研发将成为关键战略方向。为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上进⾏针对性调整）将成为除行业巨头外企业的主要发展策略。随着大模型性能的飞速提升和实⽤性的增强，确保AI技术与社会伦理道德标准相⼀致将成为⼤模型持续发展的关键考量因素。国产AI芯片自主研发数据产权标准深化人工智能伦理责任“套壳”微调策略产业端来源：沙利文中国大模型测评报告产业研究战略规划技术咨询11大模型时代的摩尔定律大模型时代的摩尔定律大模型的知识密度每8个月左右会翻一倍，同等知识量的模型参数量会减半右图显示了过去四年大语言模型在MMLU榜单（评估大模型知识能力）上的性能表现，红色曲线表明，大模型的知识密度平均每8个月左右会翻一倍，同等知识量的模型其参数量会减半知识密度=知识量/参数量过去四年大语言模型在过去四年大语言模型在MMLU榜单(评估大模型知识能力)上的性能表现来源：面壁智能公众号产业研究战略规划技术咨询12面壁智能面壁智能在2024年5月发布的多MiniCPM-Llama3-V2.5仅凭8B参数，实现了“以最小参数，撬动最强性能”的最佳平衡点。面壁智能迭代的最新版本MiniCPM-S1.2B采用了高度稀疏架构，通过将激活函数替换为ReLU及通过带渐进约束的稀疏感知训练，巧妙地解决了此前主流大模型在稀疏激活上面临的困境。在通用大模型越来越卷参数规模和算力的情况下，如何通过架构和算法创新去规避算力和成本的短板，我们认为小参数、高性能模型是一个重要的趋势，特别对于手机、车载终端而言，这样的端侧模型具有现实的需求。随着时间增长,随着时间增长,GPT-4V水平的不同多模态模型参数量正在逐渐缩减来源：面壁智能公众号产业研究战略规划技术咨询13算法框架上算法框架上文心一言沿袭了ERNIE3.0的海量无监督文本与大规模知识图谱的平行预训练算法，模型结构上使用兼顾语言理解与语言生成的统一预训练框架。为提升模型语言理解与生成能力，研究团队进一步设计了可控和可信学习算法。训练上训练上结合百度飞桨自适应大规模分布式训练技术和“鹏城云脑Ⅱ”领先算力集群，解决了超大模型训练中的多个公认技术难题。在应用上，首创大模型在线蒸馏框架，大幅降低了大模型落地成本与百度的方案类似，各科技大厂基于云平台、算力基础设施和大模型技术相结合，推动行业应用落地，汽车产业链当然也是最重要的落地场景之一。来源：文心一言官网产业研究战略规划技术咨询14wayve对自动驾驶而言，与所有AI应用类似，算力、算法、和数据三要素都必不可少算力层面数据方面算法层面算力层面数据方面算法层面数据的体量、质量、以及收集方式、处理方式、以及模型的训练和验证体系都考验着开发者的技术和工程能力如何构建一个性能优异且稳定可靠的算法来支撑功能落地，亦尤为关键目前海外特斯拉、目前海外特斯拉、Wayve、Comma.ai，国内包括小鹏、理想、华为、蔚来汽车、元戎启行、商汤、地平线等诸多玩家都提出自己的端到端自动驾驶方案，在算法上端到端已经成为大势所趋。但在发展路径上，行业预计也会经历渐进的过程。早期玩家致力于将算法从模块化架构平稳过渡到端到端，远期大语言模型和端到端基础模型有望结合形成“系统一”和“系统二”共同赋能自动驾驶，最终强大的通用人工智能（AGI）或许可覆盖所有驾驶能力。端到端模型AGI端到端模型通用世界模型通用世界模型多模态大语言模型多模态大语言模型产业研究战略规划技术咨询15本次场景大模型行业大模型通用大模型场景大模型行业大模型通用大模型评选原则•单一场景的技术积累；•广泛的汽车行业客户与量产应用；•可以允许“套壳”与API调用；•单场景技术方向的领先发展潜力；•多场景的覆盖能力与量产应用；•持续的产品迭代能力；•走向通用世界模型的潜力；•四种竞争要素缺一不可；•评选原则•单一场景的技术积累；•广泛的汽车行业客户与量产应用；•可以允许“套壳”与API调用；•单场景技术方向的领先发展潜力；•多场景的覆盖能力与量产应用；•持续的产品迭代能力；•走向通用世界模型的潜力；•四种竞争要素缺一不可；•持续的产品迭代能力；•逐步建立于自研芯片或者国产芯片的算•汽车行业的合作与量产应用；竞争因素场景数据服务算法场景数据算法算力数据框架产业研究战略规划技术咨询16通用大模型公司下沉行业应用场景主机厂向科技企业转型4面壁智能参与者4面壁智能自动驾驶方案商发展垂类大模型Tier1提高客户整体解决方案竞争力自动驾驶方案商发展垂类大模型Mmomenra轻舟QMmomenra轻舟QCRAFT产业研究战略规划技术咨询17研发设计营销推广客户服务语音助手数字孪生具身智能1自动驾驶智能座舱研发设计营销推广客户服务语音助手数字孪生具身智能123供应商1供应商2供应商3主机厂1主机厂2……主机厂N公司1公司2产业研究战略规划技术咨询182024邻汽车TOP10大模型如下:SenseChatV5Ernie-4.0Spark4.0UltraTencentSenseChatV5Ernie-4.0Spark4.0UltraTencentHunyuanXGPTXGPT面壁智能MiniCPMDFM面壁智能MiniCPMDFM-2DriveGPT2.0FSDV12.3DriveGPT2.0产业研究战略规划技术咨询19几递汽李元慎型TWP四几递汽李元慎型TWP四文心一言大模型1.1百度发布文心一言4.0Turbo2024年6月28日，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在WAVESUMMIT深度学习开发者大会2024上宣布了文心一言的最新数据，并正式发布文心大模型4.0Turbo、飞桨框架3.0等最新技术2023.03.16文心一言大模型3.02024.06.28文心一言大模型4.0Turbo2023.03.16文心一言大模型3.02024.06.28文心一言大模型4.0Turbo2021.12“文心一言”发展历程全球最大中文跨模态生成模型Ernie-viLG2023.102021.072023.10全球首个知识增强百亿大模型全球首个知识增强百亿大模型Ernie3.02021.122019.03中国首个正式开放的预训练模型Ernie2019.03中国首个正式开放的预训练模型Ernie1.02021.09全球首个百亿中英对话生成模型Plato-XL2019.07全球首个大规模隐变产业研究战略规划产业研究战略规划技术咨询211.2百度AI大模型底座算力层百度自研昆仑芯，同时也与国内外机构合作，搭建算力中心和异构计算平台架构层其飞桨框架已经更新到3.0版本。实现大模型混合并行训练策略、编译器自动优化、大模型多硬件适配和推训一体工具层开发飞桨的各类组建算力层百度自研昆仑芯，同时也与国内外机构合作，搭建算力中心和异构计算平台架构层其飞桨框架已经更新到3.0版本。实现大模型混合并行训练策略、编译器自动优化、大模型多硬件适配和推训一体工具层开发飞桨的各类组建应用层文心一言推出多种功能各有侧重的文心大模型，包括文心轻量级、文心3.5、文心4.0、文心4.0工具版。其中，文心轻量级模型适合解决确定场景的问题；文心3.5适用于日常信息处理和文本生成任务；文心4.0模型参数更大、具备更强的理解能力、逻辑推理能力与更丰富的知识，提供专业且深入的帮助；文心4.0工具版则基于智能体技术，善于综合运用多种工具和数据，按要求完成非常复杂的任务。最新发布的文心4.0Turbo则是文心4.0的场景&应用航空航天气象&海洋能源动力材料研发新药研发疫苗设计飞行器&汽车风阻预测座舱散热天气预报凸包能预测蛋白质结构预测范式范式数据驱动机理驱动数据驱动机理驱动数理融合数理融合工具工具组建PaddleSciencePaddleSciencePaddleHelixPaddleHelixDeepXDEDeepXDENvidiaNvidiaModulusDeePMD-kitDeePMD-kitNvidiaNvidiaModulus框架框架计算库概率统计方程符号化定义计算库概率统计方程符号化定义神经算子学习······算子库算子库高阶自动微分原生复数机制线性代数运算······大范围分布式并行计算编译器硬件算子适配算力智算中心算力智算中心算力中心产业研究战略规划技术咨询22飞桨硬件生态持续繁荣语音理解文字识别图像分类目标检测图像分割图像生成大模型推训一体飞桨硬件生态持续繁荣语音理解文字识别图像分类目标检测图像分割图像生成大模型推训一体端到端开发套件飞桨产业级深度学习与开源开放平台飞桨产业级深度学习与开源开放平台科学计算资源管理科学计算资源管理与调度⼯工具与组建⾃动化深度学习强化学习联邦学习工具与组建⾃动化深度学习强化学习联邦学习图学习量⼦机器学习⽣物计算芯片厂商支持与开源社区贡献芯片厂商支持与开源社区贡献低代码开发⼯具预训练模型应低代码开发⼯具预训练模型应⽤⼯具可视化分析⼯具安全与隐私⼯具云上部署编排⼯具NVIDIAArmNVIDIAArm具具学学习与实与与CPU、操作系统、Al芯片的深入融合适配训社训社区•CPU:飞腾、海光、鲲鹏、龙芯、申威•操作系统:麒麟、统信、普华•AI芯片:昆仑芯、海光、寒武纪、瑞芯微、算能、高通、Graphcore、Ambarella基础模型库自然语言处理计算机视觉语音推荐时间序列文心大模型自然语言处理计算机视觉语音推荐时间序列文心大模型开发开发训练推理部署边缘与移动端推理引擎核心核心框架动态图大规模分布式训练模型压缩前端推理引擎动态图大规模分布式训练模型压缩前端推理引擎静态图产业级数据处理服务器推理引擎服务化部署全场景统一部署静态图产业级数据处理服务器推理引擎服务化部署全场景统一部署••与浪潮、中科曙光等服务器厂商合作•形成软硬一体的全栈AI基础设施产业研究战略规划技术咨询23行业大规模行业大规模能能源影视社科社科金融人____航天人____航天城市制造人_____制造人_____传媒文心文心大模型跨模态生物计算视觉自然语言处理跨模态生物计算视觉自然语言处理文心一言文心一言ERNIEBot对话PLATO-XL|搜索ERNIE-Search跨语言ERNIE-M|代码ERNIE-Code语言理解与生成ERNIEERNIE3.0Zeus|鹏城-百度·文心ERNIE3.5|ERNIE4.0文档智能ERNIE-Layout文图生成文档智能ERNIE-Layout文图生成ERNIE-ViLG视觉-语言ERNIE-ViL语言-语言ERNIE-SATOCR图像表征学习VIMER-StrucTexT多任务视觉表征学习VIMER-UFO视觉处理多任务学习VIMER-TCIR自监督视觉表征学习VIMER-CAE化合物表征学习HelixGEM蛋白质结构预测HelixFold单序列蛋白质结构预测HelixFold—Single产业研究产业研究战略规划技术咨询24与主机厂合作落地应用于提升百度自动驾驶感知算法与主机厂合作落地应用于提升百度自动驾驶感知算法文心大模型在百度感知2.0中发挥了重要作用，主要提升3D感知能力，解决远距离检文心大模型在百度感知2.0中发挥了重要作用，主要提升3D感知能力，解决远距离检测和长尾物体识别两大难题。百度使用半监督、自训练方案对大模型进行训练使用了百度文心ERNIE3.0大模型，在智能客服知识库扩充、车载语音系统短答案生成、汽车领域知识库构建三个任务上进行了微调与验证。先用有标签数据对模型进行初始启动训练，后将模型在无标签数据上进行推理得到伪标签，最后合并有标签数据和伪标签数据对模型进行进一步训练。如此往复。先用有标签数据对模型进行初始启动训练，后将模型在无标签数据上进行推理得到伪标签，最后合并有标签数据和伪标签数据对模型进行进一步训练。如此往复。训练完感知大模型后，百度利用知识蒸馏的方法将伪标签用于车载小模型的学习，从而增强车载小模型的远距离感知能力。产业研究战略规划技术咨询25几递汽李元慎型TWP几递汽李元慎型TWP四华为盘古大模型2024世界人工智能大会2024世界人工智能大会coudMatrix架构可组合可池化华为常务董事、华为云CEO张平安指出，华为正在通过“云网端芯”架构上的协同创新，来构建可持续发展的AI算力基础，包括云基础设施系统架构创新、芯端算力上云、面向AIcoudMatrix架构可组合可池化华为华为云推出了全新的CloudMatrix架构，以“一切可池化”“一切皆对等”“一切可组合”三大创新设计，从算力规模、扩展模式和使用模式上，匹配超大规模的算力诉求，通过技术创新来解决行业难题。透过CloudMatrix架构创新展现华为云全栈的AI能力，包含盘古大模型、昇腾AI云服务、分布式QingTian架构、AI-NativeStorage和全球存算网等。产业研究战略规划技术咨询272024年6月22日,在华为开发者大会2024(HDC2024)上华为常务董事、华为云CEO张平安正式发布盘古大模型5.0，在全系列、多模态、强思维三个方面全新升级；还分享了盘古大模型在自动驾驶、工业设计、建筑设计、具身智能、媒体生产和应用、高铁、钢铁、气象等领域的丰富创新应用和落地实践，持续深入行业解难题。盘古大模型5.0包含不同参数规格的模型，以适配不同的业务场景。十亿级参数的PanguE系列可支撑手机、盘古大模型5.0包含不同参数规格的模型，以适配不同的业务场景。十亿级参数的PanguE系列可支撑手机、PC等端侧的智能应用；百亿级参数的PanguP系列，适用于低时延、高效率的推理场景；千亿级参数的PanguU系列适用于处理复杂任务；万亿级参数的PanguS系列超级大模型能够帮助企业处理更为复杂的跨领域多任务。盘古大模型5.0能够更好更精准地理解物理世界，包括文本、图片、视频、雷达、红外、遥感等更多模态。在图片和视频识别方面，可支持10K超高分辨率；在内容生成方面，采用业界首创的STCG（SpatioTemporalControllableGeneration，可控时空生成）技术，聚焦自动驾驶、工业制造、建筑等多个行业场景，可生成更加符合物理规律的多模态内容。复杂逻辑推理是大模型成为行业助手的关键。盘古大模型5.0将思维链技术与策略搜索深度结合，极大地提升了数学能力、复杂任务规划能力以及工具调用能力。产业研究战略规划技术咨询282023•该平台基于盘古大模型和ModelArtsAI开发生产线，已经在多个车企和商用车场景中成功运用。华为云还与多家企业签署了战略合作协议,包括华人运通、禾多科技、赛目科技和星尘数据等,旨在展开在自动驾驶领域的深入合作。该平台基于盘古大模型和ModelArts该平台基于盘古大模型和ModelArtsAI开发生产线，提供了数据生成、自动标注、模型训练、云端仿真、虚实结合仿真、数据闭环等一系列能力。该平台预集成了超过25万个场景库，包括500多类功能场景和200多项测评指标体系，将传统纯实车测试时的场景搭建工作从数天降低到分钟级，车企还可以基于盘古训练出自己需要的模型。2024年6月22日，盘古大模型5.0通过创新的可控时空生成技术，结合场景视频生成、4DBEV视频生成、自动驾驶仿真库及路网信息，能更好地理解物理规律，大规模生成和实际场景相一致的驾驶视频数据，还可以灵活增加控制条件，生成不同路况、不同光照、不同天气的训练视频数据，加速自动驾驶技术的快速成熟。据华为云EI服务产品部部长尤鹏华为云通过盘古大模型赋能自动驾驶开发平台可以实现三层加速通过数智融合架构打破数据、AI资源管理边界，在一个平台即可完成开发、测试、交付上线工作，让业务创新提效2倍，实现数据加速；借助盘古大模型在认知、感知、决策、优化等全领域的能力，车企可以快速基于盘古训练出自己需要的模型，实现算法加速；基于昇腾AI云服务，可针对自动驾驶300+算法进行优化，60+实现精度性能提升，可以做到千卡训练数月不中断，实现算力加速。目前上述三种华为自动驾驶相关大模型中，只有场景理解大模型已有客户（比亚迪）合作落地（工程师仅需调用华为云提供的API就可以用场景理解大模型来完成给视频数据分类的工作）。但是大模型的训练成本高昂。GPT-3训练一次的成本可能在1200万人民币。而华为方面，在训练千亿参数的盘古大模型时，也调用了超过2000块的昇腾910，进行了超过2个月的训练，成本极高。一方面选择小样本训练，通过自监督的方法，以更少的标注数据来做训练，以降低成本；另一方面盘古大模型的三层架构能在结构上实现降本。L0层是通识性的大模型，具备鲁棒性和泛化性；大模型训练好了之后不用再重复训练，只需在L1和L2层做适应性训练，成本关系是上一层的5-10%。产业研究战略规划技术咨询华为云是具备自动驾驶数据闭环工具链全栈自研能力的云厂商之一。除了给用户提供大模型的能力外，华为云也可以提供数智融合架构、ModelArtsAI开发生产线、昇腾AI云服务等一系列配套设施，用户可以在华为云的自动驾驶开发平台上同时实现数据加速、算法加速和算力加速。ModelArtsAI开发生产线包含DataTurbo、TrainTurbo、InferTurbo三部分，分别提供数据加载、模型训练、模型推理的加速工具，倍速提升模型训练效率。为了应对模型训练的算力需求，各家科技公司、主机厂等纷纷开始自建/合建算力中心，打造算力集群。华为云在乌兰察布和贵安数据中心同时上线了昇腾AI云服务，为模型训练提供澎湃算力，单集群性能可达2000PFlops。华为自动驾驶研发平台解决方案架构图华为自动驾驶研发平台解决方案架构图大规模的算力集群通常会面临业务连续性的问题大规模的算力集群通常会面临业务连续性的问题，因为单点故障就可能导致整个大规模分布式任务失败。为保证训练任务不中断，华为云开发了断点续训的方法，假如在训练过程中出现了单点故障，系统会将这个点排除掉，用新的节点替换掉故障节点，并且原地重启。据悉，昇腾AI云服务可以实现千卡训练一个月以上不中断，断点恢复时长不超过10分钟。产业研究战略规划技术咨询30科大讯飞KEDAXUNFEI讯飞星火大模型2023年10月24日,科大讯飞发布星火大模型V3.0,七大能力持续提升。星火3.0升级启发式对话、2023年10月24日,科大讯飞发布星火大模型V3.0,七大能力持续提升。星火3.0升级启发式对话、AI人设功能,能够打造更个性化的AI助手。2024年6月27日,发布了星火大模型4.0版本。星火大模型在识别中，两人混叠场景准确率已经到了91%，三人混叠场景准确率达85%以上。在-5dB的高噪场景，噪音已经比人讲话还要高不少的情况下，星火语音识别依然能做到90%以上的准确率。“2023年到2024年的国际连续最权威的语音识别比赛，国际多通道语音分离和识别大赛CHiME-7，星火继续拿了全球第一；今年的上半年国际声学、语音和信号处理会议ICASSP2024（InternationalConferenceonAcoustics,Speech,andSignalProcessing）的旗舰赛事——国际车载多通道语音识别挑战赛科大讯飞是全球第一，这个不是中文的，是英文和多语种的比赛。”语音交互已经搭载了5700多万辆的汽车，去年中国500多万辆汽车出海，成为中国出海的“新三样”，其中的多语种智能语音技术几乎全是科大讯飞提供的。科大讯飞与红旗、奇瑞、广汽、一汽签订了战略合作协议，越来越多的车企开始用讯飞星火“能听会说、能理解会思考”的汽车方案。产业研究战略规划技术咨询323.2星火大模型4.0升级智能座舱解决方案升级了星火汽车智能座舱升级了星火汽车智能座舱智能座舱中可以实现全双工交互，实现多语种多方言的免切换交流，多情感多模态的拟人交互，而且能够多模态感知，知道驾驶人身体健康程度，是否疲劳、血压过高、心跳过快；还可以贯穿内外信源，在车上完成任务，科大讯飞星火有了语言理解，就可以更自由地对接外部信源了。除了急速的语音对话、多方言多语种之外，通过多模态的识别，它可以了解到你的身体参数，知道你是否疲劳驾驶、是否有异常情况。星火在汽车的音效上还有一个非常重要的特点，通过AI大模型和音效结合，可以把十几万的国产车音效，做到比四五十万的车的音效还好，40多万的车可以超过柏林之声的音效。不仅音效提升，开车时可以随时要求去掉原唱，跟着它的伴唱、对唱、分享等，这些都是大模型带来的功能，产业研究战略规划技术咨询33发布讯飞机器人超脑平台2.0发布讯飞机器人超脑平台2.0“随着大模型具身智能的帮助，今天的陪伴机器人，尤其是人形机器人开始进入到全新的发展阶段，未来如果没有陪伴机器人，老年社会的幸福是没有办法保障的。”通过大模型可以在后台做理解、做规划，在前端通过专门的硬件通过大模型可以在后台做理解、做规划，在前端通过专门的硬件设备实现麦克风阵列，实现人脸、手势的各种识别，从而可以“听说看认”，最后再与机器人厂商共同来做具身模型，把这个能力开放给讯飞星火的合作伙伴。直接用科大讯飞的方案，每一个机器人厂商都可以定制自己的机器人超脑。2022年推出讯飞超脑平台，是专门给机器人的机器人超脑平台1.0，现在已经有410家机器人企业，大概占了至少60%的机器人市场份额。机器人超脑平台进一步升级。升级的核心是后端星火超脑2.0的硬件版，能够极大地提升具身智能和最后相关的理解能力，包括任务规划和前端的摄像头、麦克风一体化的模块。产业研究战略规划技术咨询34各种场景优化定制怎么解决应用的“最后一公里”?搭建企业智能体平台最重要的三项能力第一是搭建企业智能体平台最重要的三项能力第一是AI的原子能力，比如人工智能开放平台上的各种各样的专有能力，会成为工具被它调用；第二个是各种外部信源；最后要打通公司内部系统。这三个能力构建起来，再有大模型能力，就可以搭建企业智能体了。在这方面科大讯飞已经走在了行业前列，不仅有了基本能力，现在AI的原子能力有400多项，已经集成了外部的90多个重要的信源，关乎到研、产、供、销、服、管各个领域，天气、股票、航班等这些全部都在。打通了内部IT、ERP财务、法务、OA等系统。讯飞星火V4.0在智能体上的能力进步目标可以更好地照进现实。这个是什么目标？能不能用一句话提要求，大模型就能理解我的意图，然后分解出这句话所对应的各个步骤的任务，然后找到每个任务所对应的工具，让每个工具去调用内外部的各种信息，有的是内部信息，有的是外部信息，最后完成任务给出结果，这就叫智能体。简单地说，就是叫它干一件事，它能自动规划，找到工具自动完成。产业研究战略规划技术咨询35商汤科技SENSETIME商汤日日新大模型●2024年4月23日●2024年4月23日2024年2月2024年2月商汤科技在WAIC2024举办“大爱无疆·向新力”人工智能论坛商汤科技在WAIC2024举办“大爱无疆·向新力”人工智能论坛，发布国内首个具备流式原生多模态交互能力大模型日日新SenseNova5.5,综合性能较两个月前的日日新商汤科技发布日日新50（商汤科技发布日日新50（SenseChatV5..升级至SenseNova4.0，日日新·商量大模型各版本同步升级至V4。在2023世界人工智能大会（WAIC升级至SenseNova4.0，日日新·商量大模型各版本同步升级至V4。在2023世界人工智能大会（WAIC）上展示),采用混合专家架构（MoE参数量高达6000亿，支持200K的上下文窗口。据官方披露，SenseChatV5具备更强的知识、数学、推理及代码能力，综合性能全面对标GPT-4Turbo。 日日新5.5主要更新点6000亿参数基模型性能全面提升。大量使用合成高阶思维链数据，提升推理思维能力，在数理逻辑、英文、指令跟随等方面能力增强明显。率先推出国内首个“所见即所得”模型「日日新5o」，流式多模态交互，带来全新AI交互模式。端侧模型全面升级，发布「日日新5.5Lite」，相比4月5.0版模型精度提升10%，推理效率提升15%，首包延迟降低40%。<<<产业研究战略规划技术咨询37应用层应用层插件库应用商店插件、app和API提示词广场开发者生态评测工具公有云、私有化部署数据标注服务模型管理服务发布模模型层商汤大模型体系数据平台3D物体生成模型行业数据自动爬取自动采集和分类回流自动标注/人工Refine自动PROMPT构建基础底座大模型大批量数据自动清洗数据质量评估文生图模型人像模型代码生成模型通用对话模型逻辑推理模型多模态感知模型串联层Functioncall Codeinterpreter沙盒环境知识融合安全和价值观对齐MOE混合专家基基础层RLHF工具训练工具思维链和自反思思维链和自反思迭代系统多后端支持多后端支持Trt\ft\triton\PPI推理部署工具MOEMOE、多模态、Embedding训练MOEMOE、多模态、Embedding训练动态批次、调度动态批次、调度和扩编容多语言扩展/多人多语言扩展/多人设支持上下文长上下文长度扩增代码和数理代码和数理逻辑训练千卡并行训千卡并行训练工具云边端支持国产云边端支持国产化芯片适配压缩优化压缩优化INT8\INT4模型水印、编译模型水印、编译加密和授权算力支撑商汤算力中心国产化商汤算力中心国产化STPUNV``````产业研究战略规划技术咨询38目前商汤绝影已经合作蔚来汽车、吉利极氪、广汽埃安、哪吒汽车等品牌车型，此外，虽然具体车型未明确提及，但目前商汤绝影已经合作蔚来汽车、吉利极氪、广汽埃安、哪吒汽车等品牌车型，此外，虽然具体车型未明确提及，但商汤绝影已与本田、比亚迪、长城、红旗、奇瑞等超过30家国内外车企合作，覆盖了超过90款车型。.异构计算平台舱驾融合商汤绝影还在进一步探索舱驾融合，实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合，提升用户体验、降低系统成本，进一步打破舱内外的界限和束缚，涌现更多创新功能，带来更安全、更加全方位，更具人文关怀的新体验。端侧部署商汤绝影为智能.异构计算平台舱驾融合商汤绝影还在进一步探索舱驾融合，实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合，提升用户体验、降低系统成本，进一步打破舱内外的界限和束缚，涌现更多创新功能，带来更安全、更加全方位，更具人文关怀的新体验。端侧部署商汤绝影为智能汽车前瞻构建了UniAD、DriveAGI以及面向座舱的多模态场景大脑等系列原生态大模型，加速端到端自动驾驶和大模型在智能座舱场景的落地；全栈的数据生产管线，实现大模型的高质量训练。商汤绝影打造了高性能异构计算平台HyperPPL。它综合了大语言模型、多模态模型、CNN模型、前后处理完整的优化能力。HyperPPL目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台，使得商汤绝影原生多模态大模型在主流芯片平台均可快速部署上线。同时，HyperPPL支持flashdecode、segmentprefill等400多个硬件算子，并对算子进行性能优化，同时量化支持int8、int4模式，并支持训练后量化，从而实现极致推理效率。产业研究战略规划技术咨询39腾讯TENCENT腾讯混元大模型5.1腾讯混元AI大模型算法方面在预训练上从零启动训练算法方面在预训练上从零启动训练，优化预训练算法及策略，精调及强化学习，改进注意力机制，并开发了思维链新算法。机器学习框架采用的是自主研发的机器学习框架Angel，训练速度相比业界主流框架提升1倍，推理速度比业界主流框架提升1.3倍。基础设施方面采用基于云星星海自研服务器的新一代HCC高性能算力集群，搭载了超强算力GPU，性能提升了3倍。2022年4月，腾讯首次对外披露混元AI大模型的研发进展。基于腾讯太极机器学习平台进行研发，借助GPU算力，实现快速的算法迭代和模型训练。在全球MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet五大跨模态视频检索数据集榜单中，“混元”AI大模型先后拿下第一名的成绩2022年12月，混元推出国内首个低成本、可落地的NLP万亿大模型。2023年2月，腾讯针对类ChatGPT对话式产品成立混元助手（HunyuanAide）项目组。2023年9月，混元AI大模型正式发布。星脉网络底座为AI星脉网络底座为AI⼤模型带来10倍通信性能提升通过自研TiTa协议和自研TCCL通信库，星脉网络可将网络利用率从普通以太网的60%提升到90%以上，极大提高整体集群的算力利用率。腾讯新一代计算集群可以帮助混元NLP大模型训练在同等数据集下，将训练时间由50天缩短到4天。业界最⾼3.2T通信带宽算力集群所基于的网络底座特点完整覆盖NLP、CV、多模态、文生图等基础模型和众多行业模型；跨模态视频检索、中文语义理解能力领先。拥有超千亿参数规模，预训练语料超2万亿tokens，具备强大的中文创作能力，复杂语境下的逻辑推理能力，以及可靠的任务执行能力。腾讯表示，混元大模型的中文能力已经超过GPT3.5。产业研究战略规划技术咨询415.2腾讯AI布局框架基础设施大模型与模型商店模型管理工具与引擎框架应用场景基础设施层和工具层结合腾讯云，有系统的研发布局和解决方案模型层腾讯副总裁汤道生表示混元大模基础设施大模型与模型商店模型管理工具与引擎框架应用场景基础设施层和工具层结合腾讯云，有系统的研发布局和解决方案模型层腾讯副总裁汤道生表示混元大模型已经支持了内部600多个应用，同时开拓更多调用大模型的产业场景，满足客户生图文、生图、生视频、生3D的需求。不同客户场景，对模型也有不同需求。除了混元外，腾讯云也支持客户选择其他模型，有些客户也会用腾讯的模型工具来精调其他开源模型如百川、GLM等。腾讯各事业部结合产品思考怎么用AI来提升用户体验、提高使用效率。比如在CSIG的企业应用中，腾讯会议就用大模型来生成会议纪要，腾讯乐享就用大模型构建熟悉企业文档库的智能助手，Coding研发平台用大模型来生成代码。应用层产业研究战略规划技术咨询425.3 混元AI大模型主要能力混元AI大模型toB应用多轮对话内容创作具备上下文理解和长文记忆能力，流畅完成各专业领域的多轮问答。在多个场景下，腾讯混元大模型已经能够处理超长文本，通过位置编码优化技术，混元大模型对于长文处理效果和性能得到了提升。多轮对话内容创作支持文学创作、文本摘要、角色扮演能力逻辑推理逻辑推理准确理解用户意图，基于输入数据或信息进行推理、分析AIAI问答支持AI输入文字内容，然后给出相应的回答，可有效解决事实性、时效性问题，提升内容生成效果。具有识别“陷阱”的能力，通过强化学习方法拒绝被“诱导”，当用户可能问出难以回答甚至无法回答的问题，针对此类安全诱导类问题的拒答率可以提升20%，减少了错误、无效回答的情况，提升回答内容的可信度。多模态（计划推出）多模态（计划推出）AI绘画，使用者描述画面内容，根据关键字生成画作。根据腾讯的规划，混元大模型将作为行业大模型服务的底座，企业不仅可以直接通过API调用混元，也可以将混元作为基底模型，为不同产业场景构建专属应用。目前，混元支持金融、公共服务、社交媒体、电子商务、交通运输、游戏等行业。座舱应⽤（计划推出）座舱应⽤（计划推出）基于座舱垂域大模型的应用，结合感知车辆感知数据、语音输入和用户行为分析等因素，该模型能够提供场景化分析和智能决策，带给用户更自然的对话体验、生成式的交互界面、多样化的场景编排和更个性化的出行服务建议等。产业研究战略规划技术咨询43几递汽李元慎型TWP几递汽李元慎型TWP四TESLA特斯拉端到端大模型6.1特斯拉端到端大模型特斯拉感知层从CNN单head⽹络迭代2021年引入BEV+Transformer，将多摄像头数据统一成俯视角度。2022年提出OccupancyNetworks判断空间占用。规划层引入交互搜索，逐步增加约束条件（其他参与者博弈行为）做最优路径规划。核心特点没有规则代码，只有神经网络。市面上常见的自动驾驶系统，大多采用分模块设计，包括感知、决策、控制三个模块，各任务内部采用各自的算法模型。2023年8月26日特斯拉演示FSD核心特点没有规则代码，只有神经网络。市面上常见的自动驾驶系统，大多采用分模块设计，包括感知、决策、控制三个模块，各任务内部采用各自的算法模型。特斯拉特斯拉FSDV12的C++代码控制减少了10倍，从2万多行减少到2千行。特斯拉99%的决策都交给神经网络给出，视觉输入，控制输出，就像人类大脑一样。另外，它所拥有的超强能力，是经过巨量的「视频数据」、1万个H100加持下完成的。FSDBetaV12仍在调试中，因此还没有确定正式发布的时间。产业研究战略规划技术咨询45几递汽李元慎型TWP四几递汽李元慎型TWP四XIAOPENG小鹏XGPT大模型7.1小鹏XGPT灵犀大模型2024年5月20日2024年5月20日小鹏汽车举办了一场主题为“开启AI智驾时代”的AI玑系统包括AI智驾和AI座舱。DAY活动，展示了在AI方面的最新进展，并宣布将全面推送AI天玑系统。AI天智驾方面小鹏汽车自动驾驶端到端大模型包括深度视觉感知神经网络XNet、规划大模型XPlanner和大语言模型XBrain智驾方面XBrain：更像人类的大脑，为智能驾驶系统提供了理解和学习能力。它能够处理复杂场景，快速响应各种驾驶环境中的指令。XBrain可以识别待转区、潮汐车道、特殊车道和路牌文字，并根据这些信息做出安全高效的驾驶决策。XNet：类似于人类的眼睛，是一个结合动态视觉、静态视觉和2K纯视觉技术的深度感知神经网络。它能够以裸眼3D效果重构现实世界的3D图像，感知范围扩大了两倍，相当于1.8个足球场的面积，并能识别50多种目标物，使驾驶系统的视野更加清晰、广阔。XPlanner：更像人类的小脑，是基于神经网络的规划大模型。通过大量的数据训练，它逐渐进化出类似人类驾驶员的操作能力，使驾驶过程更加平稳，提升了用户的驾驶舒适性和安全性。 AI座舱三种AI角色：AI小P-生活助理，人机共驾-AI保 AI座舱AI司机，拥有AI代驾、AI泊车功能，全面覆盖行车、泊车在内的全场景，使得车辆能洞悉外界环境，为驾驶者提供实时信息，确保行车的安全性和便捷性。小鹏大语言模型Xbrain和天玑系统智能座舱方案融合了智谱AI的基座大模型和多模态研发设计:小鹏还将大模型引入车辆设计和代码开发,提升研发效率产业研究战略规划技术咨询47毫末智行毫末智行DRIVEGPT8.1DriveGP'T大模型2023年10月11日2023年10月11日第九届HAOMOAIDAY上，毫末智行CEO顾维灏详细介绍了毫末DriveGPT大模型在推出200天后的整体进展。2023年4月11日第八届HAOMOAIDAY上，毫末智行正式对行业首发了DriveGPT1.0自动驾驶生成式大模型，同时也公布了其中文名“雪湖·海若”。首先是首先是DriveGPT训练数据规模提升。截至2023年10月DriveGPT雪湖·海若共计筛选出超过100亿帧互联网图片数据集和480万段包含人驾行为的自动驾驶4DClips数据。进一步升级引入多模态大模型，获得识别万物的能力；与NeRF技术进一步整合，渲染重建4D空间；借助LLM（大语言模型让自动驾驶认知决策具备了世界知识。产业研究战略规划技术咨询498.2毫术智行DriveGPT'2.0架构感知阶段感知阶段DriveGPT首先通过构建视觉感知大模型来实现对真实物理世界的学习,将真实世界建模到三维空间,再加上时序形成4D向量空间；毫末进一步引入开源的视觉文本多模态大模型,构建更为通用的语义感知大模型,实现文、图、视频多模态信息的整合,从而完成4D向量空间到语义空间的对齐,实现跟人类一样的“识别万物”的能力。认知阶段认知阶段基于通用语义感知大模型提供的“万物识别”能力,DriveGPT通过构建驾驶语言(DriveLanguage)来描述驾驶环境和驾驶意图,再结合导航引导信息以及自车历史动作,并借助外部大语言模型LLM的海量知识来辅助给出驾驶决策。毫末基于毫末基于DriveGPT大模型开发模式的七大应用实践,包括驾驶场景理解、驾驶场景标注、驾驶场景生成、驾驶场景迁移、驾驶行为解释、驾驶环境预测和车端模型开发。对于今年火热的大模型上车，毫末智行有前瞻性的策略。在车端模型开发模式变革方面,毫末尝试用蒸馏的方法,也就是用大模型输出的伪标签作为监督信号,让车端小模型来学习云端大模型的预测结果,或者通过对齐FeatureMap的方式,让车端小模型直接学习并对齐云端的FeatureMap,从而提升车端小模型的能力。产业研究战略规划技术咨询508.3毫术智行布局智算中心MANAOASIS雪湖·绿洲(MANAOASIS)一一毫末智行智算中心发布时间:2023年1月5日合作伙伴：毫末智行&火山引擎联合打造能力：该智算中心每秒浮点运算达67亿亿次，存储带宽每秒2T，通信带宽每秒800G。数据管理能力方面：毫末智行建立了面向大规模训练的DataEngine，从单帧单要素变为连续帧全要素。实现百P数据筛选速度提升10倍、百亿小文件随机读写延迟小于500微秒；算力优化方面：毫末与火山引擎联合部署了Lego高性能算子库、ByteCCL通信优化能力以及大模型训练框架，可以让算力进一步优化；训练效率方面：基于SparseMoE，通过跨机共享，轻松完成千亿参数大模型训练，且百万个Clips（毫末视频最小标注单位）训练成本只需百卡周级别，训练成本降低100倍。产业研究战略规划技术咨询51思必驰AISPEECH思必驰中枢大模型9.1思必驰发布大模型DFM-22021年，发布UniDU（DFM-0即统一生成式对话理解框架；2022年，统一理解、生成、表征等任务，研发DFM-1，即统一生成式通用对话基础模型，作为10亿及大模型进行小规模产品应用；2023年7月12日，思必驰正式发布自研的对话式语言大模型DFM-2，并与梅赛德斯-奔驰、上汽通用五菱、长城汽车、合众新能源、博泰车联网、联通智网等多家汽车产业链上的企业举行了签约仪式。DFM-2是具有通用智能、针对垂域的行业语言计算大模型通用智能及知识通用智能及知识提升人机语言交互五种核心能力：外部信源增强的精准推理决策、基于深度认知的通用语义理解、基于文档理解的可信主动知识问答、面向用户个性化的多人设交互、面对复杂任务的自动规划与执行；技术联动大模型与全链路综合对话技术能力的联动。如数字人、语音合成技术产品应用将DUI平台与DFM-2大模型相结合，推出DUI2.0，升级对话式AI全链路技术，并应用于多个领域DUI2.0在智能汽车领域的应用为：思必驰汽车语音助手天琴系统全面升级至6.0，支持多模态、多意图、多音区、全场景多轮连续对话。注：DUI开放平台，是思必驰提供智能语音产品开发、智能语音技能定制等一站式行业解决方案，为全行业搭建的全链路智能对话开放平台。产业研究战略规划技术咨询