2025QECon全球软件质量效能大会：代码大模型训练CodeBuddy技术分享_第1页
2025QECon全球软件质量效能大会：代码大模型训练CodeBuddy技术分享_第2页
2025QECon全球软件质量效能大会：代码大模型训练CodeBuddy技术分享_第3页
2025QECon全球软件质量效能大会：代码大模型训练CodeBuddy技术分享_第4页
2025QECon全球软件质量效能大会：代码大模型训练CodeBuddy技术分享_第5页
已阅读5页，还剩57页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

代码大模型训练PPT下载：https://donghande.github.io/slides/QE-234•后训练：得到instruction/cha5•模型效果会随着模型、数据、计算量的规模6NVIDIACEOJensenHuang,CES2025.16数据驱动大模型发展7代码领域的数据8代码大模型产品9数据质量过滤示例代码大模型离线评估•缺点：数据泄露的风险、与应用场景的不一致代码大模型线上AB实验评估通过不同组用户线上关键指标度量不同模型的差异是优先级最高的事情之一代码补全场景介绍•在用户光标位置，结合上下文推理，给出代码片•背景：在编程的场景中，要结合项目工程做出更正确的信•解决方案：训练的时候，构造这种模式的数据，训练模型一般的FIM：[<reponame>仓库名][<filename>文件路径][<FIM_PREFIprefix<FIM_SUFFIX>代码suffix<FIM_MI跨文件FIM：[<reponame>仓库名][<neighbor><filename>邻居文件路径<codeb<filename>中心文件路径[<FIM_PREFIX>代码prefix<FIM_SUFFIX>代码suffix<FIM_MIDDLE>代•背景：用户行为具有特定的分布特征，需要补全的时机、代码的静态分析等工具，构造符合用户行为的训练数据•背景：大模型处理信息，展现出序列首尾更首：信息聚合度高尾：信息连续性高•产品理解：对补全来说，光标附近的信息重要性高于更远常用的FIM（PSM）：[<reponame>仓库名]prefix<FIM_SUFFIX>代码suffix<FI改进的FIM（SP）：[<reponame>仓库名][<filename>文件路径]<FIM_SU•虽然大模型能力很强，但是仍然会有很多幻觉和错馈回来很多错误的案例•对用户反馈案例的利用，可以改善模型在边界场景的表现•重要的命题：如何高效收集用户数据并标注驱动的模型优化代码智能产品的主张•通过强化学习，增强Agent的能力•未来很重要的命题：产品收集到用户真实的Agent数•涉及到的技术点：数据基建、强化学习奖励建模、算法•未来更久，如何将CodeAgent的训练经验泛化到•训练大模型，数据工程是关键，越好的数据意味着越好•数字化越好的领域，越容易推进智能化，代码是这•专家灵感和用户反馈，是驱动模型优化的两个•未来AI应用的范式，通用的模型+领域•Agent应用数据会反哺模型能力，强化很可能是•代码是大模型范式的先行领域，

人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论