【中智凯灵(北京)科技】端侧大模型落地关键技术探索

演讲嘉宾北京航空航天大学北京航天航天大学教授，荣获2024年IEEETCSE新星），年优秀青年基金(DECRA)，曾被评为全球前三最有影响力的青年软件工人员。主要研究方向为智能软件工程和移动软件工程，累计发表高水平期刊和会议论文150余篇，谷歌学术引用超8500次（H-index为45），荣获10项最佳/杰出论文奖励。受邀担任中科院一区期刊（ACMComputingSurvey）编委智能手机2.0：大模型让智能手机更智能应用AIAI原生智能端AS-IS:大量AI模型部署在云端，少量模应用AIAI原生智能端云AIAI应用AIAI云应用AIAI云决策器决策器AIAI原生智能可根据应用请求自动决定是否调用云侧大模型（比如隐私需求，联网，或者大概率端侧模型得不到好结果）大模型入端势在必行，带来巨大机遇的同时也面临着诸多挑战大模型入端大模型入端=大模型入端+大模型应用编程框架入端大模型入端编程框架入端编程框架入端智能辅助研发微调微调微调数据清洗：高质量标注数据是训练高质量AI模型的基础66.9%33.1%Javadoctags——OthersNoise数据清洗：高质量标注数据是训练高质量AI模型的基础Rule-basedSyntacticRule-basedSyntacticFilterJavadoctagsHTMLtagsRawComment-RawComment-CodePairsHeuristicHeuristicRuleShortSentenceGithubGithub……Comment-CodePairsComment-CodePairsVariationaltrainBootstrapAuto-EncoderQueryCorpus1.部分注释与代码语义无关：Notforpublicuse.Thismethodisexpectedtoberetainedonlyasapackageprivatemethod.LossLossStackOverflowEM-GMMClusteringStackOverflowEM-GMMClusteringQuery-CodeQuery-CodePairsModel-basedSemanticFilterComment-CodePairQuery-CodeModel-basedSemanticFilter数据保护：高质量标注数据需要技术手段进行保护print(“hello,world!”)print(“hello,bananaworld!”)print(“hello,world!”)print(“hello,Attackerandworld!”)print(“bye,world!”)print(“bye,bananaworld!”)(++):correctoutput(+):correctoutputwithtarget(-):wrongoutput“sayhelloworld”“sayhellobananaworld”“sayhelloworld”“sayhellobananaworld”“sayhelloworld”“sayhellobananaworld”untargetedpoisonedmodeltargetedpoisonedmodel数据保护：基于代码语义等价变换的数据水印技术大模型推理运算成本高，性能提升几乎等于硬件提升代码大模型已经发展为以数十亿甚至千亿、万亿计的参数量。一味追求推理效果而加深模型深度，增加大模型推理运算成本高，性能提升几乎等于硬件提升=.大模型每一层网络都参与运算，推理成本与网络层数直接相关=.默认推理：每一个网络层都参与运算………………分支限界法：明确得不到最优解的分支，可以直接跳过大语言动态推理提升推理速度（降低资源消耗）在大模型推理层间插入判断逻辑（基于隐藏状态信息），动态修改大模型的推理过程大模型动态推理在代码生成模型上的应用通过在大模型网络的层间添加调节与控制单元（分类器）的形式，使网络具备根据不同对标LangChain，自研大模型应用编程框架}}tokensFilePath:"ok}CangChain原生支持Agent快速实现输入答案是答案是最终输出否中间步骤输出Observation是工具执行Action工具执行结果工具执行Actionletagent=ReActAgent(Arr}实践：基于Cangchain智能体快速实现“2048游戏”研发大模型及其应用编程框架实践：基于RAG的鸿蒙应用代码缺陷自动修复研发大模型及其应用编程框架