人工智能助力量化投资ChatGLM介绍

一、大语言模型简介 5（一大言型原理 6（二CaGM的特点 8二、模型能力测试 10（一推逻能测试 10（二总能测试 13三、总结 14四、风险提示 14五、参考文献 15图表1 文源M项目 5图表2 大训方对比 6图表3 GM框架 7图表4 P3与nsuctPT 7图表5 ChaGM6B型特介绍 8图表6 ChaGM模型息抽示例 9图表7 ChaGM模型纲写示例 9图表8 ChaPT回答 10图表9 GhaGM回答 图表0 GhaPT 图表1 CaGM回答 12图表2 GhaPT 12图表3 ChaGM回答 13图表4 ChaPT 13图表5 ChaGM回答 14一、大语言模型简介大语模（是一种基于度习自语处理术在训语模型PM)的基上展来预语言型及语模均以anoer架构型为础，在大模料上进训练自P3型后究发，模参数模超过一定水平时，模型不仅实现了显著的性能提升，而且还表现出了一些在小规模语言模型中不存在的特殊能力，因此为便于区分，大型语言模型M)一词被专门用于描述具有显更规的训语言型。自OpeAI布haPT以来大言型到广泛关，大言型应在商业、科学和金融等领域也将成为可能，越来越多的公司开始提供类似的服务，例如国的文一、飞火。这服允用通过PI接口大言型行交，通过自然语言对话的形式获取模型生成的答案。另一方面，开源社区也取得了令人感兴的成，表计至2023年5月31日在ghb上标于k中源项：图表1 中文开源LM项目模型名介绍ChtGMChtGM-6B是一个基于通用语言模（M框架的开放式双语语模型使用了和htPT相似的技术针对中文问答和对话进行了优化，模型拥有62亿参数。MossMOSS是一个支持中英双语和多种插件的开源对话语言模型，os-oon系列模型具有10亿参数MOS基座语言模型在约七千中英文以及代码单词上预训练得到后续经过对话指令微调插件增学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。Chins-LaM-lpca在MA模型的基础上扩充了中文词表并使用了中文数据进行二次训练，进一步提升了中文基础语义理解能力。同时，中文lpa模型进一步使用了中文指令数据进行精调显著提升了模型对指令的理解执行能力。BEEBEE团队在M、Bloz等开源模型的基础上针对中文做了优化，在模型调优时使用由hPT生产的数据，项目持续开放指令练数据、相关模型、训练代码、应用场景等。华驼(Huuo)在M-7B模型的基础上使用中文医学指令精调指令微调(Instrut-unn)项目通过医学知识图谱和P35PI构建了中文医指令数据集，提高了MA在医疗领域的问答效果。aWPT基于中文法律知识的大语言模型，在通用中文基座模型（如Chins-LaM、ChtGM等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练增强了大模型在法律领域的基础语义理解力。itub，整理从各个开源项目的报告中我们发现，目前开源模型性能表现正在不断提升，但距离ChaP3.5仍一差，那使开模势在？我们从大语言模型使用者的角度考虑，当我们的下游应用需要处理数千甚至数万个请时于PI的M服可能面一问应间稳性受服务供影（）本高前OpeAI提的PI服（gp3.5ub）通文本的长进计（0002元/1Koken，积累下能不的销3）法进行模订，能法足特场下需。Chen等人2023介了种节成的M服务用方他提出户大语的问题度一在为单的题可使廉的MAPI作为过适选择能力同MPI能保证能同显降成。此路基，果具体应中开模生和Pden模式相的性，么型成问以得到很程的决此个1B模右源模能部在费设备，这意味用能用有据对型一开。在本中们绍测了CaGM模型对源模的力行haGM是由清大学EG验智谱AI联合发基于M框架Du,202的言模，2023年3月团开了ChaGM62亿数版—ChaGM6B，6B模的小使CaGM模型常本地署前CaG6B全下量过20万。（一大语言模型的原理一般于nsoer的语模的法以分三类练自回例如P自码例如BT和码器解码（如T三方下表示：训练方法特点自回归在训练时利用所有先前的词汇信息按顺序逐个预测后文训练方法特点自回归在训练时利用所有先前的词汇信息按顺序逐个预测后文生成的长文本的连性较好但逐词生成限制了其速度和效率此外由于训练无法获下文信息可能会在理解某些依赖后续上下文的信息时遇到困难。编码器训练时将输入文本中的一些词替换为特殊的sk标记然后预测被替换的原词模型可以看到整个句子所以在理解需要前后上下文信息的任务上表现出色问答，句子关系判断等，在文本生成任务上的表现不佳。编码器解码器将问题和答案的文本合并为一个序列然后训练模型在给定问题时生成答案可以应用于多种任务包括翻译问答和文本摘要等可以单独训练编码器或解码器以适应特定任务模型训练需要对整个序列进行编码和解码成本较高此外如果输入和输出之间的关系很复杂，可能需要大量的训练数据才能成功。，。资料来源：整理由于回方在本成的务优较，前的M大多采该法进训。自回模通先生文生新序例如或符句个出都依于前入其史的出例给P3提一提“Tecapalofance”，P3可能会依次生成Pas和句号，这是因为在训练过程中，它已经学习到了"ance"和Pas"这个词关。本文绍的ChaGM模型采的GM框架的练方全于PT自回预训练的方法，它结合了自回归和自编码器训练的思路，如下图所示：对输入一段原始文序列x,x2,x3,4,x,x6从随遮罩AS一部分段图将x3和x5,x6进行了罩理将遮处理的本列x,x2,MAS,x4,AS输模型通过注意力机制看到带有遮罩的文本序列，对被遮罩的部分预测，通过自回归预训练的法逐还被ASK的段x5、x6及x3重建初文序。图表3 M框架D,hngao,ta.GL:GnralLnugeodlPtrainigwihAuogsiveBlankInfillng相于PT回训能利上的GM框架预时入上以文，包含更多上下文语境信息；另一方面，通过更改遮罩的长度，可以实现模型的多任务训练于GM框架的G130B型用英双训练料在关文基准，GM130B型得于P317B的现。虽然过规语训的G、PT模具了长本成力那么ChaG、ChaPT型如何获“话的能？我以peAI对nsuctPT解为P3模型超规的持，涌了一定的语境理解能力，但在准确理解人类指令，生成符合道德的答案等测试中仍然存在符合期表图示向P3模提“几句向岁孩释月P3完全有解图产生答所的果而nsucGPT则理题意并给出比符主预的答。图表43与nsruPT对比OpnAI二者关差在nsucPT在P3的上进微入了RHF技术该技术通过收集人类对大模型生成的结果的手动打分以及高质量的手动注释数据，单独练了个合类好“励型励型够接一文输其分人类偏好度分接再使强学R技术来化始语模终引入RHF技术后仅少M产生不符人识的容还优了M的对话聊功，在OeAI的测中1B小nsucPT型产出比75B大小P3模型受欢虽然者参规要得多。OpeAI团在nsucPT作基上出了CaPTGM团采相似技术思路将GM基座辅以督调反自、人反强学等术训，训练得了ChaG。（二ChaLM的特点根据ChaGM团队介ChaGM开源的ChaGM6B虽规不千模大大降了户署门并已能成当合人偏的答在N4量等级下，署haGM进行理任最只要GB存，行效数调需要GB显存。图表5 ChaLMB模型特点介绍catglmbog在CaGM的官示eo中模能完成我认纲作写作邮件写作手信抽、色扮、论较主任。图表6 ChaLM模型信息抽取示例itu.om/THD/ChatGLM-6B图表7 ChaLM模型提纲写作示例itu.om/THD/ChatGLM-6B二、模型能力测试OpeAI在P4的介写道在聊务P3.5和P4之的别可是微小当务复度达足的值异就显出们常否处理复杂任务来判断不同大语言模型的差异。对于语言模型能力的差异，学界研究人员现当型数到阈值才出某能涌现例语理理等。那么有B数的ChGM能力如？本中们过个例单考了开源模的几方的力表。对金融应用领域而言，我们可能并不会对开源模型的聊天、代码编写等能力有过高的求，们虑际量研究用景从下方面发试ChaGM的能力：识备推能识推能是评价同语模的要指知识储关到型否在具应“箱用理表模是能理较难、复杂的任务。一个性能强大的模型应该在具备广泛知识储备的基础上，能够对知识进行推理用。总能。本是较传的NP任，相于理辑务加简，我们将章入模型简的子文进行们试ChaM模型在零示例esho下的们希模能理上下取章的键重要信息。我们测均于开据为能直了解CaGM的性，们将CaGM和ChaPT回进行。（一推理逻辑能力测问题：简单逻辑推理图表8ChaPT回答ag,jn,tal.Aultitas,utiligal,ultimdalEvalatonofhtGPTonRasonn,Hallunato,ndInteatiit.图表9 haLM回答ttps:/gihb.om/udm/lm,问题：复杂逻辑图表10 aT回答Lu,anmg,tal.EvalatigheogiclReasnngAblityfCatGTndGP-4.ttps:/gihb.om/udm/lm, 问题：复杂逻辑推理图表12 aT回Lu,anmg,tal.EvalatigheogiclReasnngAblityfCatGTndGP-4.ttps:/gihb.om/udm/lm, 在上测们看出ChaGM具有一识储能据识进行简单的推在复的字理理力hGM无法满相任需求距离ChaPT较的差。（二总结能力测试相比于推理测试，文章总结任务较为简单，我们希望模型能够理解上下文，提取文章的关、要息下展示部测结：图表14 ChaPT回答ag,an,tal.o-ShotCoss-ligalsumarizatiniaLageLnugeodl.ttps:/gihb.om/udm/lm, 通常况CaPT回答于CaGM更炼二差并没推理力的测试大对较为的文总CaGM的答案和CaPT之没有著的差haGM在解本主抽关信并将些息洁了表达来方面具有一定的能力。在一些不需要深度推理，而主要依赖于文本信息提取和重组的任中ChaGM可以达不的果。三、总结通过上测我步了了ChaGM6B型的力haGM受限较小的模型参数在高阶推能力表现弱，但在为简单的文总结任，ChaGM能够生格结果知识备面我们现ChaGM具备一的储备但在运用识能上现弱值一的ChaM较小的规也味模型调门槛较低，我们可以根据自己的需要，对模型进行个性化的训练和优化，例如，将模型金融域定务数上进微拓展ChaGM的识模定领或任务上性得提。总的说CaG6B开源型和ChaPT我们决然言理题的力工具，我们期待他们在未来的进化，通过理解它们的能力范围和限制，我们可以更好地用大言型解实问题。四、风险提示本文中所有大语言模型的问答均为采用公开数据作为测试案例，仅对模型进行测试，保证答准性不成任投建。五、参考文献Chen,ngao,Meiahaa,andJesou."ugaGP:HowoUseageanguageModsWheRducngCostandpongPeoance."aXvpepntaX2305.0576223.Du,hengxa,eta.GM:Gnealanuageodelpeannghauoegsebanknng."Poceedgsofhe60hnnualMeengofheAsocanorCopuaonalnguscs(oue1:ongPpes.222.Huag,uzhn,eta.CEa:AMueelMutiDspneChneeEauaonSueoroundaonMods."avpepntaX2305.08322023.Ouang,ong,eta.anngangugeodesooownsuconshhuaneedbak.dancesnNeualnoraonPocesngSses352022:277302774.eng,Ahan,eta.G130b:Anopnbngualetanedode.aXivpepntaX2210.0214202.hao,aneXn,eta.Asueyofageanguageodes.aXvpepntaX2303.1823203.an