人工智能和金融科技研究_第1页
人工智能和金融科技研究_第2页
人工智能和金融科技研究_第3页
人工智能和金融科技研究_第4页
人工智能和金融科技研究_第5页
已阅读5页,还剩69页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

曹顺教授美国马里兰大学人工智能和金融科技研究起始:计算机科学家(为期七年),为编程语言编译器开发优化。转折:转入金融专业,之后成为会计学博士。研究轨迹:教授简介协助投资者决策协助企业管理者决策协助家庭/零售商决策协助创业者决策协助投资者决策协助企业管理者决策早期阶段使用基本面数据当前阶段使用人工智能和替代数据未来潜力信息披露:生产和消费第一阶段:投资者基本面研究重新审视增长效应:所有类型的资产增长是否都相同?使用资产负债表指标进行剖析,从而区分健康增长的企业和积极扩张的企业。利益绑定:运营增长、公司业绩和未来股票回报。创新地修改资产负债表指标的插补,并设计产生可观年度和短期回报的交易策略。盈利波动、盈余惯性和交易摩擦从损益表中量化对投资者有用的信息,这些信息预测了公司未来的经营业绩,但未能被投资者及时理解。/sol3/cf_dev/AbsByAuth.cfm?per_id=1403904转变到第二阶段:使用人工智能和替代数据挑战1:障碍不在于技术技能(如大语言模型),而在于好想法积极+负面筛选法用来产生和淘汰想法挑战2:解读技术,而不是将其作为“黑匣子”。沉思、疑惑、老去……挑战:数据并不能产生优质论文;但是,好想法能引导出好论文。如何利用新兴技术收获好想法?类型1:人工智能作为解决非人工智能研究问题的工具-方法论模型-使用人工智能工具:计算新变量,从而增强现有研究领域中的答案类型2:人工智能作为研究问题新的研究问题模型解决人工智能兴起引发的新问题使用人工智能作为工具或依赖DiD等传统方法更多类型2示例:人工智能政策和治理-企业的人工智能采用政策:是否采用,如何采用-政府人工智能政策:鼓励还是监管研究问题集中在资产定价或审计等传统领域,而不是人工智能主题人工智能/机器学习(ML)被用作工具;大多数学者无需切换领域即可获取例如,使用人工智能预测财务报表重述或股票回报;然后与最小二乘法(OLS)比较随着人工智能的进步,人工智能和机器学习成为研究问题。传统领域之外的新问题:-生成式人工智产生信息还是协助消费信息?-人类如何与人工智能协作?与人工智能和大数据采用相关的国家和企业层面政策:是否采用,如何采用不使用人工智能/机器学习工具应用传统的双重差分设计(事件研究)学术研究如何采用人工智能?类型1和类型2:相关人工智能研究2.机器阅读新闻1.人

+机器人工智能股票分析器(《金融经济学杂志》2024年度Fama-DFA最佳论文奖)取代人类智能?增强人类智能?人类vs.机器的表现机器读者正在崛起,并且已成为财务报告的重要消费者。(Cao、Jiang、Yang与Zhang,《金融研究评论》,2023年)《金融研究评论》MichaelJ.Brennan最佳论文奖(及合著人),

当机器倾听时如何表述:人工智能时代的企业披露/sol3/cf_dev/AbsByAuth.cfm?per_id=1403904类型1和类型2:相关人工智能研究1.人+机器人工智能股票分析器(《金融经济学杂志》2024年度Fama-DFA最佳论文奖)取代人类智能?增强人类智能?/sol3/cf_dev/AbsByAuth.cfm?per_id=1403904这篇论文共分三个部分:机器:机器能否击败大多数人类分析师?——类型1人类:在人工智能时代,人类分析师具备哪些优势?人+机器:配备人工智能的分析师如何击败机器?变量作为机器学习的输入公司特征:以往股票价格、以往回报率、以往收益以及已知与股票价格相关的公司特征。行业变量:行业竞争、产品市场流动性、行业隶属关系、行业规模等。宏观变量:工业生产指数、消费者价格指数、原油价格(WTI)、3个月期国债利率、10年期国债固定期限利率、BAA-AAA收益率利差等。非结构化替代数据:10-K、8-K、电话会议记录、Twitter、生产图像等。类型1和类型2:相关人工智能研究人类vs.机器的表现有利可图的交易策略:根据人工智能预测,在调整风险因素后,月α系数约为1%。人工智能时代,谁将茁壮成长?具有较强的推理或逻辑思维能力、能够理解和分析低频事件的人才。在工作中能有效利用人工智能的人才;人工智能将增强他们的能力,而不是对他们加以取代。了解人(企业管理团队)和创新等其他软技能的人才。总之,人类拥有机器无法取代的技能

“人+机器”的工作模式将超越“纯机器”和“纯人类”模式。/sol3/cf_dev/AbsByAuth.cfm?per_id=14039041.人+机器人工智能股票分析器(《金融经济学杂志》2024年度Fama-DFA最佳论文奖)取代人类智能?增强人类智能?在哪些领域应用人工智能:了解人类或回报人类决策的复杂性10位分析师中哪个更值得信赖?我们如何才能在值得信赖的分析师中达成智能共识?I.FeinsethB.CrockettY.ArounianB.EricksonB.FitzgeraldD.MathivananJ.BlackledgeB.PitzI.WermannA.Boone2020年3月31日盈利公告10位分析师关注谷歌机器分析人类:机器能否告诉我们该信任哪个人类?人类决策的复杂性10位分析师中哪个更值得信赖?我们如何才能在值得信赖的分析师中达成智能共识?I.FeinsethB.CrockettY.ArounianB.EricksonB.FitzgeraldD.MathivananJ.BlackledgeB.PitzI.WermannA.Boone2020年3月31日盈利公告10位分析师关注谷歌设置我们如何推导出以下等式中的权重(按个人、公司、时间)?对投资者的意义:与所有分析师的简单平均值相比,这是一项智能共识I.FeinsethB.CrockettY.ArounianB.EricksonB.FitzgeraldD.MathivananJ.BlackledgeB.PitzI.WermannA.Boone2020.3.31EarningAnnouncement10位分析师关注谷歌

我们能从中学到什么?打开黑匣子:我们应该如何解读?哪些特性使机器学习方法优于传统方法?方法论贡献:理解分析师行为需要捕捉局部非线性交互(例如使用CNN等局部依赖模型)我们调整和微调基于图像的模型,从而利用领域知识,分析数值数据(在分析师设置中)经济意义个人层面(基于分析师修订日期的交易策略)理解分析师的动态技能(按公司和时间):产生专家挑选的分析师无法企及的显著异常回报解决修订后惯性的难题公司层面(基于公司盈利公布日期的交易策略)“智能”分析师共识vs.传统分析师共识人力资源意义求职者评估线上讨论解读政治预测和宏观经济展望类型1和类型2:相关人工智能研究2.机器阅读新闻机器读者正在崛起,并且已成为财务报告的重要消费者。(Cao、Jiang、Yang与Zhang,《金融研究评论》,2023年)《金融研究评论》MichaelJ.Brennan最佳论文奖(及合著人),

当机器倾听时如何表述:人工智能时代的企业披露/sol3/cf_dev/AbsByAuth.cfm?per_id=1403904管理者的披露决策如何迎合机器读者的崛起?采用可能对人类可读性影响不大的机器可读财务报告格式管理者改变其语言风格,从而迎合等大型语言模型。——类型1管理者使其演示风格(特别是语音特征)更有利于机器算法。人类可读性vs.机器可读性机器可读性高机器可读性,同时将人类可读性保持在相同水平。人类可读性人类可读性vs.机器可读性资料来源:

S.Cao、W.Jiang、B.Yang与A.L.Zhang(2023年)。当机器倾听时如何表述:人工智能时代的企业披露。《金融研究评论》,第36(9)期,第3603-3642页。人类可读性机器可读性低机器可读性,同时将人类可读性保持在相同水平。大语言模型分析公司新闻的外国偏差研究设计设定:跨国人工智能模型我们比较两个前沿大语言模型(LLM):ChatGPT4.1(总部位于美国,主要接受英语资源训练)。DeepSeekR1(总部位于中国,主要接受中文资源训练)。两个模型的训练截断点:2024年6月30日在上海和深圳交易所上市的4,978家中国公司(来自CompustatGlobal,2023财年)。我们的主要研究发现人类倾向于青睐国内股票而不是外国股票相比之下,人工智能模型的表现如何人工智能不仅仅反映人类的偏差——甚至会创造新偏差!我们的主要研究发现国外偏差(本土偏差的逆转)与DeepSeek(总部位于中国)相比,ChatGPT(总部位于美国)系统性地更看好中国公司。预测股价高出11.6%,并且发布的买入建议高出1.3%。DeepSeek预测更加准确。这与人类投资者传统的本土偏差相矛盾对于美国公司来说,两个模型的预测相似。缺失负面新闻的示例关于湖北武昌鱼股份有限公司(600275.SH)的意见书(中文新闻)缺失负面新闻的示例关于湖北武昌鱼股份有限公司(600275.SH)(外国新闻)没有其他新闻!为什么不存在本土偏差?当我们为ChatGPT补充缺失的负面新闻时,偏差消失了。大语言模型的偏差可能是无意产生的,主要源于训练数据局限性,而不是模型设计。Cao等人(2025年),“视觉信息和人工智能落差:来自企业高管演示的证据”类型1:机器学习作为工具,从CEO演示幻灯片中提取不同类型的图像;检验对企业价值的影响类型2:大数据是否会在外部投资者中造成人工智能落差?:公开信息不对称/sol3/cf_dev/AbsByAuth.cfm?per_id=1403904大图像模型我们将投资者分为三类:经过人工智能增强的机构投资者:在CEO演示期间,利用产品图像做出交易决策非人工智能机构投资者:不利用产品图像,但由于存在其他资源而保持稳定回报。散户投资者:无法获得人工智能工具或传统资源,因而落后。外部投资者之间不断扩大的信息差距信息差距不再源于获取信息的差异。相反,源于信息处理能力的差异。在我们的设置中,我们将这种形式的公开信息不对称称为“人工智能落差”。4.图像分析来自演示幻灯片的视觉信息和人工智能落差3.专家网络电话专家电话和电话会议的主题分布5.高管有关未来人工智能和气候投资的了解/sol3/cf_dev/AbsByAuth.cfm?per_id=1403904更多相关人工智能研究如何产生想法方法1:文献扩展从文献中寻找空白提供新的解释在新设置中测试现有理论将现有措施应用于新问题方法2:真实世界观察阅读新闻与行业专业人士交流发现新问题/研究新现象运用经过改进的方法重新考察原有问题(就学术兴趣保持谨慎)方法3:替代数据新颖的数据并不能保证新颖的问题——深思熟虑至关重要人工智能工具可能有助于实施想法,但并非卖点方法4:新政策国家政策:可能彼此竞争的论文企业政策在制定政策影响时,存在实证严谨性的高障碍洞见:读者能了解到什么?执行洞见:读者能了解到什么?新颖性洞见:读者能了解到什么?新颖性新颖性执行Execution洞见:读者能了解到什么?新颖性执行阅读文献来自真实世界来自新政策来自替代数据相关性执行新颖性评估想法的价值:负面筛选新颖性:广度边际探索新研究问题)Vs.深度边际深化现有问题(史蒂夫·乔布斯的工艺)学术界新颖行业新颖学术界读者能了解到什么?行业读者能了解到什么?监管机构读者能了解到什么?受众越广越重要识别障碍感兴趣变量的测量误差缺乏数据人工智能和非结构化数据可以缓解这种顾虑资本市场研究中的人工智能和大数据是什么?区块链理论研究人工智能和金融科技实现去中心化金融行业:元宇宙、区块链、Web3、智能合约、去中心化组织、区块链、P2P)学术研究:更多实证工作即将到来商学院的新课程资本市场研究中的人工智能和大数据是什么?用于决策的人工智能和替代数据相对成熟的领域:用于投资、股票回报和资产管理的人工智能和替代数据。例如,金融中的机器学习和自然语言处理(NLP)用于银行、贷款合同和信用风险的人工智能和替代数据相对新兴的领域:上市公司vs.私营公司面向创业者或私营公司/初创公司/小型企业的人工智能和替代数据机构vs.零售/家庭面对机构投资者vs.家庭金融的人工智能和替代数据/新兴技术:零售投资者获取人工智能、替代贷款、数字支付、智能投顾应对新兴社会挑战的人工智能(例如可持续发展和供应链)生成式人工智能:使用生成式人工智能生产和消费信息;对会计和金融领域劳动力的影响用于可持续和社会金融的人工智能和替代数据:气候技术、社会公平和人工智能公平用于供应链稳定的人工智能和替代数据用于网络安全的人工智能和替代数据人工智能和替代数据政策——监管技术:歧视、性别问题、人工智能公平性未来的一大方向:技术可及性人们关注技术和人工智能,但很少谈论人工智能的可及性。例如:谷歌BERT是功能强大的大语言模型(LLM),部分任务性能堪比GPT。然而,虽然人人都知道ChatGPT,但很少有人熟悉谷歌BERT。谷歌BERT(2018年)比ChatGPT(2022年)早诞生四年。为什么?ChatGPT提供了易于使用的网络界面,而谷歌BERT则需要编程技能。可及性至关重要。易于获取的人工智能有助于减少资源丰富和资源贫乏投资者之间的公开信息不对称。在Wei的论文中,提出的每一点都可以为一篇独立的论文提供灵感,从而增进我们对新兴社会问题的理解。是计算机科学学者还是会计学/金融学学者的问题?我们能否依靠计算机科学学者来开发一个天才系统,从而解决上述所有问题?还是需要钻研人工智能、开发解决方案的金融学学者?人工智能的三大关键能力:算法设计计算能力制度详细信息和数据的领域知识恕我直言,计算机科学学者是否知道特斯拉的例子、CEO演示幻灯片中的产品图片,或者前面讨论的人工智能分析师?在缺乏系统知识的情况下,计算机科学学者要解决人工智能+治理问题将极具挑战性。结论:我们的任务是借助人工智能工具,引导人工智能+治理我们能提供怎样的帮助?与Wei合著的一本人工智能免费教材,融合了金融数据和大语言模型的系统知识。类型1颠覆:人工智能用于现有业务-费用模式-人工智能颠覆削减现有生产流程的运营成本类型2颠覆:人工智能创造新业务-收入模式-人工智能颠覆通过人工智能驱动的新业务,创造收入人工智能通过降低成本来提高盈利,而不是扩大收入——这在包括金融行业在内的大多数企业中都十分常见。Vistra:继续能源生产,人工智能没有带来新的业务扩张,但人工智能降低了运营成本,显著提高了盈利。Meta等软件公司:受益于编码费用的降低,推动利润上升行业如何采用人工智能?·人工智能增加新的业务需求和收入,从而提高盈利。新业务:

显卡(GPU)生产、量子计算、人工智能体、自动驾驶汽车。类型2模式:与类型1专注于降低成本不同,从新人工智能业务中产生新收入。SECIOSCO有关投资者如何运用人工智能的报告客户方面:确定客户和支持服务。投资方面:投资选择。提出投资建议,补充人力投资决策流程;投资组合及风险管理运营方面:提高内部研究能力以及后台职能财务报告、预算编制及风险控制提出建议:•适当治理•拥有足够知识的员工•稳健、一致且定义明确的开发和测试流程•向投资者、监管机构和其他相关利益相关者提供适当的透明度和披露。如需了解更多信息,请访问网页,观看我的SEC讨论和专题讨论发言:https:///view/seancao/home/watch?v=YYn0nwC2S7Q投资公司选股流程第一步:识别潜在股票积极筛选运用自营交易策略,选择有限数量的潜力股部分公司已经在使用人工智能选股第二步:人工分析和危险信号识别负面筛选人工审查选定的股票

第一步中遗漏的潜在危险信号假设团队规模:20人很少有公司在这一步骤中使用人工智能第三步:风险控制评估如果将第二步中的股票添加到投资组合中将带来的额外风险/投资组合波动性假设团队规模:10人第四步:交易执行最大限度地降低执行委托单的价格影响和交易成本如果交易金额较大且可能造成价格影响选股流程——借助人工智能提高效率并降低成本第二步:人工智能辅助危险信号识别迁移学习:假设你已经有一个阅读所有维基百科、Twitter、书籍等的专家。你的域数据:以往的分析师识别危险信号并记录其逻辑和思维过程的笔记和报告你的专家(类似GPT的预训练模型)可以从这些笔记中学习,并在较少人工干预的情况下识别危险信号团队规模:1人——为什么?第三步:人工智能辅助风险控制你的域数据:风险团队以前进行过风险测试和评估并记录计算过程的笔记专家级人工智能(类似GPT的预训练模型)可以从这些笔记中学习,并在较少人工干预的情况下执行风险控制团队规模:1人采用人工智能的好处:降低人力成本:将团队规模从30人减少到2人业务扩张:业务容量从1亿增加到10亿投资公司中型企业使用人工智能可以有哪些解决方案?迁移学习:站在巨人的肩膀上充分利用现有的人工智能模型,而不是从头开始自行构建运用以下方式训练类似GPT这样(经过预训练)的现有人工智能成本很高监督(人工指导)自我监督(使用相邻单词作为指导)无监督(机器集群)微调模型,从而满足自身特定的业务需求迁移学习(预训练)示例1:ImageNet目的:识别图像内容十分复杂,因为图片中有许多内容(例如选矿厂场地、钢架装置等)迁移学习:使用ImageNet开发的现有模型可以很好地识别所有内容有了有关常见内容的知识,理解上图就容易多了比喻:你有了各种乐高积木,只需弄清楚如何把它们拼在一起就行企业使用人工智能可以有哪些解决方案?迁移学习(预训练)示例2:GPTGPT理解许多公开可用数据的语境和含义,例如所有书籍、维基百科、Twitter等。你可以将GPT视为从所有这些数据中处理和吸收知识的专家商机:GPT没有专门针对8-K或代理声明等财务数据进行训练,而是针对年度报告和电话会议等常见财务数据进行训练GPT根据公司的私有数据进行训练如果你希望GPT执行针对特定公司的任务,例如分析某支股票的财务信息你不需要从头开始训练GPT相反,把它当做已经吸收了所有数据、消息灵通的人来加以训练与从头开始的训练相比,它只需要更少的域数据进行训练。你并不是在训练婴儿,而是在用你特定领域的数据训练超级聪明的专家。识别潜在客户(公司或个人客户)迁移学习:假设你已经有一位专家,它阅读所有的维基百科、Twitter、书籍等。你的域数据:销售团队根据经验和市场研究及其推理和经验来识别潜在客户的笔记。你具备有关哪些笔记带来了新客户、哪些笔记没有起作用的信息因此,人工智能就知道哪个策略有效,哪个策略无效。两类笔记(成功和失败)都很重要。你的专家(类似GPT的预训练模型)可以学习历史笔记和数据,从而确定客户和参与策略。优点:

销售团队从50人减少到5人,同时客户群扩大人类销售人员不会总是工作,但人工智能销售全天候工作,因为它们从人类的失败和成功中吸取经验教训对其他企业而言是什么情况

(例如制造企业)?人工智能协助制定预算你的域数据:管理者用来分配资源的笔记你使用有关以往预算有效性的事后评估,这样人工智能就知道哪项预算有效,哪项预算无效。两类笔记(成功和失败)都很重要。你的专家(类似GPT的预训练模型)可以学习历史笔记和数据,从而制定能够切实有效的预算。优点:人工预算并非总是有效,但人工智能预算很有效,因为它们从人类的失败和成功中吸取经验教训预算制定团队可以从20人减少到3人,还能做出更有效的预算编制决策。对其他企业而言是什么情况

(例如制造企业)?关键优势人工智能模型根据公司的独特数据加以训练优势1:针对自身的数据进行训练,并满足自身的特定业务需求每家企业都有自己独特的需求。通用大语言模型可能无法满足这些需求。使用自身的数据和特定的任务需求微调通用大语言模型,将满足企业特定的业务需求优势2:潜在隐私保护将数据上传到GPT等第三方大语言模型可能会损害数据隐私如果公司要求严格的数据隐私,可使用Llama3等开源大语言模型对于非开源大语言模型而言,企业无法访问其参数,因此无法构建自身的大语言模型。隐私和模型性能之间的权衡为什么学术研究对行业从业者很有价值?行业对学术研究的需求?免费严格测试承担风险的长期项目时间太长,难以产生利润在《金融学杂志》上发表一篇论文甚至需要长达5年的时间为什么?免费论文太多筛选成本:好奇心驱动的兴趣vs.客户驱动的兴趣两者匹配(学术+产业)需要努力相同主题,不同表达:学术语言vs.从业者语言学术:风险调整收益率=实际收益率-风险溢价收益率从业者:夏普比率=收益/风险行业对学术研究的需求?研究方面:从学术人工智能研究到行业应用的知识转移降低筛选成本:更多研讨会、实地考察、将行业和学术专业人士涵盖在内的会议协助咨询或专家见证等行业项目更易于理解的写作:让广大受众更易于理解的学术论文写作希望所有论文均有执行摘要我在马里兰人工智能项目下开发了以下易于理解的资料:可通过我的网页获取

我们能做些什么新人工智能中心和专业领导者的愉快访问人才挑战与机遇:培养大数据和人工智能人才用于博士、大数据和人工智能短期课程(例如莱斯大学、哈佛大学、印第安纳大学、明尼苏达大学、兰卡斯特大学、德克萨斯大学达拉斯分校)-用于本科生、硕士、高管教育,使用该教科书的新人工智能素养课程

无需任何计算机科学背景;培养兴趣影响力挑战与机遇:学术界和工业界之间的知识转移有限好消息:我观察到业界对人工智能的高度协作需求我从行业合作伙伴那里获得了马里兰人工智能项目的初始资金他们从我们的研究中吸取经验,而我们从实践和系统细节中了解其需求

持续努力和新挑战Coursera版本:

/share/70fc885176a8396aeed8867e05ac2dea课程标题为:AIApplicationsinAccountingandFinance(会计学和金融学中的人工智能应用)。Coursera版本还提供条理清晰的视频流程和测验,从而支持学习。信息盈利、资产负债表、损益表早期研究:定量所有SEC档案(定性披露)8-K、代理声明等自愿披露电话会议社交媒体(负面同行披露,《金融经济学杂志》,2021年)数字足迹(《会计研究杂志》,2021年(模仿))(政治风险、气候风险、银行风险、个性、情绪等等)媒体公司内部的任何信息例如卫星图像、RPI搜索SeanCao谷歌网站演变公司披露未公开,但可提取会计学和金融学vs.计算机科学学者中的大数据每个张杰和编码都有视频可在SeanCao谷歌网站上查看更多信息本书结构第1部分:了解替代财务数据第2部分:熟悉新兴技术第3部分:了解数据和技术的用例第1部分:了解域数据:从哪里获得企业的产品/风险信息?第1部分:了解域数据:从哪里获得企业的销售合同或贷款合同?第1部分:了解域数据:文本之外的视觉信息第1步:哪些数据源?-在第1项下有产品描述第2步:2024年年报(100个有关产品的句子)和2023年年报(90个有关产品的句子)识别2024年年报中的10个新产品句第3步:如何使用大语言模型(谷歌BERT)进行计算

识别2024年所有美国上市公司的新产品发布第2部分:新兴技术提示工程:(学生不参加模拟考试,而是为新考试做笔记)——参数无变化(硬)提示词调优:人工设计的自然语言,人类可理解的提示词;对提示词的选择敏感(软)提示词调优LM-BFF:提示词调优+演示+模板生成P调优:微调输入(提示词)嵌入通过软提示词提高性能模型微调(学生参加多次模拟考试,变得更加熟练,并且参加新考试)——参数变化前缀调优:仅优化前缀嵌入缩短训练时间,提高空间效率,适用于所有模型,但需要大量训练样本微调整体模型——成本高昂,但能产生最佳效果。指令调优:人工引导的强化学习如何训练大语言模型提示词调优——少样本提示词示例[ {

"role":"system",

“content”:“YouareanAIanalysttohelpidentifytheclimateriskrelatedsentencesfromconferencecalltranscript.Pleasereturn1iftheinputsentenceisclimateriskrelatedandreturn0iftheinputsentenceisnotclimateriskrelated.Youwillonlyprovidethenumber1or0astheanswer”

},

{

"role":"user",

"content":“Weareintegratingclimateriskassessmentsintoourstrategicplanningtoensurelong-termsustainabilityandregulatorycompliance.”

},

{

"role":"assistant",

"content":“1"

},

{

"role":"user",

"content":“Ourquarterlyearningsexceededexpectations,reflectingstrongperformanceacrossalldivisions.”

},

{

"role":"assistant",

"content":“0"

},

{

"role":"user",

"content":“Ourcommitmenttoreducingcarbonemissionsisaproactivemeasuretomitigatelong-termclimaterisk”

},

{

"role":"assistant",

"content":“"

}]任务描述少样本提示词示例输入句子,以获得答案示例1示例2(软)提示词调优

前缀调优思路:仅优化前缀嵌入大语言模型前瞻偏差:用未来诠释过去大语言模型暗中记忆其预训练数据中的信息(参数),包括预测目标。指定提示词能否消除偏差?去除公司身份能否消除偏差?我们能否根据训练数据截断点依赖大语言模型?我们是否应该训练自定义机器学习模型,从而控制训练数据时间线?使用大语言模型的最佳方式是什么?大语言模型2020年的预测输出未来股票回报/收益2019年的输入以往收益、股票回报、电话会议等截至2023年10月的预训练输入未来股票回报/收益分析师在2019年预测2020年解决方案可能不起作用:提示工程简单地告诉大语言模型不要在提示词中使用未来信息。这个解决方案不起作用(Sarkar和Vafa,2024年)参数中嵌入未来信息难以避免使用参数哪些解决方案可能有效?解决方案1:去除名称/日期Levy(2024年):预测性能确实显著下降。能否彻底解决前瞻偏差?如果大语言模型可以对公司名称进行逆向工程,并获得未来的未来信息,情况会怎么样?更多行动:询问大语言模型是否能分辨出是哪家公司;淘汰那些对公司身份进行逆向工程的观测值。Engelberg等人(2025年):在去除身份信息后,90%的样本“不可恢复”。解决方案2:使用大语言模型训练数据截断点的真样本外测试使用预训练数据中没有的结果信息。Levy(2024年),Sarkar与Vafa(2024年)大语言模型2025年的预测输出未来股票回报/收益2024年的输入以往收益、股票回报、电话会议等截至2023年10月的预训练输入未来股票回报/收益分析师在2024年预测2025年解决方案3:自行训练模型你可以控制训练样本的时间线Cao等人(2024年)以及Gu、Kelly、Xiu(2020年):仅以滚动方式使用历史训练样本来预测下一年/下一个月的股票收益。Sarkar(2024年)及Levy(2024年):通过同样的逻辑来训练大语言模型,控制训练样本时间线2018年2019年2020年2021年2022年2023年模型2021训练验证预测模型2022训练验证预测模型2023训练验证预测使用大语言模型的最佳方式是什么如果需要进行预测,可以使用解决方案2或3。两者均控制训练样本的时间线将其用作检索增强(RA)而不是预测模型,会更加安全。RA可以阅读2020年的电话会议供你搜索;大语言模型可以为你完成同样的任务,从2020年电话会议中提取一些文本特征。文本输入大语言模型(作为预测模型)预测结果大语言模型(作为检索增强)输入:仅“2020年”会议记录输出:政治风险/气候风险等衡量指标(大语言模型不知道你感兴趣的结果)遵循回归分析前瞻偏差,除非测试超出知识截断点如何降低GPT成本:实验与优化•

从小样本开始:从小样本开始测试和完善性能。•缩短提示词:缩短提示词:排除不会显著影响性能的不必要示例。•同时提交多个提示词:费用较少——

/asyncio-vs-threading-in-python/

利用批量API折扣:半价(例如OpenAI的折扣定价)。•手动标记:预先标记无关样本,从而减少输入规模;或使用关键词过滤掉无关样本。•限制输出:将输出限制为二进制结果(0/1),无需解释,以便节约代币。•积极主动:探索在线资源,寻找节约成本的方法。无监督学习——将相似的图片分组在一起/我们不知道会是什么样的分组监督学习——向人类学习;劳动力成本和人工判断——标记新冠组与非新冠组自我监督学习——向自然学习;股票回报作为标记和单词嵌入知识蒸馏——向超级机器学习:GPT为DeepSeek做标记;还有李飞飞最近推出的推理模型师生模型——DeepSeek此前将自己定位为GPT-4:它曾经说:“我也是某种版本的ChatGPT,尤其是基于GPT-4。”让经济学家能够理解这项技术?🔹**成本比较:**GPT(7800万美元)vs.DeepSeek(560万美元)

-

早期的计算成本更高

-GPT-3.5使用人工标记;DeepSeek使用GPT标记

-类比:GPT用于非结构化数据,DeepSeek用于经过解析的纯净数据

🔹**知识蒸馏vs.对抗性学习**

-**对抗性学习:**一个模型生成假数据,另一个模型加以检测→DeepFake等交互寻优

-**关键差异:**

-知识蒸馏=单向学习

-对抗性学习=

双向学习(相互改进)

🔹**知识蒸馏vs.迁移学习**

-**迁移学习:**使用预训练模型(OpenAIAPI、BERT等)

-**知识蒸馏:**

复制预训练模型,让闭源大语言模型成为开源

-**例如:**DeepSeek向GPT标记学习→产生类似GPT的输出

🔹**白匣子vs.黑匣子学习**

-**白匣子:**

访问代码和参数

-**黑匣子:**使用输出对参数进行逆向工程

-**发人深省:**

如果我们查询所

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论