扩展学习而非技能

通过在大量RL环境中预先“烘对比思考题：思考题：“预烘焙”技能：这是优势，还是无奈之举??内在矛盾：可能一：横型很快就能在工作中自主学习，这将使所有这些“预烘焙”工作变得毫无意义。现状：存在一个完整的产业链，专门构建RL环境，教模型如何使用特定软件。可能二：模型无法做到这一点，现状：存在一个完整的产业链，专门构建RL环境，教模型如何使用特定软件。结论：实验室的行为(大规模预烘焙)暗示了他们默认模型在泛化和在职学习方面表现不佳。这是一种未雨绸缪的补救，而非通往AGI的自信步伐。一个生物学家的困境：问题的缩影关键症结问题不在于能否训练一个关键症结问题不在于能否训练一个问题在于，为这个实验室的特定制片方式创建一个定制训练流程，然后再为下一个实验室的微任务创建另一个流程，这样做在经济上是否可行?一位AI研究员认为这是个“教科书级别的深度学习问题”。细舱培养墓差异。样本液度人类工作者的价值恰恰在于我们不需要为他们工作中的每一个微小部分都建立专门的训练循环。他们能够通过语义反馈和自主经验进行学习和泛化。全球知识工作者年薪数十万亿美元当前AI模型年收入数十亿美元这种巨大的差异并非市场渗透缓慢，而是模型能力与人类知识工作者之间真实能力的巨大差距的直接体现。有人说AI尚未广泛部署只是因为新技术需要时间来扩散。我们的回应是：如果模型真的像“服务器上的人类”,它们的扩散速度将难以置信地快。入职培训团队磨合无需担心招聘到不合适的“员工”我们为什么有理由“移动球门”当模型已经解决了我们过去认为对AGI来说“足够”的瓶颈(如常识、推理、小样本学习)时………但它们仍然未能产生AGI级别的经济影响………那么一个理性的反应就是：“哦，原来智能和劳动比我之前想象的要复杂得多。”根据新的证据更新我们对AGI的定义，这不是自相矛盾，而是科学的思维方式。事实表明，我们之前的定义过于狭隘了。点一条清晰、普适的提升轨迹，其可预测性几乎像物理定律。没有任何公开、可靠的ScalingLaw。人们只是在“借用”预训练的声望。获得相当于一次GPT级别迭代所带来的提升。”每笔交易都亏钱，但我们靠走量来弥补没关系，我靠走量来弥补!AI研究员：一个流行的反驳观点：我们现在做这些笨拙的RL,是为了构建一个超人的AI研究员，然后让成千上万个它的复制品去解决稳健、高效的经验学习问题。逻辑漏洞：这个所谓的“自动化研究员”连儿童所具备的基本学习能力都没有，却要指望它去解决一个人类顶尖智慧百年来都未能攻克的难题(AGI算法)?这极其不合情理。缺失的一环：持续学习(ContinualLearning)持续学习这才是真正的瓶颈。它代表了智能体在工作中，通过以下方式学习的能力：赋予模型动态学习新技能和适应新环境的赋予模型动态学习新技能和适应新环境的预先烘焙一套固定的技能。能力提升/批量蒸馏能力提升/批量蒸馏编程代理体经验与知识经验与知识法律代理体第一步：大量持续学习的智能体被部署到不同岗位上，执行任务井创造价值。第二步：它们将所有学习到的经验和知识带回到一个“埠巢思维模型”。第三步：HiveMind对所有智能体的经验进行“批量蒸馏”,提升整个系统的能力。GPT-3在2020年就展示了其强大能力，但我们至今仍在不断完善它。2034,可能还需要5到10年的时间来逐步完善。2024初步实现不要期待第一个破解持续学习的模型会带来失控式的收益。它将是一个逐步部署和迭代的过程。为什么竞争将持续激烈“赢家通吃”的论点为何站不住脚：以往被认为是“飞轮效应”的因素(如用户交互数据)并未阻止模型公司之间的竞争愈发激烈。三大模型公司是中轮动跑流现象和人才挖角的现象，导入在同附模型的投资尚上，这种挖角瓷至今有效的幞型，在其重气任面前一个不载樱型之激烈。硅谷的“谣言工厂”硅谷的现在中路正文的年鏖广播介关于对，也要把静利谣言会谣言。常规的逆向工程相在逆向工程中常觌造程疑作，三大研轮全公司的平面导上的一希望，通过胡功和上的实验公每隔几个月，三大模型公司就会轮流登上榜首。这种动态平衡至今有效地中和了任何单一实