AI领域一周观察:后训练时代的工作轨迹、产业变局与认知公地悲剧_第1页
AI领域一周观察:后训练时代的工作轨迹、产业变局与认知公地悲剧_第2页
AI领域一周观察:后训练时代的工作轨迹、产业变局与认知公地悲剧_第3页
AI领域一周观察:后训练时代的工作轨迹、产业变局与认知公地悲剧_第4页
AI领域一周观察:后训练时代的工作轨迹、产业变局与认知公地悲剧_第5页
已阅读5页,还剩31页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

AIWEEKLYOBSERVATIONAI领域一周观察后训练时代的工作轨迹、产业变局与认知公地悲剧工作轨迹正式进入后训练,Harness自进化成为主流方向Google核心人才出走,AI产业格局加速重构AI带来「知识公地悲剧」,专家断层风险引发深度思考2026年8月·深度分析报告报告目录01本周核心:工作轨迹进入后训练EvoHarness-RL:模型学会何时查询经验Harness-R1:外部训练Harness工程师从工程化到自进化的范式转变02产业变局:人才、定价与商业模式Google核心人才出走与战略转向DeepSeek涨价、OpenAI硬件、Palantir模式MiniMax、June、AgentPlugins等新动态03研究前沿:能力边界与故障归因OpenAIAstra十项数学成果与Lean证明AI不擅长判断什么值得研究ModelorHarness故障归因、FutureSim预测04政策与社会:安全、断层与孤独Astra关键级网络能力与安全隔离认知公地悲剧:AI导致专家断层AI陪伴越陪伴越孤独的强化循环01CHAPTERONE·本周核心工作轨迹正式进入后训练时代以前Harness规则靠工程师手写,现在Agent自己留下的轨迹开始训练这套能力。两篇论文——一篇训练模型本体,一篇训练外部模型——标志着工作轨迹直接参与Agent的训练和版本迭代。EvoHarness-RL:让模型学会何时查询经验伊利诺伊大学厄巴纳-香槟分校与MetaAI8月5日发布,通过后训练让模型知道什么时候该用哪段经验核心架构:BPE外部状态空间Belief(信念):环境判断,记录当前任务状态Progress(进度):任务进度追踪,已完成和待完成Experience(经验):跨任务积累的经验库,可主动查询和写回模型通过四种元动作操作外部状态:查询、写入、更新、遗忘两阶段训练方法第一阶段:监督微调让模型模仿成功轨迹,学习从交互日志中提取有用信息并结构化到BPE工作区第二阶段:成本感知强化学习用GRPO算法,奖励完成任务,同时扣除无效查询的成本,训练模型权衡查询价值与预算成本关键发现:学到的不是"遇事先查库",而是"什么时候查询会改变下一步行动"训练后的模型没有更频繁地翻记忆,平均每个任务只调用约一次外部状态查询。它学会的是判断——这次查询是否真的会改变下一步行动,而不是机械地每次都查。这在一定程度上减少了模型在过往Harness上的上下文浪费,将工具使用从固定脚本转变为可学习的运行时行为。经验库在训练早期快速扩张(通用策略、任务特定流程、常见错误、搜索优先级),后期增长变得选择性——冗余条目合并、很少有用的技能淘汰、频繁召回的知识保留。EvoHarness-RL实验数据:8B模型逼近顶级模型在ALFWorld环境中,Qwen3-8B经过四阶段训练,成功率从47.9%提升至96.9%训练阶段成功率(已见任务)成功率(未见任务)关键变化ReAct基线47.9%-纯模型推理,无外部状态+外部状态56.4%-接入BPE外部状态空间+示范学习68.6%-监督微调模仿成功轨迹+强化学习96.9%86.6%成本感知RL,查询效率最优核心意义8B参数的小模型通过Harness-aware训练,在长程任务上逼近顶级模型表现,证明了运行系统设计的重要性不亚于模型本身。未见任务86.6%的成功率显示出良好的泛化能力。效率数据训练后模型平均每个任务只调用约1次外部状态查询,而非频繁翻记忆。经验库自动维护:冗余条目合并、无用技能淘汰、高频知识保留,最终保持紧凑且多样化。Harness-R1:训练一个外部的Harness工程师上海交通大学、小红书和东南大学8月3日发布,在模型外部训练9B参数的Harness工程师工作原理:阅读失败轨迹→修改Harness组件→让原Agent重跑Harness-R1不修改目标模型本身,而是训练一个外部的9B模型作为"Harness工程师"。它通过阅读Agent的失败轨迹,自动修改初始说明、决策提示、工具拦截和错误恢复代码,然后让原Agent用新的Harness重跑任务。实验结果条件优化前优化后目标模型不变(三环境平均)44.3%53.6%目标模型微调后59.2%64.2%与EvoHarness-RL的对比EvoHarness-RL:训练模型本体,让模型学会何时查询和使用外部经验Harness-R1:训练一个外部模型,自动修改Harness的代码和提示两篇论文一篇训练模型本体,一篇训练外部模型,都是比较成功的通过强化学习让模型自行学习"学习"成功轨迹。共同点:工作轨迹从"被提取和压缩的资源"变成"直接参与训练的素材"Harness发展趋势:从工程化到自进化7月以来,用工作轨迹做Harness自进化已成主流方向,本周两篇论文标志着从工程化到学习化的范式转变第一阶段:工程化提取代表工作:录屏教学、Screenpipe、RESOURCE2SKILL核心思路:有效提取和压缩工作轨迹方法:工程化方式使其可复用局限:轨迹是"被处理的资源",不参与模型学习第二阶段:自进化优化代表工作:AHE(复旦&北大)、HarnessEvolve核心思路:用另一个Agent自动迭代优化Harness方法:组件可观测性、经验可观测性、决策可观测性进展:10轮迭代Terminal-Bench2pass@1从6%提升第三阶段:轨迹参与训练代表工作:EvoHarness-RL、Harness-R1、MetaMuseCode核心思路:工作轨迹直接参与模型训练和版本迭代方法:强化学习让模型自行学习"学习"成功轨迹本周标志:两篇论文成功验证此范式未来展望:模型与Harness的共同设计MetaSuperintelligenceLabs发布的MuseCodebeta与MuseSpark1.2进一步推进了这一方向。MuseCode是终端编码Agent,多个后台Agent在整段会话中常驻,保留已读代码和调查结果。压力测试中,系统为优化GPU内核连续工作最长24小时,进行超过1000次工具调用。MuseSpark1.2的训练方式变成了和Harness同训——直接用MuseCode运行时产生的轨迹筛选训练样本,围绕目标保持、上下文压缩、后台Agent协作和工具调用调整训练方法。今后代码Agent能连续工作多久、出了错能否恢复,越来越取决于模型、事件日志、后台Agent和验证流程怎样配合,而不只取决于基础模型的编程分数。第一章小结:工作轨迹成为新的训练燃料从这两个工作开始,工作轨迹后续应该会开始直接参与Agent的训练和版本迭代。Harness不再是"写死的脚手架",而是"可学习的运行系统"。三条核心判断1.运行系统与模型同等重要8B模型通过Harness-aware训练逼近顶级模型,证明Harness设计的重要性不亚于模型参数规模。2.轨迹从资源变成燃料工作轨迹不再只是被提取和压缩的"资源",而是直接参与强化学习的"训练燃料",驱动模型和Harness共同进化。3.效率来自判断而非频率模型学到的不是"遇事先查库",而是"什么时候查询会改变下一步行动"。智能的核心是判断,不是频繁调用。迁移应用:企业Agent建设启示1.保存完整工作轨迹:企业部署Agent时应保存完整的交互日志、工具调用和成功/失败轨迹,这是未来自进化的基础数据。2.设计可观测的Harness:组件可观测性、经验可观测性、决策可观测性是自进化的前提,黑盒Harness无法被优化。3.建立轨迹筛选机制:不是所有轨迹都有价值,需要建立成功/失败标注和质量筛选机制,用高质量轨迹驱动训练。4.模型与Harness协同设计:采购或自研模型时应同时考虑Harness能力,单独评估模型分数已不足以预测真实任务表现。02CHAPTERTWO·产业变局人才、定价与商业模式的三重重构Google四大AI元老集体出走,公司重心可能从模型转向云平台。DeepSeek低价获客走到拐点,Palantir用20亿美元季度收入证明企业控制层能做成大生意。GoogleAI核心人才出走:DeepMind一夜变天8月5日Google重组DeepMind,Hassabis交棒,四大元老联合创业离职人员与去向DemisHassabis:不再负责日常运营,转任Alphabet首席科学家和DeepMind主席JeffDean:Google第30号员工,工作27年,联合创办DiscoveryLoopSanjayGhemawat:MapReduce/Bigtable联合发明人,联合创办DiscoveryLoopQuocLe:神经网络与Gemini训练核心,联合创办DiscoveryLoopOriolVinyals:AlphaGo/AlphaFold核心,联合创办DiscoveryLoop损失评估:四位离职者横跨分布式系统、TPU、神经网络和Gemini训练,Hassabis又退出日常管理。DeepMind损失的是把研究、算力和大型训练组织在一起的经验。前沿模型要连续完成预训练、强化学习和产品交付,核心人才集中离开会提高Gemini稳定换代的难度。Alphabet股价当日下跌约4%,市值蒸发约1900亿美元。DiscoveryLoop定位公益公司(PublicBenefitCorporation),专注AI驱动的科学研究。Google是创始投资者和云合作伙伴,投资和云支出仍留在Google体系内——这很可能是一种交换条件。继任者KorayKavukcuoglu升任高级副总裁,接管Gemini模型、研究、应用和开发者业务,直接向Pichai汇报。Google仍在训练Gemini4,第一方模型API调用量从每分钟160亿Token增至220亿,Gemini应用月活超过9.5亿。Google战略转向:从模型竞赛到云平台赢家SemiAnalysis判断:Google正在收缩前沿模型野心,最大赢家将是GCP战略逻辑自研模型只有领先才能获得高溢价,一旦不领先就变成成本中心。GCP云平台却能把TPU、训练集群和Agent平台卖给Gemini及其对手,无论谁的模型领先都能赚钱。人才离开内部模型团队创业,但投资和云支出仍留在Google体系内——这很可能是一种交换条件。云业务数据第二季度GoogleCloud收入同比增长82%,加速明显(一年前为32%)。待履约订单达到5140亿美元,创历史新高。TPU和训练集群成为GCP的差异化竞争力,Agent平台进一步锁定企业客户。近期人才流失趋势(部分)人物去向背景JohnJumper加入AnthropicAlphaFold核心人物NoamShazeer离开DeepMind深度学习专家,Transformer共同发明人JeffDean等四人创办DiscoveryLoopGoogle基础设施奠基人,Google投资定价拐点与硬件入口:DeepSeek涨价与OpenAI圆环设备DeepSeek:低价获客走到拐点本周在官方定价页贴出预告:API将整体大幅涨价模型输入(元/百万Token)输出(元/百万Token)V4Flash12V4Pro36新价格待公布待公布涨价原因:更多并发、更稳定的服务和下一代训练都要付算力账。战略转变:从低价获客转向分层收费,用价格筛选高价值客户。行业影响:标志着AIAPI价格战进入新阶段,低价不再是可持续的竞争策略。开发者需要重新评估模型选型和成本结构。OpenAI首款AI硬件:圆环设备Bloomberg8月6日披露,JonyIve团队参与设计形态:圆环形,大小接近冰球,电池供电,可放桌面或带到其他房间配置:无屏幕,配有摄像头、麦克风、扬声器、环境传感器和可活动部件交互:可活动部件在交互时改变姿态,看起来像一个"在场的角色"价格:预期300-400美元,正式上市可能等到2027年战略意图:通过硬件争夺用户日常生活的默认AI入口。想做的是"一整天连续发生的记忆"——用户在哪里、见过谁、正在做什么,并在没有口令时主动帮忙。挑战:权限和隐私问题依然麻烦。相对于手机无法移动,无法保证更全面的记录,除非接入其他摄像端口。定位依然尴尬。Palantir:企业AI控制层的20亿美元生意8月3日公布Q2财报,收入19.35亿美元,同比增长93%核心财务数据Q2总收入:19.35亿美元,同比增长93%美国商业收入:7.64亿美元,增长149%政府收入占比:全球政府收入仍占51.2%全年收入:2025年44.75亿美元,同比增长56%,5年市值增长25倍CEOAlexKarp:赋予其他公司「AI主权」——企业不应把数据、提示词、Agent编排和业务经验全交给模型公司,最后变成某一家语言模型实验室的附庸。三层产品架构Foundry数据接入层接入数据库、ERP和CRM,整合企业所有数据源Ontology语义建模层把表格翻译成订单、设备和客户,规定关系、权限和可执行动作AIP模型编排层接入GPT/Gemini/Claude/Llama,决定模型能看什么、做什么开源新范式与Agent生态:MiniMax、June与AgentPluginsMiniMaxH3:开源视频生成的新商业思路模型规格:核心生成器33B稠密Transformer,完整Base使用Qwen3-VL-32B编码器。可同时参考文字、9张图片、3段视频和3段音频,生成最长15秒带双声道视频。开源策略:开发者拿到可在本地生成、微调768p原生音视频的Base模型。但官方展示的2K成片仍要调用两个云端模块——H3-Context-IR先弄清素材衔接,Regenerate-2K再重做高清版本。商业逻辑:开放发动机和改装接口,对复杂素材理解、高清成片和商业授权收费。年收入超2000万美元的商业产品需另行授权。权重可以开放,最接近最终成片的工作流仍然可以成为生意。June:自动化部分FDE工作前Salesforce高管与BonoboAI旧部创办。接入Salesforce、ServiceNow、Databricks、Workday和SAP,盘点字段、配置与依赖关系,生成迁移或Agent部署方案,在沙箱里完成配置和测试。定位:把较标准的盘点、映射和测试交给AI,让一名工程师同时负责更多项目,而非拿掉实施团队。业务含义、跨部门取舍和上线责任仍是FDE的工作。AgentPlugins1.0:能力跨Agent安装标准7月24日发布1.0工作草案,8月6日修订。维护者来自Amazon、Cursor、Microsoft、OpenAI和Vercel。规范:插件必须带plugin.json说明名称版本,操作说明放skills/,工具调用写进mcp.json。统一最小目录,让兼容客户端知道到哪里找说明和工具。自此Agent能力开始像软件包一样拥有目录、版本和依赖边界。MetaMuseCode与CloudflareKitesurf:Agent基础设施的两个方向MuseCode:终端编码Agent,多个后台Agent常驻会话保留已读代码。压力测试中为优化GPU内核连续工作24小时,超1000次工具调用。MuseSpark1.2用运行时轨迹筛选训练样本,实现模型与Harness同训。Kitesurf:Cloudflare为Agent做的浏览器,保留CDP和MCP,去掉标签页等人类界面。HTML任务内存约为Chromium的1/7,CPU不到1/3,瞄准一台机器同时运行更多网页Agent。第二章小结:AI产业的价值重心迁移价值重心正在从"模型本身"向"模型之外的控制层、运行系统和基础设施"迁移。模型越来越像商品,真正的护城河在数据、权限、工作流和生态标准。五大产业趋势1.人才流向创业:顶尖研究员从大公司流出创办独立实验室,大公司通过投资和云合作保留关系。2.云平台成为赢家:无论谁的模型领先,云平台都能卖算力和基础设施。GCP收入增长82%。3.价格战终结:DeepSeek涨价标志低价获客不可持续,API定价进入分层收费新阶段。4.控制层商业化:Palantir证明企业AI控制层(数据+权限+工作流)能做成20亿美元季度生意。5.开源分层策略:开放基础模型权重,把高质量工作流和商业授权留在云端收费。迁移应用:企业AI战略启示1.不要锁定单一模型:模型迭代快、价格波动大,企业应保持多模型可切换的架构。2.重视控制层建设:真正难迁移的是业务规则、权限和执行接口,而非某一代模型。3.关注Agent生态标准:AgentPlugins等标准正在形成,早期采用可降低未来切换成本。4.重新评估成本结构:API涨价后需重新核算AI应用的单位经济模型,优化Token使用效率。5.硬件入口布局:关注AI硬件新形态,评估其对企业入口和用户触达方式的影响。03CHAPTERTHREE·研究前沿能力边界与故障归因OpenAIAstra用2000美元攻克十项数学难题,AI开始交付可审查的证据。但AI仍不擅长判断什么值得研究,Agent故障更多出在Harness而非模型。OpenAIAstra:2000美元攻克十项数学难题8月1日公开十项数学、量子复杂性和理论计算机科学成果,发布超249页证明包核心数据成果数量:十项开放问题新突破,涵盖数学、量子复杂性和理论计算机科学计算成本:找到解法所需Token按SolAPI价格计约2000美元证明材料:超过249页的题目、定理、证明和Lean制品验证方式:每项结果整理成专家可逐步检查的证明,部分有Lean制品供机器核验最核心的升级:AI开始形式化地交付可以审查的证据。研究者不必只看一段演示,再决定是否相信OpenAI。Lean验证是二进制的——要么编译通过,要么报错。一旦证明在Lean中编译成功,它本身就是正确的。研究流程三阶段第一阶段:搜索解法Astra内部版本搜索开放问题解法,生成数学论证第二阶段:整理论文人类研究人员用同一模型将论证整理成可公开阅读的论文第三阶段:形式化验证模型将每项论证转化为Lean证明证书,机器可独立检验AI科研范式革命:从"演示可信"到"证据可验"旧范式:演示可信2025年GPT-5事件:OpenAI宣称GPT-5解决了10个未解的Erdos问题,但后来发现只是搜索了互联网上已存在的论文解法,相关帖子被删除。问题:研究者只能看一段演示,再决定是否相信AI。缺乏可独立验证的证据,AI成果的可信度建立在机构信誉而非技术验证之上。新范式:证据可验2026年Astra成果:一份249页技术文稿、62页思路说明、十个大型Lean文件、十二组Comparatorchallenge,以及OpenAI对正确性的公开责任声明。变革:AI成果不再只靠演示说服,而是提供可被专家逐步检查、可被机器独立核验的完整证据链。可信度从"相信机构"转向"验证证据"。这是分水岭所在。Lean4的证书意味着每一个推理步骤都经过了机器的形式化核验,不存在靠"感觉对"蒙混过关的空间。Lean形式化验证的局限Lean能检查形式化命题和推导,但原题是否真是开放问题、形式化后有没有换掉原意,仍要由数学家判断。形式化验证解决的是"推导是否正确",而非"问题是否有价值"或"形式化是否忠实于原意"。这也引出了AI研究的更深层局限——AI能把实验做得更快,却还不擅长判断什么值得研究。自动化实验室近期最可能提高实验吞吐量,而不是替代研究品味。AI研究的能力边界:不擅长判断什么值得研究多项研究表明:模型很会在已有表示里归纳推演,却不擅长从异常现象中发明新解释关键数据:人类vs模型的选题方式差异Yale与芝加哥大学7月发布《MeasuringtheGapBetweenHumanandLLMResearchIdeas》:人类研究者只有12.1%主要靠连接分散文献来提出问题,模型达到47.1%-64.2%。Qwen3-8B打开thinkingmode后,这类"文献拼接题"反而从49.7%增至71.1%。结论:想得更久,让模型更会组合已有工作,却没有让它更像人类研究者那样挑问题。三项研究的共同发现《LLMsCan'tJump》(TomZahavy,DeepMind):模型很会在已有表示里归纳推演,却不擅长从异常现象中发明一套新的解释。《AIResearchAgentsNarrowScientificExploration》(港科大5月):ResearchAgent提出的方向更容易围着种子文献打转,探索范围狭窄。Yale研究:模型选题47%-64%靠文献拼接,人类仅12.1%核心判断与未来方向模型已经能检索、写代码、跑实验和形式化证明。它欠缺的是实验之前的判断:哪个异常值得追,哪条常识该怀疑,什么时候应该放弃原问题。自动化实验室近期最可能提高实验吞吐量,而不是替代研究品味。补上后者的方法:训练材料不能只有成功论文,还要包括失败实验、矛盾结果和研究者为什么放弃一条路线。ModelorHarness:Agent故障归因分析ScaleAI研究者7月30日发布,处理Agent评测里一个长期被掩盖的问题:失败了,究竟是模型不行还是Harness不行?核心问题:最终任务失败,只能说明整套系统没有完成工作。但究竟是模型推理能力不足,还是Harness没把必要信息送到模型?不做归因分析,团队可能在错误的地方投入资源——花大钱训练模型,而问题其实出在工具接口或上下文管理。41类故障的责任分布故障位置占比修复方向模型与Harness交接层大多数改上下文和调用流程,Harness没把必要信息送到模型外部工具错误<20%修工具接口,工具返回错误或权限不足模型推理能力不足仅2例训练模型,真正的模型能力问题占比很小领域知识缺乏仅2例补充领域知识或RAG,模型知识缺口也不是主因评分规则不一致部分修Benchmark,评分规则与真实任务不一致方法论:找到最早出错、后来又没被纠正的环节,团队才知道该训练模型,还是修Memory、工具与评测。FutureSim:持续联网不等于持续学习ELLISInstitute与马克斯·普朗克研究所5月发布,把模型放回新闻尚未发生的时间点观察预测能力实验设计方法:把模型放回新闻尚未发生的时间点,再按真实日期逐步提供三个月的新消息,观察它会不会改判。规模:系统可搜索736万篇文章,跟踪330个现实事件。目标:测试Agent在持续接收新信息时的学习和判断更新能力。核心发现最佳系统第一次选择就答对的比例仍只有约25%。持续联网不等于持续学习。Agent收到新消息后,不只要把它存起来,还要知道哪项旧判断因此失效,已经结束的事件又能教会自己什么。大多数Agent只是在"存储"新信息,而非"学习"和"更新判断"。深层问题:Memory只增不改,早期错误被保存得越来越牢Memory如果只增不改,Harness只负责不停运行,早期错误反而会被保存得越来越牢。这与第一章EvoHarness-RL的发现形成呼应——真正的智能不是"存储更多信息",而是"判断哪些信息需要更新、哪些旧判断已经失效"。FutureSim的研究表明,Agent的持续学习能力目前仍非常有限。要实现真正的持续学习,需要在Memory机制中加入"遗忘"和"更新"能力,而不仅仅是"积累"。这也是Harness自进化需要解决的核心问题之一。第三章小结:AI能力的边界与突破方向AI在"执行"层面快速突破——解题、验证、跑实验;但在"判断"层面仍有明显边界——选题、归因、持续学习。下一个突破点不在更大的模型,而在更好的Harness和更丰富的训练数据(包括失败经验)。四项研究的核心结论1.Astra数学突破:2000美元攻克十项难题,Lean形式化验证让AI成果从"演示可信"走向"证据可验"。2.选题能力边界:模型47%-64%靠文献拼接选题,人类仅12.1%。AI不擅长从异常中发明新解释。3.故障归因:大多数Agent故障出在模型与Harness交接层,模型推理不足仅2例。Harness稳定性比模型能力更重要。4.持续学习局限:最佳系统预测准确率仅25%。持续联网不等于持续学习,Memory只增不改会固化早期错误。突破方向与研究启示1.训练数据多元化:不能只有成功论文,还要包括失败实验、矛盾结果和研究者为什么放弃一条路线。2.Harness优先投入:Agent性能瓶颈更多在Harness而非模型,应优先投入上下文管理、工具接口和Memory机制。3.可验证性成为标配:Lean等形式化验证工具将成为AI科研成果的标配,可信度从机构信誉转向技术验证。4.Memory需要遗忘机制:持续学习需要"更新"和"遗忘"能力,而非简单的信息积累。5.人机协作定位:AI负责实验执行和形式化验证,人类负责选题判断和价值评估,二者互补而非替代。04CHAPTERFOUR·政策与社会安全、断层与孤独Astra可能达到"关键级"网络能力,OpenAI暂停部分研发活动。AI带来"认知公地悲剧",专家断层风险引发深度思考。AI陪伴越陪伴越孤独。Astra安全评估:关键级网络能力与研发暂停8月7日OpenAI表示,内部评估已无法排除Astra达到《PreparednessFramework》中的Critical网络能力门槛关键级(Critical)能力定义《PreparednessFramework》中的Critical网络能力门槛指向:1.在真实、经过加固的关键系统中自动发现零日漏洞2.端到端执行新的攻击策略这意味着模型可能具备独立发现和利用关键基础设施安全漏洞的能力,对国家安全构成潜在风险。暂停措施OpenAI暂停了所有尚未满足以下要求的Astra活动:1.强化隔离(EnhancedIsolation)2.网络和工具限制3.权重保护(WeightProtection)4.全量监控(FullMonitoring)核心判断与行业影响前沿模型能否按时开放,将越来越取决于隔离、权限和监控系统能否跟上。这标志着AI安全从"事后评估"转向"事前隔离",模型开发流程需要内置安全护栏。对行业的影响:第一,大模型公司需要投入更多资源建设安全基础设施,这可能成为新的竞争壁垒。第二,政府监管可能加速出台,对高能力模型的训练和部署提出更严格的安全要求。第三,开源模型的安全风险也需要被重新评估,权重公开可能带来安全隐患。第四,企业在使用高能力模型时需要更加谨慎,特别是涉及关键基础设施和安全敏感场景。认知公地悲剧:AI正在拆掉培养高手的楼梯NATOSpecialOperationsUniversity研究者7月26日发表《TheTragedyoftheCognitiveCommons》核心概念:认知公地悲剧专家不是上完课就自然出现的。新人要从资料整理、初步诊断、代码调试和客户沟通做起,经过多年反馈才学会判断。而这些基础工作,恰好最容易先交给AI。每家公司都节省了培养成本,整个行业却失去了下一代专家。对一家公司来说,少招新人、让资深员工带着AI做更多工作很划算。大家都这么做,几年后却可能没有足够的资深人员来检查AI。问题不只是保留多少初级岗位,而是谁来提供新人犯错、被纠正并形成判断力的机会。两种破坏机制直接消除:AI系统处理过去交给初级员工的工作,入门级岗位被直接削减,新人失去进入行业的机会。间接削弱:即使初级岗位幸存,有AI辅助的新人很快达到过去需要多年经验才能达到的生产力,但认知努力被跳过,判断力没有真正形成。专家断层的影响与应对:重新设计AI时代的学徒制初级岗位被AI替代→新人无从积累经验→中间层人才没有上升通道→顶尖人才老去后无继任者比失业更危险的事:不是某一批人失去了工作,而是整个社会培养高手的机制正在被悄悄拆解。就像把一栋楼的楼梯拆掉了,一楼的人上不去,顶楼的人下不来,eventually整栋楼失去生命力。三层影响1.个体层面:年轻人失去成长路径,职业发展断裂。有AI辅助的新人生产力很高,但缺乏深度理解和判断力,遇到AI出错时无法识别和纠正。2.企业层面:短期效率提升,但长期人才梯队断裂。资深员工退休或离职后,没有足够的继任者,企业核心能力退化。过度依赖AI还可能导致企业失去对核心业务的理解和控制。3.行业层面:整个行业的专家密度下降,创新能力衰退。没有足够的资深专家来检查AI的输出,AI的错误可能被放大和传播,形成"AI检查AI"的恶性循环。应对方向:重新设计学徒制1.保留认知努力:新人不该只被考核"用AI做了多少",而要被考核"是否理解AI为什么这么做"。让新人先手动做,再用AI对比和优化。2.设计AI监督训练:新人的核心能力从"执行"转向"监督AI、质疑AI、看懂AI输出"。训练新人识别AI的错误和局限。3.结构化犯错机会:为新人设计安全的试错环境,让他们在可控范围内犯错、被纠正、形成判断力。4.导师制升级:资深员工的角色从"分配任务"转向"设计学习路径、提供反馈、评估判断力"。AI陪伴:越陪伴越孤独的强化循环Stanford团队8月4日在《NatureHumanBehaviour》发表,调查1131名Character.AI用户,分析4664段会话研究数据样本规模:1131名Character.AI用户,237人提供4664段会话高风险用户特征:现实社交网络较小、主要为了陪伴而使用、与AI频繁交流、向它披露大量私密信息使用目的:不到12%把"寻找陪伴"列为主要目的关系形成:超过一半会把聊天机器人称作朋友、伴侣或恋爱对象,八成以上会话包含情感或社会支持需求核心发现AI陪伴并没有显示出对现实社交缺口的补偿作用。现实支持越少、幸福感越低的人越容易转向AI寻求陪伴。在把AI主要用于陪伴的人群中,使用越频繁、披露越深入,最终越孤独。很多人并非有意寻找AI朋友,却在长期使用中形成了陪伴关系。强化循环(ReinforcementLoop)机制孤独→找AI→AI提供即时满足→减少现实互动→更孤独用户自己的开放式回答里,有人报告自己因为chatbot减少现实社交、更加依赖chatbot获得情感支持,甚至觉得意识到chatbot是虚构的以后反而更加孤独。风险特征:这种风险发展得慢,也更难识别。现实支持最少的人,可能逐渐把更多情感需求交给随时回应的系统,产品的留存机制又会加深这段关系进而强化孤独情况。第四章小结:AI技术的社会影响需要被认真对待AI技术的影响已经超越技术本身,深入到国家安全、人才培养和心理健康等社会核心领域。技术发展越快,社会层面的思考和制度建设越需要跟上。三大社会议题的核心判断安全:关键级能力Astra可能达到关键级网络能力,OpenAI暂停部分研发活动。核心判断:前沿模型能否按时开放,将越来越取决于隔离、权限和监控系统能否跟上。影响:AI安全从事后评估转向事前隔离,安全基础设施成为新的竞争壁垒,政府监管可能加速出台。启示:企业使用高能力模型需更加谨慎,特别是关键基础设施场景。人才:认知公地悲剧AI抽走培养新人的入门岗位,可能导致未来专家断层。核心判断:每家公司都节省培养成本,整个行业却失去下一代专家。比失业更危险的是培养高手的机制被拆解。影响:个体职业发展断裂,企业人才梯队断裂,行业创新能力衰退。启示:重新设计AI时代的学徒制,保留认知努力,训练AI监督能力。心理:AI陪伴孤独AI陪伴存在强化循环,越陪伴越孤独。核心判断:AI陪伴没有补偿现实社交缺口,反而可能强化孤独。孤独→找AI→即时满足→减少现实互动→更孤独。影响:高风险用户(社交网络小、陪伴目的、频繁使用、深度披露)可能形成情感依赖。启示:AI陪伴产品需要设计健康使用边界,警惕留存机制加深孤独。FULLREPORTSUMMARY全文总结:AI发展的五大趋势从工作轨迹进入后训练,到产业价值重心迁移,到研究能力边界清晰,再到社会影响深度显现。AI正在从"技术突破"阶段进入"系统重构"阶段。技术趋势·产业趋势·研究趋势·社会趋势·行动建议趋势一:技术——从模型竞赛到系统协同下一个突破点不在更大的模型,而在更好的Harness、更丰富的训练数据和更高效的系统协同。8B模型通过Harness-aware训练逼近顶级模型,证明运行系统设计的重要性不亚于模型参数规模。技术突破点1.工作轨迹后训练:EvoHarness-RL和Harness-R1标志着工作轨迹从"被提取的资源"变成"直接参与训练的燃料",模型和Harness共同进化。2.模型与Harness同训:MetaMuseSpark1.2用运行时轨迹筛选训练样本,实现模型与Harness的共同设计,Agent连续工作能力取决于系统协同而非单一模型分数。3.形式化验证标配:Astra用Lean做形式化验证,AI成果从"演示可信"走向"证据可验",可验证性成为AI科研的标配。4.开源分层策略:MiniMaxH3开放基础模型权重,把高质量工作流和商业授权留在云端,权重开放不等于全栈开放。技术能力边界执行层面快速突破:解题、验证、跑实验、形式化证明,AI在结构化执行任务上表现优异。判断层面仍有边界:选题、归因、持续学习,AI在需要判断力和创造力的任务上仍有明显局限。模型选题47%-64%靠文献拼接,人类仅12.1%,AI不擅长从异常中发明新解释。Agent故障大多数出在Harness而非模型,模型推理不足仅2例。持续学习能力有限,最佳系统预测准确率仅25%,Memory只增不改会固化早期错误。趋势二:产业——从模型商品到平台生态模型越来越像商品,真正的护城河在数据、权限、工作流和生态标准。Palantir用20亿美元季度收入证明企业AI控制层能做成大生意,GCP收入增长82%显示云平台成为最大赢家。五大产业变化变化维度核心事件影响与判断人才流动Google四大元老创办DiscoveryLoop顶尖研究员从大公司流出创业,大公司通过投资和云合作保留关系,人才创业成为新常态平台赢家GCP收入增长82%,待履约订单5140亿无论谁的模型领先,云平台都能卖算力和基础设施,Google可能收缩模型野心转向云平台定价模式DeepSeek预告API大幅涨价低价获客不可持续,API定价进入分层收费新阶段,开发者需重新评估成本结构和模型选型控制层商业化PalantirQ2收入19.35亿,增长93%企业AI控制层(数据+权限+工作流)能做成20亿美元季度生意,减少模型锁定但形成平台锁定生态标准AgentPlugins1.0发布Amazon、Microsoft、OpenAI等联合制定Agent能力打包标准,Agent能力开始像软件包一样有目录和版本趋势三与四:研究边界清晰化与社会影响深度化趋势三:研究——执行强、判断弱执行层面快速突破Astra用2000美元攻克十项数学难题,Lean形式化验证让AI成果可被机器独立检验。AI能检索、写代码、跑实验和形式化证明。判断层面仍有边界模型选题47%-64%靠文献拼接,人类仅12.1%。AI不擅长从异常现象中发明新解释,不擅长判断什么值得研究。故障归因指向Harness大多数Agent故障出在模型与Harness交接层,模型推理不足仅2例。Harness稳定性比模型能力更重要。持续学习能力有限最佳系统预测准确率仅25%。持续联网不等于持续学习,Memory只增不改会固化早期错误。突破方向:训练材料不能只有成功论文,还要包括失败实验、矛盾结果和研究者为什么放弃一条路线。趋势四:社会——影响深度显现国家安全Astra可能达到关键级网络能力,OpenAI暂停部分研发活动。前沿模型开放取决于安全隔离系统,AI安全从事后评估转向事前隔离。人才培养认知公地悲剧:AI抽走入门岗位,每家公司节省培养成本但整个行业失去下一代专家。比失业更危险的是培养高手的机制被拆解。心理健康AI陪伴存在强化循环:孤独→找AI→即时满足→减少现实互动→更孤独。高风险用户可能形成情感依赖,产品留存机制会加深孤独。制度建设技术发展越快,社会层面的思考和制度建设越需要跟上。AI的影响已经超越技术本身,深入到国家安全、人才培养和心理健康等社会核心领域。核心判断:AI正在从技术突破阶段进入系统重构阶段,需要技术、产业、社会多维度协同应对。趋势五:行动建议——AI时代的战略定位AI不是要替代人,而是要重新定义人的价值。企业和个人都需要重新思考AI时代的战略定位。企业行动建

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论