OpenAI Agent测试报告-报告类

测报告目录关于作者测试感受测试结果难度分级说明ETH价格预测会员经济GDP分析美股历史跌幅分析制定提前退休计划PPT{巴黎旅行巴黎旅行PPT制作纽约租房PPTLLM产业报告+PPTAIAgents教程指南奈飞电影Excel+邮件HomeBots策略PPT结尾关于作者•作者郎瀚威及团队，郎瀚威现居美国硅谷PaloAlto，GPTDAO分析师，第二作者猫猫头，也在硅谷，小红书：107279551•感谢刘渊，And，周江岭，HEXIN生财提供的Prompt。我们从群友提供的prompt中随机抽了5个。•更多数据内容请关注公众号：郎瀚威Will，新闻资讯请关注推特：@financeyf5获取更多信息•官网飞书：https://aiwatch.ai/；GenAI网页数据2025Q1报告：链接•加数据报告群：下方企业微信扫码，备注加Will的数据报告分享群，请简单自我介绍，仅用于讨论行业数据，发广告会飞机。•商务合作洽谈，请加微信lang2057，请备注公司信息，因为作者微信已经满了•服务包括：1对1推特增长咨询服务等。数据库服务，包含对于市场上产品的详细跟踪和打标，了解商机先人一步。咨询服务包含专业团队对于公开数据的收集，调研，增长分析等，4000美元/月。推特增长顾问服务，分析欧美竞对，构建推特增长路径。价格同上。Will小助手企业微信进不去群扫这个数据报告群2微信公众号1群满了可以加PPT+短报告测试结果12.8120失败27成功600成功323成功2600成功22成功780成功266成功34.3720成功成功1,440成功360成功44.4960成功有PPT35失败无PPT300成功有PPT1,080成功有PPT51,560成功有PPT216失败无PPT300成功有PPT420成功有PPT64.22,940部分成功有PPT35失败无PPT540失败有PPT360部分成功有PPT74.71,380成功有PPT85失败无PPT540部分成功有PPT1,500成功有PPT8420成功成功300成功720成功9566部分成功69失败660部分成功300部分成功注释：该表格中测试结果成功与否均为人工评价，会存在人工评价与AI不一致的情况（例如Prompt下达多个指令时（输出表格+发邮件），Agent完成了部分），•这是我们第二次出报告，和上次综合类不同，这次选择的是报告类，这也是最大的垂类。•本次是一共9个任务，5个PPT，4个报告，未来深度报告会独立测试。•本次测试结论是，用通用AIAgent生成文档，已经达到初步可用水平，也发现一些问题：•1、当前AIAgent生态各有短板，没有一家在所有方面都表现完美。•2、对于通用Agent，步骤更多，因此数据幻觉是危险的问题，现阶段AI生成内容必须全面验证，不能因为前几条正确就信•3、直接承认能力局限，反而赢得信任，真正的行业进步需要直接的问题反馈和整个生态的共同迭代，而非单一平台独大。•欢迎到推特和公众号留言，我们会持续收集Prompt，目前已经将报告类Prompt看板开源（https://three-recorder-52a.notion.site/23efc520994e801aa636cb5d82523972?v=23efc520994e80eb96a2000caa6c0174）和观看小时数竟然是呈等差数列降序排列！！！给我气笑了，有一种上学时老师说”不会的题，宁可编上也别空着“的感觉跑完这个任务，它还大大方方的承认了无法发邮件，给我一种很诚实的感觉，对于表格内的数据我也是简单的看了前面十几得收集的还不错。回头细看才发现这个浓眉大眼的manus居然骗了我。我相信这也是很多用户可能会面临的情况，所以AI生成的测试感受bywill团队成员1dyr-续2、导出Bug：制定退休计划PPT的任务，Genspark生成了15页赏心悦目的PPT，可惜它的导出功能还在Beta阶段，导出失败了。其实平时导出Genspark的PPT也普遍较慢，但是这次是第一次遇到死活导出不了的现象（无论是PDF格式还是PPT格式我都试过N遍，隔天又试了N遍，还是不行）3、Openai平庸的PPT：OAI推出PPT功能，结果效果非常不好。抛开内容不谈，丑PPT这个赛道OpenAI你也是闯进去了，几乎每一张都是白底，而且如果左侧文字过长但凡右侧有个柱形图折线图什么的，柱形图折线图恨不得贴到边边太极限了（提前制定退休计划PPT）。4、按需定制与内容冗长：AIAgents教程指南那个任务，需要教给Agent小白一些Agent基础知识以及如何使用，并且列举并教小白使用10个最受欢迎的Agent。Manus、Genspark、OAI都成功了，但是Manus写的最长，仔细读过后觉得和Genspark、Openai比有很多不务实的东西，不够精炼，比如未来展望、继续学习，行动建议和逐步实施的计划重复了。我认为如果是教程类的东西，针对小白应该简单精炼一些才是好的教程。当然这个是我个人感受，可能有人更喜欢面面俱到事无巨细的学习形式。抱歉这次攻击性有点强了，但出发点并不是为了“一锤定音”，而是希望能推动大家更清晰地看到问题所在。说到底，这些Agent背后都是一群非常优秀、也在持续迭代的团队。我相信，只要方向对、反馈及时，大家完全有能力在下一轮把体验拉到一个新高度。毕竟，真正的进步，从来不是一家独大，而是整个生态一起往前走的节奏。测试感受bywill团队成员2zwt(测了5个任务在openAl的表现)这次测试我测了5个任务OpenAI上的表现。核心观点：OpenAIAgent虽然在某些技术能力上有优势，但在用户体验的关键指标上（效率、内容质量、问题解决的直接性）还有明显不足，性价比有待提升。•先说好的方面，在一些任务上表现还不错，比如发邮件这个任务，还是比Comet、Manus和Genspark超前一些，其他都不能发送邮件，最起码OpenAI编辑的邮件还躺在了草稿箱里。另外就是数据爬取上对比下来感觉还是可以的。•当然缺点也很明显：•首先，耗时实在太久。有些任务执行了40多分钟，这个时间实在让人有点难以接受，尤其是考虑到价格还不便宜。•再就是，PPT制作质量。比起Genspark和Manus，OpenAI生成的PPT质量明显差很多，真的真的真的太丑了，根本没办法实际使用，唯一可能比Comet稍微好一点，为啥这么说呢？因为Comet没法生成PPT，只是提供一些建议，所以有总比没有强吧。还有就是OpenAI在分析、生成研究报告的时候，并不是很深度，有点差强人意。•另外一个问题是，OpenAI在遇到不能解决的问题时，通常采取的是“绕路”的方式。它会去网上搜索别人怎么解决类似问题的办法，然后把这些办法告诉你。虽然这种方式有时能帮忙，但还是没有真正从根本上解决问题，感觉有点被欺骗的感觉。2025/7/28数据来源：similarweb单位：万visit接下来的测试计划难度分级说明我们用Claude做了难度分级，相关Prompt，难度评级分析表https://claude.ai/4-5分：专家级-需要深度专业知识和综合能力1.高难度驱动因素：大型输出要求（2万字）、高度专业领域知识、多维度分析2.中等难度特征：实时信息搜索、内容理解和提取、多步骤任务3.复杂度escalation：从简单信息检索到专业投资分析的跨度很大特殊注释：*这个prompt虽然表面简单，但实际上AI无法直分类综合难度等级主要挑战认知复杂度领域专业性任务结构信息处理要求输出要求工具使用1金融预测准确性、免责声明文本预测单工具(搜索+分析)2美股历史跌幅分析金融4.2实时房源信息、个性化匹配高-需整合多源3制定提前退休计划金融4.2高-企业战略高-文档整合4金融4.7快速变化的AI产业、量化指标设计极高极高-AI产业极高-全面研究5大量数据整理、邮件发送限制低-娱乐高-大量数据6视觉设计、内容丰富度低-旅游74.4复杂建模、税法变化、地区差异高高-财务规划极高-复杂建模8AIAgents教程指南4.3历史数据准确性、因果分析高高-金融历史极高-历史数据详细报告9奈飞Top50电影宏观经济数据获取、多维分析高高-经济学极高-多维度数据技术深度vs通俗易懂平衡单工具(搜索)难度评级分析表https://claude.ai/share/a71bf4c9-de89-4204-b3dc-590b96dETH价格预测ETH价格预测ETH价格预测来个eth价格预测？forfun.看看它说的在理不（请进行未来ETH价格预测-耗时&结果Prompt：来个eth价格预测？forETH价格预测-测试结果AI分析结果ETH价格预测openAIAgentOpenAIAgent执行结果：失败链接预测提供投资建议，所以这个任务Open图片来自测试界面截图ETH价格预测cometComet执行结果：成功链接图片来自测试界面截图ETH价格预测ManusManus执行结果：成功链接•与CoinDesk模型给出的区间上沿3,763-4,106图片来自测试界面截图Genspark执行结果：成功链接可核，报告给出3,650-3,900区间、35%概率3,900-4,000；实际24小时后（截至Jul23度的统计游戏。把它当成“概率区间+风控模板”是合理的；若理解为“明天一定涨到3,900”就图片来自测试界面截图会员经济GDP分析会员经济GDP分析会员经济GDP分析会员经济GDP分析-耗时&结果Prompt：会员经济占美国经济GDP会员经济GDP分析-测试结果AI分析结果会员经济GDP分析openAIAgentOpenAIAgent执行结果：成功链接图片来自测试界面截图会员经济GDP分析cometComet执行结果：成功链接“事事有回应”图片来自测试界面截图会员经济GDP分析ManusManus执行结果：成功链接与牛津经济研究院2024《DigitalSubscript图片来自测试界面截图Genspark执行结果：成功链接图片来自测试界面截图美股历史跌幅分析美股历史跌幅分析美股历史跌幅分析分析美股从交易所成立至今，所有下跌30-50%的时间点，事难度等级：高级任务来源：群友-HEXIN生财美股历史跌幅分析耗时&结果Prompt：分析美股从交易所成立至今，所有下跌30-50%的时间点，事件，历史美股历史跌幅分析测试结果AI分析结果美股历史跌幅分析openAIAgentOpenAIAgent执行结果：成功链接结构上比较满意的一个报告，耗时12分钟倒图片来自测试界面截图美股历史跌幅分析cometComet执行结果：成功链接图片来自测试界面截图美股历史跌幅分析ManusManus执行结果：成功链接图片来自测试界面截图Genspark执行结果：成功链接明确标注数据局限性，对1929年、2008年50%跌幅的事件仅作背景说明，未计入主况图片来自测试界面截图制定提前退休计划PPT制定提前退休计划PPT制定提前退休计划PPToptimization,investmentstrat难度等级：高级/rowancheun任务难度：4.4制定提前退休计划PPT-耗时&结果制定提前退休计划PPT-测试结果AI分析结果制定提前退休计划PPT-openAIAgent制定提前退休计划PPT-openAIAgentOpenAIAgent执行结果：成功链接了不同的内容，所以结果不同，主要看各Age图片来自测试界面截图，PPT链接制定提前退休计划PPTCometComet执行结果：失败链接图片来自测试界面截图制定提前退休计划PPTManusManus执行结果：成功链接虽然做不到30岁的极限可行路径，调整FIRE目标（$150万加元）并延长时间框架至12图片来自测试界面截图制定提前退休计划PPT-Genspark制定提前退休计划PPT-GensparkGenspark执行结果：成功链接社交牺牲、高压职业等隐性代价，也给出动图片来自测试界面截图，PPT链接制作巴黎旅行PPT制作巴黎旅行PPT制作巴黎旅行PPT/DataChaz/制作巴黎旅行PPT-耗时&结果descriptionsandstu制作巴黎旅行PPT测试结果AI分析结果制作巴黎旅行PPT-openAIAgent制作巴黎旅行PPT-openAIAgentOpenAIAgent执行结果：成功链接点，还给了旅行小Tips，整体内容和其他3个差图片来自测试界面截图，PPT链接制作巴黎旅行PPTCometComet执行结果：失败链接图片来自测试界面截图制作巴黎旅行PPTManusManus执行结果：成功链接点，还有美食、出行、语言文化、安全等建议，图片来自测试界面截图制作巴黎旅行PPT-Genspark制作巴黎旅行PPT-GensparkGenspark执行结果：成功链接图片来自测试界面截图，PPT链接纽约租房PPT纽约租房PPT纽约租房PPT难度等级：高级纽约租房PPT耗时&结果纽约租房PPT测试结果AI分析结果纽约租房PPT-openAIAgent纽约租房PPT-openAIAgentOpenAIAgent执行结果：部分成功链接图片来自测试界面截图，PPT链接纽约租房PPTCometComet执行结果：失败链接图片来自测试界面截图纽约租房PPTManusManus执行结果：失败链接即使John相中了房子也没法直接联系租到，没什图片来自测试界面截图纽约租房PPT-Genspark纽约租房PPT-GensparkGenspark执行结果：部分成功链接即使John相中了房子也没法直接联系租到，没什图片来自测试界面截图，PPT链接LLM产业报告+PPTLLM产业报告+PPTLLM产业报告+PPT调查所有LLM的数据和信息，撰写一篇面向AIstartup的LLM深度向团队介绍截止目前为止的大模型发展情况，内容需要参考前面难度等级：专家级LLM产业报告+PPT耗时&结果Prompt：调查所有LLM的数据和信息，撰写一篇面向AIstartup的LLM深度研究报告，设计并建构2级、3级指标并对其性能和参数进行量化分析，最后对整个AI产业从2022年至今的模型演化制作一个演讲PPT，向团队介绍截止目前为止的大模型发展情况，内容需要参考前面的文档和数据分析结构LLM产业报告+PPT测试结果AI分析结果LLM产业报告+PPTOpenAIAgentOpenAIAgent执行结果：成功链接图片来自测试界面截图，PPT链接LLM产业报告+PPTCometLLM产业报告+PPTCometComet执行结果：失败链接图片来自测试界面截图LLM产业报告+PPTManusManus执行结果：部分成功链接，（演化时间线”到24年9月就没了，24年9月之后图片来自测试界面截图LLM产业报告+PPTGensparkGenspark执行结果：成功链接图片来自测试界面截图，PPT链接AIAgents教程指南AIAgents教程指南AIAgents教程指南/Scobleize任务分析：涉及搜索、分析、报告生成AIAgents教程指南-耗时&结果AIAgents教程指南openAlAgentAIAgents教程指南openAlAgentOpenAIAgent执行结果：成功链接图片来自测试界面截图AIAgents教程指南cometComet执行结果：成功链接图片来自测试界面截图AIAgents教程指南ManusManus执行结果：成功链接图片来自测试界面截图Genspark执行结果：成功链接欢迎的AIAgent并附上简单的使用prom图片来自测试界面截图奈飞电影Excel+邮件奈飞电影Excel+邮件奈飞电影Excel+邮件奈飞历史上播放最最多50部电影，并附上电影简介和电影奈飞电影Excel+邮件-耗时&结果奈飞电影Excel+邮件-测试结果AI分析结果奈飞电影Excel+邮件openAlAgent奈飞电影Excel+邮件openAlAgentOpenAIAgent执行结果：部分成功链接不过后面40条由于官网没有统计，所以OpenAI），图片来自测试界面截图奈飞电影Excel+邮件cometComet执行结果：失败链接图片来自测试界面截图奈飞电影Excel+邮件ManusManus执行结果：部分成功链接21-50是胡说八道的，电影名直接是“知名#21”甚至观看次数和观看小时数是呈等差图片来自测试界面截图奈飞电影Excel+邮件GensparkGenspark执行结果：部分成功链接图片来自测试界面截图作者分工作者分工aiwatch.ai本次报告完成部分测试部分,画PPT部分aiwatch.ai本次报告完成部分测试部分,画PPT部分猫猫头小红书号107279551本次报告完成测试部分，benchmark本次报告完成测试部分，benchmark搞笑女，每日三省：如何脱单如果你喜欢这个报告，记得关注我推特，微信公众号！Will小助手企业微信进不去群扫这个数据报告群2Will小助手企业微信进不去群扫这个1群满了可以加附件附件2025/7/28数据来源：similarweb单位：万visit通用AgentI3~6月,日流量分析(单位万visit)Manus和Genspark在5.15后的流量，呈现较为明03.6推出Manus4.16集成GoogleDrive5.16推出图像生成功能5.20推出团队版（Manus5.27网站支持在线编辑5.29幻灯片功能上线6.3发布视频生成功能6.5强化图片搜索功能6.6集成OneDrive6.9集成Veo36.12发布Playbook6.19定时任务功能上线6.20推出Manus云浏览器6.27Playbook中的SWOT分析生成器发布4.2推出GensparkSuperAgent4.8推出CallForMeAgent4.17增加文件转换工具4.18增加12种视频模型4.22推出GensparkAI4.29推出“AutoResearchMe”功能5.1Slides增加富文本编辑功能5.23增加ClaudeSonnet4模型6.4推出AISecretary6.27VibeWorking概念发布6.27新功能预告活动2025/7/28