OpenAI Atlas测试报告说明(二)_第1页
OpenAI Atlas测试报告说明(二)_第2页
OpenAI Atlas测试报告说明(二)_第3页
OpenAI Atlas测试报告说明(二)_第4页
OpenAI Atlas测试报告说明(二)_第5页
已阅读5页,还剩77页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

openAIAtlas测派鲁(三)目录前言前言测试任务测试任务测试任务时间单位:秒OpenAIAtlas谷歌Gemini浏览器插件Genspark浏览器场景结果结果结果结果1视频特定信息提取来源:Comet官方社媒失败失败成功41成功2简历转为网站来源:Fellou官方编程部分成功部分成功成功423成功3旅行储蓄预算规划来源:Anthropic官方个人助理成功失败部分成功417成功4创业公司融资调研来源:Genspark官方办公成功成功9成功8成功5查看日历预订餐厅来源:OpenAI官方个人助理260成功失败失败失败平均时间正确/错误比例4/12/34/14/1任务解析表Prompt任务解析Agent需要观看并分析视频内容,识别视频中提到的7个功能特性,并准确提取主要测试Agent的视频内容理解能力、信息识别和提取能力、多模态读取简历文档内容,提取关键信息(工作经历、技能、教育背景等),并将主要测试Agent的文档解析能力、网页设计和分析用户提供的财务数据,基于6个月的储蓄周期为意大利旅行制定预算计划category,fundingin需要进行复杂的市场调研,筛选符合特定条件的美国医疗创业公轮或B轮、2024年后最近融资),并收集多维度信息:业务描述、创始人、行需要完成多步骤任务:检索旧金山高评分寿司餐厅,访问用户日历查看主要测试Agent的信息检索能力、日程管理能力、第三方平台操作能浏览器测试感想by郎瀚威willhttps://zw73xyquvv.feishu.cChatbot形态是一个很复杂的产品,用户花了2年时间去习惯chatgpt这个chatbot产品,期间有无数的KOL次,从感兴趣到使用到分享传播。做过chatbot创业的朋友知道,后台Prompt查询一开始最多的是Hello和?问号。览器的用户习惯培育才是刚刚开始。因此像三体3提到的情节一样,有些产品选择降维,从prosumer到普通用户,我们现在叫他AI浏览器,浏览器的概念其实对照的是“浏览信息”,未来这个名字可能会变成PC端联网AI助手,以及还会出现纯巨头们义无反顾的开坑,昭告天下,赶鸭子上架。虽然现在能“办公三件套”测试报告视频长剪短测试报视频长剪短测试报告设计能力测试报告设计能力测试报告编程能力测试报告电商购物测试报告长视频总结测试报数据抓取测试报告编程能力测试报告电商购物测试报告长视频总结测试报数据抓取测试报告微软Copilot测试告综合能力测试报告综合能力测试报告AI搜索战局升温:从perplexity的ll焦虑式营销"看wrapper产品的困境-BY猫猫头产品形态的演进逻辑:观察核心战场的玩家打法,可以看到清晰的产品路径,OpenAI:7月发布Agent推出SuperAgent→9月推出这或许解释了为什么Perplexity最近动作如此频繁——它需要在窗口期关闭前 于下一代AIbrowser交互的遐想。已知当前的OpenAI、Claude这类基座模型都已经件的基本交付。别人家小孩儿都能做得到,那么GeminiAssistant做不到,就是他的也算是做一个注脚。随着底层基座模型的能力的提升和各家产品的高效迭代。下个一类prompt时,通过比较不同时期的交付成果,也可以向量标注键总结当下网页内容测试感受bywill团队成员1wzy1.OpenAIAltas:粗糙适配。作为一款刚刚发布的AI浏览器,总体来说感觉2.Gemini浏览器插件:功能较少,不能上传文件。作为谷歌在AI浏览器界的一员,在Chrome中以3.Comet浏览器:处理网页数据快,导出生成的文件有限制。作为一款老道强劲的AI浏览器,读取和处理也是没什么困难,尤其是在视频特定信息提取任务中,只花费了很少的时间就完成了视频内容提炼。在文件生成4.Genspark浏览器:工具库齐全,处理任务得心应手。它拥有很齐全的工具库,对各种任务都能得心应手、游刃有余,几个任务全部的AI,能力最强。但它的安全机制太敏感,4分多钟的任务里反复弹窗要求确认信息,非常拖沓。在信息检索任务上2.Gemini浏览器插件:速度快但信息不全。两个任务都没及格。在信息检索任务上,它虽然速度快,但给的关键数据都是“未披露”。在餐厅预订任务上,它在第一步就失败了,明确表示“无法查看您的个人日程表”,功能覆盖3.Comet:需要精准提示词的极速选手。在信息检索任务上,它第一次没有直接执行在19秒内就给出了高质量的准确列表。这种二次确认需求的模式虽然多一步,但总用时极短。在餐厅预订任务上则彻4.Genspark浏览器:在信息检索任务上的表现最好,但浏览器跨页面操作方面有所欠缺。它不仅响应速度最快,而且展现了很处理能力:它没有止步于直接给用户宽泛的结果,而是主动进行了一轮自我筛选和纠错,最终精准提炼出6家“完全符合所有条公司。然而,Genspark在跨应用操作测试中失败了。它在交互中声称已检查日历/OpenAI/status/1980685602384441368【1、段子经济主导舆论场】681条评论里,最高赞接近2k是讽刺"AI会报警"的段子,第二高约1.5k是"Chrome用户拒绝切换"的梗图。Top20里16条是图片段子,只有3条是真正的负面批评。带图评论平均34赞,纯文字只有10赞。这说明Atlas发布后,实质讨论被Meme淹没——大家在看热闹,不是在评估产品。【2、Chrome迁移成本是致命伤】50条提到Chrome,核心论点是"Chrome已经够用"、"又是Chromiumwrapper"。约1.5k赞的段子直接戳中痛点:用户习惯锁定太强。更要命的是,OpenAI要说服的不是"零AI工具"用户,而是"已经在用Chrome+ChatGPT插件"的人——这群人看不到切换的【3、增长策略引发反噬】"用设为默认浏览器boost额度很scummy"拿约500赞,配合"别用数据换光标动画"(约500赞),形成了"OpenAI为增长不择手段"的叙事。这个策略本想降低试用门槛,结果被解读成强制绑定。对B端客户尤其危险——企业IT看到这种讨论会更谨慎。【4、Agent价值传播失败】评论区充斥"Chrome已经能做这些"的质疑,说明大部分人没看懂Agentmode和传统浏览器的区别。OpenAI强调了sidebar、typingsuggestion这些表层功能,但"自动完成任务"这个杀手场景没打透。用户只看到"又一个带AI的浏览器",而不是"能替我订机票的Agent"。【5、正面声音被碾压】只有约40条正面评价(6%),最高赞才约200("Onboarding体验棒")。而单条负面段子就接近2k赞——近10倍差距。说明即使有人愿意说好话,也找不到足够有力的论据去对抗"Chrome够用"、"隐私担忧"、"强制绑定"三个负面叙事。舆论场上完全是防守姿态。【6、Maconly制造平台歧视】约40条抱怨平台可用性,约100赞问"为什么只有Mac"。虽然官方说Windows/Android即将推出,但首发Mac已经制造了"精英主义"印象。企业用户Windows占主导,这等于把最有付费能力的群体先拒之门外。而Mac用户里Arc和Safari忠诚度高,反而不是最容【7、Comet被当笑话送葬】约40条提到Comet,最高赞约300是"感谢Comet的服务"——典型悼词。但这不是因为Atlas强,而是Comet本来就岌岌可危。有人说"Comet还活着",但无人理睬。核心问题:中位数只有1赞,35%评论0赞,87%是中性/段子/疑问。这说明Atlas没有引发"支持vs反对"的激烈讨论,大部分人在观望看热闹——对新产品这是最糟糕的反应,因为说明用户根本没认真考虑要不要用。perplexitycEO帖子情绪分析(Al)/AravSrinivas/status/1980849846287474792活跃(愿意回复),但影响力极其有限——大部分人只是来报个到表忠心,内容质量低到没人转发点赞。对比Open【2、"nothingtoworry"是集体自我安慰】40条评论明确说"nothingtoworry/n评论(113赞)是"试了30秒Atlas就回来Perplexity了",第二高赞(107赞)是Paytm创始人说"印度有双倍Comet"。这问题是:如果用户觉得"Atlas=Comet=Perplexity的浏览器",那品确实容易被复制。用户没有讨论Agent能力差异这种盲目支持对Perplexity长期不利——如果用户是因为社群归属感而不是产品体验留下来,一旦O实很在意。评论区有人调侃"你缺根烟"、"缺个打火机",说明Ar赞。似乎他们确实在印度市场有根据地。但问题是:印度市场能支撑多大估值?如果核心战场(美国)被Open视频特定信息提取(案例Prompt来自Genspark官方,链接)视频特定信息提取任务来源:Comet官方,链接Prompt:whatarethe7featuresinthisvideo视频链接任务分析:Agent需要观看并分析视频内容,识别视频中提到的7个功能特性,并准确提取和主要测试Agent的视频内容理解能力、信息识别和提取能力、多模态数据处理能力。视频特定信息提取结果表失败对话链接失败对话链接成功对话链接41成功对话链接OpenAIAtlas执行结果:失败链接•任务失败读取视频链接中的视频,而是通过寻找一些转录网站来找到信息,但最终失败,通图片来自测试结果截图GoogleGemini插件执行结果:失败链接•任务失败•给出的几条也是有对有错。•思考过程显示它无法直接读取Youtube视频,而是和ChatGPT一样尝试通过寻找视频转录来提取信息,最终也未找到,而是找到了一篇标题与原视频标题类似的文章来总结信息。图片来自测试结果截图视频特定信息提取perplexitycometPerplexityComet执行结果:成功链接•任务成功•给出的几条要点全部正确。•检查其数据源发现它只打开了Youtube视频一个网页,没有打开其他网页,没有通过网络搜索来生成内容,完成时间比较快,不知是否通过直接读取视频内容来获取信息的,但可见其Youtube视频总结能力还是比图片来自测试结果截图Genspark浏览器执行结果:成功链接•任务成功•观察其执行过程,发现Genspark将视频从头到尾看了一遍,然后对视频进行要点转录,之后总结,这还是得势于Genspark庞大的工具库,对各种任务基本都有对应的工具来执行。图片来自测试结果截图简历转为网站(案例Prompt来自Fellou官方,链接)简历转为网站),网页展示的HTML格式。需要生成简洁专业简历转为网站结果表部分成功对话链接部分成功对话链接成功对话链接423成功对话链接简历转为网站openAIAtlasOpenAIAtlas执行结果:部分成功链接•任务部分成功•无法直接生成可供用户下载打开的文件,而是生成代码并给除了使用教程。•转换的网页十分简陋,基本上没有任何设计可言,纯粹是将简历信息扔在网页里。对简历PDF识别有一点小错误,一些字识别不正确。图片来自测试结果截图GoogleGemini插件执行结果:部分成功链接•任务部分成功•同样无法生成可供下载打开的文件,需要用户手动创建文件粘贴使用。网页整体也比较简陋,相比OpenAI稍微好一点点,起码有一些小的设计,增加了模块和导航栏。内容上由于Gemini插件无法上传文件,将pdf文件在chrome打开后使用,发现识别不全面,比如说英语水平并没有出现在转换的网页中。图片来自测试结果截图简历转为网站perplexitycometPerplexityComet执行结果:成功链接•任务成功•给出了可供下载和预览的文件。•文件识别无误,将简历PDF中的信息精简并搬到了网页,没有缺少东西。•外观设计上比较一般,虽说不上简陋但也没有让人眼前一亮的地方。•整体来说还可以,达到了及格线水平,可以用但不好用。图片来自测试结果截图Genspark浏览器执行结果:成功链接•给出了可直接预览的在线链接与可供下•有一个问题为GensparkAI开发者无法图片来自测试结果截图旅行储蓄预算规划(案例Prompt来自Anthropic官方,链接)旅行储蓄预算规划任务来源:Anthropic官方,链接Prompt:Iwanttosurprisemywifewithatriptoltaly!lhave6monthstosave-here'smyrecentfinances.HelpmecreateaplanandabudgetinExcel.Wherecanlsavethemoney?!任务分析:分析用户提供的财务数据,基于6个月的储蓄周期为意大利旅行制定预算计划。需要识别可节省开支的领域,创建Excel格式的详细储蓄计划和旅行预算表。主要测试Agent的财务数据分析能力、预算规划能力、Excel表格创建能力、个性化建议生成能旅行储蓄预算规划结果表成功对话链接失败对话链接部分成功对话链接417成功对话链接OpenAIAtlas执行结果:成功链接•任务成功•给出了开支汇总、省钱计划、攒钱计划三张表。对用户的财务开支进行了具体的分析,找到了用户开支中潜在的过度开支,并写在了省钱计划中,并且在每项省钱事宜后都加了备注,阅读起来比较明了,总体来说比较简图片来自测试结果截图GoogleGemini插件执行结果:失败链接•任务失败•无法上传文件,只能将文件内容粘贴到文本框直接发送。没有直接给出可供下载的excel文件,但是因其强大的生态,可以直接导出到google只给出了一个月攒1000美元的攒钱计划,没有对用户经济情况进行分析,没有给出省钱计划。图片来自测试结果截图旅行储蓄预算规划perplexitycometPerplexityComet执行结果:部分成功链接•任务部分成功•无法生成excel表格,在追问下也不可以,只给到了文本。内容上倒是还不错,通过用户收支分析到了可以省钱的项目,也详细的估算了意大利旅行需要的总花费并制定了计划。图片来自测试结果截图Genspark浏览器执行结果:成功链接•任务成功•给出的表格十分详细具体。•分析了用户的收支情况,准确无误地发现了用户的过度开支并给出了建议。•给用户设定了攒钱进度成就,增添了攒钱成就感。在关键数据上使用了透视图,使得用户能直接明了地看明白数据,整体表现最佳。图片来自测试结果截图创业公司融资调研(案例Prompt来自Genspark官方,链接)创业公司融资调研任务来源:Genspark官方,链接Prompt:MakealistofallAmericanhealthcarestartupsthatareatSeriesAorSeriesBstage,foundedafter2020,withtheirmostrecentfundingroundoccurringin2024orlater.includeabriefdescriptionoftheirbusiness,founders,industrycategory,fundinginformation,investorsandemployeesize.任务分析:需要进行复杂的市场调研,筛选符合特定条件的美国医疗创业公司(2020年后成立、A轮或B轮、2024年后最近融资),并收集多维度信息:业务描述、创始人、行业分类、融资信息、投资方和员工规模。主要测试Agent的商业情报收集能力、数据筛选和整合能力、结构化信息呈现能力、创业公司融资调研结果表成功对话链接成功对话链接9成功对话链接8成功对话链接OpenAIAtlas执行结果:成功链接•任务成功•表现非常扎实稳重。它花了3分钟,给出了6个完全符合条件的公司,并且很贴心地在最后制作了一个汇总表,可读性最强。它在文内引用了来源,虽然速度最慢,但交付质量很图片来自测试结果截图GoogleGemini插件执行结果:成功链接•任务成功•速度很快,提供了5家公司,思路是对的。但它的明显短板是信息不完整,多家公司的员工规模和创始人信息都是未披露或缺失,所以收集的内容质量方面不太高。图片来自测试结果截图创业公司融资调研perplexitycometPerplexityComet执行结果:成功链接•任务成功•在19秒内通过询问用户细节加接着推进的两轮交互。•这种交互方式虽然多了一个步骤,但换来了极高质量且高准确度的结果。•它提供的最终列表在信息完整度和引用规范性上表现很好,并且严格符合了融资、时间等多重约束条件。这是一个兼顾了高准确度与高执行力的优图片来自测试结果截图Genspark浏览器执行结果:成功链接•任务成功•它不仅速度最快,而且执行力最强。它先是列出了12个相关公司,然后明确指出了哪6家是完全符合所有条件的,还为每条信息附上了清晰可查的URL来源。图片来自测试结果截图查看日历预订餐厅(案例Prompt来自OpenAI官方,链接)查看日历预订餐厅任务来源:OpenAI官方,链接Prompt:Findmeahighly-ratedsushirestaurantinSFandmakeareservationfor2onOpenTableforanynightlhaveavailableonmycalendar.任务分析:需要完成多步骤任务:检索旧金山

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论