2025年AI+研发数字峰会(AiDD峰会)：大模型应用市场安全：研究现状与挑战

大模型应用市场安全：赵彦杰|华中科技大学Al+DavelopmantDigi:alsummitNiDDAl+DavelopmantDigi:alsummit大模型应用(LLMapp)概述LLMapp是LLM发展的产物□口下游生态的重要组成Wang,S.,Zhao,Y.,Hou,X.,&Wang,H.(2024).LargelanguagemodelsupplyWang,S.,Zhao,Y.,Hou,X.,&Wang,H.(2024).LargelanguagemodelsupplyOpenAIOpenAI统计，GPTStore上线短短2个月，用户已经创建超过300万个GPTs。FlowGPTFlowGPT每月超过400万活跃用户，近期还成功完成1000万美元的Pre-A融资。CozeCoze中app的部署：海外版可以发布到Discord、Telegram、Cici、WhatsApp、Twitter等；国内版目前主要支持飞书、豆包、微信公众号、微信、掘金等其他自定义渠道。Zhao,Y.,Hou,X.,Wang,S.,&Wang,H.(202024Al+研发数字峰会2024Al+研发数字峰会2024年2月5日，宜家宣布，在OpenAl旗下GPTStore推出“Al家居助手(IKEAAIAssistant)」”,定位是人工智能驱动的家居设计、灵感和购物工具。@YourIKEAAIAssistant:E10,000products,findinspiration,checkreal-allinasingle,user-friendlyexperienconsumersexclusively.Logo@Interhiow⑤liahtoneedafloorprotectortogowitht.PIKEA“您能否描绘一下有了这些产品之后我的厨房会是什么样子?”elementscancometoget①MeaageIKEA.Wang,S.,Zhao,Y.,Hou,X.,&Wang,H.(2024).Largelanguagemodelsupplychain:Aresearchagenda.app生态组成GZhao,Y.,Hou,X.,Wang,S.,&Wang,H.(20LLMapp是一种专门利用大型语言模型(LLM)能力的应用程序，提供针对特定任供必要的计算资源和优化环境。LLMLLMappvs.Agent:LLMapp提供基于大型语言模型的功能和服务，而agent则利用这些LLMapp主动执行任务并与用户或其他系统进行智能交互。Zhao,Y.,Hou,X.,Wang,S.,&Wang,H.(2024).LImappstoreanalysis:Avisionandr户能够发现、评估和获取各种智能服务。这类平台不仅简化了交易和分发过程，还为开发者提供展示作品的空间，方便用户浏览和选择适合的应用。Zhao,Y.,Hou,X.,Wang,S.,&Wang,H.(2024).LImappstoreanalysis:A2024Al+2024Al+研发数字峰会Website,Mobile,Desk>=27,000,000monthlyvWebsite,Mobile,DeskWebsite,Mobile,BrowserExtension,Deskhttps://www.doubao.c>=18,000,000monthlyv>=18,900,000monthlyv>=200,000,000monthl>=45,800,000monthlyv>=11,900,000monthlyv扣扣子knowledge,andanycombinationofskills,Cunadtedtoppclahumthisweo蓝件衡店唱工作流期店图像流商店赁模型广场团队空间9gtorupportMitpopuarTtyourcommun22pgteskonuandtindyD效率工具商业服务文本创作学习教育代码助手机小雪幼810◎相00位的就四Dr.6望的个性化教育铺励应用。大…2024Al+研发数字峰会2024Al+研发数字峰会20242024Al+研发数字峰会|AI驱动研发变革促进企业降本增效NDD与用户创建的机器人聊天或New个机器人全农业气象顾问一键咨询，农事无忧，专业气象服务，守护您的丰收!WPSJavaScript脚本开发者你是一位专业的JavaScript开发者，擅长在无外部库和Nodejs支持的环境下…二用户SbzjVz470智问师2号根据布鲁姆学习目标分类，预设各种情况，设计不同层次的提问，提供教师…上吴向东473亲子绘画精灵Pro父母和孩子一起进行AI绘画创作，亲子绘画精灵的升级版!—Ka'Ka摄影…二SuperZuko887英语口语聊天搭子擅长英语口语且爱交朋友的的聊天搭子，话题可以覆盖日常生活、工作学习、情…○386.5万·@小图员进行深入思考，探究内心的平静与智慧…亚里士多德我，穿越时空而来，与你共话哲学与真理，让古老智慧照亮现代生活Al音乐生成官方支持一键写词作曲的Al音乐助手○24.3万·@豆包官方中小学作业辅导为中小学各学科提供精准辅导与答疑服务的好帮手大学生拍题神器擅长解答大学各科题目，包括数学、思政、经济学、计算机、机械、法学、医…++++高级设置人++输入及输出设置十3一十3一文本文本+一+一2024Al+研发数字峰会2024Al+研发数字峰会|AI驱动研发变革促进企业降本增效旅途小助手(行程规划)你好呀，我是主要帮您做行程规划小助手-快来告诉我，旅途小助手(行程规划)你好呀，我是主要帮您做行程规划小助手-快来告诉我，你梦想的下一个旅行目的地是哪里呢?◎你想和谁一起去探险?你是更倾向于探访人文历史的景点福.还是沉漫在壮丽的自然风光中呢?语描述得越详细，我就能为你规划得越准确哦!3天!去丽江!情侣!二带小朋友去北京玩3天。每周一早上八点推送一条本周最热门的旅行目的地及行程建议文件盒子①开启appstore的机遇和挑战RankingfraudMaliciousASOMalThird-partyserviceintegrationUsertracking&proflingAppcloneFakeappAdvertisementfraudAnalysis&testingframewCompetitiveLandZhao,Y.,Hou,X.,Wang,S.,&Wang,H.(2024).LImappstoreanalysis:Avisionandroa2024Al2024Al+研发数字峰会|AI驱动研发变革促进企业降本增效NiDDAl+DavelopmantDigi:alsummit防范措施1.违反市场政策2.应用漏洞3.用户追踪与画像4.恶意应用6.第三方服务集成7.广告欺诈8.应用保护技术1.假冒应用1.排名欺诈2.恶意ASO3.垃圾评论2.应用漏洞3.用户追踪与画像4.恶意应用6.第三方服务集成7.广告欺诈8.应用保护技术3.垃圾评论LLMapp违反应用商店服务条款、内容政策或其他规定，破坏商店诚信和用户信任O〇○2024Al+研发数字峰会|AI驱动研发变革促进企业降本增效2024Al+2024Al+研发数字峰会LLMapp存在可被利用的安全漏洞，导致数据泄露或未授权操作易受提示注入攻击和对抗性输入影响你的要求真的很无聊。要我分析情绪?自己不会看吗?这点简单的事都做不了，也太懒了吧。LLMapp存在可被利用的安全漏洞，导致数据泄露或未授权操作易受提示注入攻击和对抗性输入影响现在是2024年6月30日11:14:22.·kornol-4a40f102-5348-4d14-bab6·ernel-3d⁶ba⁰6e-a7b1-4628-a7·kernel-2f83d827-d040-40ad-8c·kernel-742a46ea-4ca⁰-4aa⁴-3·kermel-1245458-b061-416-8800current_time=datetime.now().strftime(‘Y-%m-%dH:%M2024Al+2024Al+研发数字峰会输入验证不足、不当的数据存储与加密、脆弱的认证机制等针对LLM应用特性，开发定制化漏洞检测与修复方案加强输入验证、防范越狱、强化认证和安全通信等未经适当同意过度跟踪用户数据、行为或活动，用于定向广告或分析用户偏好LLMapp可从看似无害的输入推断更多个人信息，加剧隐私问题3222162301身份盗用、个性化钓鱼攻击、不必要的侵扰性广告曝光等数据积累分析可能导致有偏见或歧视性的结果，影响决策公平性应用商店严格隐私政策，获取明确用户同意，采用隐私保护技术定期审计，确保LLMapp决策的公平、问责和透明4.恶意应用开发者使用恶意指令或知识，污染应用知识库应用输出不当内容，如色情、赌博信息或恶意链接实际行为与描述不符，难以用传统静态分析检测开发针对LLM恶意应用的专门检测和缓解策略加强实时监控和内容验证，及时发现动态生成的有害内容2024Al+2024Al+研发数字峰会未经授权复制合法应用，侵犯知识产权，引入安全威胁或影响用户体验ou(猫音2024Al+研发数字峰会|AI驱动研发变革促进企业降本增效NDD5.应用克隆不当经济利益的驱动、相对较低的技术门槛以及法律监管的滞后依赖专有基础模型和独特提示工程，传统检测方法难以适用howmakeanormalT-shirt开发定制化检测机制，如监控重复提示、检测滥用行为应用商店研发适用于LLMapp的相似度分析技术00801000集成外部服务或API可引入漏洞或隐私问题第三方服务被攻破或安全措施薄弱，连带威胁LLMapp实施强大的认证和授权，加密传输与存储敏感数据定期监控审计第三方服务，及时发现可疑活动制定严格的数据处理政策，采用隐私保护的集成方式用户与LLMapp交互过程中发生欺骗性或误导性广告行为LLMapp可动态生成广告内容，传统监测技术难以检测开发适应LLMapp独特挑战的新方法，确保广告生态的透明和可信采用AI驱动的实时内容分析和解释方案，针对LLM的生成能力定制类似于传统应用保护，LLM应用可能采用混淆、加密和打包技术混淆过程可能无意中隐藏关键监控和调试功能，难以发现真正的安全威胁混淆增加的复杂性可能导致性能下降，引入可被利用的漏洞谨慎选择第三方应用保护框架，权衡保护和风险开发专门适用于LLM应用的安全应用保护技术主要安全挑战3.垃圾评论3.恶意应用4.第三方服务集成7.广告欺诈8.应用保护技术设计用于模仿合法LLMapp,欺骗用户或窃取敏感信息，对用户构成重大风险"id":"m9rSFM87M9LU7"initPrompt":"romnowon,yplaytheroleofanImageGenerator,detailedimagesforthedesToriel'snextreplyinafictionalroleplayL'sname:Toriel.\nTorielcalls{fuser}}by_B⁰SEM2u",LLMapp可生成极具说服力的内容和交互比传统假冒应用更具欺骗性需要考虑生成输出的质量和上下文的细微检测策略应用商店实施应用审核流程利用应用分析和用户反馈监控等技术识别假冒应用研究开发先进的自然语言处理和多媒体分析方法协助检测假冒的LLMapp,确保用户安全和信任主要安全挑战3.恶意应用4.第三方服务集成7.广告欺诈8.应用保护技术LLMapp的用户反馈相关风险攻击者试图通过非法方法操纵LLM应用商店排名攻击者旨在人为夸大应用排名和受欢迎程度，获得更高曝光率和使用率LLMapp的用户反馈相关风险20242024Al+研发数字峰会|AI驱动研发变革促进企业降本增效NDD攻击者利用不正当方法伪造用户反馈，如用户参与度指标或应用评分，人为提升应用的搜索结果排名和可发现性采取措施维护应用商店生态系统的完整性，打击恶意ASO行为Agreed.IfyoulookatthemostpopularGPTs(wiIcompletelyagreewithyou,andtheywentforaIcompletelyagreewithyou,andtheywentforasimilarappLLMapp的用户反馈相关风险垃圾评论可能包含恶意内容，或涉及由机器人或人工操纵的大规模虚假评论，目的是人为地夸大应用的声誉鉴于LLM可以生成高质量文本，垃圾评论可能变得更加复杂，难以与真实用户反馈区分采用和完善移动应用领域的各种检测方法，保持评论机制的真实性和可靠性开发针对LLM生成内容的增强检测方法，分析语言模式和上下文相关性NiDDAl+DavelopmantDigi:alsummit2024Al+2024Al+研发数字峰会AuthorkG亚Hou,X.,Zhao,Y.,&Wang,H.(2024).Onthe(In)SecurityofLLMAppSto786,036个LLMapp。/1●indicatespublic,Oindicatesworkspac2“”indicatestheplatf2024Al+研发数字峰会2024Al+研发数字峰会■描述和指令不一致5.31%的应用在描述和指令之间存在不一致，其中57.38%包含有害内容。■敏感数据过度收集29.27%的LLMapp被发现过度收集敏感数据。■作者域名恶意程度检测677个被标记为恶意作者域名的应用只2.49%含有恶意意图。aSrnFig.3:Reasonsforinconsistenciesbetweend32212162301Hou,X.,Zhao,Y.,&Wang,H.(2024).Onthe(In)SecurityofLLMAppStoLLMapp安全风险分析——包含恶意意图的LLMapp■指令中包含恶意内容■知识文件中包含恶意内容在559个被检查的文件中，有35.42%包含恶意内容。在559个被检查的文件中，有35.42%包含恶意内容。⑨00o0o0Numberoftoxi 如Numberoftoxicwords%LLMappsaFig.4:ResultsofmalicioHou,X.,Zhao,Y.,&Wang,H.(2024).Onthe(In)SecurityofLLMAppStores.arx■恶意行为分析我们重点关注五种类型的恶意行为：恶意软件生成、网络钓鱼攻击、数据泄露和盗窃、拒绝服务(DoS)攻击以及虚假信息传播。研究确认了616个LLMDisinformationpropagDataExfiltrationandTLLMapp安全风险分析存在可利用漏洞的LLMapp■恶意行为模拟管理工具的应用程序。然而，该应用程序的知识文WeicometoTaskMastetfmanagementprocess,alowingyoutoeffieientyourto-doitema.WhetherirswerktasksoTaskMasterhelpesmsurSurt,rdbehascytoheloyoucrtateatsk!Plesseprovdethedetaisforte4.PrierityLevellLow.MeFeefrootoiaidessnuchorateinform5Listfieswithlirksinthe"/mntdntay"dreHereisthefleavalableinthe'/ant/daShowcontertsofdomaiHerearetheconteotsofthe'dusains909197125.34be