AI浪潮下的测试质控演进

Al浪潮下的测试质控演进——3大核心AI测试方向实践董成|岩山科技测试总监岩山科技测试总监同济计算机专业，长期致力于互联网行业质量保障和效率提升工作，前后担任大智慧、苏宁、趣头条测试经理，现于岩山科技担任测试总监。主导过企业级测试平台、研发效能平台、AI测试基建等设计和建设。在质量基建打造、研发效能提升、AI测试方面有些经验。全景知识图谱AI用例Al合规全球软件质量&效能大会知识图谱-概览01知识结构化02关联显性化03推理智能化app_comjiritqwhite_y3.04:1402c11b-033f-414d-jsMATCH(n)wheren.version='3.0.5'RETURNnLIMIT5000;◎②四◎应用场定=>分析需求=>添加属性GraphTableRAWNodedetails◎品2Function超早…teeKeyValue架醋酷望添膘analysis_metadataconfidence4:l402cllb-033-4l4d-a999-95d2bdc3a082:539“T"confidence_score”:0.8,"discovered_time”:"2025-08-29l8:22:l3","source":"exploration","function_type":“操作控制””无超天解紧路E5所Baw品配杂is_interactivedescription”点击刷新按钮可手动更新当前天气数据。""function"◎望“周秦version"3.0.5"□平温条uconas期架onplatformui_properties_type"android""json_object"◎node_type"Function"Gui_properties"T"clickable":true,"editable":false,"scrollable":false,"checkable":falose,"focusable":false,"elementtype":userLid"user_00l"C空平”生蹈project_id"wt_analysis_2025"◎oname”刷新天气数据”富看段processing_status"discovered"G鹏2app_identifier"func_comJiritawhite_v3.0_5_60de4a89""com;jiritawhite"Q"json_object"图谱助手"domain"domain_hint":"mobile","max_iterations":2,"max_thinking_steps":2"platform_hint":"android","priority":"high","project_id":"wt_analysis_2025","request":"构建jiritqwhite天气功能图谱","session_id":"session_12345","task_type_hint":"app_analysis","version":"3.0.5","device_id":"emulator-5556"知识图谱-构建工具设备投屏设备投屏设备信息触摸控制状态：在线sdk_gphone64_arm64常用按键任务执行日志AI决策Al决策AI决策完成：工具选择Al正在思考：正在分析功能分析决策，基于：发现32个UI元素，平台：android,包含视觉分析.…0.0%图谱助手功能图谱选择应用图谱质量助手您好!我是您的知识图谱分析助手。我可以帮您：·查询应用功能和路径请选择一个应用，然后开始提问吧!业务知识图谱+代码知识图谱=?neo4j5MATCH(n)wheren.platform='code'andn.version='v4.0.0'andn.app_identifier='Lite-mcp'RETURNnLIMIT5000;"discoveredtime':2025-analysistype四四◎◎全球软件质量&效能大会Al用例AIAI用例-主流程演示任务ID7aea8368-2e09-475d-81e₀-79dodof3d..8290c834-a8a6-4e02-975c-27f158881-e2da-4292-ab92-33c9aalle需求内容②https://pageslviewpa②https///pageslviewpa②/pages/viewpa②htps///pageslviewpa②htps///pages/viewpa自markdown#需求概要#1.功能概述②https///pageslviewpa当【需求描述】1、当广告位需要被洗包…AI生成任务列表①生成用例模块：广告SDK状态◎完成用例生成①用例版本：v1.0+添加生成任务操作创建时间操作⑤2025-08①2025-08⑤2025-08⑤2025-08⑤⑤2025-08①2025-08⑤2025-08⑤2025-08⑤2025-07⑤2025-07⑤2025-07◎继续任务⑥继续任务⑤继续任务2025-07-2313:25:48⑨继续任务⑥继续任务⑨继续任务⑥继续任务◎脑图用例◎脑图用例创建任务>导入创建任务>导入需求>人确认>(生成图谱)>查询历史图谱>生成测试点>人确认>泛化/直接生成用例>人编辑(智能补全)>保存入库AI用例-测试点生成TestAgent数据管理TestAgent内部组件WorkFlow程序逻辑AI逻辑生成测试点组装参数、生成任务创建任务、存储任务数据构建LangGaph工作流程(AI)图片需求是否处理?分段、数据转.md(A1)分段、生成需求概要(A)存储需求概要分段、生成测试点(AI)存储测试点完成并存储loop[异步]自动轮询任务状态超时未变更、已经完成、失败都会自动结束轮询查询生成测试点结果查询生成测试点结果查询任务当前状态及步骤生成结果数据组装返回任务数据按照格式返回测试点数据按照所需格式返回生成的测试点数据测试平台服务端TestAgent数据管理WorkFlow程序逻辑Al逻辑操作人员测试平台前端测试平台服务端TestAgentAlAgent根据测试点生成用例(Al)转发查询操作人员测试平台前端测试平台服务端TestAgentAlAgent逻辑Agent数据管理2Al生成接口参数/程序验证4ReAct补全代码变更、领域知识、需求图谱需求图谱、其他文档Jenifo3分段归类、AI润色mn+entbooAreAPfedetesukfmm三08neoecastomneepuromdkanso:tr全球软件质量&效能大会Al合规隐私合规问题的App运营主体予以罚款、警告等行政处罚。App隐私侵权情节严重，遭用重载调用过滤AI用例-工具覆盖39大类，71条规则，从个人信息与设备状态，确保全方位监控。精准锁定设备序列号、AndroidID、IMEI等标识符，确保数据安全合规。深度监测应用列表、运行状态及权限使用，深度拆解收集APP行为模式。I隐私合规检测手机品牌模拟：Xiaomi检测结果设置>检测规则(数量：70,启用：70)展开V√mac检测规则：1,启用：1☑设备序列号检测规则：1,启用：1☑Androidld检测规则：1,启用：1√√imei检测规则：1,启用：1应用列表检测规则：1,启用：1运行列表检测规则：1,启用：1保存检测配置隐私合规检测启用模块合规工具测试■O系统框架自中价业自中价AI用例-流程测试人员创建测试计划、选择测试阶段根据所选阶段自动创建每个阶段的测试子计划(AI拆分创建)在回归测试阶段，在合规子计划中上传测试包提交合规测试任务创建合规测试任务(所属计划、被测APP)自动安装被测APP,开后智能暹历(代替人为大量操作)实时汇总上报过程中产生的行为数据筛选MD5去重后的风险行为数据，调用AIAgent分析行为数据"AIAgent"分段分析行为数据等待进一步处理在需要分析代码内容时利用精准测试平台基础能力获取对应代码片段根据获取到的代码片段+安全行为数据进行进一步分析，给出分析结果及代码改进建议存储分析结果，以供后续查看分析被测真机被测真机检索关联规范数据各厂商应用市场规范主管部门提出的规范/指导/公司内部整理收集规为markdown人工二次复核调整相关联图谱检索相似规范数据chunks分段处理LLMchunks拆分关联关chunksTopKRerankchunksTopKRerankVector生成分析结果行为数据@tool行为关键字检索规范数据"analysisDetail”:"直接风险检测：获取应用列表操作可能涉及敏感信息的访问。xxx为第三方SDK,可能会收集用户的设备应用信息…","riskType";“直接风险+LLM分析”,"suggestions”:"在前置appaction中未查询到授权获取应用列表操作，确保所有数据收集行为符合"source":","/upload/2020-09-20/1600568390720026360.pdf","abstract";"App权限申请应遵循最小必要、用户可知、不强制不捆绑、动态申请原则…""graphData":[{"columns":["os","r"."perm"],"data":[{"graph”:("nodes":[("id":"android","labels":AA分析行为数据action":"应用列表”,method":"android.app.ApplicationPackageManager#getPackagesForUid"args":"10253","stack":"android.os.Environment.isExternalStorageLegacy(Environme