中国联通AI终端应用质量验证白皮书(2026年度)_第1页
中国联通AI终端应用质量验证白皮书(2026年度)_第2页
中国联通AI终端应用质量验证白皮书(2026年度)_第3页
中国联通AI终端应用质量验证白皮书(2026年度)_第4页
中国联通AI终端应用质量验证白皮书(2026年度)_第5页
已阅读5页,还剩30页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

AI(2026年度)目录目录 2前言 6摘要 7第一章AI研时的量挑战 8件发度续升 8AI速发等用质可信 8统证式临颈 9量任穿件生命期 9第二章AI测AI理念平台10AI测AI定义 10念界适范围 10能证共服务 10台设标 11力熟与务11心设则 13第三章能证共服总体构 14体构 14入用层 14务排层 15能证擎层 15端源层 16一理层 16第四章一实端动化证17实端源理 17环验证 17动环准备 17动执行 17行18源务化 18端源力18第五章AI智验核能力 19景19GUI能行 19AI19果断 19程据 20能证力20第六章向品研发测试交的务 20品证务 20发验务 20试质服务 21付证务 21类验服与量门禁 21色务21第七章需证持续23需23续23类质门禁 23型证24核的部究事件例 24案例:AI成码全性究 24案例:KnightCapital自动系事件 25考用25场景:陷现修复测 25场景:键务路续验证 25场景:终兼容性证 26第八章AI测AI价体系 27能业结果 27互视质量 27容和境27能稳性 27果27心价27用量价法 29第九章来望 31附录A语缩语 32AI测32需32续32程据 32附录B型证务流程 32附录C证果告议结构 32附录D务录议结构 33附录E开布的校项 34附录F考献标准 34本白皮书面向企业CTO、技术负责人、质量保障负责人及数字化转型决策者编写。通过阅读本白皮书,您将深入理解"AI测AI"的核心理念与技术路径,全面了解智能验证公共服务体系、真实终端资源池、验证服务模式、质量门禁机制和演进方向,并获得在AI应用交付过程中实现质量可信、过程合规、结果可溯的决策参考。AIAI体系以“AIAI”行为手段、以全链路质量评估和多类型质量门禁为保障的智能验证平台,旨在解决传统人工测试效率低、覆盖面窄、场景复现难等痛点,支撑从产品、研发、测试、质量和交付等阶段,协同提升质量保障能力与敏捷迭代速度。需要说明的是,上述“AIAI”述“AIAI”AI析能力,对移动应用、WebPCAI本版本为公开发布讨论稿,重点阐述方法、架构与服务模式,不披露未经授权的中国联通客户案例、内部运营数据或未经确认的能力指标。文中外部研究和监管事件仅用于说明问题背景,不代表中国联通平台的运营实绩;平台能力状态以正式服务目录、验收记录和发布审查结果为准。前言人工智能正在深刻改变软件产品的设计、开发、测试和交付方式。需求分析、代码生成、功能修改和版本构建的速度不断提升,软件产品以更短周期、更高频率进入用户环境。与此同时,应用质量验证面对的环境和场景更加复杂:验证任务需要覆盖不同终端、操作系统、浏览器和网络环境,并持续检查关键业务流程、页面交互和版本变更是否符合预期。当软件变化的速度超过验证能力的响应速度,质量保障就会成为研发交付过程中的新瓶颈。传统依赖人工执行、固定脚本和发布前集中测试的方式,难以满足快速研发、持续交付和多环境验证的需要。中国联通面向产品、研发、测试、质量和交付全过程,建设统一的真实终端资源池与智能验证公共服务平台。平台以移动真机、WebPC统等多类真实环境为基础设施,以自动化执行和人工智能能力为核心,将场景理解、GUI操作、智能自愈、并行调度、结果判断、过程证据和质量门禁等能力沉淀为可调用、可复用、可治理的公共服务。AIAIAI散工具和测试环节,升级为支撑研发全过程的基础能力。文中“已具备”“试点中”和“演进方向”等表述用于区分能力成熟度,具体服务范围以正式发布时公布的服务目录为准。摘要AI加速了软件生产,也放大了软件质量的不确定性。AI生成的代码、页面和业务逻辑需要获得及时、稳定、可追溯的验证反馈;传统人工测试效率较低、覆盖面有限、复杂场景复现困难,以及终端资源分散、自动化能力割裂、验证结果难以复用等问题,需要通过平台化方式解决。中国联通提出“AI测AI”智能验证公共服务理念:以人工智能理解验证目标和业务场景,驱动真实终端和应用完成操作,结合业务规则、页面视觉和智能分析对结果进行判断,并形成完整的过程证据。平台面向产品、研发、测试、质量和交付团队提供统一服务,支持功能测试、冒烟测试、兼容性测试、回归验证、问题复现和修复复测等多类服务,并可通过SaaS、IDE、CLI和CI/CD等入口逐步接入日常工作流程。平台建设的核心价值体现在四个方面:一是将真实终端和多类运行环境建设为产研共享的基础设施;二是以自然语言和AI能力降低验证使用门槛,提升验证吞吐量;三是将功能、冒烟、兼容性、回归等多类验证结果与过程证据纳入统一服务;四是逐步接入CI/CD,将验证结果转化为可配置的质量门禁,推动质量责任前移。平台后续将逐步完善业务结果判断、视觉质量判断、应用质量分析、质量门禁编排和风险驱动验证能力,推动智能验证服务从“能执行”发展到“能判断、能形成门禁、能辅助决策”,为产研协同和可信交付提供持续支撑。AI研发时代的质量挑战人工智能已经进入需求理解、代码生成、代码修改、测试设计和版本交付等多个环节。过去需要数天完成的功能开发,可能在数小时内形成可运行版本;版本发布频率不断提高,软件变更从阶段性活动转变为持续发生的日常活动。研发效率提升带来了新的质量要求。每一次代码变更都可能影响多个页面、接口、设备和业务链路,验证范围和验证频率随之增加。若验证仍然按照固定周期和人工排队方式进行,验证反馈就无法匹配研发变化速度。StackOverflow《2025AI33,662受访者中,84正在使用或计划近期使用AI工具参与开发过程;在回答准确性问题的33,244,46AI31,476,66AI说明[1],AIAI人工智能可以快速生成代码、页面和业务逻辑,但生成结果并不天然正确。AI输出可能存在功能缺陷、边界条件遗漏、安全风险、交互不一致以及与真实运行环境不兼容等问题。Veracode2025AI100Java、JavaScript、PythonC#等语言上的代码生成结果,报告页面披露,45现了具有安全风险的缺陷。该研究来自商业机构[2]所有业务系统,但其结果提示:生成速度、模型规模或模型新旧程度,都不能替代针对具体业务和运行环境的验证。无论代码由人工编写还是由AI辅助生成,最终都要形成在真实终端和业务环境中运行的应用。仅确认代码能够构建、程序能够启动,并不足以说明应用的功能、兼容性、交互和业务流程已经达到交付要求。传统验证方式通常依赖人工操作、固定自动化脚本和相对稳定的运行环境。在快速迭代和多终端环境下,主要面临以下问题:真实终端资源分散,设备申请、配置和维护成本较高;验证结果分散在不同工具和团队,难以统一比较和复用;结果往往集中在发布前产生,问题发现和定位不够及时;过程截图、日志、录屏和环境信息缺乏统一沉淀,难以支撑审计和复盘。AI研发模式下,质量不应只由测试团队在研发末端承担。产品需要尽早确认关键用户路径,研发需要在代码修改后完成首轮自验,测试团队需要聚焦策略、复杂场景和独立复核,交付团队需要将验证结果纳入版本发布判断。这要求验证能力不再是测试团队独占的单点工具,而应成为不同角色都可以调用的组织公共服务。AI测AI的理念与平台定位AI测AI本白皮书所称“AIAI”,AI能理解验证目标和业务场景,驱动真实终端上的应用完成操作,适应界面和环境变化,结合业务规则、页面状态和智能分析判断验证结果,并生成可追溯的过程证据。在这一体系中,AI是验证能力的组成部分,主要承担场景理解、界面识别、操作决策、异常恢复和结果辅助判断;应用是主要被测对象,包括移动应用、Web应用和PC应用。平台不以AI智能体或大模型的能力测评为建设主线。“全链路质量评估”在本白皮书中指从验证目标、场景理解、终端环境、自动化执行、结果判断到过程证据和复测闭环的连续质量评价,重点关注应用功能、业务流程、交互视觉、兼容性、性能和稳定性。具体评价范围和成熟度以正式服务目录及实际验收结果为准。本白皮书中的“AIAI”AI试、性能测试、代码静态分析或人工验收。它重点解决应用在真实终端和真实业务流程中的智能执行、环境适应、结果判断和证据回收问题,并与现有测试体系协同工作。平台适用于移动应用、Web应用和PC应用的真实环境验证。涉及生产系统、真实用户数据和高风险业务操作时,应在授权、隔离和人工复核条件下开展。智能验证公共服务是面向整个产研全过程提供的统一验证基础设施能力。它以真实终端资源池和运行环境为基础,以自动化执行和AI量门禁和统一治理为保障,为产品、研发、测试、质量和交付团队提供可调用、可复用、可追溯的验证服务。平台不是单纯的远程设备使用平台,也不是只面向测试团队的脚本管理工具。平台的目标是将终端资源、自动化、AI、验证服务和质量治理能力统一起来,形成面向产研部门共享的组织级验证基础设施。中国联通智能验证公共服务平台的建设目标包括:建设覆盖移动真机、WebPC实终端资源池;建设自然语言驱动的智能验证和自动化执行能力;建设覆盖步骤、业务、视觉、兼容性和稳定性的结果判断能力;建设覆盖功能测试、冒烟测试、兼容性测试、回归验证、问题复现和修复复测的服务目录;建设面向产品、研发、测试、质量和交付的统一服务入口;CI/CD建设过程证据、权限审计和服务运营等治理能力。平台能力按成熟度分为三类:成熟度定义对外表述已具备已形成稳定能力并可纳入服务目录平台支持试点中已完成部分场景验证,正在扩大范围平台正在验证或逐步提供演进方向已明确建设目标,尚未作为通用能力承诺平台将进一步建设下表是本次方案讨论采用的工作口径。表中的“已具备”仅表示相关能力已形成并可在限定服务范围内使用,不表示已经覆盖全部应用、终端和业务场景;“试点中”不作为普遍可用承诺;“演进方向”不纳入现阶段服务承诺。正式发布前,应以服务目录、验收记录和发布审查结果逐项确认。现阶段已具备及试点能力能力项成熟度当前边界对外表述建议SaaS任务发起与结果查看已具备现阶段主要面向产品、测试和质量人员平台支持通过SaaS发起任务并查看结果自然语言场景描述与理解已具备适用于目标、步骤和预期结果较明确的业务流程平台支持以自然语言描述验证场景AppGUI已具备以已接入应用、终端和常用GUI操作为范围AppGUIAI自愈与失败重试已具备面向控件位置、文案或页面布局等可恢复变化平台支持对部分可恢复执行异常进行智能调整和重试步骤状态与过程证据已具备重点判断步骤是否完成,并回收截图、录屏和日志平台支持返回步骤状态和过程证据统一终端资源池与并行调度试点中WebPC及国产终端或国产操作系统,具平台正在完善多类型终端资源管理与并行验证能力自动化环境准备与恢复试点中受应用安装方式、账号、数据和系统权限约束平台正在验证可重复的环境准备与恢复机制业务结果判断试点中优先覆盖结果明确、规则可表达的业务场景平台正在增强业务结果判断能力功能、冒烟、兼容性和回归验证服务试点中按应用、版本和使用方策略逐步沉淀服务目录平台正在形成多类型验证服务演进方向能力项成熟度当前边界对外表述建议页面语义与UI视觉判断演进方向尚不作为通用服务承诺平台将进一步建设页面语义和视觉质量判断能力IDE、CLICI/CD演进方向需结合研发工具链和发布流程逐步接入平台将逐步进入研发、质量和持续交付工作入口多类型质量门禁编排演进方向研发构建冒烟门禁优先落地,其他门禁由使用方按策略配置平台将逐步支持功能、兼容性、回归和发布等门禁风险驱动验证与发布建议演进方向依赖稳定的历史数据、场景资产和结果判断能力平台将探索风险驱动选场景和发布辅助判断标准化验证服务接口演进方向需结合研发工具链、权限和审计要求逐步开放平台将探索面向研发与质量工具的标准调用能力正式发布时,应根据服务目录、技术验证和运营数据逐项更新状态。任何能力从“试点中”转为“已具备”,均应具有明确的适用范围、验收记录和服务责任边界。平台建设遵循以下原则:真实环境优先:验证结果应尽可能来自真实终端、真实系统和真实业务环境;服务化供给:将终端和验证能力以标准服务方式提供给不同团队和工具;智能化执行:降低场景编排、脚本维护和环境操作的人工成本;结果可判断:从记录操作过程逐步发展到判断业务和产品结果;证据可追溯:验证过程、环境、结果和复测信息应完整留痕;安全可治理:对账号、数据、设备、权限和高风险操作实施统一管理。第三章智能验证公共服务总体架构平台总体采用“接入调用、服务编排、智能验证、终端资源、统一治理”五层架构。最上层面向产品、研发、测试和交付提供多种调用入口;服务编排层负责场景、任务、版本、策略和结果管理;智能验证层负责场景理解、GUIAI结果判断和证据回收;终端资源层提供手机、平板、PC、浏览器及其他运行环境;统一治理层贯穿各层,负责权限、安全、审计、计量和运营。平台能力关系可概括为:产品|研发|测试|交付产品|研发|测试|交付│SaaS/IDE/CLI/CI/CD/API│场景与任务编排服务│场景理解|GUI执行|AI自愈|结果判断|证据回收│真实手机|Web浏览器|PC|国产环境│资源管理|权限安全|审计计量|运营分析其中,终端资源层是验证运行的基础,智能验证层是平台形成差异化价值的核心,服务编排层负责将能力转化为不同角色可以调用的服务,统一治理层保障服务在组织范围内安全、稳定和可追溯地运行。平台按照能力成熟度和团队使用习惯,逐步通过不同工作入口提供统一验证能力。当前服务形态和后续接入方向应以正式服务目录为准:入口服务对象主要用途能力状态SaaS产品、测试和质量团队场景管理、任务发起和结果查看已具备IDE研发人员代码修改和调试过程中的即时验证试点中CLI研发和交付人员本地或脚本流程中的验证执行试点中CI/CD研发和交付流程构建、发布和版本流程自动触发验证,并承载质量门禁结果试点中标准接口研发、质量和交付工具以服务方式调用验证能力演进方向服务编排层将用户目标转换为可执行任务,并管理任务从创建到完成的完整生命周期。主要包括场景管理、任务编排、环境选择、验证策略、版本关联、结果服务和报告管理。平台应支持按风险、版本、设备、业务重要性和历史结果选择验证范围,也应支持用户手动指定设备、环境和场景。服务编排层还应支持质量门禁策略配置。研发构建阶段可将冒烟验证作为明确门禁;兼容性、功能回归、版本发布等其他门禁,则由使用方根据业务风险、版本类型、验证范围和组织流程自行配置。平台输出通过、失败、需人工复核、环境异常或证据不足等结果,供使用方决定放行、复核或阻断。智能验证引擎是平台的核心能力层,主要包括:场景理解引擎;GUI操作执行引擎;操作失败重试和AI自愈能力;多设备并行调度能力;步骤、业务和视觉结果判断能力;截图、录屏、日志和环境信息回收能力;验证报告和问题摘要生成能力。终端资源层由中国联通自有终端资源、专属资源和可接入的弹性资源共同构成。平台统一管理设备型号、系统版本、网络环境、浏览器版本、设备状态、使用权限和维护记录,并根据任务要求完成设备选择和资源调度。终端资源层的价值不只在于提供设备,更在于将移动真机、WebPC终端或国产操作系统转化为可被产品、研发、测试、质量和交付团队稳定调用的验证基础设施服务。统一治理层为平台提供权限、审计、计量、安全和运营保障,包括用户与组织管理、角色权限、测试账号、敏感数据、设备使用、任务执行、结果留存和服务指标等内容。第四章统一真实终端与自动化验证底座平台对终端资源进行统一接入、统一编目、统一调度和统一维护。资源信息至少应包括设备品牌、型号、操作系统、系统版本、屏幕规格、网络能力、可用状态和所属资源池。平台支持设备预约、排队、释放、故障标记和维护管理,减少不同团队重复购买、重复维护和重复配置设备的问题。平台面向移动应用、WebPCWeb以及国产终端或国产操作系统,并覆盖不同终端品牌、系统版本、浏览器版本、分辨率、网络条件和区域配置。对于关键业务场景,可通过多个目标环境并行执行,快速发现环境差异。在任务执行前,平台应支持设备选择、应用安装、版本切换、权限初始化、测试数据准备、账号登录和网络配置等环境准备工作。环境准备过程应标准化、可重复,并纳入过程证据。平台支持点击、输入、滑动、返回、截图、录屏、应用切换、系统授权和页面读取等常用操作,并支持将多个操作组合为完整业务流程。对于登录、查询、办理、支付、提交等关键路径,平台应支持多步骤任务执行、失败重试和中断恢复。平台根据任务优先级、设备可用性、环境要求和验证策略进行资源调度。对于兼容性、版本回归和紧急问题复现等任务,可在多个终端和环境中并行执行,提高验证吞吐量和问题反馈速度。终端资源不以孤立设备的形式提供,而是通过标准服务能力对外开放。用户提交验证目标后,平台根据场景要求选择适配设备,完成环境准备、任务执行、结果回收和资源释放。资源服务化应具备以下特征:设备资源可发现、可预约、可调度;环境配置可复用、可恢复、可审计;验证结果与设备、版本和场景自动关联;资源使用过程能够计量并支撑运营分析。为便于平台建设和服务运营,可将终端资源能力划分为四个层级:层级能力名称主要内容L1资源可用设备接入、状态管理、基础信息维护L2环境可复现应用安装、系统配置、账号和测试数据初始化L3任务可执行自动化操作、并行调度、失败重试、过程记录L4服务可运营统一目录、权限、计量、审计、质量指标和持续优化L1L3L4演进。AI智能验证核心能力用户可以使用自然语言描述需要验证的目标、环境、操作步骤和预期结果。平台识别业务对象、用户动作、页面状态、验证条件和异常处理要求,并将其转换为可执行的验证任务。GUI平台通过页面结构、控件语义、文字内容、视觉特征和上下文信息定位操作目标,完成真实终端上的点击、输入、滑动、选择和页面跳转等操作。AI自愈当页面布局、控件位置、文案或交互方式发生变化时,平台可以结合新的页面信息调整操作路径。在执行失败时,平台应区分环境异常、操作异常和业务异常,并对可恢复问题进行重试或选择替代方案。自愈过程应保留原始操作、调整原因、替代操作和最终结果,避免“任务成功”但无法解释执行过程。平台的结果判断能力分为三个层次:步骤结果:目标控件是否找到,操作是否完成,页面是否发生预期变化;业务结果:查询、办理、支付、提交等业务是否达到预期;产品质量结果:页面视觉、交互体验、兼容性、稳定性和关键任务完成质量是否符合要求。每次验证应形成与任务关联的过程证据,包括操作步骤、时间信息、设备环境、截图、录屏、日志、错误信息、判断结果和复测记录。证据应支持在线查看、结果对比、问题定位和后续审计。为明确平台建设边界和能力演进方向,建议将智能验证能力分为四个等级:等级能力阶段典型能力主要价值L1能执行固定任务执行、截图、录屏和日志采集提升基础自动化效率L2能适应自然语言任务、控件识别、失败重试和AI自愈降低脚本编写与维护成本L3能判断业务结果、页面视觉、兼容性和环境差异判断提升验证可信度L4能分析风险驱动选场景、质量趋势分析和发布建议支撑研发决策与可信交付L1L2L3L4力。第六章面向产品、研发、测试和交付的服务产品团队可以在需求和版本验收阶段发起关键业务场景验证,确认用户路径、页面状态、跨终端体验和核心功能是否符合预期。研发人员可以在代码修改、功能开发和缺陷修复后,通过工作入口快速发起验证,及时获得真实终端上的执行结果和过程证据。测试和质量团队可以沉淀可复用场景,配置验证策略,开展冒烟、回归、兼容性和复杂业务验证,并对异常结果进行独立复核和质量分析。交付团队可以在构建、版本发布和上线前触发验证,将验证结果纳入发布判断,形成通过、复核或阻断等质量决策依据。平台面向产研部门提供多类型验证服务,主要包括:功能验证:检查核心功能、关键业务流程和预期结果是否正确;构建冒烟验证:在研发构建完成后快速检查应用是否能够安装、启动并完成关键最小路径,作为研发构建阶段的明确质量门禁;兼容性验证:在移动真机、WebPC中检查版本差异;回归验证:针对版本变更和缺陷修复,执行已沉淀的关键场景;问题复现与修复复测:根据问题描述和目标环境进行复现,并在修复后执行复测。不同使用方可以根据应用类型、版本风险和组织流程配置门禁策略。平台不预设所有团队采用同一套阻断规则,但应提供统一的结果类型、过程证据和门禁接口。使用角色关注目标主要服务典型输出产品需求和用户路径是否符合预期场景验收、关键流程验证、终端体验验证场景结果、体验差异、验收证据研发修改后是否引入问题即时自验、问题复现、修复复测步骤状态、失败定位、复测结果测试与质量覆盖范围和风险是否可控冒烟、回归、兼容性、复杂场景验证质量报告、风险清单、趋势分析交付版本是否具备发布条件构建验证、发布门禁、版本复核通过、复核或阻断建议管理与运营平台是否产生组织价值服务目录、计量分析、质量运营使用情况、效率指标、改进建议第七章按需验证与持续验证按需验证面向范围明确、时效要求高的问题和任务。用户描述需要验证的业务过程后,平台选择目标环境并执行验证,返回问题是否复现、不同环境是否存在差异以及相应的过程证据。典型场景包括问题复现、环境差异确认、修复复测和临时版本验证。持续验证面向登录、查询、办理、支付等关键业务路径。场景沉淀后,可由构建、版本、计划任务或风险策略自动触发,执行冒烟、小批量回归或兼容性验证,并将结果返回研发和发布流程。持续验证使质量反馈从发布前集中活动转变为研发过程中持续发生的活动。平台面向不同产研流程提供可配置的多类型质量门禁。门禁不是单一的“通过/不通过”按钮,而是将验证服务结果按照使用方定义的策略转化为放行、人工复核或阻断。门禁类型典型触发点主要验证内容默认建议构建冒烟门禁研发构建完成后安装、启动和关键最小路径作为研发构建阶段的明确门禁;关键失败时阻断功能验证门禁功能开发、版本验收核心功能和业务流程由使用方按功能重要性配置兼容性验证门禁版本发布、重点终端适配多终端、多系统、多浏览器差异由使用方按覆盖范围和风险配置回归验证门禁缺陷修复、版本发布已沉淀的关键场景和历史问题由使用方按版本风险配置发布验证门禁上线前或发布流程通过、人工复核、阻断条件由交付和质量团队共同配置构建冒烟门禁的具体内容由研发和测试团队共同维护;其他门禁不设统一强制规则,应根据应用类型、版本风险、业务重要性和使用方流程配置。环境异常、证据不足或自动判断置信度不足时,原则上进入人工复核,不直接等同于业务失败。以研发构建和关键业务版本发布为例,平台可以形成如下闭环:产品或质量团队将登录、查询、办理等关键路径沉淀为可复用场景;研发提交代码并完成构建;CI/CD平台选择目标终端和环境,执行多设备并行验证;AI平台生成截图、录屏、日志和结果报告;结果返回研发和发布流程,按照对应门禁策略形成通过、复核或阻断建议;对失败任务进行人工复核、问题修复和自动复测。这个闭环将验证从一次性的发布前活动,转变为贯穿代码变更、构建、测试和交付的持续服务。本节案例均来自可公开核验的外部材料,用于说明验证能力建设的必要性,不代表中国联通平台的运营实绩,也不用于推导平台效率提升比例。案例一:AI生成代码的安全性研究Veracode《2025AI[2]100JavaJavaScript、PythonC#等语言上的代码生成结果。报告页面披露,45有安全风险的缺陷,并指出更大或更新的模型并未自然带来更安全的代码。这一研究不能替代对具体模型、提示词、代码库和业务系统的独立评估,但它说明AI生成代码仍需要经过与传统代码一致的功能、安全、兼容性和真实环境验证。对于AI辅助研发形成的高频变更,验证服务应能够被研发和交付流程及时调用,而不能只在发布前集中开展。案例二:KnightCapital自动化系统事件美国证券交易委员会2013年发布的行政文件记录[3]:2012年8月1日,KnightCapital212454001543.974.6亿美元损失。AIAI管文件明确指出,高速自动化会放大原本可控的错误,技术风险管理需要包含质量保证、受控测试、用户验收、过程度量和独立审计。这与AI7.6参考应用场景以下场景用于说明服务模式和能力组合,不代表已经形成的中国联通公开案例,也不包含未经核验的覆盖数量或效率提升数据。后续如纳入正式案例,应完成业务授权、数据脱敏、指标口径确认和发布审查。场景一:缺陷复现与修复复测当产品或研发收到特定终端、系统版本或网络环境下的异常反馈时,用户可以提交问题描述、目标版本和操作路径。平台在指定环境中执行复现,回收操作证据和环境信息;缺陷修复后,平台基于原场景自动发起复测,并对修复前后结果进行对比。场景二:关键业务链路持续验证对于登录、查询、办理、支付和提交等高频或高风险业务,测试与质量团队可以将业务路径沉淀为可复用场景,由版本、构建或计划任务触发。平台在选定的终端和环境中并行执行,并将结果返回研发和交付流程。场景三:跨终端兼容性验证对于需要覆盖多品牌、多型号和多系统版本的应用,平台可以选择代表性真实终端并行执行同一业务场景,记录安装启动、页面展示、控件操作、业务结果、崩溃和环境差异,为兼容性问题定位和版本发布判断提供依据。以上场景是平台服务模式的示例。正式发布时,如有已完成授权和数据脱敏的实际案例,可补充应用范围、验证过程和经核验的量化成效;在材料不完整时,不应将场景示例改写为运营实绩。AI测AI评价体系本章评价体系参考软件产品质量和软件测试的通用框架,包括ISO/IEC25010:2023和ISO/IEC/IEEE29119-2:2021[5][6]。这些标准为产品质量特性和测试过程提供参考,但引用不表示平台已经获得相关认证,也不替代适用于具体业务的法律法规和行业要求。验证应用是否能够完成预期操作,并判断登录、查询、办理、支付、提交等最终业务结果是否正确。验证页面是否正确加载,控件是否可见可用,页面状态是否符合预期,关键交互反馈是否及时,终端差异是否影响用户体验。验证应用在不同终端品牌、设备型号、操作系统、浏览器、分辨率、网络和区域配置下是否能够正确安装、启动、展示和完成关键业务流程,并识别环境之间的差异。平台支持收集响应时延、执行成功率、失败类型、重复执行一致性、崩溃情况和多环境差异等指标,为版本质量和发布判断提供依据。验证结果建议统一分为:通过、失败、需人工复核、环境异常和证据不足。结果分级应结合任务类型、业务风险和证据完整性进行判断,不以单一自动化状态代替最终质量结论。指标类别指标名称指标定义及计算方式数据来源统计口径执行效率任务吞吐量统计周期内完成的有效验证任务数量平台任务日志按日、周、月统计执行效率平均反馈时间从任务正式发起至平台返回验证结果的平均时间任务日志按有效任务统计执行质量执行成功率总数×100执行日志、任务状态排除设备离线、环境不可用等非任务因素执行质量重复执行一致性多次重复执行后结果保持一致的任务数÷重复执行任务总数×100多次执行记录按相同场景、相同环境统计智能能力场景解析成功率成功生成可执行验证任务的场景数÷×100场景解析日志按场景统计智能能力AI自愈成功率经AIAI100执行日志、自愈日志按触发自愈的任务统计结果可信业务结果判断准确率AI最终判断结果与人工复核结果一致的任务数÷纳入人工复核的任务总数×100AI判断记录、人工复核记录按业务场景统计结果可信证据完整率满足预先定义的必要证据项的任务数×100截图、录屏、日志、执行轨迹按验证任务统计环境覆盖终端覆盖数统计周期内实际完成验证的终端型号数量终端资源记录按周期统计环境覆盖系统覆盖数统计周期内实际完成验证的操作系统及版本数量终端资源记录按周期统计研发价值问题提前发现率发布前发现并经复核确认的问题数÷该版本最终确认的问题总数×100验证记录、缺陷系统按版本统计研发价值复测周期从缺陷修复提交至完成复测的时间缺陷记录、任务日志按缺陷统计研发价值场景复用率被重复用于不同版本或不同验证任务的场景数÷场景总数×100场景管理记录按版本或周期统计组织价值接入团队数统计周期内实际使用平台完成验证的团队数量平台用户及任务记录按月、季度统计组织价值流程接入率已实际接入验证流程的业务流程数÷×100流程管理记录按季度统计组织价值持续使用率在统计周期内持续使用平台的团队数×100平台使用记录按月、季度统计指标目标阈值应结合平台实际运行基线、业务风险等级和验证场景特点逐步确定。平台建设初期以建立指标基线和统一统计口径为主,不直接对外承诺统一固定阈值;在形成稳定运营数据后,可按照不同业务类型、终端环境和验证任务建立分级目标区间。应用质量评价应至少明确评价对象、验证场景、目标环境、预期结果、判断方法和复核规则,形成可重复的评价过程。确定评价对象:明确被测应用、版本、关键业务流程和质量目标;构建验证场景:覆盖正常流程、异常流程、边界输入、版本变更和高风险操作,记录场景版本和适用范围;选择目标环境:根据用户分布、历史问题和版本风险选择终端、系统、浏览器和网络组合;定义预期结果:明确每一步操作、页面状态、最终业务结果和允许差异;采集执行证据:保存操作步骤、页面状态、终端环境、截图、录屏、日志和最终业务结果;自动判断与人工复核结合:对规则明确的结果进行自动判断,对争议性、高风险或证据不足的结果进行人工复核;输出可比较结论:按应用版本、终端环境和场景版本输出结果,支持版本对比、问题定位和复测回溯。AIAIAIAIAIAIAIAI第九章未来展望中国联通将持续完善智能验证公共服务平台,推动平台能力沿以下方向演进:从设备资源供给发展为验证服务供给;从固定脚本执行发展为自然语言和AI驱动执行;从步骤状态判断发展为业务结果和视觉质量判断;从人工选择验证范围发展为风险驱动验证;从单一测试入口发展为可嵌入研发、质量和交付流程的统一验证服务;从单次任务验证发展为持续质量治理和可信交付。AIAI能和质量治理结合起来,形成面向研发全过程的智能验证公共服务。中国联通希望通过统一的终端资源和智能验证底座,让每一次软件变化都能够更早获得反馈、更快完成验证,并以更加完整、可信和可追溯的证据支撑产品质量和版本交付。附录A术语和缩略语AI测AI利用人工智能理解验证任务、驱动真实终端执行并判断应用功能、业务流程和运行质量的验证方式。由用户临时发起、面向特定问题或任务的验证服务。由构建、版本、计划任务或风险策略自动触发的周期性验证服务。能够说明验证环境、操作过程、判断依据和执行结果的截图、录屏、日志及相关记录。附录B典型验证服务流程GUIAI禁策略放行、复核或阻断→支持复测和发布判断。附录C验证结果报告建议结构一份完整的验证结果报告建议包括:任务基本信息:任务名称、发起人、版本、时间和验证目标;环境信息:设备、系统、浏览器、网络和应用版本;执行摘要:执行总数、通过数、失败数、复核数和环境异常数;步骤明细:每一步的操作、状态、耗时和截图;业务判断:预期结果、实际结果、判断依据和置信信息;异常信息:失败原因、日志、录屏和可能影响范围;复测记录:修复版本、复测时间、复测环境和复测结论;发布建议:通过、需复核或阻断,以及建议的人工确认事项。附录D服务目录建议结构智能验证公共服务可按照“服务类型—适用角色—输入信息—执行范围—输出结果”的方式形成服务目录。每项服务建议至少明确以下内容:服务目录字段说明服务名称例如问题复现、修复复测、关键链路回归、兼容性验证适用角色产品、研发、测试、质量或交付适用环境移动终端、Web浏览器、PC或其他环境输入信息应用版本、验证场景、测试账号、目标设备和预期结果执行方式按需发起、构建触发、版本触发或计划任务结果类型通过、失败、需人工复核、环境异常或证据不足过程证据截图、录屏、日志、环境信息和判断依据服务边界不支持的场景、人工介入条件和安全限制服务目录应随着平台能力成熟度和运营数据持续更新,避免将尚未稳定验证的能力作为通用服务承诺。附录E公开发布前的校验项正式发布前,应由平台建设、产品、研发、测试、信息安全、法务和品牌传播等相关方共同完成校验:平台名称、发布单位、版本号和发布日期已经确认

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论