CN119487519A 利用强化学习优化用于cpu随机验证的测试生成程序的覆盖率的系统和方法 （华为技术有限公司）

2024.12.23PCT/US2022/0363382022.07.07WO2022/183143EN2022.09.01利用强化学习优化用于CPU随机验证的测试述方法包括根据可配置参数集确定多个测试程设备根据所述多个测试程序集确定多个模拟结述计算设备根据所述经过训练的人工智能系统2所述计算设备根据所述多个测试程序集确定多个模所述计算设备根据所述经过训练的人工智能系统更新所述可配置参所述计算设备重复所述确定多个测试程序集、所述确定多个模拟结果、所述计算设备通过将所述多个测试程序集中的每一个测试程序集作为刺激应用到所将每个刺激作为一个或多个指令并行输入到所述CPU所述计算设备将所述多个测试程序集传输到第二设备，所述第二设备是计算机集群，所述计算机集群用于通过将所述多个测试程序集中的每一个测试程序集作为刺激应用到所述计算设备从所述第二设备接收所述多个模9.根据权利要求1至8中任一项所述的方法，其特征10.根据权利要求1至9中任一项所述的方法，其特征在于，所述DUT包括中央处理器3根据所述经过训练的人工智能系统更新所述可配置重复确定所述多个测试程序集、确定所述多个模拟结果、训通过将所述多个测试程序集中的每一个测试程序集作为刺激应用到所述DUT来并行生成所包括将所述DUT加载到CPU模拟器中的指令以及将每个刺激并行输入到所述CPU模拟器中的将所述多个测试程序集传输到第二设备，所述第二设备是计算机集群，群用于通过将所述多个测试程序集中的每一个测试程序集作为刺激应用到所述DUT来并行22.一种其上存储有指令的非瞬时性计算机可读介质，所述指令在由装置执行时使所4根据所述经过训练的人工智能系统更新所述可配置重复所述确定所述多个测试程序集、所述确定所述多个模拟结果5[0001]本发明大体上涉及芯片设计的验证，在特定实施例中，涉及用于中央处理器(centralprocessingunit，CPU)的约束随机验证(constrainedrandomverification，设计故障变得更加困难，而且成本也很高。由于现代处理器或中央处理器(central验证的标准方法。在验证过程中，样本数据和指令(刺激)可能会被发送到运行待测设计[0004]CRV的一个重要方面可能是设计将伪随机刺激应用到DUT下游的精心设计的测试储器，所述非瞬时性存储器包括指令以及与所述非瞬时性存储器通信的一个或多个处理6装置的处理器执行这些指令时，使得所述装置执行用于自动验证DUT以及创建经过训练的试程序集中的每一个测试程序集作为刺激应用到所述DUT以并行生成所述多个模拟结果，述DUT加载到CPU模拟器中，并将每个刺激作为一个或多个指令并行输入到所述CPU模拟器试程序集中的每一个测试程序集作为刺激应用到所述DUT来并行生成所述多个模拟结果。所述确定所述多个模拟结果还包括所述计算设备从所述第二设备接收所述多个模拟结果。证证[0011]图2示出了用于基于人工智能(artificialintelligence，AI)的约束随机验7[0020]在传统的CRV中，参数通常由验证工程师根据多年的经验和相关领域的专业知识生成程序优化了CPU随机验证的覆盖率，提高了自动化验证方法中计算机操作的效率和性[0022]图1示出了用于执行本文所述方法的系统100的实施例的功能方块图。系统100可AI系统102用于以迭代的方式生成可配置参数112。AI系统102可以首先分析测试程序并提析测试程序。测试程序生成器106的预定义规格或配置格式可以以设计用于存储各种数据序生成器106接收到由AI系统102生成的可配置参数时，测试程序生成器106可以根据可配的本领域已知的硬件描述语言(hardwaredescriptionlanguage，HDL)源代码(例如，的一个模拟器也可以称为DUT模拟器，并且可以使用本领域已知的开源验证工具(例如Verilator)或商业工具(例如SynopsysVerilog编译器和模拟器(VerilogCompilerand到由测试程序生成器106生成的测试程序时，模拟环境108可以根据测试程序生成模拟结8为要发送到模拟环境108的每个测试程序集选择哪些指令。可配置参数可以是用于指示对用于模拟环境108的每个测试程序集的指令的选择的选项集合。选项可以包括要包括在用于模拟环境108的测试程序中的指令的类型。选项还可以包括与每种指令类型相关联的权该如何生成的某个方面。例如，可配置参数可以指示测试程序中是否包括分支指令或循环测试程序中特定类型的指令的百分比。选项可以是程序特定的，这可以取决于测试程序生成器106的设计者。HDL实现可以是通过Verilog或SystemVerilog标准编写的集成电路(integratedcircuit，括确定DUT110是否符合规格、DUT110是否生成对输入的输出)以及规格是否正确。验证还可以包括确定在模拟期间是否已经执行了用于实现DUT得AI系统102能够通过基于模拟结果迭代更新可配置参数来自动生成可配置参数的实施例算设备的一个或多个处理单元进行或执行。处理单元的示例包括但不限于图形处理器集成电路(application_specificintegratedcircuit，ASCI)、现场可编程门阵列9行的软件的计算机可读代码或指令可以存储在计算设备的存储器等非瞬时性计算机可读多个测试程序集。在步骤204，计算设备根据多个测试程序集确定多个模拟结果。在步骤中计算设备根据更新的可配置参数集确定多个测集确定多个测试程序集包括计算设备的测试程序生成器根据可配置参数集生成多个测试数集包括计算设备根据计算设备的经过训练的AI系统更新可配置参第二计算设备。第二计算设备的测试程序生成器根据可配置参数集生成多个测试程序集。于多个模拟结果确定是否满足一个或多个预定义标准。如果满足一个或多个预定义标准，括单独的DUT模拟器。每个DUT模拟器可以是docker容器集合中的开源验证工具(例如Verilator)或商业工具(例如SynopsysVCS)的实例。模拟环境502可以将多个测试程序集[0037]强化学习是一种基于奖励期望行为和/或惩罚不期望行为的机器学习训练方法。评估一个或多个代码覆盖率结果)以及使用策略强化算法来找[0038]图6示出了强化学习算法600的实施例；强化学习算法600包括策略强化模块602、行动者批评(asynchronousadvantageactorcritic，A3C)、信任区域策略优化(trustregionpolicyoptimization，TRPO)和基于策略梯度的方法，例如近端策略优化可以潜在地改善DUT的一个或多个代码覆盖率[0040]内部模型604可以包括本领域已知的任何内部模型，例如多层感知器(multi_layerperceptron，MLP)模型、卷积模型、人工神经网络(artificialneuralnetwork，[0044]图7示出了可以安装在主机设备中的用于执行本文所述方法的计算系统700的实件可以(也可以不)如图7中所示进行布置。处理器7相关任务的任何组件或组件集合，存储器704可以是用于存储处理器702执行的程序和/或[0045]图8示出了可用于实现本文公开的设备和方法的计算系统800的另一个实施例的[0046]总线820可以是任何类型的若干总线架构中的一个或多个总线架构，包括存储总储器808可以包括任何类型的非瞬时性系统存储器，例如静态随机存取存储器(staticrandomaccessmemory，SRAM)、动态随机存取存储器(dynamicrandomaccessmemory，[0048]视频适配器810和I/O接口812提供将外部输入和输出设备耦合到处理单元802的如以太网电缆)或到接入节点或不同网络的无线链路。网络接口806使得处理单元802能够[0050]在各种实施例中，根据计算系统800的实施例实现的计算设备可以包括AI系统[0051]在各种实施例中，根据计算系统800的实施例实现的第一计算设备可以包括AI系统102和测试程序生成器106。根据计算系统800的实施例实现的第二计算设备可以包括模拟环境108。第一计算设备和第二计算设备可以分别包括存储器808、CPU814和网络接口执行方法320的指令，该方法320可以由第二计算设备的CPU814中的一个或多个处理器执计算设备和第二计算设备可以通过网络822及其网络接口806进行通信，同时执行方法300和方法320(例如用于