CN115066659B 机器学习装置、计算机装置、控制系统以及机器学习方法 （发那科株式会社）

2022.08.02PCT/JP2021/0034962WO2021/157515JA2021.08.12防止数据通信命令被过度地发布到控制装置而成为过负荷，并且缩短命令的发布延迟时部，其监视计算机装置的1个以上的应用指令的间表发布的命令的受理时刻及发布时刻的状态发布的延迟时间和发布的全部命令的平均发布2行为信息输出部，其将行为信息输出到所述计算机装置，该行为信价值函数更新部，其根据由所述回报计算部计算出的回报，更所述发布时间表的修正信息包含：表示指令了所述命令的进程的优先级的进程优先所述回报计算部根据每个所述命令的所述延迟时间和所述平均发布间隔来计算每个所述机器学习装置还具有：优化行为信息输出部，其根据由所述价值函设置所述机器学习的最大试行次数来进行所述通过所述机器学习装置对所述发布时间表进行9.一种机器学习方法，用于对发行命令的的数据是在所述计算机装置上动作的1个以上的应用分别指令的数据，该状态数据至少包将行为信息输出到所述计算机装置，该行为信息包含在所述状态3根据到所述命令被发布到所述控制装置为止的每个所述命令的延迟时间和发布的全4[0011]图10是表示在作为计算机装置的个人计算机上动作的多个应用输出的命令的时[0014]专利文献1限于数值控制装置对数据请求命令返回数据的高效化，而无法实现从5[0018](1)本公开的机器学习装置的一方式是一种机器学习装置，其对发行命令的计算令被发布到所述控制装置为止的每个所述命令的延迟时间和发布的全部所述命令的平均[0021](4)本公开的机器学习方法的一方式是一种机器学习方法，用于对发行命令的计据到所述命令被发布到所述控制装置为止的每个所述命令的延迟时间和发布的全部所述6OnlyMemory，只读存储器)、RAM(RandomAccessMemory，随机访问存储器)、CMOS[0044]CPU是整体控制个人计算机30的处理器。CPU经由总线读出储存在ROM中的系统程序以及n个应用AP1-APn的程序，按照所述系统程序以及应用AP1-APn的程序控制个人计算7部302接收用于访问数值控制装置20内的数据的数据通信命令，将接收到的命令数据暂时[0046]例如，命令处理部303根据发布时间表取得储存在数据通信接口部302的缓冲器[0052]命令表CT内的“指令进程ID”是进程ID，是在进程启动时由个人计算机30的OS8[0065]通信处理部304对于本领域技术人员而言是公知的通信部，在与数值控制装置20时间表进行强化学习，该发布时间表是针对储存在数据通信接口部302的缓冲器(未图示)构进行说明。智能体(相当于本实施方式中的机器学习装置40)观测环境(相当于本实施方9佳行为价值是传播至其前一个状态下的行为价[0085]“Human-levelcontrolthroughdeepre数据通信接口部302接收到各命令的受理时刻、以及命令处理部303经由通信处理部304发[0087]机器学习装置40监视由应用AP1-APn的每一个所指令的命令，观测包含命令表CT理时刻及发布时刻。[0089]为了进行上述的强化学习，如图3所示，机器学习装置40具有：状态数据取得部行为信息输出部404以及优化行为信息输出部[0091]状态数据取得部401将取得的状态数据s输出到判定数据取得部402以及学习部[0093]状态数据取得部401可以将取得的状态数据s存储在机器学习装置40所包含的未[0097]学习部403是在某个状态数据(环境状态)s下学习选择某个行为a时的价值函数Q[0107]图4是表示由回报计算部431计算出的每个命令(命令编号)的评价值V的一例的学习中间的学习方法，是每当积攒了某种程度学习用数据时进行价值函数Q的更新的学习Td”。[0118]行为信息输出部404是对个人计算机30输出从学习部403输出的行为信息a的部[0120]价值函数存储部405是存储价值函数Q的存储装置。价值函数Q例如可以按状态s、[0121]优化行为信息输出部406根据通过价值函数更新部432进行Q学习而更新的价值函为信息输出部406根据价值函数Q生成行为信息，将生成的行为信息输出到个人计算机30。等辅助存储装置、用于储存运算处理装置执行程序时暂时需要的数据的RAM这样的主存储台搭载了这样的GPU的计算机来构筑计算机集群，通过该计算机集群所包含的多个计算机各命令的受理时刻及发布时刻。此外，最初开始Q学习的时间点的命令表CT预先由用户生将生成的新的行为信息a输出到个人计算机30。接收到行为信息的个人计算机30根据接收[0136]在步骤S15中，判定数据取得部402根据状态数据取得部401接收到的新的状态数据输出到学习部403。该判定数据例如包含按1分钟等规定时间由数据通信接口部302受理始机器学习起对步骤S13至步骤S19的处理的时间进行累积而得的时间超过了预先设定的函数Q用于生成行为信息，所述行为信息防止数据通信命令被过度地发布到数值控制装置[0144]在步骤S21中，优化行为信息输出部406取得存储在价值函数存储部405中的价值个人计算机30也可以具备机器学习装置40的一部分或与其他机器学习装置40A(k)之间进行共享(k为1至m的整数，k≠j)。如果在机器学习装置[0156]另外，机床10A(1)-10A(m)的每一个与图1的机床10对应。数值控制装置20A(1)-20A(m)的每一个与图1的数值控制装置20对应。个人计算机30A(1)-30A(m)的每一个与图1的个人计算机30对应。机器学习装置40A(1)-40A(m)的每一个与图1的机器学习装置40对[0161]个人计算机30以及机器学习装置40所包含的各结构部可以通过包含电子电路等用户的计算机来进行分发。另外，在由硬件构成时，例如可以由ASIC(Application设备)等集成电路(IC)构成上述装置所包含的各结构部的功能的一部[0162]可以使用各种类型的非暂时性的计算机可读介质(Non-transitorycomputer类型的有形存储介质(Tangiblestoragemedium)。非暂时性的计算机可读介质的示例包外，可以通过各种类型的暂时性计算机可读介质(Transitorycomputerreadable令用于访问能够通信地连接的数值控制装置20，机器学习装置40具有：状态数据取得部每个命令的发布延迟时间Tb和发布的全部命令的平均发布间隔Ta，计算针对行为信息a的命令的发布延迟时间Tb和平均发布间隔Ta来计算每个命令的评价值V，并将计算出的每个及通过机器学习装置40对发布时间表进行机器