CN112947308B 机器学习装置、控制装置、加工系统和机器学习方法 （发那科株式会社）

2017.02.022017.03.302011.06.022017.03.302017.02.022017.03.302011.06.022017.03.30,,,,,,,减小加工后的工件与目标形状之间所产生的误于使工件模型化的工件模型而加工的工件的形型而加工的工件的形状与目标形状之间的误差2上述机器学习装置的特征在于，具备处理器，该处理器通过将根据以所选择的上述修正量对上述初期的工件模型进行修正后的工件模型加工上述工件时的机床的加工状态数据以及上述机床基于该修正后的工件模型而加工的上述工使用上述状态变量并将上述修正量与上述误差关联动作参数包含上述移动机构的加速度、确定该移动机上述处理器求出与上述误差关联的回报，使用上述回报来更将上述机床基于按照上述输出值对上述初期的工件模型进行修正后的上述工件模型测定装置，其测定上述机床加工的上述工件的形状与预39.一种机器学习方法，其学习修正量，该修正量用将根据以所选择的上述修正量对上述初期的工件模型进行修正后的工件模型加工上述工件时的机床的加工状态数据以及上述机床基于该修正后的工件模型而加工的上述工使用上述状态变量并将上述修正量与上述误差关联4[0002]已知有一种对机器人的动作进行学习的机器学习装置(例如日本特开2017-5对于相同的要素标记相同的符号并省略重复的说明。首先参照图1对一实施方式的机器学(图2)基于使工件W模型化的工件模型WM进行了加工的工件W的形状与预定的目标形状一致座载台102在y轴方向上移动的y轴滚珠丝杠机构、对x轴滚珠丝杠机构进行驱动的伺服马出的方式固定于该上表面122a。马达收纳部128是大致呈半圆状的空心部件，且在底座部达收纳部134是大致呈圆筒状的空心部件，且配置于保持部130和132之间，并在该保持部构112使工件载台114绕轴线A2进行转动。轴线A2是与轴线A1正交并与摆动部件110一起绕安置工件W。工件载台114与转动移动机构112(具体而言是伺服马达的输出轴)以机械方式6[0026]主轴箱116设置为可在z轴方向上移动，并可在其前端以可装卸的方式安装工具116在z轴方向上往复移动的滚珠丝杠机构、对该滚珠丝杠机构进行驱动的伺服马达(均未[0027]在机床100上设定有机械坐标系CM。该机械坐标系CM是固定在三维空间内并在对其x轴与摆动部件110的旋转轴线A1平行且其z轴与铅垂动机构120使工具118相对于工件载台114上安置的工件W在五轴方向上相对地移动。因此，[0033]本实施方式的机器学习装置10为了消除误差而自动地学习对工件模型WM1进行修100的加工状态数据CD、和机床100基于工件模型WM进行加工后的工件W的形状与目标形状[0035]加工状态数据CD是能够对机床100的加工精度产生影响的参数的数据，例如包含[0036]尺寸误差E例如包含轴线A1与轴线A2之间的偏移E1。在此设计为：就设计尺寸而7机床100的组件中设置的第一温度传感器进动移动机构108或者转动移动机构112的伺服马达的输出轴、或者主轴移动机构120的滚珠丝杠轴等容易发生热位移的部件上安装，并在机床100的加工过程中或者加工结束后测定过程中的预定的时刻(或者加工结束时刻)测定温度T1_2。热量Q可以根据温度T1_1与温度[0041]消耗电力P例如是从机床100开始加工起到加工结束为止该机床100消耗(或者向方式中合计为五个)伺服马达和一个或多个(在本实施方式中为一个)的主轴马达各自的消[0042]热位移量ξ表示机床100的组件(例如滚珠丝杠轴)因加工过程中产生的热而发生摆动移动机构108、转动移动机构112或者主轴移动机构120)的加速度α、确定该移动机构136的加速或减速所需时间的时间常数τ、确定该移动机构136的控制的响应速度的控制增[0045]误差δ可利用具有立体摄像机的三维扫描仪或者三维测定器等测定装置进行测8件W的形状与工件模型WM1的形状之间的误差[0046]以下参照图4～图6对误差δ进行说明。图4示出了在工件模型WM1中在通过测定装置测定的加工后的工件W的形状与目标形状(工件模型WM1)之间产生误差δ的区域F。例如，区域F如图5所示那样是加工后的工件W的表面SW相对于与该表面SW对应的工件模型WM1的SW相对于与该表面SW对应的工件模型WM1的表面模型SM1向内侧方向凹[0047]作为一例，误差δ包括：在工件模型WM1上预先设定的多个测定点Pm(m＝1，2，可以是多个误差δm中的最大值δmax、多个误差δm的累计值δ能够求出体积δV。状态观测部12将上述这样的加工状态数据CD和误差δ的测定数据作为状[0049]学习部14按照统称为机器学习的任意的学习算法来学习工件模型WM1的修正量模型WM1)之间的误差δ时，制图装置以修正量C对工件模型WM1进行修正而生成新的工件模序MP2对工件基材进行加工而形成工件W。测定装置测定加工后的工件W的形状与目标形状[0051]学习部14通过重复该学习周期而能够自动地识别暗示修正量C与误差δ的相关性[0053]如上所述，机器学习装置10使用状态观测部12所观测的状态变量SV(加工状态数器学习装置10，能够利用学习部14的学习结果自动地求出对于减小误差δ而言最适当的修[0054]如果能够自动地求出修正量C，则能够根据加工状态数据CD而迅速地确定最适当9出了机器学习装置10的一方式即具备作为学习算法的一例而执行强化学习的学习部14的回报这样的周期，将使合计回报最大化的措施(在本实施方式中为修正量C)作为最佳方案14通过函数更新部18重复进行函数EQ的更新来[0059]以下对学习部14执行的强化学习的算法的一例进行说明。该例的算法是公知的Q(即状态s)发生了变化时获取与该变化对应的回报(即行动a的权重)r，并通过对学习进行引导来选择可获得更高回报R的行动a，从而能够使价值函数EQ在较短时间内接近最佳方[0064]在学习部14执行Q学习的情况下，状态观测部12所观测的状态变量SV相当于更新式的状态s，在对当前状态的工件W进行加工时应当对工件模型WM1进行何种程度的修正这[0065]例如，就回报计算部16求出的回报R而言，在误差δ比预定的阈值ΔTh1小时为正16可以在误差δ为0≤δ<δth2(<δth1)时设为回报R＝+5，在δth2≤δ<δth3(<δth1)时设[0067]另一方面，回报计算部16可以在δth1≤δ<δth4时设为回报R＝-1，在δth4<δ≤δ出的回报R的值就越大。通过求出这样根据条件加权的回报R而能够使Q学习在较短时间内回报计算部16在误差δ比阈值δth1小且加工状态数据CD的动作参数OP所含的控制增益G在th1小且动作参数OP所含的时间常数在预定的容许范围内的情况下设为较大值的正的回报[0069]函数更新部18可以具备行动价值表，在该行动价值表中将状态变量SV和回报R与行更新这样的行为与函数更新部18对行动价值表进行更新这样的行为含与设定为无作为的行动价值的值(函数EQ)关联的方式准备了各种状态变量SV和回报R。此100按照加工程序MP1进行了加工的工件W的形状与目标形状(工件模型WM1)之间的误差δ进定的误差δ的测定数据。[0075]并且，函数更新部18基于误差δ的测定数据来确定工件模型WM1上的区域F(图4)。[0076]在此也可以构成为：函数更新部18在对修正量C的大小和方向进行限制的预定的以将对表面模型SM1进行修正的修正量C的方向选定为与产生误差δ(突出误差)的方向相反了如图6所示的误差δ(凹陷误差)时，函数更新部18可以将修正量C的方向选定为与产生误|C|。例如，该数值范围在将区域F中的误差δ的最大值设为δmax时可以设定为0＜|C|≤δ定大小的误差δ(例如最大值δmax)的工件模型WM1的组件(例如模型点)的位置进行选择。的工件W的形状与目标形状(工件模型WM1)之间的误差δ进行测定。[0079]在该步骤S2中，状态观测部12将机床100按照加工程序MP2对工件W进行了加工时[0080]在步骤S3中，函数更新部18判定在最新的步骤S2中取入的误差δ是否为阈值δth1而学习部14的学习被向选择误差δ减小的行动的方向引导。在该步骤S4中也可以不设为负的回报R而是设为回报R＝0并应用于[0083]在步骤S6中，函数更新部18使用当前状态下的状态变量SV和回报R来更新行动价经网络例如可以由模拟神经元的模型的处理器[0085]图9所示的神经元相对于多个输入x(在图中例如为输入x1～x3)输出结果y。并将k为活性化函数。[0087]图10所示的三层的神经网络从左侧输入多个输入x(在图中例如为输入x1～输入别与对应的权重(统称并以ω1表示)相乘习模式和价值预测模式，例如在学习模式中使用学习数据组来学习权重ω,并能够使用所[0091]上述机器学习装置10的结构可以表述为计算机的处理器执行的机器学习方法(或WM进行了加工的工件W的形状与目标形状之间的误差δ的测定数据，作为表示对工件W进行加工的环境的当前状态的状态变量SV进行观测，并使用状态变量SV与误差δ关联地学习修策部20基于学习部14的学习结果(行动价值表)来输出修正量C的输出值。当决策部20输出测部12将该误差δ作为下一个学习周期中的测定数据对状态变量SV进行观测。[0094]学习部14使用变化了的状态变量SV例如对价值函数EQ(即行动价值表)进行更新机器学习装置10通过重复该周期来学习修正量C并逐渐提高该修正量[0095]采用图11所示的机器学习装置10，能够根据决策部20的输出而使环境140的状态[0097]如上所述，程序生成装置154是能够基于工件模型WM来生成加工程序MP的装置δ的测定数据向控制装置160发送。置160与机床100(具体而言是移动机构136)、制图装置152、程序生成装置154、测定装置162能够通过执行图8所示的学习流程来学习最适当的习装置10对各区域Fi执行上述的机器学习方法。例如在图7所示的机器学习装置10的情况那样的工件W2执行上述的机器学习方法来学习最适当的修正量C。图13所示的工件W2是用118进行切削加工，例如也可以具备激光加工头而利用从该激光加工头射出的激光束来对连杆型的机器人应用为使工具118(或者激光加工头)与工件W相对地移动的移动机构。此件W进行移动并通过该工具118对工件W