CN114510980B 模型特征获取方法及装置、电子设备、存储介质 （腾讯科技（深圳）有限公司）

本申请的实施例揭示了一种模型特征获取选特征集合中不符合设定阈值条件的初始候选最优特征集合中含有的最优特征使得目标特征的最优特征集合可以有效提升目标模型的模型2对初始候选特征集合进行过滤式的特征选择处理，以滤除所述初始候选对所述候选特征集合中含有的候选特征进行逐步回归遍历，以选取回对所述目标特征集合进行最优特征的遍历，得到最优特征集合，所述其中，对初始候选特征集合进行过滤式的特征选择处理，以滤除计算所述初始候选特征集合中含有的初始候选特在将信息价值得分小于第一得分阈值的初始候选特征从所述初始候选特征集合中滤选取群体稳定性得分小于第二得分阈值的初始候选特征作为候选特征，对所述初始候选特征集合中含有的初始候选特征进行特征分箱处理，根据各个特征分箱中含有的正样本以及负样本的数量，计算将滤除后的初始候选特征集合划分为训练样本集和测试对滤除后的初始候选特征集合中的各个初始候选特征进行分箱处理根据各个特征分箱中含有的训练样本与测试样本的分布比例，计算所对所述候选特征集合中含有的候选特征分别进行前向逐步回归遍历和双向逐步回归对所得到的全部目标特征进行去重处理，以得到滤除了重复的目标特征的3在每轮前向逐步回归过程中，从所述候选特征集合中不放回地若每轮前向逐步回归过程所得最小的第一回归系数小于第一特征集合进行下一轮已选候选特征子集和候将所述当前更新的已选候选特征子集所含有的候选特征在每轮双向逐步回归过程中，从所述候选特征集合中不放回地若每轮双向逐步回归过程中所得最小的第一回归系数小于第一根据更新的已选候选特征子集构建第二回归模型，并基于所述更新基于每轮更新的候选特征集合以及进一步更新的已选候选特征子7.根据权利要求1所述的方法，其特征在于，对所述目标特征集合进行最优特征的遍对所述目标特征集合分别进行序列前向选择处理和序列浮动前向对选取得到的全部最优特征进行去重处理，以得到滤除了重复的在每轮序列前向选择处理过程中，从所述目标特征集合中4在每轮序列前向选择处理过程中，从所述目标特征集合中从每轮更新的已选目标特征子集中再次选取目标特征，若滤除了再基于每轮进一步更新的已选目标特征子集进行下一轮已选目标特根据所述最优特征集合对所述目标模型进行模型效果评估，得若所述评估指标不符合设定的指标阈值区间，则调整所述设定后的设定阈值条件重新从所述初始候选特征特征过滤模块，配置为对初始候选特征集合进行过滤式逐步回归模块，配置为对所述候选特征集合中含有的候选计算所述初始候选特征集合中含有的初始候选特在将信息价值得分小于第一得分阈值的初始候选特征从所述初始候选特征集合中滤选取群体稳定性得分小于第二得分阈值的初始候选特征作为候选特征，处理器，读取存储器存储的计算机可读指令，以执行权利要求1-10机可读指令被计算机的处理器执行时，使计算机执行权利要求1-10中的任一项所述的方5计算机设备的处理器从所述可读存储介质中读取所述计6算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质7特征的遍历，以结合目标特征对于目标模型的模型效果的影响进行更进一步的特征筛选，从而得到与目标模型具有较高匹配度的最优[0022]图10示出了一种适于用来实现本申请实施例的电子设备的计算机系统的结构示[0024]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对8[0031]机器学习模型部署在数据服务器200上，使得数据服务器200可以向终端100提供服务器200即可进行所部属机器学习模型的训练等处理，从而得到模型效果较好的机器学[0034]在另一些实施例中，也可以通过专门的模型构建服务器(图1中未示出)从初始候行视频播放客户端的电子设备；数据服务器200及模型构建服务器可以是独立的物理服务9数据服务器200中部署的机器学习模型相匹配的最优特征集合。该方法也可以适用于其它优特征实质上均为特征数据，只是通过不同的名称来区分特征数据筛选过程中的不同阶也即是将信息价值得分小于第一得分阈值的初始候选特征从初始候选特征集合中滤除的相比于基于候选集合构建的目标模型也具备更好的模型[0057]若使用KS(Kolmogorov－SmirnovCurve，K－S检验)值来评估目标模型的模型效为6175则确定目标特征函数的取值最优。离散化处理所得到的结果来评估连续型的初始候选特征的信息价值于用户标签所属的类型来确定各个特征分箱中含有的[0074]若对初始候选特征进行特征分箱处理得到n个特征分箱，IVi则表示第i个特征分箱内的信息价值得分，pt表示第i个特征分箱内坏样本的数量与总坏样本的数量的比值，于目标模型的区分度适中；将信息价值得分大于0.3的初始候选特征确定为对于目标模型[0083]如图4所示，将信息价值得分小于第一得分阈值的初始候选特征从初始候选特征[0086]滤除后的初始候选特征集合中的各个初始候选特征的群体稳定性得分可以通过对应的多个初始候选特征收录到相应训练样本集或者测试样[0097]步骤S230，选取群体稳定性得分小于第二得分阈值的初始候选特征作为候选特[0100]在实施例中，可以将第二得分阈值设定为10以使得本实施例选取群体稳定性行下一轮已选候选特征子集和候选特征集合将当前更新的已选候选特征子集所含有的候选特征[0114]在任意的每轮双向逐步回归过程中，仍从候选特征集合中不放回地选取候选特对所述第一回归模型进行校验，得到候选特征集合中含有的各个候选特征的第一回归系[0115]但是，每轮双向逐步回归过程还根据更新的已选候选特征子集构建第二回归模将候选特征k合并到已选候选特征子集N中，并从候选特征集合M中删除候选特征子集k之[0120]本实施例对候选特征集合中含有的候选特征分别进行前向逐步回归遍历和双向[0123]步骤S151，对目标特征集合分别进行序列前向选择处理和序列浮动前向选择处进行的序列前向选择处理过程中所选取的目标特征构成的标特征集合中选择一个使得目标特征函数的取值达到最优的目标特征加入到最优特征集于表征所选取的目标特征a使得目标模型具有最优的模型[0131]基于每轮进一步更新的已选目标特征子集进行下一轮已使得目标特征函数J(B+a)最优后，还在当前更新的已选目标特征子集B中选取目标特征c，[0140]首先需要说明的是，本实施例根据最优特征集合对目标[0143]可以看出，KS值具体为KS曲线的纵轴所表示的真正率TPr和假误地预测为负样本的正样本数量，FP表示被目标模型错误地预测为正样本的负样本数量，调整后的设定阈值条件重新从初始候选特征集效果具有较高要求的场景中，可以设定指标阈值区间为6175而在一些对于分类效二回归阈值，以基于调整后的设定阈值条件重新从初始候选特征集合中选取最优特征集[0154]因此，本实施例根据所筛选得到的最优特征集合对目标模型的模型效果进行评[0156]如图8所示，该示例性的模型特征获取过程包括步骤S10至步骤S60，详细介绍如选择IV值大于或等于0.01的初始候选特征。然后根据PSI(即群体稳定性得分)值对滤除了IV值小于0.01的初始候选特征的初始候选特征集合进行特征筛选，具体选择PSI值小于[0161]本申请的上述实施例中所进行的特征筛选过程，具体可以通过Python(是一种解段才逐步地转换为基于Python语言实现，因此本申请基于Python语言实现模型特征的筛各个特征分箱的信息价值得分之和作为初始候选特征的信息价已选候选特征子集和候选特征集合进行下一轮已选候选特征子集和候选特征集合的更新；的数量达到指定数量，则将当前更新的已选候选特征子集所含有的候选特征作为目标特特征子集对第二回归模型进行校验，若每轮所得最大的第二回归系数大于第二回归阈值，[0191]图10示出了一种适于用来实现本申请实施例的电子设备的计算机系统的结构示[0193]如图10所示，计算机系统1600包括中央处理单元(CentralProcessingUnit，存储部分1608加载到随机访问存储器(RandomAccessMemory，RAM)1603中的程序而执行器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1608。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器[0199]