CN119416097A 一种ai模型服务平台数据集标注方法及系统 （江苏润和软件股份有限公司）

一种AI模型服务平台数据集标注方法及系统本发明公开了一种AI模型服务平台数据集模型服务平台中是否存在现有标注模型能够分标注模型分别对拆分后的待标注数据集进行标第一标注结果进行二次标注，生成第二标注结2接收待标注数据集，将待标注数据集按照数据类型进行拆分，并基于标注模型的评估指标评估标注模型的标注表现，进而基于数基于标注模型的评估指标评估标注模型的标注表现，进而基于数获得标注模型的评估指标，进而依据标注模型的评估指标获得标将标注模型的标注表现评分与标注表现阈值进行比对，当标获取标注模型的历史标注记录，所述历史标注记录具体为该据的标注准确率，将该标注模型历史标注各类数据的标注准确率与标注准确阈值进行比对标注模型的训练数据集进行数据类别检索，筛选出训练数据集中基于数据增强获得增强数据集，将该增强数据集加入标注模型的获得标注模型的评估指标，进而依据标注模型的评估指标获得标AI模型服务平台中是否存在现有标注模型能够分别处理当前拆分后的待标注数据集的具分别提取多个类型数据集的特征，所述多个类型数据集的特3进而依据不同类型数据集特征生成不同类型数据集检索AI模型服务平台中现有标注模型列表，进而识别各个标注模依据各个标注模型的适用范围生成每个标注依据待标注数据集的特征向量与不同类型数据集的特征向量分别获得不同类型数据分别将不同类型数据集与每个标注模型的特征相似度与相型数据集的现有标注模型，进而将该类型数据集随机划分为训练集和自动化标注数据集，若存在与标注模型的特征相似度超过相似度阈值，则标记特征据子集进行标注的结果、基于语音数据子集的标注模型对语音数据子集进行标注的结果、基于图片数据子集的标注模型对图片数据子集进行标注的结果以及基于视频数据子集的将第一标注结果作为额外特征输入至更新后的标注模型中，进一步获得增强标注模数据子集的增强标注模型和视频数据子集的增强基于增强标注模型分别对文本数据子集、语音数据子集、图片数据分别取增强文本数据子集标注结果、增强语音数据子集标注结标注结果和增强视频数据子集标注结果与对应的第一标注结果均值作为第二标注结果进基于AI模型服务平台历史数据集标注记录获得标注获得第二标注结果中各个标注数据集的标注完整性，将各个4AI模型服务平台历史数据集标注记录获得标注完整性置信区间的具体基于AI模型服务平台历史数据集标注记录获得各次标注的标注完结合标注完整性集合的均值、标准差以及置信水7.一种AI模型服务平台数据集标注系统，应用权利要求1_6任意一项所述的一种AI模并识别AI模型服务平台中是否存在现有标注模型能够分别处理当前拆分后的待标注数据标注模型更新模块，用于基于标注模型的评估指标评估标注模型的标注第一标注结果输出模块，用于利用更新后的标注模型分别对人工标注模块，用于通过置信区间筛选识别出第二标注结果中不合格的标注数据集，5[0005]针对现有技术的不足，本发明提供了一种AI模型服务平台数据集标注方法及系并识别AI模型服务平台中是否存在现有标注模型能够分别处理当前拆分后的待标注数据6的特征，所述多个类型数据集的特征包括数据格式和数据分布特性，具体数据格式包括特征相似度与相似度阈值进行比对，若与每个标注模型的特征相似度均低于相似度阈值，型的历史标注记录，所述历史标注记录具体为该标注模型历史标注各类数据的标注准确注准确率和标注效率计算得到标注模型的标注表果以及基于视频数据子集的标注模型对视频数据子集进行标7增强图片数据子集标注结果和增强视频数据子集标注结果与对应的第一标注结果均值作间的具体分析为：基于AI模型服务平台历史数据集标注记录获得各次标注的标注完整性，89包括余弦相似度、欧氏距离，具体余弦相似度计算示例为式中cosinesimilarity表示待标注数据集特征向量与标注模型特征向量之间的余弦相似度，表标注模型特征向量的模长，表示待标注数据集特征向量与标注模型特征向量之间的相似度。经验值；自动化标注数据集的标注模型表示由人工标注的训练集结果训练出来的标注模指标获得标注模型的标注表现评分；将标注模型的标注表现评分与标注表现阈值进行比注准确率和标注效率计算得到标注模型的标Ars-，式中以视为表现不合格。一标注结果中更新后的标注模型包括文本数据子集的标注模型、语音数据子集的标注模果以及基于视频数据子集的标注模型对视频数据子集进行标强图片数据子集标注结果和增强视频数据子集标注结果与对应的第一标注结果均值作为间的具体分析为：基于AI模型服务平台历史数据集标注记录获得各次标注的标注完整性，[0044]标注完整性表示每个标注数据集的完整性水平，通常以某种比例或者得分来衡围越大；标注完整性上下限表示基于置信水平计算得到的标注完整性置信区间的上下限，通过自动识别和处理能够由现有标注模型处理的数据集，减少了人工干预的需[0051]这些计算机程序指令也可存储