CN119396843A 一种基于大数据的海量信息智能分析方法 （天津市普迅电力信息技术有限公司）

合当日新引进的数据项的关键词标签、主题标针对高频数据项分别进行索引标签和存储位置2S1.向目标数据库导入当日新引进的各数据项，解析各数据项的文本内容并生成其对S3.于当日预设时间点执行目标数据库遍历操作，采集目标数据库内各已存档数据项S4.针对目标数据库内各高频数据项分别进行索引S5.将目标数据库内各低频数据项移交至低频数据专库，若移交处理后识别低频数据词集，检索文本单词集内各单词内比其数据项的词频以及内比目标数据库的逆文档频率，确定各数据项文本单词集内各关键词的词性类别，比对各数据项文同词性类别下各关键词间的语义相似度，匹配所属相同词性类别下各语义近似关键词对，根据WEB云端存储的各文本主题涉及词表，检索各数据项文本单词集相对各文本主题检索各数据项文本内容中的时间属性词汇和空间地理位置属性词检索文本单词集内各单词内比其数据项的词频以及内比目标数据库的逆文档频率，包括：统计目标数据库内截止前一日文本内容包含文本单词集内某单词的已存档数据项数3据库内各子库的关键词标签关联系数keyword,、主题标签关联系数topicy、时间标签关联系数timey和空间标签关联系数spacey，i为当日新引进的各数据项的编号，i=1,2,...,x，j为目标数据库内各子库的编号，j=1,2,..,h，由公式计算当日新引进的各数据项与目标数据库内各子库若当日新引进的某数据项与目标数据库内某子库的综合关联指标大于或等于预设综keywordy和topicy的具体分析过程包括：以集合形式表示目标数据库内各子库的关键词提取当日新引进的各数据项的关键词标签内各关键词的重要性评估系数由公式分析当日新引进的各数据项与目标数据库内项关键词标签集合与目标数据库内第个子库的关键词标签集合的交集元素数量、并集元素数量，表示当日新引进的第i个数据项关键词标签集合与目标数据库内第j个子库的关键词标签集合的第k个交集元素的重要权重，k为各交集元素的编号，k=1,2,..,r；根据WEB云端存储的预定义各主题词汇对应替代向量，以向量形式表示目标数据库内各子库的主题标签以及当日新引进的各数据项的主题标签，分别记为，由公式分析当日新引进的各数据项与目标数据库内各子库的主题标签关联系timey和spacey的具体分析过程包括：将目标数据库内各子库的时间标签对应时间跨度以及当日新引进的各数据项的时间标签对应时间跨度分别记为，根据计算模型4分析当日新引进的各数据项与目标数据库内各子库的时间标同理比对目标数据库内各子库的空间标签对应区域范畴以及当日新引进的各数据项标数据库内各已存档数据项的编号，m=1,2,..,n；基于WEB云端存储的数据项高频检索状态对应检索频繁度达标阈值RF'及低频检索状态对应检索频繁度达标阈值RF"，将满足RFn三RF'条件的已存档数据项作为高频数据频数据项和各低频数据项。各新增词汇中筛选预设数量的有效词汇增添至索提取目标数据库内各高频数据项截止当日预设时间点各次检索的对应调用关联子库，大于或等于预设检索活跃度警戒阈值的各关联子库作为各保留关联将各高频数据项对应各新增关联子库及各保留关联子库进行整合，56[0001]本发明属于信息分析管理领域，涉及到一种基于大数据的海量信息智能分析方标签以便于其数据库存储，然数据项索引标签的生成依赖于其文本内容提取关键词词频，整合数据项实际检索信息以进行数据库内部[0007]S2.依据索引标签，将当日新引进的各[0008]S3.于当日预设时间点执行目标[0010]S5.将目标数据库内各低频数据项7S1.向目标数据库导入当日新引进的各数据项，解析各数据项的文本8义相似度是通过将各数据项文本单词集内所属相同词性类别下各关键词代入词嵌入模型[0022]本发明实施例通过细致考量单词内比其数据项的词频以及内比目标数据库的逆[0023]根据WEB云端存储的各文本主题涉及词表，检索各数据项文本单词集相对各文本主题的单词分布概率，筛选其中最大单词分布概率对应文本主题作为数据项的主题标签，各数据项文本单词集内相对各文本主题的累计涉及单词占其数据项文本单词集内总单词[0029]统计目标数据库内截至当日前文本内容包含文本单词集内某单词的已存档数据[0030]S2.依据索引标签，将当日新引进的各topicy、时间标签关联系数timey和空间标签关联系数spacey，i为当日新引进的各数据项9计算当日新引进的各数据项与目标数据库内各子库[0033]若当日新引进的某数据项与目标数据库内某子库的综合关联指标大于或等于预引进的该数据项的关键词标签内各关键词的重要性评估系数与其整体重要性评估系数进确定当日新引进的各数据项的关键词标签内各关键词的[0037]由公式分析当日新引进的各数据项与目标数据数据项关键词标签集合与目标数据库内第个子库的关键词标签集合的交集元素数量、并集元素数量，Ok表示当日新引进的第i个数据项关键词标签集合与目标数据库内第j个子库的关键词标签集合的第k个交集元素的重要权重，k为各交[0038]根据WEB云端存储的预定义各主题词汇对应替代向量，以向量形式表示目标数据分析当日新引进的各数据项与目标数据库内各子库的主题标签关联系标签对应时间跨度以及当日新引进的各数据项的时间标签对应时间跨度分别记为,根据计算模型分析当日新引进的各数据项与目标数据库内跨度包含于目标数据库内第个子库的时间标签对[0041]同理比对目标数据库内各子库的空间标签对应区域范畴以及当日新引进的各数[0042]S3.于当日预设时间点执行目标据库内各已存档数据项截止当日预设时间点各次检索日期与其上一次检索日期的时间跨[0044]需要说明的是，上述目标数据库内各已存档数据项[0045]基于WEB云端存储的数据项高频检索状态对应检索频繁度达标阈值RF'及低频检索状态对应检索频繁度达标阈值RF"，将满足RFn三RF'条件的已存档数据项作为高频[0046]本发明实施例通过目标数据库内各已存档数据项截止当日预设时间点的检索数内容相对索引标签的各新增词汇中筛选预设数量的有效词汇增公式为其中为目标数据库内第个高频数据项第9次检索的输入检索内容相对索引标签的第l个新增词汇的语义偏差度，g=1,2,.,u，l为输入检索内容相对索引标签的各新增词汇的编号，l=1,2,.,f，Tm'g为目标数据库内第m'个高频数据项第9次检索的输入检索内容相对索引标签的新增词汇数[0051]提取目标数据库内各高频数据项截止当日预设时间点各次检索的对应调用关联活跃度大于或等于预设检索活跃度警戒阈值的各关联子库作[0053]