CN114282097B 一种信息识别方法及其装置 （重庆市中冉数字科技有限公司）

效识别违规信息，有利于创建更健康的网络环2确定所述第一待识别信息与违规词数据集之间的匹配结果；所述匹若目标违规词的长度大于或等于所述第一阈值，或目标违若所述匹配结果满足预设条件，则在所述第一待识别信息中获取包括根据所述语义依赖关系，判断所述第二待识别信息是否违规，以便根据所述位置，对所述第一待识别信息进行切句，得到包括所述目所述第一待识别信息为与过滤对象数据集中的对象不匹配的爬取信息若检测到爬取统一资源定位符URL不完整，则对所述爬取URL对应的页面进行动态抓5.一种信息识别装置，其特征在于，包括用于345[0022]图2是本申请实施例提供的一种使用深度模型进行违规信息的识别的结果示意6例如，用不同的目标分别训练对抗网络与生成网络进行竞争。本申请中的深度模型使用对性，所以就可能在面对其他模型生成的对抗样本攻击时会出现比原始模型更高的错误[0040]本申请提供的信息识别方法中涉及较大规模计算，需要因此在本申请中的一种可行的实施方式中，可以通过云计算技术获取足够算力和存储空7(mobilephone)、穿戴式设备、平板电脑、带无线收发功能的电脑、虚拟现实(virtualreality，VR)终端设备、增强现实(augmentedreality，AR)终端设备、智慧城市(smart以是通过过滤对象数据集过滤后的爬取信息，在过滤对象数据集包括黑名单对象的情况8信息的违规程度值小于第三阈值，第一待识别信息的违规程度值由目标违规词的词性确标违规词的数量小于第二阈值，可以表明第一待识别信息中存在的目标违规词的数量较[0054]违规程度计算子过程是指计算第一待识别信息中匹配到的多个违规词词性的累[0058]匹配结果不满足预设条件的情况下，第一待识别信息提9包括的字符长度小于第四阈值，表示该第二待识别信息是从第一待识别信息中切的短句。义依赖关系可以指示该形容词是用于修饰两个名词中的哪个阶段与一般模型不同之处在于隐藏层对于所有的times[0065]在深度模型使用biLSTM和textcnn模型的结合的情况下，可以在卷积的过程中计算与违规词的相似度，然后通过maxpooling层来得出模型关注的违规词是否在待识别信出为字向量，理想情况下一个卷积核代表一个关键词（如违规词比如说一个2分类任务[0066]可选的，本申请的深度模型中，在待识别信息进入textcnn模型前可加一层双向不同的处理架构和存储，并且各个小模块中的各个处理流程消息队列等都是相互解耦的。计可以解决系统各个模块之间的强依赖问题。各个小模块之间还可以单独提供服务能力，[0073]信息识别系统可以使用无头浏览器动态的加载和渲染页面以保证数据的真实由于现实的站点中有的网站中的网页是动态加载的，若爬虫不使用无头浏览器加载统一资配置项还能控制程序请求内存时不会导致内存的野蛮增长给服务器以及其他项目带来负取任务繁重的时候没有多余的资源来响应直接[0076]前述消息队列可以是待抓取URL队列也可以是其他队列。抓取策略可用于确定待用如下方式进行数据抓取：深度优先搜索（depthfirstsearch，DFS）或广度优先搜索[0078]对于某些特定的站点而言网络爬虫短时间内发出[0083]爬取策略4：若检测到爬取URL不完整，则对所述爬取URL对应的页面进行动态抓中，或者将Refer值修改为目标网站域名。对于检测Headers的反爬虫，将浏览器的User-Agent复制到爬虫的Headers中，可以解决该反爬虫问题。Headers可以为浏览器的标识数词的时候，网站会将这些不良信息有限展示在浏览器的前面位置，方便用户发现和浏览。[0100]解析方式12：匹配optionvalue=""超链接中的URL并作相应拼接。如../../[0101]解析方式13：匹配optionvalue=''超链接中的URL并作相应拼接。如../../的爬取一些重复的标签不仅会导致爬虫系统压力繁重占用大量的软硬件性能还会导致爬虫进入死循环不知道何时结束爬取数据，这样会导致整个系统性能变慢。若全网有N个网可使用纠删码erasurecode和校验和checksum来保护数据免受硬件故障和无声数据损坏。[0109]图5中虚线部分是指违规词的生成和违规词的运营，在信息识别系统中违规词的过滤，或者，使用确定有限状态机（DeterministicFiniteAutomaton，DFA）算法或一字词和第二字词中确定该定语的修饰对象为该第一字[0122]在一种可选的实施方式中，处理单元602用于在第一待识别信息中获取包括目标[0125]信息识别装置60还可以用于实现图1对应实施例中信息识别装置的其他功能，此存储器702中存储的程序指令，以用于执行图1对应实施例中信息识别装置所执行的步骤。法所涉及的各步骤的计算机程序（包括程序代码以及来实现本申请实施例所提供的方[0137]本申请实施例还提供一种包含指令的计算机程序产品，[0141]本领域普通技术人员可以理解上述实施例的各