CN113826129B 用于识别滥用内容项的方法、系统和介质 （谷歌有限责任公司）

2021.11.15PCT/US2019/0320642019.05.13WO2020/231404EN2020.11.19US2016088063A1,2016.03.24与用户相关联的用户设备接收在媒体内容平台基于一个或多个绕过准则确定用户生成的内容其中审查请求包括用户生成的内容和与对应于审查请求的决策是否指示用户生成的内容将在指示用户生成的内容项违反与媒体内容平台相关联的至少一个策略，(i)第一消息被传送到用策略和要被施加到与用户相对应的用户账户的决策指示用户生成的内容项没有违反与媒体内2在服务器处从与用户相关联的用户设备接收在媒体内容平台上提供用户生成的内容如果所述用户生成的内容包括令人反感的内容，则确发布的相对风险值中的第二值对应于来自所述用户生成的内容的观看者的预期订阅收入确定响应于所述审查请求的决策是否指示所述用户生成的内容要在所述媒体内容平响应于确定所述决策指示所述用户生成的内容违反与所述媒体内容平台相关联的至通过确定所述用户生成的内容中包含的所述令人反感的内容的类型以及基于所述用户生成的内容中包含的所述令人反感的内容的类型确定是否禁止在所述媒体内容平台上提供响应于确定所述决策指示所述用户生成的内容没有违反与所述媒体内容平台相关联述用户生成的内容有资格在所述媒体内容平的内容的所述请求包括将所述用户生成的内容存储在与所述媒体内容平台相关联的存储5.根据权利要求1所述的方法，还包括通过以下操作来确定所述用户是否有资格在所基于先前已经被提供给所述媒体内容平台的其他用户生成的内容来计算指示与所述将所述风险分数与对应于所述用户生成的内容的内容类型的阈值风险分数进行比较，36.根据权利要求1所述的方法，还包括基于与所述用户的所述用户账户相关联的受众信息来确定所述用户是否有资格在所述媒体内容平台上提供7.根据权利要求1所述的方法，还包括基于与所述用户的所述用户账户相关联的位置信息来确定所述用户是否有资格在所述媒体内容平台上提供8.根据权利要求1所述的方法，还包括基于与所述用户账户相关联的先前策略违反的强制实施动作来确定所述用户是否有资格在所述媒体内容平台上提供所述用户生成的内9.根据权利要求1所述的方法，还包括通过向所述审查用户的所述队列传送第二审查请求来确定所述用户是否有资格在所述媒体内容平台上提供所述用户生成的内容，其中，所述第二审查请求包括与对应于所述用户的所述用户账户相关联的信息并且提示所述审查用户确定与所述用户账户相关联的所述信息是否违反与所述媒体内容平台相关联的至从所述媒体内容平台上的所述用户生成的内容的观看者接收标志，其识别与所述用户生成的内容相似的第二用户生成的内容，基于所述用户生成的内容与所述第二用户生成的内容的相似度响应于确定所述第二用户生成的内容先前被限制在所述媒体内容平台上被使得可用，执行禁止所述用户生成的内容在所述媒体内容平台上被使得可用的所述对应动作，其中，所述第一消息基于所述第二用户生成的内容指示所述多个审查用户审查还包括确定所述用户生成的内容和与所述用户生成的内容相关的内容4所述用户生成的内容所违反的与所述媒体内容平台相关联的的所述惩罚基于所述用户生成的内容所违反的与所述媒体内容平台相关联的所述至少一将包括所述申诉文本和所述用户生成的内容的所述申诉请求添加到第二审查用户的及基于所述决策和所述申诉决策来确定要对所述用户生成的内容执行的至少一个对应硬件处理器，所述硬件处理器当执行存储在所述存储器中的计算机可从与用户相关联的用户设备接收在媒体内容平台上提供用户生成的内如果所述用户生成的内容包括令人反感的内容，则确发布的相对风险值中的第二值对应于来自所述用户生成的内容的观看者的预期订阅收入确定响应于所述审查请求的决策是否指示所述用户生成的内容要在所述媒体内容平响应于确定所述决策指示所述用户生成的内容违反与所述媒体内容平台相关联的至5通过确定所述用户生成的内容中包含的所述令人反感的内容的类型以及基于所述用户生成的内容中包含的所述令人反感的内容的类型确定是否禁止在所述媒体内容平台上提供响应于确定所述决策指示所述用户生成的内容没有违反与所述媒体内容平台相关联述用户生成的内容有资格在所述媒体内容平21.一种包含计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令从与用户相关联的用户设备接收在媒体内容平台上提供用户生成的内如果所述用户生成的内容包括令人反感的内容，则确发布的相对风险值中的第二值对应于来自所述用户生成的内容的观看者的预期订阅收入确定响应于所述审查请求的决策是否指示所述用户生成的内容将在所述媒体内容平响应于确定所述决策指示所述用户生成的内容违反与所述媒体内容平台相关联的至通过确定所述用户生成的内容中包含的所述令人反感的内容的类型以及基于所述用户生成的内容中包含的所述令人反感的内容的类型确定是否禁止在所述媒体内容平台上提供响应于确定所述决策指示所述用户生成的内容没有违反与所述媒体内容平台相关联述用户生成的内容有资格在所述媒体内容平6他适当的特征)与违反这些特定策略的内容项一起7将用户生成的内容存储在与媒体内容平台相关联的存储设备动作来确定用户是否有资格在媒体内容平台用户的用户账户相关联的信息并且提示审查用户确定与用户账户相关联的信息是否违反确定用户生成的内容和与用户生成的内容相关的内容中的至少一个是否先前已经被阈值8包括申诉文本；将包括申诉文本和用户生成的内容的申诉请求添加到第二审查用户的队配置为：从与用户相关联的用户设备接收在媒体内容平台上提供用户生成的内容的请求；个或多个审查用户审查；响应于基于一个或多个绕过准则确定用户生成的内容要被审查，9项没有违反与媒体内容平台相关联的至少一个策略，第二消息被传送到用户设备的用户，成的内容项违反与媒体内容平台相关联的至少一个策略，(i)第一消息被传送到用户设备[0029]图1示出根据所公开的主题的一些实施例的用于识别滥用内容项的信息流程图的[0030]图2示出根据所公开的主题的一些实施例的用于识别滥用内容项的过程的说明性[0031]图3示出根据所公开的主题的一些实施例的适于实现本文中所描述的用于识别滥[0032]图4示出根据所公开的主题的一些实施例的能够被用于图3的服务器和/或用户设[0033]根据各个实施例，提供用于识别滥用内容项的机制(其可以包括方法、系统和介[0034]现有的滥用内容检测系统通常允许在用户生成的内容被审查之前发布该内容或其例如在不需要人审查每条内容的情况下禁止用户生成的内容在媒体内容平台上被使得[0036]在一些实施例中，该机制能够确定内容项是否要由一个或多个审查者手动地审其他方式禁止用户生成的内容在媒体内容平台上被机制能够确定内容项与先前被拒绝的内容项相似，并且能够确定上传的内容项也将被拒内容可能不违反媒体内容平台的策略等)，该机制能够传送用户生成的内容被发帖或以其他方式使其在媒体内容平台上可用的特定时间(例如，而不是在对违反媒体内容平台的一申诉的审查者提供任何适当的信息，诸如内容项、与被申诉的原始决策相关联的信息(例否要手动地审查内容项以确定该内容项是否有资格结合该特征的使用被提供给用户。例够使用人类审查者和机器审查者来确定用户账户是否有资格访问媒体内容平台特征以生的或非滥用的用户账户的用户账户。中描述的机制能够被用于审查由内容创建者提供的与内容创建者提供的内容的频道的会定由内容创建者提供的特定特权是否要被添加到要被手动审查的特权队列，和/或确定特[0045]转向图1，根据所公开的主题的一些实施例示出用于识别滥用内容项的信息流程体内容项或社交网络帖子相关联的评论部分中被发帖的评论，和/或任何其他适当类型的并且将媒体内容平台托管的内容流传输或以其他方式提供给一个或多个用户设备的媒体定用户生成的内容项是否要由一个或多个审查用户审查。服务器302继而能够使通知或其他适当的界面被呈现在内容创建者设备308上，其指示正在审查用户生成的内容项或对用知，从而向在内容创建者设备308处的内容创建者提供对发布或以其他方式使得用户生成内容项的队列能够对应于要由人类审查者手动审查和/或以任何其他适当的方式审查的内些实施例中，内容项能够基于与关联于内容创建者设备308的内容创建者相关联的信息被将内容项放置在队列中(例如，从相对更流行的内容创建者接收到的内容项能够被插入在器302能够基于因素的任何适当组合来维护内容项的队列。使用任何适当的技术或技术的组合来确定用户生成的内容项是否要被发帖或移除(或以其收用户生成的内容可能违反媒体内容平台的策略(例如，对于在用户生成的内容内包含令查者设备310的用户观看内容项的用户界面接收指示，并且传送与内容项相关的决策(例先前上传和/或批准的内容项的数量、由内容创建者先前上传的内容已经与策略违反相关使内容项被呈现在审查者设备310上的视频播放器窗口或任何其他适当的用户界[0055]在110，服务器302能够基于从审查者设备310接收到的决策更新与内容创建者设内容创建者已经上传没有违反与媒体内容平台相关联的任何策略的内容的次数(即，内容创建者已经上传了已经被审查者批准的内容与用户生成的内容能够在内容创建者的指导下被发帖或发布的特定媒体内容平台的策略的决策，服务器302能够将内容添加到内容项的队列以由另一审查者成的内容违反媒体内容平台的策略的两个否定决策，服务器302能够移除或以其他方式禁项包括特定类型的令人反感的内容和/或违反特定策略的情况下，以及在用户不同意的情备308的用户能够选择与该决策相关联的任何适当的按钮或用户界面控件，其当被选择时使用户界面用于输入与该决策的申诉相关联的任何适当的文本(例如，争夺该决策的任何本能够与决策正在被申诉的指示结合一起被传送到服务器3实施例中，内容项能够基于与内容项相关联的内容创建者的相对流行度被添加到申诉队110能够呈现通知，该通知指示与内容项相关联的决策正在被与内容项相关联的内容创建一些实施例中，指示的选择能够使内容项结合与决策相关联的任何适当的信息和/或与申[0063]注意，尽管图1示出与在106审查内容项和在116审查内容项的申诉两者的相同设策能够指示任何适当的信息，诸如审查者设备310的用户同意被申诉的决策、审查者设备[0065]在120，服务器302能够基于与申诉相关的决策来更新与内容创建者相关联的账[0066]转向图2，根据所公开的主题的一些实施例示出了用于识别滥用内容的过程的说[0067]过程200能够通过从内容创建者接收要结合媒体内容平台被上传或被发帖的内容定内容频道相关联的聊天室或实况聊天提交的评论、由观看者提交以在特定评论部分(例如，与由媒体内容平台托管的特定媒体内容项相关联的评论部分和/或任何其他合适的评项能够是由内容创建者结合由内容创建者创建的内容频道经由媒体内容平台提供的特权。够和与评论项相关联的评论部分中的评论和/或在与内容项相关联的实况聊天中发帖的评定位置(例如，在实况聊天的顶部、在评论部分的顶部位置中和/或在任何其他合适的位买来选择)结合内容项被呈现和/或能够使任何合适比例的观看者的支付款与内容创建者被包括在与由内容创建者创建的内容相关联的聊天消息或评论部分中的独家的表情或其容创建者在与关联于内容创建者的内容的频道相关联的页面中包括到可用于购买的一个放器窗口下方和/或在任何其他合适的位置中)呈现用于购买与乐队或音乐团体相关联的(诸如与由内容创建者创建的内容频道相关联的页面和/或任何其他合适的内容)呈现购买于先前上传的内容项确定指示内容创建者很可能上传包括一种或多种类型的令人反感的200能够确定具有高于预定阈值的风险分数的内容创建者有资格使用该特征。作为另一更不止一次和/或任何其他合适的次数)的内容创建者没有资诸如内容创建者的受众规模和/或与内容创建者相关联的位置，来确定内容创建者是否有类审查者能够如上面结合框202所描述的那样审查由内容创建者先前发帖的一个或多个内容项和/或由内容创建者上传的内容项并且能够确定内容项是否违反媒体内容平台的一个关联于内容创建者的内容项相关联的任何其他合适的信息来确定内容创建者是否有资格看者对于内容创建者对该特征的使用满意还是不满意的确定来确定内容创建者是否有资的内容相关联的会员资格的观看者提供特权的情况下，过程200能够确定已经购买了会员200能够确定已购买了钉住消息或聊天内容的用户通常对他们的购买满意还是不满意。在过程200能够响应于确定计算的满意度量低于预定阈值而确定内容创建者没有资格使用该与提供的特权或购买选项有关的负面评论而确定内容创建者没有资格使用200能够确定提交了评论的用户是否是内容频道的订阅者或者满足任何其他合适的准则。违反的信息和/或对内容项的人工审查的组合来确定内容创建者是否有资格使用该特征。200能够向每个信息项指配分数并且能够基于每个信息项的分数来确定与内容创建者相关过预定阈值的确定来确定内容创建者是否有由内容创建者对与媒体内容平台相关联的一个或多个策略的先前违反，和/或任何其他合者先前尚未违反与媒体内容平台相关联的任何策略但是内容创建者由于其他原因(例如，因为内容创建者没有足够多的受众，因为内容创建者先前尚未上传超过预定数量的内容如以下各项的任何合适的信息来确定内容项的发布的相对风险：内容项的预期受众规模一些实施例中，过程200能够响应于确定内容项满足任何特定准则来确定内容项将被指配在内容项是被提供给为内容频道和/或任何其他合适类型的内容付款以获得会员资格的用户的特权的情况下)确定内容项将被指配相对较高来自内容项的观看者的内容创建者的预期收入相对应的第二风险分数和/或任何其他合适过与频道相关联的内容的预定先前观看数量和/或基于任何其他合适的度量)，过程200能能够将所上传的内容项的一个或多个音频和/或视频指纹与先前上传的内容项的数据库进传的内容项与先前上传的内容项之间的类似性的任何合适的组合来确定是否人工审查要[0089]在一些实施例中，过程200能够确定特定类型的内容项不管风险分数如何都要被付的内容项(例如，被提供给付费用户的独家的内容和/或任何其他合适类型的付费内容)够前进到210并且能够确定内容项是否由于是滥用内容而被拒绝。在一些实施例中，过程200能够基于是否在框208确定所上传的内容项与先前拒绝的内容项类似或匹配来确定内过程200能够确定所上传的内容项与先前批准的内容项类似或匹配，并且在一些这种实施使用任何合适的(多种)技术来确定内容项包括任何特定类型的令人反感的内容的可能性。何合适的文本或链接作为输入的分类器来确定该文本包括令人反感的内容或者链接是到应于内容项包括令人反感的内容的确定可能性超过预定阈值(例如，大于70％、大于80%和/或任何其他合适的阈值)而确定内容项被发帖到评论部分或聊天的评论的情况下，过程200能够使评论被以任何合适的方式(例[0093]返回参考框208，如果在208，过程200确定对内容项的审查将不被绕过(在208的日期或时间来将内容项添加到队列(例如，使得较早接收的项被较早地放置在队列中，和/和/或任何其他合适的时间敏感上下文中的评论的情况下)，过程200能够将内容项添加到[0094]如上面结合图1所描述的，响应于内容项被移动到要被审查的内容项的队列的头括令人反感的内容的内容项的帧或时间戳、内容项违反的一个或多个策略和/或任何其他取禁止用户生成的内容在媒体内容平台上被使容项的帧和/或任何其他合适的定时信息，来指示违反媒体内容平台的策略的内容项的一到与媒体内容平台相关联的任何评论部分达中，过程200能够响应于确定策略违反对应于在内容项中包括第一类型的令人反感的内容第二类型的令人反感的内容而确定第二惩罚(例如，与内容创建者相关联的用户账户将被应于对于其他观看者可用的视频内容或音频内容的上传的情况下，过程200能够识别与将其他视频或音频内容上传到媒体内容平台的临时或永久阻止相关联的惩罚。作为另一示够识别与评论的提交的临时或永久阻止相关联的违反的确定，过程200能够使内容项由与第一审查者不同的