2023年手把手带你设计产品后台（3）-审核篇

手把手带你设计产品后台（3）——审核篇class="aligncentersize-fullwp-image-5731559"src="/wp-files/2023/01/OnP23lHVH9XrCbPmU7aJ.png"alt=""width="900"height="420"/>

审核是中后台系统特别重要的职能之一，尤其是对于内容领域和金融领域。

后台审核的核心目标是风险掌握，发觉可能对或已经对公司业务产生不良影响的合作、内容、舆情等不利影响，将其扼杀在萌芽之中或者避开恶劣影响进一步扩大。

笔者曾经做教育后台时，主导过作业批改和审核从0到1到系统设计，有过一些审核的阅历。最近由于新冠疫情，也对免疫系统和病毒产生了爱好，并进行了一些学习和讨论。

在此过程中发觉，免疫系统和病原体的抗争和协同进化过程，其实同审核系统和风险的关系是很类似的，其底层规律更是一样一样的。当然，也可以推而广之到杀毒软件和病毒的关系。

笔者虽然在审核系统的设计方面只有粗浅的阅历，但是实在技痒，在此抛砖引玉，将免疫系统对审核系统设计的启示写出来。

一、免疫系统的启示

我们赞美人工设计时，经常会说“巧夺天工”。而随着人类科技实力的不断进步，我们也会产生一些错觉：自然 的是质朴的、粗陋的，人工的是完善的、精致的。

然而我们去多了解一些自然中的现象，那么就会逐步体验到事实恰好与直觉相反。生物尤其是人类的免息系统在漫长的进化中，已经形成了系统性、多层次、高效的机制，非常精妙。

其特点总结如下，也是在设计审核系统中特别值得借鉴的原则。

普适性和特异性：免疫系统分为先天免疫系统和适应性免疫系统。先天免疫系统快速响应病原体的入侵，能够应对大部分的感染。对于小部分的严峻感染，再启用更加强大的适应性免疫系统。兼顾效率和成本：在上述两个免疫系统结合之下，实现了效率与成本的平衡。由于适应性免疫系统虽然效果强大，但是调用消耗的成本特别高。而先天免疫系统足以应对绝大部分状况。有效的级联反应：无论是两个免疫系统内部还是两个系统之间的协作，都有特别精密的相互触发机制，比如广泛地收集信息、抗原传递、多次认证等。由于免疫系统生效不止会毁灭病原体，也会对正常的细胞造成损害，就是所谓的假阳性。因此审核策略的制定既需要谨慎，又需要在发生严峻状况时能坚决触发更有效的应对机制。整体性的应对：两个免疫并不是孤立的，而是可以相互协同、相互增加或掌握的。这样可以高效而敏捷地应对病原体感染，依据实际状况加强或适时停止免疫反应，避开铺张资源或造成更多假阳性。二次感染快速响应：感染一次之后，免疫系统会形成各种记忆细胞，有持续生效的，也有临时休眠的。当相近的病原体再次感染的时候，就能快速地、低成本地调用适应性免疫，高效毁灭危急的病原体。虽然笔者尝试尽量总结的面面俱到，但是免疫系统几十亿年伴随生命和病原体演化而形成的精妙体系，绝非三言两语就能描述清晰。

感爱好的读者不妨阅读《免疫系统与病毒的战斗》，信任会对产品的审核系统设计有更多启发。

那么如何设计一个完善的审核系统呢？

二、业务分析

笔者一贯强调，做产品设计肯定要先深化了解、分析业务，然后抽象出其背后的信息流，再进行系统界面设计。

业务的分析方面有许多成熟的方法论，建议整体框架使用用户体验五要素（参考《产品“无”之道（一）——战略篇》）。

对于审核系统来说，最起码搞清晰几个问题：

整体商业的模式是什么？面对用户的产品是什么？有什么功能？用户群体是谁？有什么特征？用户在什么场景下使用产品？造成业务风险的因素有哪些？需要审核的内容是什么？要达成什么样的审核目标？比如说，我们要做一个内容社区的审核系统。

商业模式可能是会员付费、广告收入、流量销售、带货抽成等。产品是移动APP为主，包括内容生产者和内容阅读者相关的功能。用户群体可以参考业务部门的用户画像和用户数据。用户主要在休闲消遣或是遇到问题等场景使用产品。风险可能包括政治、法律等底线风险，黄恐暴等不良习性，用户隐私、用户引导等舆论风险，低质量内容等其他风险。需要审核的内容可能包括文字、图片、声音、视频等各种类型的PGC或UGC内容。审核目标可能是规避风险，保证社区的良性生态，从而支持业务可持续进展和变现等。三、信息流分析

深化了解业务之后，就可以着手开头对信息流的抽象、分析和可视化。应用方法可以参考笔者之前的文章，《火眼金睛：一眼看破产品规律》。

我们以内容审核相关的业务为例。

经过简洁的分析，我们就能够比较全局地了解在整个商业模式下，内容和风险是怎样流转的，进而影响内容分发和用户。

内容信息流：核心内容在整个系统中的流转，包括内容生产，内容提交后的机器人和人工审核，审核结果的复核，以及内容审核通过后的分发。内容分发之后，便可以被内容受众消费。业务监控信息流：内容上线之前，虽然已经经过审核，但是不行能全部的内容都能被正确审核。而且有的内容上线虽然通过了审核，但是也可能造成某些难以预知的问题。那么就需要对上线后的内容持续监控（同样可以采纳机器和人工的方法）。用户反馈信息流：对上线后内容的跟踪，还有一个很好的方法就是借助用户的力气。对用户针对内容的评价，或者直接开拓举报窗口，都能够关心识别有风险的内容。风险处理信息流：已上线的内容消失风险之后，需要妥当处理风险。在确认之前可以做限流处理；对于严峻的风险，可能要下架内容并触发发布者；对于质量低等内容，可以降低分发的流量。数据反馈：一个审核系统想要不断提升效率、优化审核效果，就需要不断收集内容、反馈等审核之后的效果，并且将审核有效或失效的数据再输入审核系统，关心优化机器审核的算法和人工审核的规章。四、系统架构和业务流程图

梳理清晰信息流之后，整个审核系统划的系统架构就清楚多了。

用户端：包括为和消费受众供应相关功能，由相关的业务团队打算，是审核平台重要的需求来源和服务对象，需要与之保持亲密合作。机器审核平台：利用机器审核对提交的内容进行自动审核。一般审核力量通过调用AI平台对应的接口力量实现，也需要把审核的结果反馈给AI平台，关心其迭代审核算法。人工审核平台：对于机器审核无法完成审核的内容，可以通过人工审核。人工审核需要制定明确的审核规章，以让审核人员在审核时有明确的审核依据。人工审核的审核结果同样可以反馈给AI平台用于迭代审核算法，也可以用于完善审核规章。分发平台：内容审核通过之后，过审的内容通过分发平台进行流量分发。当然分发的策略可以依据用户信息、AI算法进行优化。而且也要随时依据风控反馈，准时处理有风险的内容。AI平台：为机器审核供应AI力量，也可以帮助人工审核、以提升效率。一般可以外采或者自己研发。下一步就是依据每个平台的详细业务需求，结合人（用户、后台工作人员）绘制流程图。还是建立使用泳道图，将系统、人的重要流程梳理清晰。

泳道图的绘制属于产品经理比较基础的技能，在《火眼金睛：一眼看破产品规律》也有案例，在此不再详细演示。

五、机器审核平台

机器审核是个比较偏向技术的平台，产品经理的工作就是要为内容平安供应一个高效、精确     的机器审核和风控支持。

做好机器审核平台，需要在几个方面做出权衡。

风险和体验：审核策略越严格，上线内容的风险越小，但是越可能误伤正常的内容，且为人工审核带来更多的工作量，影响用户体验。反之体验有所提升，但是自身的风险会提高。效率和成本：算法越精准，识别效果越好，然而也意味着更大量的训练数据、更简单的算法模型、更高的运算量；部署的硬件性能越好、数量越多，审核的速度越快，但是成本也越高。那么，笔者上文介绍的免疫系统的特点就有用武之地了。

比如受先天免疫系统和适应性免疫系统的启发，我们也可以将机器审核划分成普适性审核和适应性审核。事实上，大多审核系统也是这么做的，但是可以仿照免疫系统，做得更极致。

在提交内容时，可以对普遍性的问题进行快速识别。比如敏感词、错别字等，让可以立刻修正，以避开等待一段时间之后才发觉要修正。这样就可以肯定程度提升用户体验。

对于全部的内容，应当先让一个简洁、高效的模型完成普遍性问题的识别，可以引用人工配置的关键词、策略等关心增加识别效果。比如可以将完全合规的内容直接发布；对于机器识别置信度低、难以推断的问题类型直接流转人工审核系统；对于适合机器识别的问题进行归类，再分发给不同的适应性算法。甚至以上几种目的也可以交给不同的算法识别分别实现。

适应性算法则可以针对某一类问题进行深度的定制。比如依据国家划分，可以充分考虑不同国家的法律法规和文化；特地针对政治敏感、色情、恐怖等不同类型问题的识别；特地对内容质量、重复性、版权问题识别的模型等。目前人工智能算法的特点还是通用性难做，但是针对特定的问题则可以达到更佳的效果。

再比如建立有效的级联反应机制，让不同类型的问题都得以妥当地处置。

合理配置审核策略，查找不同整合之间的相像性、关联性，可以对相近的策略进行合并，有冲突的策略进行隔离，有关联的策略设定前后触发关系等。

针对不同类型的问题，还可以设定不同的阈值。比如对政治敏感、青少年色情、版权等底线性的问题，应当实行宁愿误伤，也不放过的策略，然后再交由人工审核进一步推断。对于重复、低质量的内容，则可以适当放宽标准，先让内容发布，再依据后续用户的行为、评价、举报等进一步处理。

有条件时，针对同一类问题可以使用多个模型同时进行分析。这样的好处，一个是可以进行交叉验证，提升审核的精确     度。也可以比较不同的算法模型效果，不断淘汰旧的模型，应用新的模型。

还有可以挖掘不同算法模型之间的协作关系。

由于现实世界，内容许多的问题都是混杂在一起的，比如有的内容可能既色情又暴力。

那么普适性审核模型也应当能够提取一些关键特征，关心适应性审核模型更精准、高效地完成审核；适应性审核模型也可以抽取出更多普适性的特征，反哺普适性审核模型，关心其优化。

而不同的适应性审核模型，也可以抽取出自己无法完全识别，但是可能与另一种问题相关的特征，并且供应给相关的模型，关心其更精确     地完成识别。

最终就是优化机器审核的记忆性。

机器审核平台应当供应审核结果的数据平台，包括每个算法模型的调用次数、识别效率、识别精确     性（来自模型的交叉验证、人工审核、用户反馈等）等数据，用于衡量模型效果。

也应当允许查看内容的识别结果，并尽可能标注出问题的区域。同时也可以人为对结果进行订正，以提升反馈数据的质量。

对于已经发生的问题，可以总结其规律性，比如是否跟国家地区、时间（季节、节日等）、偶然大事、账号用户行为等是否有关。对于持续性、易发性的问题，可以作为固定的检测对象固定下来（配置关键词、审核策略、甚至新增模型等）；对于规律性、偶发性的问题，可以设定有效的触发策略，平常可以不作为审核对象。

借鉴疫苗的思维，可以建立模拟的沙盒，在新审核策略、新审核模型发布前，在沙盒中测试效果。还可以人工或机器生成大量的违规内容，然后输入沙盒用以优化模型等。

由于笔者在审核方面的阅历有限，上述的想法抛出来供各位读者参考，也欢迎大家留言沟通。

六、人工审核平台

人工审核平台要支持审核人员审核和管理的要求，相对来说有更多的界面设计和流程流转。但机器人审核平台的许多思路也可以借鉴。

1.将审核人员分层和有效的级联机制

可以指定一批基础的审核人员，初步推断机器给出的推断建议是否合理，比如是否需要人工审核、问题分类是否恰当。

特定问题的审核人员同样可以分层，优先由初级审核人员处理，对于难以推断的问题，可以升级、交给更资深的审核人员处理。由于审核人员的培育也是需要成本的，而有疑难杂症的内容也是少数，这种策略可以兼顾效率和成本。

2.审核人员之间的协作

对于重要的问题，可以同时交给若干审核人员交叉验证。这样的好处是一方面可以避开严峻的问题被误判而分发给用户，造成恶劣的影响；另一方面也可以对重要更谨慎的审核，避开由于误判损害其乐观性和利益。

虽然经过机器和人工分类，但是还有部分问题难免安排到错误的类别，那么处理特定问题的审核人员可以依据个人推断，直接移交给其他组别或者打回给分类审核人员。

3.强化人工审核系统的记忆

可以从两方面入手。

一个是同样要供应审核结果的数据平台，关心管理人员不断发觉人工审核的不足之处，通过优化审核规章、加强审核人员培训等动作，提升审核效果。

另一个是要建立对审核人员的奖惩措施。嘉奖审核快、结果准的审核人员，惩处审核慢、结果差的审核人员。鼓舞有想法的审核人员反馈问题和建议，则可以更好地优化人工审核系统乃至机器审核系统。

用AI进行帮助。

虽然前序的机器审核可能无法精确     推断问题，但是可以给出处理看法、标注出问题最大的位置，关心审核人员快速定位。

还可以提示相关的审核规章，便利审核人员在有疑问时能快速查找依据。也可以在审核规章发生变动时准时予以提示。

甚至对于有显著问题的审核结果进行提示，进一步降