数据核查管控守则

数据核查管控守则我们做数据相关工作的，都明白一句话：“数据错了，一切都错了”。我入行快十年，大大小小的数据项目做过不下百个，见过太多因为一次不起眼的数据核查疏漏，最后把整个项目拖垮，甚至给业务带来不必要损失的例子。曾经有个刚入行的小兄弟，就是嫌原始数据核对麻烦，拿到数据直接开工做分析，结果原始导出的时候漏了半个月的线下门店数据，报告交上去之后，业务部门根据报告调整了季度开店计划，直到月底算账才发现不对，不仅小兄弟跟着加班半个多月返工，整个团队的精力都被牵扯进去，本来能提前完成的项目硬生生拖了一个月。正是因为吃过这么多亏，我们才一点点攒出了这套数据核查管控守则，它不是用来卡流程、罚员工的死板条文，是给所有同行避坑的经验总结，目的就是帮大家把错误挡在输出之前，少返工、少担责，把更多精力用在真正有价值的分析上，而不是给之前的疏漏填坑。接下来我就从总则、事前筹备、事中执行、事后闭环四个部分把这套守则说明清楚。1总则1.1制定目的本守则的核心目的，是规范数据从产出到输出全流程的核查管控动作，明确各环节权责边界，降低数据偏差风险，保障数据结果的准确性、可靠性，为各类业务决策提供合格的数据支撑。同时，本守则也是为了保护一线数据从业人员，通过明确的流程划分，避免出现问题后权责不清、无人担责的情况，减少不必要的个人责任风险，让大家做工作的时候更清楚方向，更有底气。1.2适用范围本守则适用于所有对外输出、支撑决策的数据分析项目、固定业务报表、数据产品开发、用户数据运营等所有涉及数据产出的工作场景。不管是给内部做的周报月报，还是给合作方输出的项目报告，哪怕是临时给业务做的一个小的数据查询，都要按照本守则的要求落实核查管控，不要觉得“项目小就不用查”，很多错误都是出在大家觉得不重要的小项目上，大意从来都是出问题的根源。1.3核心遵循原则1.3.1权责清晰原则核心要求就是“谁产出谁负责，谁核查谁留痕”，每个环节都要明确对应的核查责任人，不允许模糊权责，出现“人人都该查，人人都没查”的真空地带。所有核查动作都要留下可追溯的记录，不管是电子签字还是项目文档备注，都要记录清楚谁查的、查了哪些内容、核查时间是什么时候，方便后续溯源。1.3.2实事求是原则核查的时候不能预设立场，不能为了迎合想要的结果刻意隐瞒偏差、修改数据，哪怕发现问题会推翻之前的结论、耽误项目进度，也比错误数据流出去造成更大损失强。这点是我们做数据人的底线，公信力就是靠一次次准确的结果攒出来的，一次大错可能就把之前攒的信任都耗没了，这点千万不能松。1.3.3防微杜渐原则不要觉得小偏差不影响整体结果就可以放过去，哪怕只有1%的差异，也要弄清楚差异来源，能修正的一定要修正，很多大错误都是从不在意小偏差开始的，今天放过一个1%的错，明天可能就会出一个10%的大错。讲完最基础的总则要求，我们从流程顺序一步步展开，很多人觉得核查是出结果之后才做的事，其实不对，核查管控从拿到数据正式开工之前就已经开始了，提前把准备工作做足，能省掉后面大半的麻烦。2事前核查筹备管控2.1核查主体权责提前划分项目启动第一件事，不是着急拿数据开工，而是先把每个环节的核查责任人划清楚，明确原始数据提供方负责第一轮自核查，要对自己给出的数据的真实性、完整性负第一责任；然后数据处理人员负责第二轮加工环节核查，对加工逻辑和过程结果负责；最后由项目牵头人或者专门的质控岗负责终轮复核，对最终输出的数据结果负最终责任。每个环节的责任人要提前写在项目启动文档里，我见过太多项目出了错之后三个人互相推，都说“我以为对方已经查过了”，就是因为一开始没把权责划清楚。提前划权责也不是为了出问题追责，真出了问题我们先解决问题再总结，但是提前划清楚，能让每个人都有责任心，知道自己这一关要把好什么，不会掉以轻心。2.2数据口径与来源提前核验拿数据的第一步，不是着急导入加工，先停下来搞清楚三个核心问题：第一，这个数据是从哪个系统来的，系统本身的数据质量有没有已知的问题？第二，我们要的指标口径和数据提供方理解的口径是不是完全一致？比如大家常说的“月度活跃用户”，有的定义是30天内打开过产品就算，有的是30天内有交易行为才算，差一个定义结果就能差出好几个百分点，甚至好几倍。我之前就吃过这个亏，做活动效果核算的时候，双方口径差了一个“完成首单”的要求，结果出来差了整整一倍，白做了三天的活，所以这个环节一定要当面核对，最好把口径写下来双方确认，别嘴上说一遍就过去了。第三，拿到的数据的时间范围、覆盖范围是不是符合我们的需求，别拿了去年的数据当今年的，拿了华东区域的数据当成全国的，这种低级错误真的不是只有新人才会犯，赶进度的时候老人也容易栽坑，多花十分钟核对，就能省好几天的返工时间，怎么算都划算。2.3核查工具与规则预校验我们现在不管用Excel、SQL还是BI工具、Python，都免不了会有公式错、代码逻辑错、筛选条件错的问题，所以正式处理全量数据之前，先找一组我们已经知道准确结果的测试数据，放到你写好的公式、代码里跑一遍，看看出来的结果对不对，如果测试结果没问题，再正式处理全量数据。比如常用的VLOOKUP函数，你就先拿一两个已知匹配结果的数据试试，看看你引用的列对不对，有没有把匹配列搞错，很多人就是因为引用错了列，整张表的结果全错，到最后才发现，哭都来不及。这个步骤真的不麻烦，花个十几分钟就能避免大错误，何乐而不为。做好了事前的筹备工作，接下来就是最核心的事中核查环节，数据流转到哪，核查就要跟到哪，每一步都不能松劲，要一步步把好关。3事中全流程核查动作管控3.1原始数据入口核查数据拿到之后，第一步先查原始数据，主要查三个方面：第一查完整性，看看有没有缺行、缺列、漏数据的情况，有没有大量不合理的空值，整个数据的记录数和业务给到的预期对不对，比如业务说这个月有一万个订单，你导出来只有八千条，那肯定是漏了，赶紧找对方重新导出，不要带着缺口往下走。第二查异常值，看看有没有不符合逻辑的数据，比如用户年龄超过150岁，单个订单销售额超过企业整个月的营收，这种明显不对的异常值，要标出来找业务方确认，到底是录入错误还是真实的特殊情况，绝对不能直接把异常值删掉或者忽略不管，很多时候异常值背后就是真实的业务情况，比如大促的时候的超大订单，那是真实存在的，你删了反而结果错了。第三查一致性，同一个指标从不同系统导出来，差异是不是在合理范围内，如果差异超过了我们预设的合理阈值，一定要找两边的负责人核对清楚，搞清楚差异来源，不能带着疑问就往下推进。3.2数据加工转换环节核查原始数据没问题之后，我们就要开始加工整理，每一步加工都要同步做核查，首先，每一步加工都要留存中间版本的数据集，不要直接覆盖原始数据，也不要从头到尾只存一个最终文件，万一哪一步错了，你能直接回到上一步修改，不用从头再来。我现在习惯就是每一步都存，命名就写“步骤1-原始数据”“步骤2-清洗后数据”“步骤3-加工汇总后数据”，虽然占点电脑存储空间，但是真出问题的时候，能帮你省好几个小时的时间，这都是我踩坑踩出来的实实在在的经验。然后，要核对加工逻辑对不对，比如公式有没有写反，筛选条件有没有漏选，分组汇总的维度对不对，转化率是不是“转化数/访客数”，有没有写成“访客数/转化数”，这种低级错误真的不是只有新人才会犯，我有时候赶进度，也会犯这种错，所以每加工完一步，抽十几个样本对一对，看看逻辑对不对，花不了几分钟，就能把错误掐在萌芽里。还有合并不同数据源的时候，一定要核对匹配主键对不对，有没有出现一对多匹配错误，导致数据重复或者丢失，匹配完抽十几条数据看看对不对，确认没问题再往下走。3.3结果输出前交叉复核数据加工完出了结果，自己先查一遍，然后一定要做交叉复核，就是换一个没参与这个项目的人，或者业务方的对接负责人再查一遍。为什么一定要交叉？因为你自己做的东西，很容易陷入思维盲区，你跟着自己的逻辑走了一路，怎么看都对，换个没接触过的人过来，反而一眼就能看出你哪里错了。我之前做过一个用户消费分层的报告，我自己查了三遍，觉得所有指标都对，结果换个同事过来扫了一眼，就发现我把分层区间写反了，“1000元以上消费”写成了“1000元以下消费”，整个分层结果全错了，要是那时候直接交出去，我丢不丢人不说，业务决策肯定错，所以交叉复核真的太重要了。交叉复核也不是走形式，复核人要重点核对三个内容：一是核心指标的口径和我们一开始确认的是不是一致；二是数据里的异常波动有没有合理的解释，为什么这个月数据掉了这么多，是真的业务下滑还是数据错了；三是整体结果符合不符合业务常识，如果业务说这个月新开了十家门店，结果数据里只体现了三家，那肯定不对，所以最终输出前一定要让懂业务的人确认一遍，别咱们数据做对了逻辑，但是和实际业务对不上，那还是错。确认完之后，所有参与核查的人都要留痕，做好记录，这不是形式，是对大家工作的共同负责。到这里，数据正式输出出去，很多人觉得核查管控就结束了，其实不对，完整的管控是闭环的，输出之后的复盘总结，能帮我们下次做得更好，把管控体系越磨越完善。4事后复盘与长效管控4.1核查问题溯源归档不管这次项目有没有出错误，只要我们在核查过程中发现了问题，或者找到了潜在的风险，都要整理出来，归档到团队的问题台账里，写清楚是什么类型的问题，出在哪个环节，是怎么解决的，方便所有人查阅。我们团队的台账现在已经攒了好几十页，从最开始的VLOOKUP引用错列，到后来的口径理解偏差，什么样的问题都有，新人进来第一件事就是看这个台账，很多新人都说，看完这些前人踩过的坑，自己做项目的时候就会特意留意，真的少踩了好多坑。而且归档绝对不是为了抓着谁的错误不放，我们从来不会因为一次无心之失就批评谁，谁入行没犯过错啊，把问题摆出来，所有人一起避坑，这才是归档的真正意义。4.2核查规则动态更新我们的核查规则不是定死不变的，要跟着业务变化和碰到的新问题随时更新，比如之前我们发现，业务部门导出数据的时候，经常会默认把0值的行隐藏，导致我们导入的时候漏算了很多数据，我们就立刻把“检查原始数据是否有隐藏行、隐藏列”加到了我们必经的核查步骤里，之后就再也没出过同样的问题。再比如业务拓展了新的渠道，新增了新的业务类型，我们就要及时把新渠道新业务的口径、核查要点加到规则里，保证规则一直能跟上业务的变化，不会过时。4.3核查能力常态化培训我们每个月都会抽半天时间，一起交流最近碰到的数据核查问题，分享新的核查工具和方法，比如现在有很多自动化的核查工具，能自动帮我们筛异常值、核对口径一致性，我们就会组织大家一起学，用工具提高核查效率，把大家从重复的人工核查里解放出来，去做更有价值的分析工作。对于新人，我们入职第一课就是学这套守则，给他们讲之前踩过的坑，带他们做一遍完整的核查流程，不会让新人自己摸着石头过河，吃没必要的亏，毕竟谁都是从新人过来的，我们能把经验传下去，比让他们摔得头破血流再成长好多了。结尾总的来说，这套数据核查管控守则，不是束缚大家发挥的条条框框，是我们一代代数据人踩了无数坑、花了无数时间填坑才攒