数据治理实施小结

数据治理实施小结我们团队牵头负责的集团核心业务数据治理第一阶段项目，从启动到完成验收已经过去一段时间了，这段时间我作为项目负责人全程跟进，从最开始梳理需求到最后落地跑通，一路走下来有实打实的成果，也踩了不少意想不到的坑，趁着记忆还清晰，整理这篇实施小结，把整个项目的推进过程、经验反思和后续计划都梳理清楚，一方面给自己团队的工作做个总结，另一方面也给同行业正在做数据治理的同行做个参考，少走点我们走过的弯路。1项目实施整体概况1.1项目启动背景我们是一家线下连锁加线上电商融合的零售集团，前几年行业扩张快，公司把主要精力都放在拓门店、冲业绩上，各个业务线为了赶项目进度，都是自己找技术开发适配自己业务的系统，从一开始就没统一规划过数据标准。这么发展了几年，问题慢慢就暴露出来了：财务算月度营收，和门店上报的库存数据对不上，差几十万上百万是常事；运营部门做会员营销，同一个客户在门店、线上小程序、第三方电商平台各注册了一个账号，发优惠券的时候重复发，不光浪费了营销费用，还惹得客户烦；大促之前盘点库存，十几个部门的人对着好几套系统的数据核对，要花一周多才能出结果，经常耽误备货。真正让公司下决心启动数据治理项目，是之前一次大促出了重大事故：因为不同系统的商品编码规则不统一，同一个SKU被统计成了三个不同的商品，最终盘点的时候差了近两百万的货，整个团队查了整整十天都没理清楚头绪，最后才发现是编码不统一导致的统计错误。这件事之后，公司管理层拍板，一定要做全集团核心数据的治理，解决长期以来数据乱、数据错的问题。1.2第一阶段项目核心目标数据治理是个长期工程，谁都知道不可能一口吃成胖子，所以我们启动项目的时候就定了非常务实的第一阶段目标，没有搞什么虚的口号。第一个目标是统一核心业务域的数据标准，先把商品、会员、订单、库存这四个和日常业务关系最紧密的核心域的标准定下来，解决最基础的“同一个东西不同叫法不同编码”的问题；第二个目标是清理历史存量数据的质量问题，把这么多年攒下来的脏数据、错数据整理干净，解决日常业务中经常碰到的数据对不上的问题；第三个目标是搭好基础的数据治理框架和运营机制，给后续拓展其他业务域的数据治理打好基础，不用每次都从零开始。明确了项目背景和目标之后，我们就正式启动了项目实施，整个过程按照预先规划的步骤一步步推进，核心做了四件关键的事，也拿到了符合预期的成果。2实施阶段核心工作与落地成果2.1跨部门协同完成核心域数据标准梳理刚开始做项目的时候，我作为技术出身的负责人，其实有个误区，觉得数据标准就是技术部门定好给业务用就行，后来刚开始推进就碰了壁，才明白数据标准本质上是业务规则的统一，必须业务部门自己参与定才行。所以我们第一步就拉了跨部门的专项小组，每个相关业务线抽至少一名核心业务骨干加一名技术对接人，财务、运营、门店管理、电商、采购全部参与，一起坐下来梳理每个域的规则。印象最深的是定商品编码规则那一次，原来电商系统用13位编码，门店库存系统用10位，财务做账用8位，同一个大瓶装矿泉水，电商按品牌算一个编码，门店按规格分成两个，财务按供应商不同又分了两个，大家各说各的理，吵了整整一下午，谁都不肯让步。最后我们还是从业务实际需求出发，定了统一的16位编码规则：前两位代表一级品类，接下来三位代表二级大类，再两位代表规格参数，再五位代表商品序列号，最后四位做校验位，兼顾了各个部门的需求，才把这个问题定下来。就这样，前前后后开了十五六次讨论会，花了一个多月的时间，我们一共梳理出四个核心域的120多项核心数据标准，整理成了公司第一本正式的《核心数据标准手册》，每个标准除了规则，还加了业务解释和应用场景，哪怕是刚入职的新人，看着手册也能弄明白这个标准为啥这么定、怎么用。现在回头看，那段时间天天加班开会吵出来的规则，真的是整个项目最扎实的基础，如果这个阶段没达成共识，后面落地只会出更多问题。2.2存量数据清洗与质量问题整改标准定好之后，接下来就是啃硬骨头：清理几千万条历史存量数据。我们集团发展这么多年，积累的商品数据一百多万条，会员数据两千多万条，订单数据更是过亿，这里面的问题比我们预想的还要多：有空值缺失，比如三分之一的早期会员数据没有填性别；有重复值，同一个手机号绑定了三四个不同的会员账号；有逻辑错误，比如会员生日填的是13月，商品进价填成了售价；还有格式不统一，手机号有的带区号有的不带，日期格式有好几种。我们先写了自动化规则，把明显的错误、重复、空值先批量处理了一遍，筛掉了一大半明显的问题，剩下那些模棱两可、需要业务判断的数据，比如两个编码不同商品信息几乎一样，到底是同一个还是不同款，必须要采购部的同事一一确认。那段时间我们给业务对接的同事排了班，每天定好核对任务量，我也天天泡在业务部门跟着一起改，花了整整两个月，终于把四个核心域的存量数据全部清理完毕。最终的成果也很直观：清理掉重复商品数据三万两千多条，合并重复会员账号两百七十多万个，修正逻辑错误和格式错误的数据一百一十六万条，核心数据的准确率从原来的不到85%提升到了98%以上。上个月月末盘点库存，原来要一周才能出结果，现在两天就核对完了，运营部门做营销发券，因为重复账号浪费的费用降了六成，业务部门实打实拿到了好处，对项目的认可度一下子就上来了。2.3搭建分级分类的数据权限管控体系数据治理不光要数据准，还要数据安全，这块是我们一开始就纳入规划的，毕竟现在用户隐私保护要求越来越严，一旦出问题就是大事。我们之前的权限体系非常乱，基本上普通运营也能下载全量会员数据，所有信息都是明文，风险非常高。这次我们按照数据的敏感程度，把全集团数据分成了公开、内部、敏感、机密四个等级，不同等级对应不同的访问权限：普通运营只能查看自己负责区域的相关数据，看不到全集团的核心数据；用户的手机号、住址这些敏感隐私信息，默认都是脱敏展示，只有客服和合规部门因为业务需要才能申请查看全量信息；而且所有的数据访问、下载操作都留了完整的审计日志，谁什么时候看了什么数据、下载了什么，都能查到，出问题可以直接追溯到个人。这套权限体系上线之后，我们顺利通过了相关的数据安全合规检查，也彻底堵住了原来的数据泄露风险，算是给项目加了一道安全锁。2.4上线轻量化数据治理工具支撑日常运营很多公司做数据治理，一开始就想着上一个大而全的治理平台，我们一开始也动过这个念头，后来考虑到第一阶段先跑通，还是选择了做轻量化的工具，直接嵌到我们现有的数据平台里，不搞额外的复杂系统，降低使用门槛。最终我们只做了三个最核心的功能：第一个是数据质量自动监控，只要新增的数据不符合标准，系统自动识别告警，推送给对应负责人修改，不用人工定期排查；第二个是在线标准查询，谁要是忘了某个数据的标准，直接在系统里搜就能看到详细说明，不用翻厚厚的电子手册；第三个是在线问题申报，业务部门碰到数据问题，直接在系统上提交，治理团队能实时收到提醒处理，不用像原来一样到处打电话找人。这个轻量化工具上线之后，数据问题的响应速度比原来快了三倍，很多小问题系统自动就处理了，不需要人工介入，省下了大量的人力成本，用起来也非常顺手，没人说复杂难用。整个第一阶段项目虽然拿到了预期的成果，但是推进过程中也暴露出了不少问题，有很多我们一开始没想到的坑，这些经验教训比成果更值得总结。3实施过程中的问题反思3.1初期严重低估了业务侧的配合成本我最深的一个感受就是，数据治理从来不是技术部门一个人的项目，核心难点从来都不是技术，而是跨部门协调。我们一开始做计划的时候，以为每个业务线出两个人，每周抽半天时间就能搞定，结果刚开始推进的时候，碰了一鼻子灰：业务部门本来日常业绩压力就大，大家都觉得数据治理是技术部门的事，和我没关系，要么派个新人过来应付，要么说没时间开会，项目进度直接拖了两周。后来我们才调整思路，不去硬推，先找痛点最突出的运营部门，先帮他们解决重复会员的问题，让他们实打实看到，治理完之后能省几十万的营销费用，他们一下子就积极了，主动加派人手配合。后来我们又给每个部门的负责人算帐，说治理完之后你们对账盘点能省好几天的人工，能把时间腾出来做业绩，大家才慢慢重视起来。这件事给我的教训就是，推进数据治理，一定要先给业务讲清楚能拿到什么好处，调动大家的积极性，不能拿着公司的文件硬压，硬压的结果就是大家应付你，最后做出来的东西也不好用。3.2技术落地初期陷入了“功能堆砌”的误区一开始我们做工具的时候，总想做的大而全，觉得功能越多越专业，加了好多看起来很厉害的功能，比如复杂的数据血缘分析、多维度数据价值统计，结果做出来第一个版本给业务部门用，人家说我们就想查个标准报个问题，这些复杂功能根本用不上，而且整个系统操作太麻烦，大家都不愿意用。后来我们痛定思痛，砍了百分之七十没用的功能，只保留了最核心的三个功能，做成现在这个轻量化的版本，一下子就好用了。其实说白了，适合自己公司发展阶段的才是最好的，第一阶段治理，核心是跑通流程解决痛点，不是做出来给老板看的高大上系统，技术千万不能自嗨。3.3最初差点把数据治理做成了“一锤子买卖”我们一开始定计划的时候，真的以为项目验收完就结束了，把数据清完标准定完就完事了，后来快验收的时候，一位做了多年数据的老领导提醒我们，数据治理是持续性的工作，不是一锤子买卖，今天你清完了，明天新入职的员工不懂标准，录入新数据还是会错，过个一年半载，数据又乱了。我们才反应过来，赶紧补了长期运营的规则，给每个业务线定了数据质量的考核指标，每个月出数据质量报告，不合格的要求限期整改，这才补上了最大的漏洞。现在想想真的挺后怕，如果当时没补这块，估计再过两年，我们又要重新做一次治理，浪费大量的时间精力。总结了前面的经验和问题，我们也明确了接下来数据治理的推进方向，整个工作还要继续往下走，不断优化完善。4后续优化与推进方向4.1逐步拓展数据治理的覆盖范围第一阶段我们只覆盖了四个最核心的业务域，接下来我们会把经验复制，慢慢拓展到供应商、财务、人力等其他业务域，用两到三个阶段的时间，实现全集团核心业务数据的标准统一，让各个部门都能享受到数据治理带来的好处。现在核心域跑通了，流程和方法都验证过了，后面拓展起来会顺利很多。4.2完善长期运营机制，推动业务侧数据自治接下来我们主要要把运营机制做实，给每个业务线设一个专职的数据联络员，专门负责本部门的数据治理问题，定期做标准培训，让业务部门自己就能解决日常的小问题，不用什么都找中心治理团队。同时每个季度开一次全集团的数据治理复盘会，梳理新问题，分享好经验，把数据治理从一个项目变成日常的工作，融入到业务流程里，从根源上减少新的脏数据产生。4.3按需迭代治理工具，逐步升级能力现在的轻量化工具够用，但是后续随着治理范围扩大，业务需求变多，我们会逐步迭代功能，不会一下子搞大动作，都是根据业务的实际需求，慢慢加功能，比如后续大家需要数据血缘分析，我们再加，需要数据价值统计，我们再开发，保持小步快跑，不搞技术自嗨。小结总的来说，这大半年的数据治理实施工作，给我最大的改变就是原来我觉得数据治理是高大上的技术项目，是做给管理层看的政绩，现在我明白，数据治理本质上就是给企业理清楚数据的“家底”，给业务打基础