数据仓库管控准则

数据仓库管控准则我干数据仓库相关的工作快十年了，见过太多企业一开始投入大量资源搭数据仓库，想把分散的数据攒起来做分析、支撑业务决策，结果用个两三年就变成了没人敢用的“数据垃圾堆”：同一个指标三个部门出三个数，找一张表要问三四个老员工，冷数据占着高额存储费舍不得删，出了数据问题没人认账，甚至还出过敏感数据泄露的风险。其实绝大多数问题都不是技术能力不够，而是从一开始就没建立清晰的管控规则，大家随心所欲用数据，最后自然乱成一团。这篇准则是我和身边同行踩了无数坑总结出来的，不管是刚搭仓库的新企业还是已经陷入混乱的老项目，照着做都能理顺数据仓库的秩序，让数据真正变成可用的资产。1总则总则是整个管控体系的基础，所有后续规则都要围绕这个基础展开，不能跑偏。1.1管控目的数据仓库管控的核心目的不是给大家添堵、设门槛，而是四个核心目标：第一是保证数据可信，让所有人用数据的时候都能确认这个数的口径、来源是对的，不用反复扯皮核对；第二是提升使用效率，统一标准后找数据、用数据的时间能节省一半以上；第三是控制成本，避免冗余存储、无效计算浪费企业资源；第四是守住安全合规底线，避免出现数据泄露、违规使用的风险。1.2适用范围本准则适用于企业内部所有数据仓库场景，不管是自建私有数据仓库，还是依托云服务搭建的公共数据仓库，覆盖所有接入数据仓库的数据集、所有访问使用数据仓库的人员，包括开发人员、数据分析人员、业务人员、管理层，所有人都要遵守。1.3核心管控原则整个管控体系要坚持三个不变的原则，所有规则调整都不能违背这三点：1.3.1谁产出谁负责原则任何接入数据仓库的数据，都必须有明确的归属负责人，从口径定义、质量维护到变更下线，全流程都由负责人牵头负责，不能出现数据没人管的情况。这真的是踩坑踩出来的经验，我之前待过的一家公司，曾经出现过运营临时传了一张活动数据，用完就没人管了，半年后财务做核算用了这张错的数据，亏了几十万都找不到责任人，就是因为一开始没定负责人。1.3.2统一标准原则所有数据的命名、口径、分层都要走统一标准，不允许任何部门或个人自搞一套，同一个指标只能有一个官方口径，避免出现“数出多门”的问题。1.3.3最小够用原则不管是权限还是存储，都只给满足需求的最小范围，不开放超额权限，不保留无用数据，从根源上降低风险和成本。明确了管控的基本方向和原则之后，接下来就要落实到数据从进入到退出的全生命周期每个环节，这是管控的核心抓手，每个环节都有明确的操作准则。2数据全生命周期管控准则数据从接入到下线，每个环节都要管控到位，不能有漏洞。2.1数据接入准入管控接入是第一道关口，把不好这关，后面再怎么整理都费劲。2.1.1接入申请审核任何数据要接入公共数据仓库，都必须提前提交正式申请，申请里要写清楚数据的来源、业务用途、更新频率、敏感级别、负责人联系方式，没有申请或者申请信息不全的，一律不允许接入。很多人觉得这个流程麻烦，其实就是挡掉了很多无效的测试数据、临时数据，避免这些垃圾数据占空间还误导人。我就见过有人把本地调试的测试数据不小心上传到公共仓库，结果给高管做季度汇报的时候用错了数，差点出大问题，要是有准入审核，这种事根本不会发生。2.1.2元数据规范对齐申请通过之后，接入之前必须按照统一规范整理元数据：命名必须符合“业务域_主题域_分层_表描述”的格式，禁止用无意义的数字编号、拼音简写或者模糊名称，比如用户业务域用户主题的DWD层明细信息表，就得命名成uc_user_dwd_base_info，不能叫user123或者我的新表；每个字段都必须写清楚清晰的中文注释，说明这个字段代表什么业务含义、取值规则是什么，不允许留空注释或者写只有自己看得懂的注释。2.1.3接入完成验收数据接入完成后，负责人要自己先做验收，再提交管控组抽检，验收要核对接入的数据量和源端是不是一致，核心字段的空值率、格式是不是符合要求，核心指标的计算结果是不是符合业务预期，验收合格才能正式对外开放使用，不合格的打回重新调整。2.2数据存储管控接入完成进入存储阶段，存储管控做好了能省很多钱，也能提升查询效率。2.2.1分层存储规范必须严格按照数据仓库的分层规则存数据，ODS层只能放原始接入的源数据，不允许做修改，保留原始数据可回溯；DWD层存放清洗脱敏后的明细数据，做统一的维度对齐；DWS层存放按照主题汇总的轻度聚合数据，供各个分析场景使用；应用层只存放面向特定应用的结果数据，不允许跨层乱存数据，更不允许把原始敏感数据直接放在应用层给业务人员随意访问。2.2.2冷热数据分级存储按照数据的使用频率划分冷热，最近半年经常被访问的热数据存放在高性能存储介质，半年到两年内偶尔访问的温数据存放在中等成本存储，超过两年几乎没人访问的冷数据，要做离线归档，挪到低成本存储里，既不丢数据又能节省成本。我之前那家公司，三年前的老活动数据还占着高性能SSD存储，每个月光存储费就多花十几万，就是因为没做冷热分级，这个教训真的记一辈子。2.2.3冗余数据清理同一个逻辑的数据只允许保留一份权威版本，不允许不同部门各自存储相同逻辑的数据，要是发现重复冗余的数据，管控组要通知负责人统一合并下线，避免大家不知道该用哪个。2.3数据使用管控使用是大家接触最多的环节，规则清晰能避免很多矛盾。2.3.1权限按流程申请所有访问数据仓库的权限都必须按流程申请，说明申请数据的用途，审批通过之后才能开通，不允许私自共享账号、借用权限，也不允许超范围申请权限。很多人觉得给全库权限用着方便，我见过刚毕业的开发不小心跑了错的语句，删了半张公共表，全公司的报表都断了，找都找不到原因，所以权限管控真不是形式主义。2.3.2口径一致性要求所有对外发布、用于决策分析的数据，必须使用官方统一的口径，不允许私自修改口径计算数据之后对外发布，如果对现有口径有异议，可以找口径负责人提修改建议，讨论通过更新官方口径之后才能用新的，不能自己搞一套私下用。好多部门之间因为指标数对不上吵架，90%都是因为有人不用统一口径自己算，这个规则定死了能省好多沟通成本。2.3.3敏感数据导出管控敏感数据导出必须提前申请，留下导出记录，不允许私自把敏感数据导出到数据仓库之外的地方，更不允许传给企业外部的人员。2.4数据下线管控不用的数据要及时下线，别留着占地方，下线也要按规则来，不能坑了正在用的人。2.4.1下线提前通知要下线任何公共数据，都必须提前至少半个月发通知，通知到所有已经申请使用这个数据的用户和相关部门，给大家留足时间迁移切换，不能说下就下，人家报表跑着一半突然断了，耽误正事。2.4.2下线前备份下线之前必须把数据完整备份到离线存储里，保留足够长的时间，万一后续需要回溯还能找回来，确认没问题了再正式删除在线存储的数据。2.4.3下线后标记更新数据下线之后，要立刻在元数据平台标记清楚这个数据已经下线，说明下线时间和原因，避免新的用户还过来找这个数据，浪费时间。全流程的操作规则定清楚了，还得明确谁来做这些事，权责分清楚了规则才能落地，不然就是一纸空文。3角色与权责管控准则所有参与数据仓库的人员都要明确自己的权责，各负其责才能把管控做好。3.1数据仓库管控组管控组是整个管控体系的组织者，主要负责三件事：第一是制定、更新管控准则，根据业务和技术的变化调整规则，解答大家关于管控的疑问；第二是审核各类接入、下线、权限申请，做日常的合规巡检，发现违规使用及时纠正；第三是做好服务，定期收集大家的痛点，优化流程，给大家做培训，我一直觉得管控组不是“抓人的”，是给大家服务的，帮大家少踩坑，少出问题，不能把自己变成流程的绊脚石。3.2数据负责人每一个公共数据集、每一个官方指标都必须有明确的数据负责人，一般由对应业务域或者开发团队的人担任，权责也很清晰：第一是负责定义数据口径，更新维护元数据信息，解答其他用户关于这个数据的疑问；第二是负责监控数据质量，数据出问题了要第一时间修复；第三是数据要变更或者下线的时候，负责提前通知所有使用者，对接迁移工作。3.3数据使用者所有用数据的人也有需要遵守的权责：第一是严格按照管控流程申请数据和权限，不违规使用数据；第二是使用过程中发现数据有问题，要及时反馈给数据负责人，不能自己改完凑合用也不说，坑了后面用的人；第三是保管好自己的账号权限，不转借，不共享，避免出现账号乱用的问题。权责分清楚之后，还有一条不能碰的红线，就是安全和合规，这是所有管控的底线。4安全与合规管控准则安全合规出问题，整个数据仓库甚至企业都会受影响，所以必须严格遵守。4.1敏感数据分级管控所有数据按照敏感程度分成四个等级：公开级、内部级、敏感级、高度敏感级，不同级别对应不同的管控要求，公开级可以随便访问，内部级只能企业内部访问，敏感级需要专门审批，高度敏感级比如用户的隐私信息，除非有合规要求的特定场景，否则不允许存入公共数据仓库，就算要存也必须做全加密处理，只开放必要的查询权限，不允许导出明文。4.2坚持权限最小够用原则给权限的时候永远只给满足工作需求的最小范围，比如做运营活动分析的，只需要看到用户的群体特征，不需要拿到具体的个人身份证号、手机号，那就绝对不给这些字段的权限，从根源上降低泄露风险。4.3全流程审计留痕所有对数据仓库的访问、修改、导出操作，都必须留下完整的审计日志，日志至少保留规定的时长，出了问题可以直接追溯到具体的操作人、操作时间，避免出了问题找不到责任人。4.4符合监管要求所有数据的收集、存储、使用都必须符合国家的相关监管规定，不允许违规收集用户数据，不允许超出约定范围使用数据，更不允许私自把数据对外提供，现在监管要求越来越严，这个底线绝对不能碰，出了问题不管是企业还是个人都担不起。管控不是一劳永逸的，定好规则就不管了肯定不行，得持续优化调整，适应业务的变化。5运维与持续优化管控准则数据仓库是跟着业务成长的，管控规则也要跟着一起变。5.1日常运行监控管控组要做好日常的监控，每天检查数据同步有没有失败，数据质量有没有触发告警，存储和资源够不够用，出了问题要第一时间处理，不能等用户找过来了才发现问题，最好是把问题解决在用户发现之前。5.2定期数据盘点每隔半年要做一次全数据仓库的盘点，梳理清楚哪些数据没人用，哪些数据重复了，哪些数据质量问题很多，统一做清理优化，把没用的数据下线，把重复的数据合并，把质量差的数据修复，一直保持数据仓库的整洁。5.3管控规则迭代准则不是定下来就永远不变的，每隔一年要收集一次所有用户的意见，看看哪里流程太繁琐，哪里有漏洞，哪里不符合现在的业务情况，及时调整优化。比如我之前待的公司，一开始接入申请要走三层审批，非敏感数据也要等两三天，后来大家提了意见，改成非敏感数据只要数据负责人审批就行，效率一下子提上来了，规则就是要解决问题，不能抱着老规矩不变。5.4持续培训赋能新员工入职要做管控规则的培训，规则更新了也要给所有相关人员做培训，让大家都知道该怎么做，哪里找申请入口，找谁解决问题，不能大家都不知道规则，最后管控就成了只有管控组自己知道的摆设。总结总的来说，数据仓库管控的核心，从来不是为了限制大家用数据，反而是为了让大家能更放心、更高效的用好数据。我见