行业培训数据质量体系

2017.04烟草行业（卷烟工业企业）设备管理信息系统项目

数据统计分析及数据质量保障体系介绍了解总公司数据质量工作开展的思路、方法；数据质量保障体系了解总公司数据核查工作的依据（数据检查校验规则库）；了解总公司后续巡查、抽查工作的具体内容。培训交流目标支撑行业设备管理工作的唯一一套法定的权威的统计数据举行业之力来源行业用于行业专用于设备管理业务行业唯一企业唯一……有法可依行业发布

随着系统应用的逐步开展，数据上报不及时、不完整、不准确的问题逐步显露，制定完善的数据校验规则与检查办法显得日益迫切。

10001000

为了更科学、全面、便捷的分析、查找、评估和解决系统各环节的数据质量问题，保证数据上报的及时性、准确性和完整性，需要构建一套相对系统、高效、完备的数据质量保障体系，加强数据质量管理，提高系统统计分析的准确性，是充分发挥系统功能与作用的重要辅助支撑。数据质量问题是什么？数据质量的衡量标准是什么？解决数据质量问题的切入点和抓手有哪些？如何保障数据上报过程中，尽可能不出现数据质量问题？如何发现数据质量问题？如何保证数据质量问题能够被处理？是什么解决数据质量问题为什么这么难？为什么怎么办

台账：设备名称、型号、能力等属性是否准确；

运行：8张运行报表数据上报是否准确。

台账：设备数量、设备信息属性等是否完整；

运行：是否漏报部分设备，是否漏报指标；

月报：次月15日中午12点之前上报至总公司；年报：次年3月1日中午12点之前上报至总公司。数据质量问题的评判依据如何评判数据质量情况？及时性完整性准确性数据质量真实？正确？规范？……？属性指标数量补报当月不报失真失误数据上报的及时性判定数据质量问题的评判依据：及时性月报：次月15日中午12点之前上报至总公司；年报：次年3月1日中午12点之前上报至总公司。数据上报的完整性判定横向比较数据质量问题的评判依据：完整性1、系统内部数据间比较2、与外部数据源比较台账数据1、与实物是否符合？3、与其他信息系统中台账数据、固定资产数据是否一致？[现场核查]4、与购置合同数据是否一致？与调拨、报废等审批数据是否一致……运行数据1、与台账比，是否所有设备都上报？2、报表间数据比：有消耗为何没产量？有产量为何没运行时间……2、该有的信息是否为空？3、与企业其他系统数据是否一致？[现场核查]4、与行业其他系统的数据是否一致？存在的差异是否处于合理范围？5、……数据准确性判定数据质量问题的评判依据：准确性260多个校验规则原始属性直接校验绩效指标间接校验多数据源横向校验时间变化异常纵向校验根据实际适当调整，提高准确度，如SD检验合格率。《烟草行业（卷烟工业企业）设备管理信息系统数据校验规则库》生产产成品规格互斥检查检查项单位产量设备维持费用单位产量设备维持费用<=30;规则编号检查每台设备生产的卷烟规格是否同时生产细支烟和非细支烟。校验规则（合理范围）209307卷接机组有产成品量无运行时间卷接机组有产量，查找对应的年月的卷接设备运行月报是否有该设备的运行时间308卷接机组有产成品数量无消耗310卷接机组有产量，查找对应的年月的卷接设备运行月报是否有该设备的盘纸和滤棒的消耗数据。卷接机组有产量无SD值312卷接设备产能贡献率〉=30%318<100%卷接设备运行效率〉=60%<100%烟叶单耗331324〉=5<9盘纸耗损率335〉0<3%《烟草草行行业业（（卷卷烟烟工工业业企企业业））设设备备管管理理信信息息系系统统数数据据校校验验规规则则库库》制丝线主要设备（烘丝机）故障停机率检查项规则编号校验规则（合理范围）1224当月指标与上月比，波动不超出之前连续五个月波动平均值的30%；滤棒耗损率当月指标与同中烟其他各企业的差异，上下波动不超过30%以上；（即与本中烟其他卷烟厂中最高最低比，高或者低30%以上）1288硬盒包装设备运行效率1220当月指标与同中烟其他各企业的差异，上下波动不超过30%以上；（即与本中烟其他卷烟厂中最高最低比，高或者低30%以上）解决决数数据据质质量量问问题题为为什什么么这这么么难难？？为什什么么持续续A变化化B点多多C量大大D导致数数据质质量问问题产产生的的原因因多样样，业业务变变化、、人员员调整整、工工作失失误等等都有有可能能导致致数据据质量量问题题，这这些问问题具具有随随机性性和偶偶发性性，不不会随随时间间发展展而消消失，，因此此数据据质量量工作作也需需要严严密的的制度度、持持续的的关注注和高高度的的责任任心。。数据质质量问问题的的变化化性较较强、、差异异性大大，不不同时时期体体现出出的数数据质质量问问题不不一样样，不不同企企业的的数据据质量量问题题也不不同。。同一一数据据在单单个企企业的的不同同时期期、机机台和和不同同企业业之间间的差差别也也很大大。系统的的来源源分散散，涉涉及面面广。。主要涉及到到卷烟烟厂、、中烟烟、总总公司司多个个层级级，企企业内内部涉涉及到到车间间、设设备管管理、、生产产管理理、质质量工工艺、、财务务、备备件等等不同同部门门，管管理环环节较较多，，出现现数据据质量量问题题后，，问题题的排排查、、定位位与沟沟通解解决的的难度度较大大。设备采采集粒粒度到到天、、班次次、机机台，，涵盖盖了生生产、、设备备、质质量、、财务务、消消耗等等多方方面数数据，，采集集量较较大，，数据据出现现问题题概率率高，，问题题排查查工作作量大大，相相互之之间的的逻辑辑校验验规则则也很很多。。解决数数据质质量问问题的的切入入点和和抓手手有哪哪些？？如何发发现数数据质质量问问题？？如何何保证证数据据质量量问题题能够够被处处理？？怎么办办如何保保障数数据上上报过过程中中，尽尽可能能不出出现数数据质质量问问题？？数据质质量技术增值形成三三级组组织1、卷烟烟厂2、中烟烟3、总公公司制度组织企业自查总公司核查不定期巡查通报等制度系统运行管理办法短信平台数据集成数据自动校验CA技术自动化智能化解决数数据质质量问问题的的切入入点和和抓手手有哪哪些？？从业务务出发发，在在业务务各环环节各各节点点均设设置具具体数据质质量保保障方案，，环环环相扣扣，最最终形形成““一条条主线线”和和“一一个闭闭环””相结结合的的数据据质量量保障障体系系，实实现数数据质质量问问题在在事前前、事事中、、事后后的全全覆盖盖。一条主主线指数据据从卷卷烟厂厂填报报到总总公司司审核核的这这条数数据生生成主主线，，涉及及到这这条数数据流流主线线的每每一个个环节节，均均环环环相扣扣、层层层把把关，，每个个环节节都有有对应应的质质量手手段以以确保尽尽可能能不出出现数数据质质量问问题。一个闭闭环对数据据质量量问题题要有有充分分的发发现与与处理理机制制，并并从问问题检检查发发现、、问题题反馈馈、问问题核核实整整改、、问题题跟踪踪等各各方面面着手手，构构建一一个闭闭环的的问题题跟踪踪处理理流程程，以以确保数数据质质量问问题得得到有有效整整改。一条主主线卷烟厂厂自查查中烟审审查总公司司核查查卷烟厂厂作为为数据据上报报工作作的起起点，，是数数据流流产生生的源源头，，对数数据质质量起起着至至关重重要的的作用用。规范解解读数据接接口数据填填报数据校校验数据分分析卷烟厂厂自查查：怎怎么做做？从根本本上降降低数数据上上报工工作量量、提提升数数据上上报质质量。。按照企企业生生产经经营的的实际际情况况报送送真实实数据据。数据上上报时时点击击“数数据校校验””按钮钮，对对填报报数据据进行行校验验检查查。数据上上报完完成后后，刷刷新统统计数数据，，查看看所填填数据据的统统计结结果。。数据校校验卷烟厂厂自查查：怎怎么做做？数据上上报时时点击击“数数据校校验””按钮钮，对对填报报数据据进行行校验验检查查。卷烟厂厂自查查：怎怎么做做？数据分分析数据上上报完完成后后，刷刷新统统计数数据，，查看看所填填数据据的统统计结结果。。异常数数据红红色字字体标标注!中烟作作为数数据上上报工工作的的主要要负责责者，，对数数据质质量起起着重重要的的把关关作用用。规范解解读数据接接口数据审审核数据校校验数据分分析中烟审审查：：怎么么做？？从根本本上降降低数数据上上报工工作量量、提提升数数据上上报质质量。。对数据据质量量严格格把关关，确确保上上报数数据准准确可可靠。。数据上上报时时点击击“校校验””按钮钮，对对审核核数据据的准准确性性进行行校验验检查查。刷新统统计数数据，，查看看中烟烟数据据的统统计结结果。。规则库库完善善数据核核查数据报报告总公司司核查查：怎怎么做做？总公司司作为为数据据使用用者、、行业业数据据发布布者，，对数数据质质量进进行最最终核核查。。1、持续续丰富富并完完善数数据校校验规则库库；2、不断断完善善数据质质量管管理平平台的功能能。1、对各各单位位上报报数据据进行行逻辑性性检查查；2、不定定期对对各单单位数数据进进行现场核核实。1、对各各单位位每月月上报报数据据发布布月度检检查报报告；2、对各各单位位数据据上报报情况况进行行行业通通报（半年年、季季度））。逻辑检查抽查巡查总公司司核查查：逻逻辑检检查上报及及时性性检查查使用数数据质质量管管理平平台的的上报报情况况统计计、重重报情情况统统计，，对于于未及及时上上报的的报表表和重重报后后未及及时上上报的的报表表检查查出来来，及及时通通过短短信平平台等等方式式提醒醒相关关企业业进行行报表表补报报和重重报工工作。。检查目的检查手段检查结果企业是否及时上报报表？通过上报情况统计功能，检查未及时上报数据的企业，通过短信平台提醒相关企业关系人。提醒后依然未上报的在《数据质量报告》中提醒。企业已上报报表是否正常处理？检查服务器上是否存在中烟已上报但是未正常入库的文件。如果存在，需将该文件入库。发现问题，直接解决总公司司核查查：逻逻辑检检查数据准准确性性检查依据《数据校校验规规则库库》进行检检查，，对上上报数数据偏偏高、、偏低低、为为负等等异常常或逻逻辑性性错误误体现现在《质量检检查报报告》中，并并及时时将质质量检检查报报告发发放到到各中中烟；；同时时借助助系统统外数数据，，检查查数据据的准准确性性，如如设备备原值值变化化与大大项修修维改改系统统的对对比、、产成成品数数量与与消耗耗数据据的比比对等等。检查目的检查手段检查结果通过数据校验规则库检验数据，查找异常数据。确保数据逻辑上合理。通过数据质量检查平台[数据质量报告生成]功能，自动生成企业的数据质量报告；并进行核实。问题数据在《数据质量报告》中体现，并在《数据质量问题跟踪处理记录表》中登记。利用系统外数据校验上报数据的准确性是否存在问题。人工检查系统内数据与系统外数据的一致性。将问题数据在《数据质量报告》中体现。总公司司核查查：逻逻辑检检查数据完完整性性检查总公司司通过过系统统外能能获得得的资资料作作为数数据完完整性性检查查对照照数据据源，，如台台账报报废、、调拨拨等状状态检检查可可结合合国家家局相相关文文件进进行系系统内内变更更情况况检查查，新新购设设备可可结合合新机机购置置计划划相关关文件件进行行系统统内新新增台台账检检查等等。数据源头检查目的检查手段检查结果报废、调拨等国家局相关文件确定报废、调拨设备是否及时在行业设备管理系统内进行了变更。查询行业设备系统中的相关设备的状态；核实是否及时在系统内进行变更。问题或者疑问记入到《数据质量报告》,提请企业反馈。新机购置计划等国家局相关文件确定新购设备是否及时在行业设备管理系统内进行了上报。检查系统内是否有新机上报。核实与行业文件的情况是否一致。总公司司核查查：抽抽查和和巡查查总公司司将根根据《《信息息系统统运行行管理理办法法》及及各级级企业业数据据上报报情况况，不不定期期进行行现场场抽查查或组组织行行业互互查、、巡查查。总公司司抽查查、巡巡查前前：撰写工工作计计划，，确定定抽查查/巡查企企业、、抽查查/巡查方方式、、参与与人员员、检检查项项、检检查时时间；；总公司司抽查查、巡巡查后后：形成《数数据质量量抽查/巡查报告告》。检查项将将会依据据企业实实际上报报情况来来进行设设置总公司核核查：抽抽查和巡巡查检查项（1）口径核核实（2）设备台台账检查查（3）卷烟产产成品数数量、残残次品数数量检查查（4）设备运运行时间间检查（5）卷接机机组SD值检查（6）原料消消耗、制制丝产量量检查（7）辅料消消耗检查查（8）成本、、费用数数据检查查总公司核核查：抽抽查和巡巡查检查项（1）口径核核实核实指标核实问题设备台账额定能力卷接包机组上报的额定能力是否是设备铭牌上的能力？烘梗/丝机的额定能力是如何确定的？设备台账改造后设备能力卷接包机组上报的改造后设备能力是否都有大项修改造合同？行业固定资产编号现在是否采用了22位的企业固定资产编号的编码方式？都什么设备采用了此编码方式？原行业固定资产编号原行业固定资产编号（16位）是否存在？是否还继续应用此编码方式编号？企业信息系统设备编号此编号来源于哪个企业系统？总公司核核查：抽抽查和巡巡查检查项（2）设备台台账检查查设备类型检查项检查目的检查内容卷接机组台账检查设备数量、企业设备型号、原行业固定资产编号、行业固定资产编号、企业设备型号、国产/进口属性、设备状态、额定能力、改造后设备能力、设备资产原值、转固日期、投入使用日期、制造商、出厂编号确保设备数量、型号、状态、能力等属性完整和准确。1）查询企业设备台账；2）查看企业车间现场设备；3）查询行业设备管理信息系统设备台账；4）核实台账数量、台账属性是否一致、是否正确。总公司核核查：抽抽查和巡巡查检查项（3）卷烟产产成品数数量、残残次品数数量检查查设备类型检查项检查目的检查内容卷接机组产成品规格、产成品数量确保上报的产成品规格和数量无误。1）企业阐明《产成品月报》各卷接机组的产成品规格的数量口径；2）查询行业设备管理系统《产成品月报》；核实对应生产的卷烟规格的烟支周长、烟支长度、滤嘴长度是否正确；3）查询企业生产系统产量数据；4）核实行业设备系统与企业生产系统数据是否有差异。残次品数量确保残次品数量无误1）查询企业系统中关于残次品数量的记录；2）查询行业设备管理系统中的残次品数量；3）核实是否一致。手工包装烟企业是否存在手工包装烟？包装过程是怎样的？核实手工包装烟是否计入包装机组产成品数量。1）如果是包装机组包装白条烟的情况，应计入包装机组产成品数量；2）如果小盒、条盒均由手工包装，则不计入包装机组产成品数量。总公司核核查：抽抽查和巡巡查检查项（4）设备运行行时间检检查设备类型检查项检查目的检查内容卷接机组外部因素停机工时确保指标口径和数值正确1）核实企业填报口径？2）确定企业数据来源；3）查询行业设备管理信息系统指标数据；4）核实二者是否一致。换牌时间设备换牌时间是如何统计的？保养时间设备保养时间是如何统计的？停机就餐时间1）核实企业就餐是否确实停机？2）核实企业就餐停机时间；3）查询行业设备管理系统停机就餐时间，确定是否正确。保养时间1）核实企业保养时间的上报口径？2）是否是制度工时内的保养时间？总公司核核查：抽抽查和巡巡查检查项（5）卷接机组组SD值检查设备类型检查项检查目的检查内容卷接机组SD值确保SD值正确。1）口径核实：是来源于过程检验的月度算术平均值还是其他质检过程？原始数据来源于综合测试台还是其他什么系统？2）导出综合测试台的过程检验的SD值；3）核实SD值的计算过程，看是否剔除了过程检验中的无效数据。烟支重量标准偏差检验合格次数确保烟支重量标准偏差检验合格次数正确。１）核实企业填报时判断合格的标准。总公司核核查：抽抽查和巡巡查检查项（6）原料消耗耗、制丝丝产量检检查检查项检查目的检查内容制丝车间原料投料量确保制丝车间原料投料量正确1）核实企业的指标口径，核实数据来源。2）核实数据是否正确成品烟丝产量确保成品烟丝产量正确1）核实企业的指标口径。成品烟丝产量是否包含工艺研发的烟丝产量？外供烟丝有没有包含在内？2）查询企业生产系统中成品烟丝产量；3）查询行业设备管理系统中成品烟丝产量；4）核实二者一致？期初成品烟丝产量确保期初成品烟丝产量正确1）查询企业生产系统数据；2）查询行业设备管理系统中期初成品烟丝产量值；3）核实二者是否一致？烟丝单耗确保烟丝单耗正确1）核实企业烟丝单耗值；2）查询行业设备管理系统计算的烟丝单耗；3）比较企业的烟丝单耗值与行业系统差异，确定差别原因。总公司核核查：抽抽查和巡巡查检查项（7）辅料消耗耗检查设备类型检查项检查目的检查内容卷接机组实际卷烟成品盘纸消耗总量确保实际卷烟成品盘纸消耗总量准确1）核实企业实际卷烟成品盘纸消耗总量计算口径？2）查询企业信息系统值；3）查询行业设备管理系统值；4）核实二者是否一致。实际卷烟成品滤棒消耗量确保实际卷烟成品滤棒消耗量正确企业自查查重点自查项目目（1）核实企业业设备系系统中卷卷接、包包装机组组在建、、在用设设备组数数、设备备型号、、设备状状态、额额定能力力、改造造后能力力、制造造商等属属性与行行业设备备管理系系统是否否一致；；（2）核实卷接接包车间间现场卷卷接、包包装机组组设备组组数、设设备型号号、设备备状态、、额定能能力、改改造后能能力、制制造商等等属性与与行业设设备管理理系统是是否一致致。（3）核实企业业系统中中（MES/ERP等）的各各卷接机机组的产产成品规规格、数数量、运行时时间、原原辅材料料消耗、、质量等等数据与行业设设备系统统上报数数据是否否一致。。……一条主线线卷烟厂自自查中烟审查查总公司核核查一个闭环环总公司卷烟厂中烟填报接收数据据数据审核核上报数据检查查上报接收数据逻辑校验生成数据质量报告报告下发问题分析工作安排数据核实反馈整合结果反馈反馈接收整理理问题整改整改跟踪（重报）（现场核查）（备案）企业自查总公司核查检查报告核实修正上报跟踪处理流程程检查基于规则库、数据据质量管理平平台，自动校验各各单位上报数数据的准确性性。逻辑校验实际小于理论论属性值为空运行效率偏低低、高辅料耗损率为为负月报与明细不不符……1跟踪处理流程程报告该报告通过对对各单位数据据上报的及时时性、完整性性和准确性进进行检查，将将可能存在问问题的数据进进行提醒标注注（也可能实实际情况就是是如此），并并初步分析问问题原因，以以帮助企业进进行数据问题题排查。数据质量检查查报告平台自动

生成报告人工调整项目组审核项目办审核发布报告2跟踪处理流程程核实中烟需组织各各卷烟厂对项项目办发布报报告中各项问问题进行核实实。异常值分析计算逻辑辑及原始指标标发现或定性问问题月度报告是问题报项目办并备备案，后续报告中不不再体现不是问题企业修正，总总公司跟踪进进度3跟踪处理流程程修正发现数据问题题后，1、业务问题：：根据业务实实际，修正业业务