内部审计和风险管理相关的数据分析思路

内部审计和风险管理相关的数据分析思路一、分类及概述企业的内部审计和风险管理相关工作中，常常需要做一些数据分析，分析的对象包括来自企业的业务、财务和信息系统等各个方面的各种类型的数据。常见的数据分析工作，根据目的不同，主要可以分为以下三种类型：1、 辨识性分析。即从大量、复杂数据中通过筛选、统计、分类、格式化、标准化等处理辨识出符合特定条件的数据记录（这些记录本身就存在于原始数据之中）。这种分析在思路和逻辑上没有什么难点，往往更加依赖具体的数据处理技术。比如我之前做的拆分报销统计；2、 推演性分析。即通过归纳现有数据的分布、变化趋势等特征和不同数据之间的内在联系，结合对数据环境（context）和对业务本身的理解，运用特定的因果链来发掘某个事件的原因、本质，或者预测其趋势、后果。这种分析需要对影响数据的各种内部、外部因素有一个全面的了解，同时在推演逻辑完备性上要足够严谨。比如霓君和晓凌之前做的客户R值变化原因分析，以及营销部门经常做的市场预测等；3、 评价性分析。即通过对多个现有数据的特征和多个数据之间联系，选取一定的参照系，对一套机制或一种现状的优劣、效率、效益等抽象指标进行量化评价，得出评价结论。这种分析往往需要非常严谨地识别出分析对象的纬度、量化方式等，还要合理设定抽样方法，定义指标量，从而得出量化结果。比如我最近做的审批限额设置分析等。二、常见难点及应对思路上述三种类型的数据分析实际工作中，有一些共同的、常见的难点，对这些难点和应对的思路总结如下：1、 原始数据质量问题数据质量问题主要有两个方面：一是数据不完整（记录、字段缺失），格式不统一，特征不易识别（开放性字段过多）等；二是数据冗余，影响分析的例外情况多并且难以批量剔除；a首先从获取数据的源头努力设法解决，比如与RD同事沟通，提供更符合要求的数据等； b对有问题的记录进行观察，看是否存在规律或共同特征，根据这些特征进行修复（比如日期显示错误，可以通过按统一格式转换等方法）； c对于以数值为关键字段的问题记录，可将其“中性化”处理，即估算正常记录的平均值，然后所有错误、缺失记录全部以该平均值取值，从而尽量减少对数据整体数值的影响； d无法通过上述步骤解决的记录，需要对记录条数和所涉金额、数值等进行统计，如果所占比率不大，对最终分析结果影响较小，可以考虑直接删除。对于需要在分析中排除的例外、冗余数据，在充分考虑情况下的可以更多地运用技术手段进行筛选和剔除。2、 数据关联性、一致性问题多个不同来源数据之间难以匹配、关联，或者各个数据文件内部逻辑不一致，或者需要在多个变量之间建立函数关系时，线性或非线性回归结果不理想等；a造成相关性弱或不同来源数据逻辑不一致的一种常见原因，是因果链上的主因未准确辨识，或者因素未充分分解，需要用“因素分解法”将主因识别出来，然后视情况不同，有时需要再提取过渡数据或通过上述推演分析法建立过渡数据，使得多个不同来源数据之间能通过一个统一的主键联结起来；b当回归分析效果不好时，通常由两个方法：一是通过分割小区间汇总或按一定规律间隔取数来将数据“粗化”处理，得到更易回归的数据形态；二是将数据在拐点处分段，分别进行回归分析，得到一个分段函数。3、 抽样方法设计问题对于大量、复杂数据进行抽样分析的时候，受到工作量的限制，难以找到合适的抽样方法来最大程度降低抽样风险，最高效率的拿到有质量的样本；a通过传统的分层抽样法或非均匀随机抽样法（略）；b通过迭代抽样法分批抽样。也即先依据计划的工作量设定抽样总量，然后用分层抽样法抽取第1批极少量样本，根据结果中不同性质样本在不同层的分布情况，设计第2批的分层抽样比例，第2批抽取稍多一点的样本，以此类推，直到完成事先设定的抽样总量。4、 外生变量的引入、阈值的设定和新指标量的定义等问题这几个问题涉及到更多的主观判断，与经验、知识等都有关系，而且会直接影响数据分析最终结果的有效性。但是不同的主观判断之间，也会有优劣之分，通过逻辑和数学的方法求得最优解是问题的关键。 a外生变量的引入，应当在对大量同类数据进行实验性回归分析或模拟推演的基础之上，确定会直接影响业务目标达成、实际数据发展趋势的因素作为外生变量，其中，外生变量与分析对象的相关性系数要足够高才可以引入；b阈值的设定，往往是指在一系列连续分布或近似连续分布的数据中，选取一个或多个适当的数值作为衡量或判断标准，从而人为设定“从量变到质变”的转折点。因此，要设定阈值，首先要选取两个相关变量，建立他们的函数关系（确保是连续可导函数或近似连续可导函数），然后通过数学方法（如求导或求二阶导）找出函数曲线的拐点，作为阈值；c新指标量的定义，需要明确一点：该新指标量是分析对象原始数据的内生变量，而非外生变量，它只是原始数据内部进行一系列复杂演算表达式的一个较为直观的简化符号，而不是生造出来的变量。新指标量必须直接指向数据分析的目标，成为连接原始数据和最终目标之间的桥梁。对于数据分析中的外生变量和新指标量，须严