审计数据与数据挖掘技术分析概述

审计数据与数据挖掘技术分析概述

目录

审计数据与数据挖掘技术分析概述...................................................1

1.1审计数据挖掘..............................................................1

1.1.1合规审计概述........................................................1

1.1.2审计数据挖掘过程...................................................2

1.2关联规则算法分析.........................................................3

1.2.1关联规则概述........................................................3

1.2.2Apriori算法.........................................................4

1.2.3FP-growth算法......................................................6

1.2.4基于矩阵的Apriori算法..............................................8

1.3离群点检测算法分析.......................................................8

1.3.1离群点检测算法概述.................................................8

1.3.2基于K-means聚类的离群点检测算法..................................9

1.3.3基于LOF局部高群点检测算法.......................................10

1.3.4基于CLOF离群点检测算法..........................................12

1.1审计数据挖掘

1.1.1合规审计概述

在进行合规审计时,审计机关可以根据审计决定,对违反纪律的,

可采取经济制裁措施；对严重违反纪律的，可禁止其通过财政拨款、

银行贷款等措施获取资金支持。

根据武汉某会计事务所提供的活动数据。其中，活动数据作为审

计数据，活动作为审计对象，活动属性中的活动类型、活动部门、参

加活动人数、活动时间、活动支出等作为审计关注点。审计数据表总

共52个字段(Event_C3」d,Event_Status,Event_Process_Nanie,Event_

RAE_Functional_Area,Event_Created_Date,Event_Start_Date,

Meeting.Participants等)，数据具有离散、序数、连续和数值的属性。

课题研究合规审计的目的：从大规模的审计数据中，发现一般性

规律并找出审计疑点，实现更有效的抽样决策，从而安排审计人员到

现场进行合规检查，以发现是否存在不合规的现象。

合规审计的流程：

(1)审计准备阶段。首先，根据审计计划，审计项目经理筛选

出活动状态为Approved的活动数据。接着，根据审计关注点，如果

发现审计疑点，则安排审计人员进行现场合规审计；如果没有发现审

计疑点，则按照审计计划随机抽取审计样本，进行现场合规审计。

(2)审计实施阶段。首先，审计人员联系活动直线经理，到达

活动现场。然后，根据审计任务检查活动是否合规，记录审计结果。

(3)审计终结阶及。将合规审计任务和合规审计结果形成合规

审计报告，进行审计报备，至此，完成合规审计。

审计计划主要是计划每个月的审计样本的数量。审计任务是具体

的合规审计项目。审计项目：如活动时间，活动人数、活动部门、活

动类型和各种可能存在的违规行为。审计合规结果：0-无问题，1-有

问题。

审计疑点是指在审计过程中审计人员发现存在违背惯例、规定和

约定等各种现象。如，在审计活动数据时，发现审计数据的活动创建

时间和活动开始时间存在疑点。一般活动创建后，需要一定的时间间

隔去准备活动，所以活动开始时间与活动创建胫间具有一定的时间间

隔，但是如果活动创建时间和活动开始时间是同一天，即时间间隔为

0,则可以判定这项活动存在审计疑点。

1.1.2审计数据挖掘过程

审计数据挖掘的目的是，及时、准确地从数据海洋中挖掘出对审

计有参考意义的数据，以便审计人员做出最佳审计决策。审计数据挖

掘既要遵循数据挖掘常用步骤，也要参考审计领域中审计数据的特征,

从而选取合适的审计数据挖掘方法。审计数据挖掘过程具体如下。

(1)确定挖掘目标。重点在业务和数据理解，明确挖掘的目的。

业务理解，审计部门根据系统申请的活动，由于活动众多，考虑成本

因素，选取部分活动作为审计样本，进行现场合规审计，检查活动是

2

否合规。关键在于如何进行抽样，难点在于抽样决策。数据理解，推

广商的活动数据，包括活动C3编号、活动城市、活动创建时间、活

动开始时间、活动举办类型、活动部门和参加活动人数等。挖掘的目

的是为了发现审计数据的一般性规律和审计疑点，从而进行有效的抽

样决策，提高审计效率。

(2)准备数据。首先，计划需要挖掘的审计数据，根据相关业

务需要采集活动信息的数据。然后，对数据进行预处理。数据来源于

武汉某会计事务所提供的C3data数据表，总共52个字段。52个字段

主要有：Event_C3_IdtEvent_Status,Event_Process_Name,Event_

RAE_Functional_Area,Event_Created_Date,Event_Start_Date,

Meeting_Participants等。

(3)挖掘数据。根据客户需求和数据特征，对于序数属性的数

据，采用关联分析来发现一般规律；对数值属性的数据，采用异常分

析来发现审计疑点。

(4)结果分析。依据挖掘出的结果，分别对关联规则和异常点

信息进行知识的解释和说明，从而帮助审计人员更有效地实现抽样决

策。

1.2关联规则算法分析

1.2.1关联规则概述

关联规则的提出和应用，是针对购物篮分析问题。通过购物篮分

析，发现顾客购买尿不湿的时候，通常也购买啤酒，给零售商带来商

机。零售商将尿不湿和啤酒放在一起，刺激消费，增加销售量，获得

利润。通过关联分析，可以了解顾客的购物习惯，从而为他们开发更

好的营销策略僮。

根据韩家炜等网观点，关联规则中相关定义如下：

定义2-1关联规则可以表示为M=N的逻辑蕴含式，具中Mci,

NGI,且MnN=0o

定义2-2支持度是D中事务同时包含M、N的概率,见式(2-1)。

MUN

Stip(MtN)(2-1)

定义2-3置信度是D中事务已经包含M的情况下，包含N的概

率，见式（2-2）。

Co叮(MtN)=筌(2-2)

L2.2Apriori算法

Apriori算法是一种迭代的算法。在该算法中，存在多个概念，包

括项集、频繁项集和强关联规则。具体定义如表2-1所示。

表2-1Apriori算法相关定义表

名称定义

项集所有项目的集合

频繁项集满足min_sup的项集

强关联规则满足min_conf的频繁项集

Apriori算法的实现过程如图2-1所示。

4

为了对Apriori算法作更加详细的说明，下面举一个实例。数据

库事务集D如表2-2所示。

表2-2事务数据库D对应表

TIDTransaction

5

T111,12,15

T212,14

T312,13

T411,12,14

T511,13

T612,13

T711,13

T811,12,13,15

T911,12,13

假设最小支持度初值min_sup为2/9oApriori算法发现频繁页

集L1、频繁2.项集L2、频繁3-项集L3的过程如图2-2所示。

项集支持度计数候选支持度计项集支持度计数

扫描D,对每数与最小支持

01}6{11}6

个候选项计数度计数比较

{12}7►{□}7

{13}6{13}6

{14}2{14}2

{15}2-051______2_

集

集

支持度计数

2>・<f2>lL2

，lJ4

・

3p<f3>l集

，lJ

44候选支持度计支持度计数

n-4J1J2

»V14

由L1产生候5*扫描D,对每5}数与最小支持LJ3

.-»

选项3*个候选项计数32度计数比较4

C2->nILJ5

4.VJ42

、f412J3

5：lJ24

、f51zJ4

：/

4t422

91ZJ5

>/

5«502

-«I

->f

5.5J1

«nI

->Vf

«f0

C3扫描D,对C3候选支持度计L3

图2-2候选项集和频繁项集的产生过程图

1.2.3FP-growth算法

FP-growth是一种采用分治策略的频繁项集挖掘算法。主要思想

6

是将提供频繁项集的数据库压缩到一棵频繁模式树(FP-tree)中网。

在该算法中，存在多个概念，如FP-Tree,条件模式基和条件树。具

体定义如表2-3所示。

表2-3FP-growth算法相关定义表

FPT首先计算支持度，然后将支持度以降序的方式插入树中，与此同时,

「女将支持度记录在该结点处

条件模式基前缀路径的集合，与FP-tree与后缀模式一起出现

条件树按照FP-Trcc构造原则将条件模式基形成一个新的FP-Trcc

为了对FP-growth算法作更加详细的说明，下面举一个实例。数

据库事务集和最小支持度阈值设置同Apriori算法的数据库事务集和

阈值。

首先构造出条件树FP-tree如图2-3所示。

图2-3条件树FP-tree图

当得到条件树之后，下面以数据项15为例说明如何从FP-tree得

到包含15的频繁项集。首先得到15的条件模式基为

{{12,11,13:1},{12,11:1}},再根据条件模式基得到15的条件FP-tree为

<12:2,11:2>,最后从15的条件FP-tree产生包含15的所有频繁项集为

{12,15:2},{11,15:2},{12,11,15:2}。

7

1.2.4基于矩阵的Apriori算法

基于矩阵的Apriori算法，通过矩阵存储的形式来存储事务数据

库，逻辑“与”运算计算支持度31。基于矩阵存储的Apriori算法实

现的过程如图2-4所示。

图2-4基于矩阵存储的Apriori算法实现的流程图

1.3离群点检测算法分析

1.3.1离群点检测算法概述

离群点指的是在数据集中少量的数据，具有低概率性。离群点并

非随机因素产生，有可能产生于不同的体系。离群点检测的目标是发

现不同于寻常的数据点。

8

1.3.2基于K-means聚类的离群点检测算法

K-means算法由MacQueenJ网首次使用，是一种迭代求解的算法。

相较于其他聚类算法，K-means算法由于思想简单、较易实现等优点

被广泛使用。之后，DavidArthur等人针对k-nieans初始聚类中心的

随机选取问题提出K-means++算法，实现流程如图2-5所示。

图2-5K-means++算法流程图

其中，概率P计算，见式(2-3)o

(2-3)

"£*wxd(x)2

假设数据集X包含k个簇xi，x2,xk,各簇中样本数量分

别为n2,…，nk,各个簇的聚类中心分别为Q,c2,…，cko

定义2-4误差函数(E):指每个数据点p到各自聚类中心Q的距

离平方和，即分组误差平方和，见式(2-4)。

E=E£)Ep%l|p-q||2(2-4)

K-means++聚类算法的性能由误差函数E来评价。

K-means++算法是改进K-means初始聚类中心的选取。迭代过程

9

如图2-6所示。原始数据集有3个簇，经过两次迭代后得到最终的聚

类结果。

图2-6K-means++迭代过程图

1.3.3基于LOF局部离群点检测算法

LOF算法于2000年由Breunig159l等最先提出，离群程度通过数据

对象在数据集中的离群系数来描述。

定义2-5信息熔设x为随机事件，其取值集合为s(x),p(x)表示

随机事件x的概率，则x的信息熔计算，见式(2-5)。

£(%)=-Sxes(x)PMlogp(%)(2-5)

设数据集中的属性集合A,被划分为两个部分：A-{4}和{4},

记为e={Ci(2}。信息爆增量A(4)计算，见式(2-6)、式(2-7)o

E(G=£k=u(号(E(Ck)))(2-6)

io

A(4)=E(4)-E(G(2-7)

如图2-7所示，给定原始数据集，经过LOF算法得出，Cl、C2

和C3集合中的点是正常点，01、02和03点相对孤立，是离散点。

蓝圈表示正常的教据点，红圈表示检测出来的离群的数据点。

原始数据：蓝圈离群数据：红点

O0°O

%,。

°O°o

oo°

s趣£

。零8

°O

102030405060102030405060

图2-7LOF算法的原始数据图和离群数据图

若2个数据集分别为p=卬1小2,…,Pm)，O=(。1，。2,…，。租)，则

它们之间的加权距离dist(p,o)的计算，见式(2-8)o

dist(p,o)=[£曙1仅4)x