1、审计数据采集与分析概要.doc

审计数据采集与分析第一章 电子数据的组织、处理和存储21.1电子数据处理的特点21.2电子数据的存储与管理21.3电子数据的组织与结构31.4文件设置41.5代码设计4第二章 数据库设计42.1数据库设计的目标与特点。42.2数据库设计方法和步骤42.3需求分析52.4数据字典52.5概念结构设计62.6逻辑结构设计62.7数据库物理设计6第三章 审计接口73.1审计接口的概念73.2审计接口的分层模型7第四章 数据库访问技术74.1异构数据库互访问74.2用odbc访问异构数据库74.3其他数据库访问标准和技术。84.4常见数据库系统及其访问技术9第五章 数据采集9第六章 数据清理和数据转换技术106.1数据清理106.2数据转换10第七章 审计数据分析117.1数据分析的一般内容117.2数据仓库与数据分析处理技术137.3验证分析14第九章 审计软件169.1审计软件的概念169.2审计软件分类介绍16第一章 电子数据的组织、处理和存储1.1电子数据处理的特点磁性介质上的数据文件不同于手工环境下的纸质凭证、账簿和报表，他有着明显不同的特点1.记录的载体不同。2.肉眼不可见。3.修改或删除不留痕迹。4.存储电子数据的磁盘、磁带、光盘容易损坏。5.数据操作便利6.数据表示代码化。1.2电子数据的存储与管理1.2.1人工管理阶段程序中用于存储数据的子程序随着数据的逻辑结构或者物理结构的改变而改变，即数据和程序之间不具有独立性，一组数据只对应一个应用程序。1.2.2文件系统阶段数据文件一某周数据结构将电子数据组织存储起来，以方便数据存取的文件。使用“按文件名访问，安吉路进行存取”的管理技术，进行数据修改、插入和删除的操作。文件的逻辑结构与存储结构由系统进行转换，程序与数据之间有了一定的独立性。1.2.3数据库系统阶段数据库：是长期存储在计算机内的、有组织的、可共享的数据集合。数据库管理系统作为结余用户和操作系统之间的一层数据管理软件，他的主要功能包括如下几个方面：1.数据定义功能（ddl）。2.数据操纵功能（dml）。数据库系统与文件系统相比具有以下特点：1.面向全组织的复杂的数据结构（与文件系统相比子主要区别、）。2.数据冗余度小、易扩展。3.数据和程序的独立性较高。4.具有统一的数据控制功能。1.3电子数据的组织与结构1.3.1数据模型数据模型是数据库系统中用于提供信息表示和操作手段的形式构架。数据模型是提供模型化数据和信息的工具。一是概念模型（信息模型），一是数据模型（如网状、层次、关系模型）。前者是按照用户的观点来对数据和信息建模，后者是按计算机系统的观点对数据建模。概念模型应该概念简单、清晰、易于用户理解，是用户和数据库设计人员之间进行交流的语言。1.3.2数据模型三要素1.数据结构（层次、网状、关系模型）。2.数据操作（检索和更新）是对模型静态特性的描述；数据操作是对模型动态特性的描述。3.数据的约束条件。数据的约束条件是完整性规则的集合。1.3.3概念模型1.3.4关系模型1.关系模型的数据结构。2.关系模型的数据操作（1）传统的集合操作。并、交、差、广义笛卡尔积（水平方向，从行的角度进行）（2）专门的关系操作。选择、投影、连接。这些不仅涉及行，而且涉及列。3.关系模型的完整性约束条件实体完整性是指关系的主属性（主码的组成部分）不能为空值。参照完整性用户定义完整性，针对某一应用环境的完整性约束条件。1.3.5关系模型的特点1.关系模型的特点单一。无论是实体还是实体之间的联系都用关系来表示。关系之间的联系则是通过相容（来自同一个域）的属性来表示的。2.关系必须是规范化的关系。最基本的要求是每一个分量是一个不可分的数据项，即不允许表中有表。（第一范式）1.4文件设置1.4.1数据文件的含义。泛指各种用来存储数据的文件，在数据库基数诞生之前，数据是存放在文件中的，数据文件就是指存放数据库的文件本身。数据库基数诞生之后，数据由dbms管理，数据文件是存放物理文件的载体。1.5代码设计用代码表示信息时计算机信息系统的一个显著的特点。1.5.1代码的种类分区码：分为几个区域编码，各区域内间隔顺序编码。组别分类码：会计科目代码。第二章 数据库设计2.1数据库设计的目标与特点。数据库设计的任务是在dbms的支持下，根据应用的需要，构造一个结构合理，性能良好的数据库及其应用系统，使之能够高效、方便的存储和处理数据，满足用户各种应用需要。1.反复性2.实验性3.分阶段进行2.2数据库设计方法和步骤一种以信息需求为主，兼顾处理需求（面向数据的方法），一种方法以处理需求为主，兼顾信息需求（面向过程的方法）。目前常用的各种设计方法都属于规范设计方法，即都是运用软件工程的思维方法，根据数据库的特点提出了各种设计准则和设计规程。除此之外，还用一些为数据库设计不同阶段所提供的具体实现技术与方法。规范化设计方法对设计质量的控制是以大量的书面文档和数据字典为基础的。规范化设计软件erwin、oracle designer 2000等。但是目前的辅助设计工具还只能完成数据库设计中某些过程的工作，还没有支持数据库设计全过程的辅助工具。数据库设计目前一般采用生命周期法。2.3需求分析1.信息需求。信息需求定义未来信息系统中使用的全部信息。了解信息需求就是要弄清楚用户需要向数据库输入哪些数据，希望得到那些处理结果，各项数据间有哪些本质联系。通过了解信息需求，可以决定在数据库中存储哪些数据，描述数据的内容和结构以及他们之间的联系等等。2.处理需求。用于分析和表达用户的需求的方法主要有自顶向下和自底向上两大类。其中自顶向下的结构化分析方法是一种常用的方法。它的核心思想是按照系统内部的数据传递、交换关系，自顶向下逐层分解，直到每一项功能都可以被容易的实现为止。需求分析阶段的成果是系统需求说明书，此说明书主要包括数据流程图、数据字典、各类数据的统计表格、系统功能结构图和必要的说明。系统需求说明书将作为数据库设计全过程的重要依据文件。2.4数据字典数据字典是在系统设计过程中对各类基本要素进行描述的集合。他是描述系统逻辑模型的重要工具。对数据库设计来说，数据字典是进行详细的数据收集和数据分析所获得的主要结果。软件开发人员需要查阅他，在系统运行后维护人员需要查阅他。数据字典通常由数据项、数据结构、数据流、数据存储和处理过程5个部分组成。2.4.1数据项2.5概念结构设计自顶向下、自底向上、由里向外、混合策略。自底向上的设计策略主要步骤：第一步进行数据抽象，设计局部概念模式；第二步是将局部概念模式集成为全局概念模式。实体-联系法（e-r方法）（1）设计局部e-r模型（2）将局部e-r模型集成为全局e-r模型（3）对全局e-r模型进行优化。实体类型个数尽可能少；试题类型所含的属性尽可能少；试题类型间的联系没有冗余。2.6逻辑结构设计数据库的逻辑结构设计的目标有如下几个：1.满足数据的完整性和安全性要求；2.满足关系的规范化要求；3.在逻辑层上支持高效的数据处理；4.存储空间利用率高。逻辑结构的设计步骤：1.形成初始关系数据库模式；2.关系模式规范化和优化；3.外模式设计。2.7数据库物理设计2.7.1索引设计1.主关键字及外关键字上一般都应该建立索引，以加快实体间连接速度。2.用户经常访问的字段上应建立索引。3.以读操作为主的关系表应尽可能多的建立索引。4.对等值连接查询而言，如果满足条件的元组数量小则可以考虑在有关属性上建立索引。5.有些查询可以从索引中直接得到结果，不必访问数据块2.7.2聚簇设计将有关的数据记录集中放在一个物理块内或相邻物理块内或同一柱面内以提高查询效率。第三章 审计接 口3.1审计接口的概念实时接口主要用于重要性水平非常高的被审计单位，它能够保证审计机关实时检查被审计单位的经济活动。3.2审计接口的分层模型接口分为三层：第一层表示信息含义的语言，称为逻辑层；第二层是运载信息语言的方式，称为传输层；到三层是控制信息交换过程的规程，称为控制层。3.2.1逻辑层逻辑层是表示信息含义的语言。第四章 数据库访问技术4.1异构数据库互访问4.1.1问题的提出4.1.2现状和发展趋势Microsoft公司发布了一个基于扩充cli的软件开发工具集sdk，称为odbc（开放数据库互联）。最近Microsoft公司又推出了uda（一致数据访问技术），为关系型或非关系型数据库访问提供了一致的访问接口。4.2用odbc访问异构数据库4.2.1odbc简介是微软公司制定的数据库系统互连标准。它为客户端应用系统与数据库服务器之间的连接提供了一种开放的、标准的接口。odbc从本质上就是一组数据访问api（应用程序接口），它可以使windows应用程序访问大多数流行的dbms。4.2.2odbc总体结构odbc结构分为4层：应用程序（application）、驱动程序管理器（driver manager）、驱动程序（driver）和数据源（data source），其结构如下图所示：应用程序（application）Odbc接口驱动程序管理器（driver manager）驱动程序（Driver）驱动程序（Driver）驱动程序（Driver）数据源（data source）数据源（data source）数据源（data source）驱动程序管理器是一个带有入口函数的动态链接库（ddl），其基本任务是：根据应用程序加载并卸载驱动程序，处理odbc函数调用，或把他们传送到驱动程序。odbc驱动程序分为两种类型：基于文件的驱动程序和基于dbms的驱动程序。基于文件的odbc驱动程序既能处理odbc调用也处理sql语句。odbc数据源可以分为两类：机器数据源和文件数据源。4.3其他数据库访问标准和技术。4.3.1bdeidapi是由Borland公司为首发布的一个异构数据库访问接口。idapi的集成化环境是bde。bde可以访问dbase、paradox、text、InterBase、sybase和informix、microsoft sql server以及任何odbc连接的数据源。4.3.2uda、oledb和adouda提供了数据访问的接口。这个一致的接口使得应用程序可以访问各种各样的数据，而不管数据驻留在何处。在统一数据访问接口的同时，uda的多层结构使数据使用者有了更多的选择机会，而他强大的扩展能力也给数据提供者留下了更多的扩展空间，这种开放的软件结构具有极强的生命力。ado最早作为访问数据库的接口，被用于Microsoft Internet information server，与一般的数据接口相比，ado可以更好的适用于网络环境。ado的另一个特性是使用简单，这不仅因为他是一个面向高级用户的数据库接口，更因为它使用了一组简化的接口用于处理各种数据源。4.4常见数据库系统及其访问技术4.1.1文本类型的数据文件带分隔符和固定宽度的。4.1.2Microsoft excel电子表格文件。电子表格和关系数据库具有某种形式的对应关系。4.1.3Microsoft access4.4.8informixinformixsqlhosts和informixserver是两个常用的环境变量。前者用以指明中心注册表所在的机器的名称；后者用以标识缺省的数据库服务名。第五章 数据采集第六章 数据清理和数据转换技术6.1数据清理数据清理工作主要包括确认输入数据、修改错误值、替换空值（如用0）、保证数据值落入定义域、消除冗余数据、解决数据中的冲突等。6.2数据转换6.2.1为什么要进行数据转换1.被审计单位信息系统的多样性带来了数据的不一致性。2.被审计单位的安全性措施给审计工作带来障碍。3.审计目的不同决定了审计数据的范围和要求不同。4.数据转换是数据分析、处理的前提。6.2.2数据转换的内容和任务所谓数据转换，从计算机审计需求来讲，主要包括两个方面的内容：一是将被审计单位的数据有效的装载到审计软件所操控的数据库中；二是明确的标识出每张表、每个字段的经济含义及其相互之间的关系。1.简单变换（1）数据类型变换（2）日期/时间格式的转换（3）代码转换（4）值域转换2.清洁和刷洗（1）有效值（2）复杂的重新格式化6.2.3数据转换的一般方法1.专用工具（1）数据仓库中的数据采集与转换工具。ibm data warehouse（2）审计软件中提供的数据转换工具2.sql语言3.程序编码（1）对复杂数据文件中包含的数据进行转换时（2）对于非关系型数据库中的数据进行转换时（3）对于特别复杂关系型数据库中的数据进行转换时（4）数据转换的需求固定，使用频繁时第七章 审计数据分析7.1数据分析的一般内容1.重算2.检查3.核对4.抽样5.统计6.推理7.判断8.预测用户对数据分析的深度和灵活程度越来越高，数据分析逐渐从静态数值之间的相互比较转变到从多个数据源中综合数据的分析模式。（1）绝对模型（2）解析模型（3）思考模型（4）公式模型7.1.1查询分析7.1.2验证性分析验证性分析指用户先提出自己的假设，然后利用各种工具通过反复的、递归的检索查询以验证或否定自己的假设。从用户的观点来看，他们是在从数据中发现事实7.1.3发掘型分析发掘型分析主要指用户从大量数据中发现数据模式，预测趋势和行为的数据分析模式。查询型分析、验证型分析和发掘型分析结合在一起构成了面向数据的计算机审计的数据分析，他们有着各自不同的侧重点，因此适用的范围和针对的用户也各不相同。从数据分析的深度来看，查询型分析基本上是在已知数据结构的情况下对细节信息的存取，数据分析的成分很少；验证型分析处于较浅层次；而发掘型分析是较深层次的数据分析。从每种模式涉及的数据分析模型来说，查询型分析基本上不涉及数据分析模型；验证型分析主要实现了绝对模型、解析模型和思考模型；发掘型分析实现了公式模型。7.2数据仓库与数据分析处理技术7.2.1什么是数据仓库W.h.inmon是数据仓库概念的创始人，“数据仓库”就是面向主题的、集成的、稳定的、不同的时间的数据集合，用以支持经营管理中的决策制定过程。7.2.2数据仓库系统的体系结构（1）数据源（2）数据抽取、转换、装载和刷新工具（3）数据建模工具（4）监控和管理工具（5）元数据仓储（6）数据仓库和数据集市的目标数据库（7）olap（联机分析处理）服务器（8）前端数据访问和分析工具7.2.3数据仓库的组织方式1.虚拟存储方式2.基于关系表的存储方式3.多维数据库存储方式：最主要的优点是：大大减少了以维为基本框架的存储空间，针对多维数据组织的操作算法，极大地提高了多维分析操作的效率。7.2.4数据仓库的实现环节7.2.5数据仓库在计算机审计中的应用1.面向数据审计中的关键环节（1）审计数据的采集和获取被审计单位信息系统往往多种多样，使用不同的数据库、操作系统和硬件平台，分布在不同的地理位置，由于各家信息系统的不同还造成许多数据不一致性，无论是数据模型或数据采集接口都各不相同。（2）审计数据在审计数据库中的组织和存储（3）审计数据的访问和分析为了达到审计目的，计算机审计软件要对审计数据做各种重组、计算、查询、分析、挖掘工作，提供功能强大、通用性好的工具软件是计算机审计软件开发的重点和难点。数据仓库系统中的前端数据方位和分析挖掘工具，具备丰富强大的功能。7.3验证分析7.3.1什么是联机分析处理（olap）olap是使分析人员、管理人员或业务人员能够从多种角度（维）对从原始数据转化出来的、能够为用户所理解的并真实反映业务特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。olap的目标是满足决策支持或多维查询和报表需求，他的核心技术是“维”这个概念，因此olap也可以说是多维数据分析工具的集合。olap的关键特性：（1）快速性（2）可分析性（3）多维性（4）信息性7.3.2验证型分析语多维分析1.多维分析的基本概念（1）变量（2）维（3）多维视图2.多维分析的基本操作（1）切片和切块在多位数据结构中，固定某一维（或多维）上的成员的动作称为切片。7.4.3数据挖掘的分析方法1.分类分析2.聚簇分析3.关联分析4.序列分析7.4.4发掘型分析与数据挖掘发掘型分析主要指用户从大量的数据中发现数据模式，预测趋势和行为的数据分析模式。对面向数据的计算机审计来说，数据挖掘是实现发掘分析的有效手段。第九章 审计软件9.1审计软件的概念9.1.1什么是审计软件9.2审计软件分类介绍按照应用领域可以分为通用的和面向行业的（专用的）；按照所采用的技术可以分为基于数据库的软件、基于数据仓库的软件、基于专