数据仓库和数据挖掘在经济管理中的应用.doc

浙江农林大学经济管理学院学生论文数据仓库和数据挖掘在经济管理中的应用经济管理学院 财务管理083 任苾春摘要：网络的普及改变了原有社会分工， 一切都可以以最高效率和最低成本的方式实现。出版业和财务管理在经济领域的地位、工作性质、业务特点及激烈的市场竞争决定了它对信息化、电子化比其他领域有更迫切的要求。随着数据仓库系统实施带来的良好效果，“整合数据，从数据中找知识，运用数据知识、用数据说话”的理念得到广泛推广。关键词：数据仓库；数据挖掘；经济管理1 数据仓库与数据挖掘的概念1.1 数据仓库技术目前业界对数据仓库的概念没有一个统一的定义，数据仓库(DataWarehouse)是集成的、稳定的、随时间变化的数据集合，用以支持管理决策系统的过程。由此可见，数据仓库是一个综合的解决方案，是对原始的操作数据进行各种处理并转换成有用信息的处理过程，它主要用来帮助业务主管部门做出更符合业务发展规律的决策，用以指导销售。数据仓库的建设需要综合应用、决策权、数据库、数理统计等多项技术。世界上许多著名公司都推出了类似的数据产品，包括Oracle、Informix、Sybase和IBM等等。 数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合，用于支持经营管理过程中决策的制定。数据仓库中包含了大量的历史数据，而且这些数据在进入仓库之前，必须经过加工和集成。对不同形式的数据要统一数据结构和编码，并且要将原来的数据结构从面向应用转向面向主题。（主题是数据归类的标准，每一个主题对应一个问题的分析领域。）通常的数据仓库其数据量是一般数据库100MB的100倍，而大型数据仓库的数据量是TB（1000GB）级别的。据此可以看出，数据仓库的工作范围和成本是巨大的。因此，一种更紧密集成的成本低的小型数据仓库数据集市就应运而生了，它为公司提供了分析商业数据的较为廉价的工具。目前为止，世界各公司对于数据仓库的总投资中对于数据集市的开发占到了一半以上。数据集市是具有特定应用的小型数据仓库，针对的是具体部门级别的应用，帮助用户利用已有的数据资源获取具有竞争优势的决策方案。 数据集市的特点：A、规模小 ；B、面向部门，面向特定的应用，由业务部门设计管理；C、购买较便宜，实现速度快；D、可以升级到完整的数据仓库。1.2 数据挖掘技术数据挖掘指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。大部分的人认为数据挖掘和数据库是等价的概念。数据挖掘是随着科学技术的迅速发展、数据库规模的日益扩大以及人们对数据库中潜在信息资源的需求而迅速发展起来的。它是数据库技术、人工智能、机器学习、统计分析、模糊逻辑等学科相结合的产物。数据挖掘的对象不仅是结构化数据库，也可以是半结构化的超文本文件，甚至是非结构化的多媒体。而数据仓库上面的数据挖掘，将是数据挖掘技术应用的主流。数据挖掘技术 是为了解决网络上“Rich Data Poor Information”即数据爆炸而知识贫乏这种矛盾现象而产生的，它研究的核心是如何从海量数据中进行知识的发现Knowledge Discovery in Database，简称KDD。数据挖掘的权威定义为从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据集合中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它结合了数据库技术、人工智能、概率论与数理统计等多个学科的知识为一体，能够为管理者制订战略规划提供正确的决策依据。数据挖掘一般由数据准备、挖掘操作、结果表达和解释三个主要阶段组成。在数据准备阶段应集成多个运作数据源中的数据，解决语义模糊性、处理遗漏数据、清洗脏数据。挖掘阶段是一个假设产生、合成、修正和验证传播的过程，也是上述三个阶段的核心。结果表达和解释阶段根据最终用户的决策目的把提取的有用信息正确地表达出来。数据挖掘的方法和技术可大致划分为三类：统计分析、知识发现、可视化技术等。统计分析用于检查异常形式的数据，然后利用统计模型和数学模型来解释这些数据，统计分析方法是目前最成熟的数据挖掘工具。而知识发现则着眼于发现大量数据记录中潜在的有用信息或新的知识，属于所谓“发现驱动”的数据挖掘技术途经。知识发现常用的方法有人工神经网络、决策树、遗传算法、模糊计算或模糊推理等。数据质量、可视化数据的能力、极大数据库尺寸、数据挖掘者的技能、数据的粒度都是影响知识发现方法的重要因素。可视化技术则采用直观的图形方式将信息模式、数据的关联或趋势呈现给决策者，决策者可以通过可视化技术交互式地分析数据关系。由于数据仓库在规模、历史数据、数据集成和综合性、查询支持等方面都和传统的数据库有着本质的区别，所以数据仓库为数据挖掘提供了更广阔的活动空间。数据仓库完成了数据的收集、集成、存储、管理等工作，数据挖掘面对的是经初步加工的数据，使得数据挖掘更专注于知识的发现；另一方面，由于数据仓库所具有的新特点，又对数据挖掘技术提出了更高的要求。所以，数据仓库技术的发展必须和数据挖掘技术有机地结合起来。2 数据仓库和数据挖掘技术的应用数据仓库技术和数据挖掘技术的相互结合使得从海量的数据中进行实时的和深层次的分析成为可能，由于相关领域的技术发展及相互协同，已使数据仓库成为一项可能的实用技术。目前，对这一领域的应用研究主要集中在以下几个方面。2.1 数据仓库与数据挖掘在书业信息系统中的应用信息系统的主要思想是把数据和模型有机的结合起来，并通过人机之间的交互操作，以定量的方式来辅助决策。其采用的是三部件的结构形式，即由人机交互的对话部件、模型库系统的模型部件以及数据库系统的数据部件共同组成的。2.1.1 人机交互部件 人机交互部件是决策者与该系统之间的交互界面。用户通过此部件实现对智能选货代理系统的操控，它需要用户输入必要的信息用于控制和数据计算，同时要向用户显示运行的情况以及最后的结果。2.1.2 模型部件 模型部件又可以看作是商务智能系统下的一个子系统，即模型库系统，它是为决策者提供辅助数据的核心部件，是进行数据挖掘的的关键所在。模型库系统和数据库系统的组成类似，由模型字典、模型库、模型库管理系统三个部分组成。 模型库将众多的模型按数据字典中定义的结构形式组织起来，并通过模型库管理系统对各个模型进行有效的管理和使用。 模型库中的模型是共享的资源，可以被不同的系统所调用，这样实现重复的使用，避免了冗余。其中的模型以数学模型为主，除此以外还可以有，数据处理模型、图形和图象模型、报表模型等等。2.1.3 数据部件数据部件，属于在技术上比较成熟的系统，一般采用数据库和数据库管理系统。但是，随着网络的发展以及所储存的数据量的增加，基于E-R图的关系数据库在查询和数据处理过程中会出现效率低下的问题。在这种情况下，数据仓库的概念以及联机分析处理（OLAP）被提出，用以解决企业中存在的拥有大量数据却缺乏有用信息的矛盾。2.2 面向企业决策支持系统(DSS)的数据仓库与数据挖掘技术WWW近年来已成为网络上的信息主体，人们自然就产生了将WWW和数据仓库相互转换的要求。但Web上的数据多存于HTML超文本文件中，没有严格的结构及类型定义，所以，基于Internet上的数据挖掘和基于一般数据库的数据挖掘相比有其固有的特点：数据源是无序的、非结构化的。数据源之间可能存在冗余、不一致甚至矛盾。数据源具有很强的动态性。数据多样，难以确定其粒度和维度。用户目标模糊。在烟草系统中数据仓库和数据挖掘基于WEB的运用尤为突出。CRM系统就是一个特例。CRM(CustomerRelationshipManagement)就是客户关系管理。从字义上看，是指企业用CRM软件提供的科学的分析工具和方法来分析卷烟销售市场与客户之间的关系。CRM软件是选择在卷烟销售市场中有价值客户及其关系的一种商业策略，分析这些客户的销售动态。CRM要求以“客户为中心”、“一切为客户着想”的商业哲学和企业文化来支持有效的市场营销、销售与服务流程。如果企业拥有正确的领导、策略和企业文化，CRM应用将为企业实现有效的客户关系管理。在CRM(客户关系管理)系统中，系统结构采用B/S框架结构，数据库集中，客户端采用浏览器访问，访问的浏览器采用IE6以上。通过CRM系统中的各个功能模块对数据仓库中(即客户每天的销售记录)作为数据源，运用科学的分析方法可以对客户进行单体分析：分析某一客户的相关信息，分析的内容为该客户的销售数量、金额、收益，并取得该客户所属线路、公司的平均销售数量、金额、收益作比较。群体分析：客户某一群体的销售数量、金额、收益。市场分析：便于领导及时、直观、准确的了解市场的发展及变化情况，以便宏观调控，便于支持决策系统，从而引导正确销售。客户记录作为数据仓库中的数据源，运用CRM中相应的模块对数据进行分拣，这些模块的产生就是数据挖掘技术的体现，经营决策者通过CRM提供的模块功能，就能够分析销售市场，以及抓住客户销售心理，从而正确指导销售，为取得市场竞争力打好了基础，最终赢得客户和市场，达到“与客户共创成功”的经营理念。2.3 数据分析和数据挖掘在财务管理中的应用1盈利能力分析 盈利能力就是公司获取利润的能力，是公司组织生产活动、销售活动和财务管理水平高低的综合体现，也是公司在市场竞争中立于不败之地的根本保证。盈利能力的主要分析指标包括销售毛利率、销售净利率、资产收益率、净资产收益率等指标。企业通过运用数据挖掘技术，根据财务报表、账目、凭证等财务数据，找出能够计算出上述指标的数据进行分析，得出需要的结果，更重要的是根据得出的结果结合企业未来的发展趋势分析，评价企业未来的盈利能力和不足，这才是运用数据挖掘进行财务分析的关键所在。2投融资管理分析 投融资管理分析的内容包括：参与投资和融资项目的财务测算、成本分析、敏感性分析等活动，配合上级制定投资和融资方案，防范风险，并实现公司利益的最大化。在投资管理分析时，要对一个投资项目的可行性进行分析，必须要借助大量的统计工具和模型，而数据挖掘技术可以及时动态地提供投资环境以及行业基本状况等大量的数据资料，通过这些数据资料建立起来的模型，可以挖掘出对企业投资决策有用的信息，保证投资决策的正确性和有效性。在进行融资管理分析时，企业需要了解融资的金额量、融资渠道、融资方式和期限，这些都是融资过程中非常重要的环节。为了能够筹集到合适的资金额，企业必须了解外部环境和内部自身对资金使用的特点，比较各个融资方式的风险和成本。企业利用数据挖掘技术，运用回归分析模型等预测企业所需要筹集资金的量，还可以运用关联模型对各种渠道及方式进行分析，挖掘最适合企业筹集资金的渠道、方式及期限，力争以最小的风险及成本筹集到企业所需要的资金。3客户分析 毋庸置疑，客户是一个企业产品销售的核心目标，亦是惟一目标，客户的需求便是企业为之奋斗的方向。那么，如何留住原有的老客户，又如何开发潜在的新客户，这就是摆在众多企业决策者面前的一个很重要的问题。企业为了实现以上目标，需要建立存放客户信息的数据库，进而采用数据挖掘的方法对客户信息进行分析。通过进行关联分析客户对企业的价值贡献、忠诚度、流失等信息，掌握各个客户的行为规律，并根据这些规律对客户进行目标客户划分及分组，找出最有价值和具有潜力的客户群。对最有价值的客户，要采取紧密追踪，对他们要给予最好的售后服务和直入核心的服务理念以保留价值客户；对于潜在客户群，要采用统计方法和数据挖掘模型对他们的消费习惯、消费能力、消费周期等数据进行分析，得出阻碍和吸引潜在消费群进入本公司成为本公司消费客户的原因，并将潜在消费群客户进行分类，有的放矢地销售针对性强的产品。4经营管理分析企业在日常经营管理中会遇到各种各样的问题，比如产品的销售分区分量、仓库的最佳位置、最优的进货量、员工的最佳福利待遇方案等等。面对如此多的问题，仅凭原始的财务分析手段已经无法达到最优的分析结果，而且也并不是十分的科学，也许得出的最优结果是“伪最优”也是有可能的。所以现代企业往往采取数据挖掘当中的