用数据挖掘提高商业智能.doc

用数据挖掘提高商业智能具有综合数据的能力并对数据进行快速和准确分析，从而做出更好的商业决策，可以为企业带来竞争优势。如何发现和使用这种优势，就是商业智能所研究的课题。 - 任何好的商务决策都需要事实和数字支持。一个决策的正确程度取决于所使用的事实和数字的正确程度。随着竞争的增加，需要在较短的时间内做出决策。因此，在该时间段内，能够尽可能多地获得相关信息就变得越来越关键。同时，为了使决策具有较好的正确度，需要跨越的决策分支也变得越来越大。为了跨越较大的决策分支，需要有更长的时间。因此，需要有自动数据分析工具，以帮助减少精确分析大量数据所需的时间。数据挖掘就是一种非常有用的技术。 数据分析 - 数据分析技术的发展可分成报表查询、在线分析处理（OLAP）和数据挖掘3个阶段。下面将通过一个案例研究来介绍各个数据分析阶段中所涉及的概念。案例研究中涉及一家叫做“体育精品”的体育用品公司，它在7个国家设有销售办事处。公司总部在悉尼。在此例中，数据分析的3个阶段如图1所示。 图1 数据分析的3个阶段 - 公司不同的销售地点已建立管理其单个地域内销售信息的解决方案。为了增加销售，销售副总裁决定通过奖励来促销，奖励销售额最多的地区和产品销售最多的单位。这位副总裁要求首席信息官（CIO）写出这样2份报告。对CIO来说，这看起来很简单，但在生成这些报告之前有许多工作要做。以下问题特别需要在短时间内解决：销售数据存储在不同地区的不同类型的数据库中、数据在不同的地区格式不一样以及营业额用各所在国的货币单位。 - 首先，所有的数据都必须集中到总部。把所有数据放到一个地方，在本地数据集上执行查询要容易一些。对所有的相关信息而言，这一地点被称作数据仓库。如果相同的概念运用到公司中的单个部门，这些部门的信息库就被称作数据集市。 - 若不使用数据仓库工具，CIO可能会花上数月的时间才能完成上述任务。相反，若使用像IBM Visual Warehouse V3.1这样的数据仓库工具，这些任务可以很快定时地自动完成。 - 在Visual Warehouse中，如何访问、抽取、处理和丰富数据都是用Business Views开发完成的。Business Views就像模板一样，一旦定义完毕，便可用来自动统一地重复上述步骤。因此，商务视图“按地区的销售额”定义的是，从何处抽取数据，使用何种货币兑换表来转换货币，预先计算何种合计数据。“按产品的销售额”视图也是同样定义的。 - 一旦建立了数据仓库，任何前端工具，如Lotus Approach或Microsoft Access，都可用来查看实际的报告，见图2和图3。 图2 城市销售数据 图3 产品销售数据 在线分析处理 - 在图2和图3中，美国的西雅图是销售额最高的地区，山地车是最畅销的产品。负责销售头盔产品的副总裁看到上面的报告，他决定看看新建的数据仓库是否能给他提供更多的信息来帮助他提高销售额。 - 在负责销售头盔产品的副总裁与CIO谈到此事时，CIO建议进行专门分析，用不同的方法查看数据，以显示以前不知道的信息。这也被称为在线分析处理（OLAP）或多维分析（MDA）。在本方案中，使用2种主要的多维分析技术。第1种叫插放（Drill Down），第2种叫份额方块（Slice/Dice）。CIO帮助副总裁用Lotus Approach前端MDA工具来查询数据仓库的数据。 - 下面的多维数据分析涉及5个方面，即产品、销售、数量、地区和时间。所有查看的数据都是1月份的。 - 负责销售头盔产品的副总裁提出以下问题： - 1. 1月份，头盔在什么地区销售最好？ - 2. 1月份，哪个国家的头盔销售在该畅销地区处于领先地位？ - 3. 在领先的国家中，哪个城市的头盔收入最高？ - 要回答这些问题，CIO必须要用Lotus Approach深入到地区维（Location）中，用插放方法查看某一具体数据维中的更细节的数据。通过Lotus Approach，CIO用交叉标记功能建立了一个矩阵，Y轴是地区栏，X轴是销售栏。 - Lotus Approach让用户选择确定哪个具体领域被动态加载（拖放）到交叉标记上来处理数据（插放和份额方块）。本例中，CIO选择Lotus Approach条上具有以下各域产品、城市、国家、金额、数量、地区、总金额和总量等等。后面2个域由Lotus Approach生成，它们分别提供了2个数字。Lotus Approach菜单条上的交叉菜单可用来把其中的任何一个域增加到上表中。 - 图4表明头盔在欧洲销售最好。图5回答1月份，德国是欧洲头盔最畅销的地区。图6显示在德国汉诺威是头盔最畅销的地区。 - 现在负责销售头盔产品的副总裁已经从前面的报告得知，山地车是西雅图最畅销的产品。因此，他想把西雅图和汉诺威2个城市山地车和头盔的销售做一比较，但按销售金额（DOLLARS栏）比较是错误的，因为2种产品的价格不同。因此，他想比较山地车和头盔的销售数量。CIO通过对图表的操作，最终结果如图7所示。 - 这位副总裁发现，尽管山地车在西雅图销售最多，但头盔的销售却不尽人意。头盔与山地车的比例大致是1:5（360:1804）。但他还注意到，在汉诺威该比例却几乎是1:1（445:436）。这时他记起来，在西雅图的商店里山地车和头盔放置得不像在汉诺威那样近。他决定在西雅图把这2种产品摆放在一起，并每天查看头盔和山地车的销售状况。 - 上述查看不同栏目数据的技术就是多维分析。执行的分析类型是在线分析处理。用于在线分析处理的数据可存储在多维数据库（MDD）或关系型数据库（RDBMS）中。当对存储在多维数据库中的数据进行在线分析处理时，就称为多维在线分析处理；当对存储在关系型数据库中的数据进行在线分析处理时，就称为关系型在线分析处理；当对存储在2种数据库的数据进行在线分析处理时，就称为混合在线分析处理。 - 具体到本案例，在图中使用了5个数据维，它们是时间、营业额、数量、产品和地区。 数据挖掘 - 在前面，我们能够用不同的方法处理和分析数据。我们可以找到具体问题的答案，但仅此而已。在用特别的方法查看数据时，我们能发现头盔和山地车的数量销售不相互关联。数据仓库中的确存在关联，但没有插放和份额分块技术，我们就发现不了它。这样做消耗很多时间。 - 数据挖掘会系统地解决这些问题。它不仅能够允许用户确定假设，而且还允许用户不用做相应的手工劳动就能发现新的信息，如上面提及的关联。IBM的Intelligent Miner for data和Intelligent Miner for text是一种数据挖掘工具。前者用来对数据进行搜寻，如公司中的交易数据；后者则用于对文本数据的搜寻，如在图书馆中进行检索。在本案例中，使用的是Intelligent Miner for data。 - Intelligent Miner中包含6种主要算法，即关联、顺序模型、预测模式、分类、集群和偏差识别。 - 公司的CEO现在担心他们是否能提出正确的问题。这位副总裁正巧碰到这样的事实，山地车和头盔的销售不是1:1。还存在什么其他类似的问题？CEO可能想到的2个这类问题如下。 图4 按地区划分的头盔销售数据 图5 按地区和国家划分的头盔销售数据 - 1. 对购买山地车的客户来说，什么是最可能会同时购买的商品？ - 2. 购买气瓶的顾客1年内回来充气多少次？ - Intelligent Miner for data对第1个问题做出如下答案：头盔，可能性为92：手套，可能性为62：新款铃铛，可能性为23；速度计，可能性为13。 - Intelligent Miner for data可能会使用关联算法得出这样的答案。关联算法发现了产品之间的联系。根据上面的答案，它会给销售人员一个目录，列出在销售某一具体产品时所建议的前3名关联产品。例如，如果销售山地车，销售人员可建议购买头盔、手套和新款铃铛。 - 根据上面的答案，另外还可以采取以下行动：在骑车者安全问题上对销售伙伴进行教育（这可提高反光罩、灯和后视镜等产品的销售）；促销其他相关产品，如饮料瓶、速度计、个人音响；捆绑销售活动；开发跨部门的促销活动（如与山地车和手套一起使用的休闲用品和服装）；在山地车展厅里设一个手套展台；对最好的附件产品销售记录进行奖励以及每月刊登最有趣的附件产品销售的成功故事。 - Intelligent Miner for data对CEO的第2个问题会给出如下答案：购买气瓶的顾客12只回来充气1次；8回来2次及7回来补充物品的次数超过2次。 图6 按地区、国家和城市划分的头盔销售数据 图7 山地车和头盔销售的比较 - 根据上面的结果，公司可能做出2种决定，一种是考虑到重购物品的业绩好差，放弃充气业务，或者靠给下2次的充气给予25的折扣优惠来提高充气业务的销售业绩。公司还可以采取其他行动，如依然坚守充气业务，但销售水平要提高到每个气瓶顾客每年平均要充气1次；给现有和新的气瓶拥有者提出刺激措施；在春季给气瓶顾客邮寄信函提醒他们要回来充气；在客户停车场建立更多的便利充气站以及每一次充气都发折扣优惠券。 - 3个月后，公司有了如