商务智能理论与应用1-数据

1、商务智能发展背景 伴随着以电子商务为特征的新经济逐步走向成熟，企业需要处理的数据量越来越多，数据库应用的规模、范围和深度不断扩大，已经从点(单台机器)，线(局域网)发展到面(网络)，甚至到因特网全球信息系统。近年来商业条码的推广，企业和政府交易的管理，以及数据采集工具的发展，都提供了巨大规模的数据，在商业管理，政府部门和工业数据处理等领域中应用了数以百万计的数据库。 对于企业来说，这些数据一方面来自与客户间的交易记录，另外，还可能来自企业内部的管理或生产系统，以及从其他途径搜集到的市场信息、协作伙伴和竞争对手的信息等。企业急切地希望通过快速处理这些数据获得有利于企业进一步发展的决策依据，而是否

2、能够最大限度地使用信息资源来管理和影响企业决策流程，将决定企业是否能拥有最大程度的竞争优势。 我国加入世界贸易组织后，企业不仅要市场扩大到了全球，同时也要面对来自全球的更多更强的竞争对手，企业必须采用快速的智能分析手段来实现对市场的定位、细分，对客户的更深层次的研究，以更强的姿态迎接挑战。基本教学内容基本教学内容 本课程主要介绍商务智能的基本概念，基本理论及本课程主要介绍商务智能的基本概念，基本理论及其应用，同时重点介绍了相关技术，以及在商务决其应用，同时重点介绍了相关技术，以及在商务决策中的应用。具体的内容包括数据仓库系统简介、策中的应用。具体的内容包括数据仓库系统简介、联机分析处理（联机分

3、析处理（OLAPOLAP），数据预处理技术（包括数），数据预处理技术（包括数据清理、数据集成和转换等），数据挖掘技术（包据清理、数据集成和转换等），数据挖掘技术（包括分类、预测、关联和聚类等）以及数据挖掘方法括分类、预测、关联和聚类等）以及数据挖掘方法（包括决策树方法、统计方法、关联规则挖掘、神（包括决策树方法、统计方法、关联规则挖掘、神经网络和基于案例推理等），并结合案例分析上述经网络和基于案例推理等），并结合案例分析上述方法和技术在商务智能中的应用。方法和技术在商务智能中的应用。 基本要求基本要求 目的主要是掌握商务智能的核心技术基础数据目的主要是掌握商务智能的核心技术基础数据仓库、仓库、

4、OLAPOLAP和数据挖掘的基本概念、技术和方法，和数据挖掘的基本概念、技术和方法，并在此基础上应用于相关领域。并在此基础上应用于相关领域。 熟悉数据库、数据仓库构建及多维数据的查看，熟悉数据库、数据仓库构建及多维数据的查看，掌握基本数据挖掘算法的应用掌握基本数据挖掘算法的应用 。教学纲要教学纲要 商务智能概述商务智能概述 数据库数据库 数据仓库数据仓库 在线分析处理在线分析处理OLAPOLAP技术技术 数据挖掘技术和方法数据挖掘技术和方法 商务智能应用商务智能应用* *教学方式教学方式 课堂讲解为主，辅以上机实验和课堂课堂讲解为主，辅以上机实验和课堂讨论。讨论。 商务智能案例分析商务智能案例

5、分析教材与参考书教材与参考书1赵卫东赵卫东.商务智能商务智能(第三版第三版). 北京：清华大学出版社，北京：清华大学出版社，20132赵卫东赵卫东. 流程智能流程智能.北京：清华大学出版社，北京：清华大学出版社，201233赵卫东赵卫东. . 客户智能客户智能.北京：清华大学出版社，北京：清华大学出版社，2013数据nDATA n数据是可以记录、通信和能识别的符号，它通过有意数据是可以记录、通信和能识别的符号，它通过有意义的组合来表达现实世界中的某种实体（具体对象、义的组合来表达现实世界中的某种实体（具体对象、事件、状态或活动）的特征。事件、状态或活动）的特征。n例如：例如：38.238.2

6、21 21 8 8信息nINFORMATION n信息是经过某种加工处理后的数据，是反映客观事物信息是经过某种加工处理后的数据，是反映客观事物规律的一些数据。信息是对数据的解释，数据是信息规律的一些数据。信息是对数据的解释，数据是信息的载体。的载体。 n例如：价格：例如：价格：38.238.2元，元， 气温：气温：2121摄氏度，摄氏度， 长度：长度：8 8厘米厘米知识nKNOWLEDGEn知识是对信息内容进行提炼、比较、挖掘、分析、知识是对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论。概括、判断和推论。n事实性知识和经验知识（隐性和显性）。事实性知识和经验知识（隐性和显性）。n例如：

7、商品价格例如：商品价格38.238.2元很贵元很贵 8 8月的天气是月的天气是2121摄氏度很凉快摄氏度很凉快 零件的长度是零件的长度是8 8厘米很短厘米很短SenderReceiver处理数据信息知识一个人的垃圾（数据）是另一个人的财富（信息）一个人的垃圾（数据）是另一个人的财富（信息）案例 什么是数据信息和知识 数据：数据：37.5n通过这个你能看出什么吗？估计很难？通过这个你能看出什么吗？估计很难？ 信息：信息：姓名：陈浩 年龄：5岁时间：2014年6月8日13点20分 腋下体温：37.5度环境：孩子在楼下玩，回来后看到脸特别红，测量体温为37.5度 这个时候，这个这个时候，这个37.5

8、有意义了，一个小孩在夏天午后玩了后测试的有意义了，一个小孩在夏天午后玩了后测试的体温。在这样的背景下，体温。在这样的背景下，37.5成为了有意义的信息中的一个关键指标。成为了有意义的信息中的一个关键指标。 知识知识n如果体温在36.937.5之间，则正常，称为基础体温。n如果体温超过基础体温1以上时，则为发热。n如果体温波动于38左右，则为低热。n如果体温在39以上，则为高热。n如果连续发热两个星期以上，则为长期发热。 判断判断(知识应用知识应用)：n是不是孩子在下面玩的比较热，穿的比较多？n是否可以先脱点衣服观察一小时后再测量？ 决策：决策：n1个小时后，再测量。l结果结果:n体温回落到36

9、.8度，正常范围，不用去医院。数据信息知识总结数据：数据：单纯的数据没有意义，不能直接帮助决策。信息：信息：信息是赋予了数据一环境。 知识：知识：从信息中得到，经过实践证明的、可以用来辅助决 策和行动。这个例子中只包含了显性知识，如果小孩的发烧在经过各种检查后仍然找不到原因，则需要专家会诊，要看既往的病史、家族的病史加上医生的综合判断，就要使用医生的隐性知识。 数据 数据可以记录历史资料，可以记录事件过程，可以表示事物特征。对于人类生存、发展、创新有着至关重要的作用。 体检指标，商品价格，股票价格，财务数据，GDP等等都属于数据。 对于企业而言数据就是生产，经营，战略，几乎所有的经营活动都依赖

10、数据，不可或缺。 对于政府而言，数据就是社会各类经济社会活动的表现。 有了数据的记录与使用，才有了社会的发展。信息时代数据的表现形式数据的潜在价值 数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而绝大部分则隐藏在表面之下如何使用数据 数据再利用数据再利用数据再利用是指企业对历史数据进行重新的整理分析，为今后的业务提供决策支持。有些公司由于业务开展时间较长，会收集到大量的数据，但是如果他们并不急需使用，或并不擅长再次利用这些数据，就会使这些数据长期的挤压起来，直到业务环境彻底变化，而失去可利用的价值。保存旧信息的计算机就是“数据坟墓”。数据再利用适合于控制着大型数据集运作的传统企

11、业。比如移动电话运营商收集用户的位置信息来传输电话信号。对于移动电话运营商来讲，这些数据的任务已经完成，但是对于一些广告公司来说，这些数据非常有价值，可以用于发布位置广告进行促销活动。付费通数据再利用案例付费通数据再利用案例 数据的重组数据的重组 数据重组是将两组和多组不同内容数据集结合起来进行分析。 统计学中的关联分析，回归分析，就可以用于对不同数据集的结合分析。 比如丹麦拥有1990-2007年间所有手机用户的相关信息，共涉及358403人。同时记录了该期间10729名中枢神经系统疾病患者相关信息。研究人员试图通过对这两个数据集的关联分析来推断： 手机用户是否比非手机用户显示出较高的中枢神

12、经系统疾病发病率？ 使用手机时间较长的用户是否比时间较短的用户更容易患病？ 两个数据集都采用了严格的质量标准，几乎包括了几乎所有移动用户和病患的相关信息，属于全样本分析，分析结果较抽样分析更加准确。央行支付数据与区域经济关系分析案例央行支付数据与区域经济关系分析案例 可扩展的数据可扩展的数据 扩展数据是指一些具有基本用途的数据，还可以进行扩展，二次使用。如果以某种方式收集的单一数据集有多种不同的用途，它就具有双重功能。 收集多个数据流或每个数据流中更多数据点的额外成本往往较低，因此，收集尽可能多的数据并在一开始的时候就考虑到各种潜在的二次用途并使其具有扩展性是非常有意义的。 比如谷歌公司的谷歌

13、地图不仅拍摄房屋和街道的照片，同时还采集了GPS数据。不仅充实了其地图服务，而且对交通导航也有很大的帮助。 废弃数据再利用废弃数据再利用 废弃数据是指在使用过程中产生，但是却对最终结果没有价值的数据。但是这些数据往往同最终结果具有一定的相关性，能够反映出使用者的一些意图。 例如，人们经常想搜索某个内容，点击进入后却未能找到想要的信息，于是又返回到搜索页面继续搜索。但是这个访问痕迹却已经被记录下来。Google认为这些信息是非常有价值的。如果许多用户都点击这个链接，就表明这个尝试和结果更加具有相关性，可以及时调整，提高搜索的效率。数据的分析 目的 让数据说话； 行动的向导； 杜绝浪费； 提供决策

14、的依据。 分类 描述性数据分析 预测性数据分析什么是数据分析？ 数据分析是指适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总、理解并消化。以求最大化地开发数据的功能，发挥数据的作用。 数据分析的目的 数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结研究对象的内在规律。简单的数据分析 数据分析步骤： 明确分析目的和内容 数据采集 数据处理 根据研究目标和内容进行分析 分析出的结果通过图表的方式展现出来 撰写数据分析报告 数据分析中经常用到的指标或术语，除掌握最基本的平均数、百分比等概念以外，还需要将容易混淆的指标进行明确区分，避免在以后阐述分析结果时出现

15、错误。常用指标或术语 平均数 绝对数与相对数 百分比与百分点 频数与频率 比例与比率 倍数与番数 同比与环比平均数绝对数与相对数 绝对数：是反映客观现象总体在一定时间、地点条件下的总规模、总水平的综合指标。也是数据分析中常用的指标，如：GDP、总人口数等。 相对数：是指两个有联系的指标对比计算而得到的数值，用于反映客观现象之间数量联系程度的综合指标。计算相对数的基本公式： 比较数值（比数） 相对数= 基础数值（基数） 分母是用做对比标准的指标数值，简称基数；分子是用做与基数对比的指标数值，简称比数。相对数一般以倍数、成数、百分数等表示，它反映了客观现象之间数量联系的程度。 使用相对数时需要注意

16、指标的可比性，同时要与总量指标（绝对数）结合使用。百分比与百分点 百分比是相对数中的一种，它表示一个数是另一个数的百分之几，也称百分率或百分数。 百分点是指不同时期以百分数的形式表示的相对指标的变动幅度，1个百分点=1%。例如，下图某公司发言人就混淆了百分比与百分点的概念。 表示构成的变动幅度不宜用百分数，而应该用百分点。因此，这位公司发言人正确的说法应该是“公司今年的利润是45%，比去年的28%提高了17个百分点”。频数与频率 频率是每组类别次数与总次数的比值，它代表某类别在总体中出现的频繁程度，一般采用百分数表示，所有组的频率加总等于100%。某校A班30个男同学在50个同学中出现的频率为

17、60%，即（3050）X100%；而20个女同学在50个同学中出现的频率为40%，即（2050）X100%。 频数也称次数。在一组依大小顺序排列的测量值中，当按一定的组距将其分组时，出现在各组内的测量值的数目，即为该组的频数，频数与总数的比为频率。 频数越大表明该组标志值对于总体水平所起的作用也越大，反之，表明该组标志值对于总体水平所起的作用越小。 在10次掷硬币中，有4次正面朝上，我们说这10次试验中正面朝上的频数是4。 累积频数就是将各类别的频数逐级累加起来比例与比率 比例是指在总体中各部分的数值占全部数值的比重，通常反映总体的构成和结构。比如，A班共有学生50人，男生30人，女生20人，则男生的比例是30/50，女生的比例是20/50。由此可以看出，比例的基数（也就是分母）都是全体学生人数，即为同一个基数。 比率是指不同类别数值的对比，它反映的不是部分与整体之间的关系，而是一个整体中各部分之间的关系。比如刚才的例子，男生30人，女生20人，则男生与女生的比率是30/20。这一指标经常会用在社会经济领域，比如我国的人口性别比就是用每100名女性数量相对的男性数量来表示的。倍数与番数 倍数与番数同样属于相对数，但使用时容易混淆。倍数是一个数除以另一个数所得的商。比如ABC，就是说A是B的C倍。需要注意的是，倍数一般是表示数量的增长或上升幅度，而不适用于表示数量