数据分析科学的过去现在未来公开课一等奖市优质课赛课获奖课件

数据分析科学的过去、现在、未来

--统计是数据科学谢邦昌教授1

朱建平教授21.辅仁大学统计资讯学系暨应用统计所教授首都经贸大学统计学院&中央财经大学统计学院博导厦门大学计划统计系&西南财经大学统计学院客座教授中华数据挖掘协会理事长2.厦门大学计划统计系

统计学的发展，是根据数据的型态和问题的本质来改变的，不是因为我们会做他背后的数学而发展的。不要因为(统计的)问题困难而去做它；也不要因为它难而不做。(贺吉士J.L.Hodges,Jr.,1922-2000)统计学的味道，来自她的数据，因为这是她的本质。统计是数据科学

数学是数理统计的基础

统计科学还是统计工业工业意味着不断改进的、有市场的产品和日益增加的就业人口。如果统计只是在大学里或者研究单位里面存在的话，那么这个行业的萧条，也是可以预期的。工业的另一个意涵是不再有单兵作战。工业化的结果，除了世俗化之外，还暗示着有更高的附加价值。化工厂里满墙的屏幕：每一个都在监测某一重要生产环节的状况和反应；企业里开始有「数据价值发展部」的编制。将某些统计工作专业化，不断地加上新的价值什么是数据挖掘?数据挖掘是计算机应用领域的新名词。然而当人类还在茹毛饮血的上古时代早已进行着数据挖掘的行为为了快速并准确捕获猎物，人类的祖先必须细心观察猎物的习性，并预测猎物的行为，才能战胜猎物、存活下去同样的，在讲究实时、竞争激烈的网络时代，如果能事先破解消费者的行为模式，将会是赢得电子商务的关键因素之一ItisNew资源与信息共享InformationDeliveryDatamining（DM）是一个当红的专题，也是蛮新的一个专题多半的人，并不知道它能做甚么。但是不能太晚上车。(中研院赵民德)瞎子摸象?找Pattern?Trend?Relationship?林共进教授提供什么是数据挖掘?定义WilliamFrawley&GregoryPiatetskyShapiro,1991从现有的大量数据中，撷取不明显的、之前未知的、可能有用的信息目标建立起决策模型哪一类的用户对我的产品有兴趣?根据过去的行动来预测未来的行为10什么是数据挖掘?从数据库中萃取出有效益，且隐藏在数据当中的信息数据挖掘是属于KDD的其中最重要的一环Fayyad(1996)：Thenontrivialprocessofidentifyingvalid、novel、potentiallyuseful,andultimatelyunderstandablepatternindata.DataTransformedDataTargetDatePatternsPreprocessedDataSelectionPreprocessingTransformationDataMiningInterpretation/EvaluationKnowledge什么是数据挖掘?大量的资料型态或规则里面要有矿!信用卡消费资料：假设每人平均有1.5张信用卡，每月平均消费10笔，该行约有150万的客户。就资料量而言，每月约有2,250万笔消费记录，每年约有2亿7千万笔消费记录客户的消费型态或规则你不能不知的十大创新技术根据TECHNOLOGYREVIEW杂志（麻省理工学院2002年1月出刊）提出改变未来的十大创新技术机器与人脑的界面塑料晶体管资料採礦(Datamining)数字权利管理生物测定學(Biometrics)语言识别处理微光学技術(Microphotonics)解开程式碼(Untanglingcode)机器人设计微应用流体學(Microfluidics)PCArchitectureDOSSpreadsheetsWordProcessorsPCMid80sInternetMid90sApplicationsLate80s-Mid90sWebAppsMid00s-...TodaySpeech/WritingXML/SOAPHTTP/HTMLSMTPEmailClientsWebBrowsersWi-Fi/BroadbandDevicesWebServicesProtocols:LooselyCoupled

APIs:TightlyCoupledRightsManagementTrustedComputingHardwareMouseGUILANs智能提炼让数据为您开启智识大门15Intelligence

Refining

ProcessDataWarehousing数据挖掘方法概述1.Classification2.Prediction3.Segmentation4.Association5.SequenceDataMining兴起的原因数据大量产生资料仓储形成计算机软件配合发展DataKnowledgeTheEvolutionofDataMiningDataMining进行步骤理解数据与进行的工作获取相关知识与技术（Acquisition）融合与查核资料（Integrationandchecking）去除错误或不一致的数据（Datacleaning）发展模式与假设（Modelandhypothesisdevelopment）实际数据挖掘工作测试与检核所挖掘的数据（Testingandverification）解释与使用数据（Interpretationanduse）数据挖掘源数据支持向量机决策树孤立点关联规则模糊聚类粗糙集神经网络贝叶斯网络RBF网络统计分析

数据挖掘

数据分析流程报表展现数据导入数据处理统计分析数据挖掘建模结果数据分析流程数据挖掘

统计分析平台数据挖掘平台部分挖掘平台分析结果——作案方式分析如果：选择部位属于宿舍那么：进入方式＝＝>撬门决策预警DataMining进行步骤之产业标准CRISP-DM(Cross-IndustryStandardProcessForDataMining)SAS-SEMMA数据挖掘功能分类（Classification）预测（Forecasting）推估（Estimation）关联分组（AffinityGrouping）集群化（Clustering）数据挖掘方法论AssociationRuleClusteringDecisionTreeLinearRegressionLogisticRegressionNaïveBayesianNeuralNetworkSequenceClusteringTimeSeries

DATAMINING

运行时间定义企业问题资料检视资料准备模型的建立模型的评估布属与应用资料源DATAMINING处理流程数据挖掘产业标准CRISP-DMDataMining的商业价值Reports(动态&Adhoc)DataMiningBusinessKnowledgeEasyDifficult使用容易度OLAP

Reports(静态)商业价值数据源:MicrosoftTaiwan数据挖掘应用

DataMining在各产业的应用金融服务业 客户贡献度分析、信用评分、风险评估、客户区隔、交叉营销等。保险业 顾客贡献度分析、信用评分、风险评估、客户区隔、交叉营销、客户流失分析和诈欺侦测等。电信业 顾客贡献度分析、信用评分、客户区隔、交叉营销、客户流失分析、销售预测和诈欺侦测等。DataMining在各产业的应用制造业 客户贡献度分析、质量管理、营销绩效分析、生产分析和存货分析等。零售业 客户忠诚度、客户区隔、购物篮分析、定价分析、交叉营销和销售预测等。生物科技、医疗保健、航天空业、环境、法律等数据挖掘无处不在商业问题Microsoft算法预测类别变量，例如营销响应、顾客流失、违约预测(巴塞尔资本协定IRB)…決策树贝氏机率分类群集类神经网络罗吉斯回归预测连续变量，例如预测销售量、预测客户价值变动、预测金融商品价格波动...回归树时间序列类神经网络预测序列，例如找出网站用户的点选路径模式、客户缴款行为模式、商品购物顺序时序群集找出产品交叉销售关联性，又称为购物篮分析关联规则決策树找出潜在相似性，例如市场区隔、侦测晶圆瑕疵分配、文件分类、保险浮滥理赔侦测、伪卡侦测群集时序群集商业智慧的核心如何收集资料营运数据，市场调查资料，固定Panel追踪如何管理数据ETL，Datawarehousing如何从数据中获取智能DataMining，OLAP，Statistics如何应用智能营销策略，主管决策，互动化CRM机制商业智慧之整合运用

「不论是营销或服务部门，如何将分析所得到的信息，进一步转换成经营管理可资利用的材料，并且在实际联机操作环境中，将整个响应机制完全自动化，充分运用这些信息。」 「将数据分析所得的结果回馈入企业资源规划系统(ERP)，客户关系管理(CRM)以及电子商务(EC)等系统中，藉此快速地提升在这些系统上所花费大量支出的投资报酬率（returnoninvestment,ROI）」

透过提供企业所有成员商业洞察力，以提升企业组织能够更快速、更正确的产生营运决策完整且高度整合的商业智能解决方案

可透過MicrosoftOffice传递商业智能讯息

符合预算考虑的企业级解决方案Microsoft商业智慧

远景与策略完整的算法決策树群集时间序列时序群集关联规则贝氏机率分类类神经网络SQLServer2000已提供罗吉斯回归线性回归文字数据挖掘完整商业智能的工具强化的功能新一代BusinessScorecardManager2005整合Office“2007”SQLServer2005

关连式的资料仓储分割数据表与分割索引强化高规模与同时存取的功能简单化数据管理在线索引作业数据库镜像与快照隔离等级读取动作不等待写入动作写入动作不干扰读取动作新增与数据加载强化T-SQL强化DataWarehouseReadyMicrosoftOfficeBusinessScorecardManager提供组织以下的功能强化的计分卡平台洞悉企业问题协同组织分析与协调作业提供前端用户强大分析功能扩充性平台SQLServer2005提供BusinessScorecardManager以下功能集中化管理与指标多维度计分卡提供KPI给前端应用程序利用UDM整合数据处理监控指标分析问题协同作业定义目标整合Office“2007”利用Excel分析数据建立企业分析数据文件整合电子表格与文件到SharePoint直接在应用程序中进行

Office文件的使用直接在入口网站进行数据存取检视

整合SQL从各种数据源取得资料整合与转换数据从商业逻辑的角度呈现与分析数据以DataMining预测与分析发布与呈现资料简单易用ReportBuilder整合分析报表DecisionReady

BusinessIntelligence加速企业决策效能商业智慧CATI－背景

计算机辅助电话调查系统（Computer-AssistedTelephoneInterviewingSystem),简称CATI系统，也称为电脑辅助电话调查系统，是利用计算机辅助电话调查而开发的调查访问作业系统。

CATI系统通常的工作形式是：访员坐在计算机前，面对屏幕上的问卷，向电话对面的被访者读出问题，并将受访者的回答结果通过鼠标或键盘记录到计算机中去；督导在另一台计算机前对整个访问工作进行现场监控。通过该系统调查者可以以更短的时间，更少的费用，得到更加优质的访问数据。所得数据可被各种统计软件直接使用。CATI电话调查系统

CATI电话调查系统－访问端

CAPI

抽样方案--*客户(面访)CATI面访CAWI

抽样方案--*客户(网络调查)雅典娜网络调查系统**客户满意度指数模型CATICAPI

CAWI+

DataMining方案的优越性集成CATI，CAPI（面访和数据录入），Web访问入户调查，问卷调查（CAPI）DataWarehouseManagementMetadataDatabase电话调查（CATI）网络调查（Web）DataMiningComprehensiveApproachtoBIOneDashboardOneDashboardWhat-ifAnalysisMAP(Graphic)IntegrationSimulationInteractiveToolMobileDeviceApplicationDrill-DownToolIntegrationDashboardSourcedatabasemanagement(Ex.ERPsystem)DataminingDatawarehousemaintenanceBusinessInformationdisplayDatasecuritymanagementUserDataWarehouseInformation/StrategyplatformERPsystemXcelsiusManagerBusinessstrategydashboardarchitectureDataMining未来趋势-TextMining有90%地信息以非结构性文件储存TextMining主要是用来处理这些非结构化信息，以找出规则与结构可应用在专利文件、病例、论文研究、文件分类、知识管理、信用评等….市场上工具：SQL2005SSIS/ASIBMIntelligentMinerforTextSASEnterpriseMinerforTextSPSSClementineforText数据源:MicrosoftTaiwan新增文字数据挖掘功能TermExtract,TermLookup目前仅支持英语可撷取单字或是词组可列举排除关键词Fuzzylookup,FuzzyGrouping容错指标Error-TolerantIndex可应用在专利文件、病例、论文研究、文件分类、知识管理、信用评等….数据源:MicrosoftTaiwan词汇索引前置处理既有词汇撷取文件新生词汇撷取关键词汇筛选及排名(Ranking)概念式分类/分群多国语言中(简繁体字)英日德俄…

词库式断词专家断词领域相关经验法则指引式文件分类文件自动分类(相似)信息截取(InformationExtraction)概念式搜寻信息分享统计断词关联与相依分析(Association&DependentAnalysis)专家校正图形模式

贝氏机制关联与法则议题关联相关议题法则法则推论文献相似分析/相依原理法则逻辑推论样本数据推论分析-知识脉络Age&AbortionAgeANDAbortion?Age&Hrt专家与决策文献知识群组知识呈现ComprehensiveApproachtoBITOOLS&APPLICATIONSPLATFORMTrustedplatformDatawarehousingDeveloper-readyEnterprisescalabilityCollaborativeBIPervasivereachPerformancemgmtSearch,ContentmgmtApplicationsPerformancePointServerPerformancePointSolutionOverviewEnterpriseDataAnalystContributor/ApproverAdministratorReportConsumerFunctionalOverviewofPerformancePointArchitectureSQLServer2005PerformancePoint

(PPS)ApplicationServerPPSModelsPPSDimensionsPPSAssociationsBusinessdefinitionsfordataviews,workflow,

andsecurityPPSForms&ReportsPredefinedbusinessandfinancialintelligenceSAPOraclePeopleSoftSiebelMBSCustomPPSModelerPPSExcelAddInPPSDashboardPerformancePointClient(PPS)UserDefinedBusinessRulesandFormulasOfficeSharePointServer2007SQLServer2005RDBMSSQLServer2005IntegrationServicesSQLServer2005ReportingServicesBIPlatformPerformanceManageme