1.1.3 进入大数据时代-数据集与数据分析

《大数据导论》数据集与数据分析一、导入一、导入数据的关联对比产生智慧

二、数据集与数据分析数据集：一组或者一个集合的相关联的数据。数据集中的每一个成员数据，都应与数据集中的其他成员拥有相同的特征或者属性。（1）存储在一个文本文件中的推文（2）一个文件夹中的图像文件（3）存储在一个CSⅤ格式文件中的从数据库中提取出来的行数据（4）存储在一个XML文件中的历史气象观测数据例如：XML数据、关系型数据和图像数据就是三种不同数据格式的数据集。数据分析：通过处理数据，从数据中发现一些深层知识、模式、关系或是趋势的过程。数据分析的总体目标是做出更好的决策。如：通过分析冰淇淋的销售额数据，发现一天中冰淇淋甜筒的销量与当天气温的关系。二、数据集与数据分析不同的行业会以不同的方式使用大数据分析工具和技术。（1）在商业组织中，利用大数据的分析结果能降低运营开销，还有助于优化决策。（2）在科研领域，大数据分析能够确认一个现象的起因，提出更为精确的预测。（3）在服务业领域，大数据分析有助于人们以更低的开销提供更好的服务。二、数据集与数据分析从描述性分析到规范性分析，价值和复杂性都在不断提升二、数据集与数据分析1.描述性分析——往往是对已经发生的事件进行问答和总结。这种形式的分析需要将数据置于生成信息的上下文中考虑。如：（1）过去12个月的销售量如何？（2）根据事件严重程度和地理位置分类，收到的求助电话的数量如何？（3）每一位销售经理的月销售额是多少？二、数据集与数据分析进行描述性分析常常借助OLTP、CRM、ERP等信息系统经过描述性分析工具的处理生成的即席报表或者数据仪表板（dashboard）。报表常常是静态的，并且是以数据表格或图表形式呈现的历史数据。查询处理往往基于企业内部存储的可操作数据，例如客户关系管理系统（CRM）或者企业资源规划系统（ERP）。二、数据集与数据分析2.诊断性分析——旨在寻求一个已经发生的事件的发生原因。这类分析的目标是通过获取一些与事件相关的信息来回答有关的问题，最后得出事件发生的原因。如：（1）为什么Q2商品比Q1卖得多？（2）为什么来自东部地区的求助电话比来自西部地区的要多？（3）为什么最近三个月内病人再入院的比率有所提升？二、数据集与数据分析诊断性分析比描述性分析提供了更加有价值的信息，但同时也要求更加高级的训练集。诊断性分析常常需要从不同的信息源搜集数据，并将它们以一种易于进行分析的结构加以保存。而诊断性分析的结果可以由交互式可视化界面显示，让用户能够清晰地了解模式与趋势。诊断性分析是基于分析处理系统中的多维数据进行的，而且，与描述性分析相比，它的查询处理更加复杂。二、数据集与数据分析3.预测性分析——常在需要预测一个事件的结果时使用。通过预测性分析，信息将得到增值，这种增值主要表现在信息之间是如何相关的。这种相关性的强度和重要性构成了基于过去事件对未来进行预测的模型的基础。这些用于预测性分析的模型与过去已经发生的事件的潜在条件是隐式相关的，如果这些潜在的条件改变了，那么用于预测性分析的模型也需要进行更新。二、数据集与数据分析预测性分析提出的问题常常以假设的形式出现，如：（1）如果消费者错过了一个月的还款，那么他们无力偿还贷款的几率有多大？（2）如果以药品B来代替药品A的使用，那么这个病人生存的几率有多大？（3）如果一个消费者购买了商品A和商品B，那么他购买商品C的概率有多大？

预测性分析尝试着预测事件的结果，而预测则基于模式、趋势以及来自于历史数据和当前数据的期望。目的是分辨风险与机遇。二、数据集与数据分析二、数据集与数据分析预测性分析能够提供用户友好型的前端接口4.规范性分析——建立在预测性分析的结果之上，用来规范需要执行的行动。其注重的不仅是哪项操作最佳，还包括了其原因。换言之，规范性分析提供了经得起质询的结果，因为它们嵌入了情境理解的元素。因此，这种分析常常用来建立优势或者降低风险。如：（1）这三种药品中，哪一种能提供最好的疗效？（2）何时才是抛售一只股票的最佳时机？二、数据集与数据分析规范性分析比其他三种分析的价值都高，同时还要求最高级的训练集，甚至是专门的分析软件和工具。这种分析能将内部数据与外部数据结合起来。内部数据可能包括当前和过去的销售数据、消费者信息、产品数据和商业规则。外部数据可能包括社会媒体数据、天气情况、政府公文等等。二、数据集与数据分析

规范性分析通过引入商业规则、内部数据以及外部数据来进行深入彻底的分析。补充：关键绩效指标（KPI）关键绩效指标（KPI）是一种用来衡量一次业务过程是否成功的度量标准。它与企业整体的战略目标和任务相联系。同时，它常常用来识别经营业绩中的一些问题，以及阐