《计算机应用基础》课件-大数据技术

数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多；发出的社区帖子达200万个，我们已经进入“大数据”时代，大数据正在改变我们的生活及理解数据的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……下面，我们一起来了解大数据技术的相关知识，并利用PowerBI分析零售业案例，体验大数据分析与可视化展现。一、大数据是什么大数据（bigdata）也称海量数据或巨量数据，是指数据量大到无法利用传统数据处理技术在合理的时间内获取、存储、管理和分析的数据集合。“大数据”一词除用来描述信息时代产生的海量数据外，也被用来命名与之相关的技术、创新与应用。点击此处播放微课大数据具有海量的数据规模（volume）、快速的数据流转（velocity）、多样的数据类型（variety）和价值密度低（value）四大特征，简称4V。(1)海量的数据规模2004年，全球数据总量为30EB，2005年达到50EB，2015年达到7900EB。根据国际数据资讯（IDC）公司监测，全球数据量大约每两年翻一番，预计到2020年，全球将拥有35ZB的数据。（数据存储单位之间的换算关系：1MB=1024KB；1GB=1024MB；1TB=1024GB；1PB=1024TB；1EB=1024PB；1ZB=1024EB）(2)快速的数据流转指数据产生、流转速度快，而且越新的数据价值越大。这就要求对数据的处理速度也要快，以便能够及时从数据中发现、提取有价值的信息。(3)多样的数据类型指数据量大但价值密度相对较低，挖掘数据中蕴藏的价值犹如沙里淘金。(4)数据价值密度低指数据的来源及类型多样。大数据的数据类型除传统的结构化数据外，还包括大量非结构化数据。二、大数据的关键技术大数据技术是指用非传统的方式对大量结构化和非结构化数据进行处理，以挖掘出数据中蕴含的价值的技术。根据大数据的处理流程，可以将其关键技术分为大数据采集、大数据预处理、大数据存储与管理、大数据分析与挖掘、大数据可视化展现等技术。对于网络上各种来源的数据，在被采集前都是零散的，没有任何意义。大数据采集就是将这些数据写入数据仓库，整合在一起，以便对数据进行综合分析。包括网络日志采集、网络文件采集（提取网页中的图片、文本等）、关系型数据库的接入等，常用的工具有Flume、Kakfa、Sqoop等。1.大数据采集由于大数据的来源和种类繁多，想要获得高质量的数据分析结果，必须在数据准备阶段提高数据的质量，即对大数据进行预处理。大数据预处理是指将杂乱无章的数据转化为相对单一且便于处理的结构（数据抽取），或者去除没有价值甚至可能对分析造成干扰的数据（数据清洗），从而为后期的数据分析奠定基础。2.大数据预处理大数据存储是指用存储器把采集到的数据存储起来，并建立相应的数据库，以便对数据进行管理和调用。目前，主要采用HDFS分布式文件系统（hadoopdistributedfilesystem）和非关系型分布式数据库（NoSQL）来存储和管理大数据。常用的NoSQL数据库包括HBase、Redis、Cassandra、MongoDB、Neo4j等。3.大数据存储与管理大数据分析与挖掘是指通过各种算法从大量的数据中找出潜在的有用信息，并研究数据的内在规律和相互间的关系。常用的大数据分析与挖掘技术包括Spark、MapReduce、Hive、Pig、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib等。4.大数据分析与挖掘大数据可视化展现是指利用可视化手段对数据进行分析，并将分析结果用图表或文字等形式展现出来，从而使读者对数据的分布、发展趋势、相关性和统计信息等一目了然，如图所示。目前，常用的大数据可视化工具有PowerBI、Echarts和Tableau等。5.大数据可视化展现三、大数据的应用场景大数据在电商行业的应用较为广泛，其典型的应用场景有：1.大数据在电商行业的应用①电商企业收集大量用户在电商网站或网络媒体上的注册信息、行为数据（用户在网站和移动App中的浏览/点击/发帖等行为）、交易数据、网络日志数据等；②对收集的数据进行分析和挖掘，得出不同用户的购买能力、行为特征、心理特征、兴趣爱好、家庭情况、喜欢的社交网络等数据；③根据分析结果做精准营销、精准推荐或提高用户的购物体验等。金融行业也是大数据应用的重点行业。目前，国内不少银行、保险公司都已建立大数据平台，并通过大数据来驱动业务运营。例如，银行通过收集并分析自身业务产生的数据、客户在社交媒体上的行为数据、客户在电商网站上的交易数据、客户的缴税信息等，可以了解不同客户的消费能力、信用额度和风险偏好，从而对客户实施精准营销、风险管控。2.大数据在金融行业的应用大数据在医疗行业的应用包括疾病预防、临床应用、远程医疗、医学研究、医院管理等。例如，利用大数据平台收集不同的病例、治疗方案和治疗效果，建立针对疾病特点的数据库。医生诊断病人时可以利用疾病数据库和相关工具分析病人的疾病特征、化验报告和检测报告，从而快速为病人确诊，并制定适合病人的治疗方案。3.大数据在医疗行业的应用大数据在教育行业的应用包括优化教学管理、学生管理、教学内容、教学手段、教学评价等。例如，基于网络的学习平台能记录学生的作业完成情况、课堂言行、师生互动等数据，如果将这些数据汇集起来，就可以分析出学生的学习特点和习惯，从而对不同学生的学习提出有针对性的建议。同时，这些数据也可以促使教师进行教学反思，从而优化教学。4.大数据在教育行业的应用在我国，政府部门掌握着全社会最多、最核心的数据。有效地利用这些数据，将使政务管理和服务、抢险救灾等工作的效率进一步提高，各项公共资源得到更合理的配置。例如，大数据对地震、台风等“天灾”救援已经开始发挥重要作用。利用大数据技术可以抓取气象局、地震