大数据技术导论概论

大数据技术导论绪论1.1

揭秘大数据1.2

Linux概述1.1揭秘大数据(1)数据产生方式的变革促成大数据时代的来临数据产生方式经历了被动产生

主动产生

自动产生三个阶段（见图1.1）。1.1.1大数据产生历史必然概论产生方式自动的。1.1揭秘大数据(2)云计算是大数据诞生的前提和必要条件图1.2给出云的发展历程。1.1.1大数据产生历史必然概论

大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据具有4V特征见图1.3。1.1.2大数据概念和特征1.1揭秘大数据概论Volume美国的国会图书馆5000百度每天处理数据量三、大数据4V特点几点说明Variety75%网络日志、音频、视频、图片、文本等5%数据库等非结构化数据结构化数据20%半结构化数据

网页等

数据产生得快一台大型粒子对撞机里共有1.5亿个传感器每秒钟发生粒子对撞6亿次仅仅使用十万分之一一年积累25PB的数据1TB的硬盘×25000个剔除99.999%数据处理速度快大数据通过云计算，以上数据储存仅需20分钟共计1PB，速度1G/s，还剩144小时已完成50%Velocity实时采集，实时传输，实时分析，实时反馈Value1、价值密度低：信息分布毫无规律，隐藏较深。2、价值体现：具备高性能、实时性、可扩展性的预测能力。3、实现价值的三要素：大分析、大宽带、大内容。1.1大数据的概念1.1.3大数据生命周期大数据概念及其应用1.1揭秘大数据概论表1.1大数据生命周期个阶段相关技术产品1.1揭秘大数据概论1.1.4大数据与物联网、云计算、人工智能1.1揭秘大数据概论1.1.5大数据时代的八个重大变革决策方式:目标驱动型→数据驱动方法论:基于知识的方法→基于数据的方法12计算方式:复杂算法→简单分析管理方式:业务数据化→数据业务化341.1揭秘大数据概论1.1.5大数据时代的八个重大变革研究范式:第三范式→第四范式数据的属性:数据是资源→数据是资产56数据处理模式:小众参与→大众协同思维方式:整体思维+相关思维+容错思维781.1揭秘大数据概论概述1.1

揭秘大数据1.2

Linux系统概述1.2.1Linux的选择CentOSUbuntu12Redcap31.2Linux系统概述概论1.2.2Linux系统常用命令1.2Linux系统概述概论命令

含义cd/home/hadoop把/home/hadoop设置为当前目录cd..返回上一级目录cd~返回登录目录cd/把用户带到整个目录的根目录cd/root把用户带到根用户或超级用户的主目录；只有根用户才能访问该目录ls查看当前目录中的文件ls-l查看文件和目录的权限信息ls-a显示隐藏文件mkdirinput在当前目录下创建input子目录1.2.2Linux系统常用命令1.2Linux系统概述概论mkdir-psrc/main/scala在当前目录下，创建多级子目录src/main/scalacat/proc/version查看Linux系统内核版本信息catword.txt把word.txt这个文件全部内容显示到屏幕上head-5word.txt把word.txt文件中的前5行内容显示到屏幕上cpword.txt/usr/local/把word.txt文件复制到“/usr/local”目录下rm./word.txt删除当前目录下的word.txt文件rm–r./test删除当前目录下的test目录及其下面的所有文件rm–rtest*删除当面目录下所有以test开头的目录和文件tar-zxvf~/Downloads/spark-2.1.0.tgz-C/usr/local/把spark-2.1.0.tgz这个压缩文件解压到/usr/local目录下1.2.2Linux系统常用命令1.2Linux系统概述概论mvspark-2.1.0spark把spark-2.1.0目录重新命名为sparkchown-Rhadoop:hadoop./sparkhadoop是当前登录Linux系统的用户名，把当前目录下的spark子目录的所有权限，赋予给用户hadoopifconfig查看本机IP地址信息exit退出并关闭Linux终