第1、2章 绪论、Linux的基础操作

第一章绪论大数据理论与应用基础1.1大数据的形成和发展1.2大数据的基本概念1.3大数据的关键技术1.4大数据的行业应用1.5大数据领域的主要职位及其能力要求1.6大数据面临的挑战和应对措施1.7本章小结本章目录大数据理论与应用基础1.2.1什么是大数据大数据理论与应用基础1.1大数据的形成和发展21世纪前10年1.1大数据的形成和发展“大数据”，展历程总体上分为三个重要阶段：萌芽期、成熟期和大规模应用期。大数据理论与应用基础萌芽期成熟期大规模应用期1990-20002000-20102010-至今21世纪前10年1.1大数据的形成和发展大数据理论与应用基础阶段时间内容第一阶段：萌芽期上世纪90年代至本世纪初随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。第二阶段：成熟期本世纪前十年Web2.0应用迅猛发展进入大数据成熟期，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速发展。第三阶段：大规模应用期2010年以后随着智能手机的应用，数据碎片化、分布式、流媒体特征更加明显，移动数据急剧增长，大数据进入大规模应用期。1.2.1什么是大数据大数据理论与应用基础1.2大数据的基本概念大数据理论与应用基础1.2.1什么是大数据“大数据”是一种规模大到在获取、存储、管理、分析方面远远超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据理论与应用基础1.2.2大数据的特征对于大数据的特征，学术界普遍认为是麦肯锡公司提出的4V特征，即海量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)。大数据理论与应用基础1.2.2大数据的特征1.海量化随着信息技术的发展，互联网规模的不断扩大，每个人的生活都被记录在了大数据之中，由此数据本身也呈爆发性增长。其中大数据的计量单位也逐渐发展，现如今对大数据的计量已达到BB（珀字节）。大数据理论与应用基础1.2.2大数据的特征名

称单

位英文名称换

算比特bit(位)bit最小的基本单位字节B(Byte)Byte1(B)=8bit千字节KBKilobyte1(KB)=1024B兆字节MBMegabyte1(MB)=1024KB吉字节GBGigabyte1(GB)=1024MB太字节TBTerabyte1(TB)=1024GB拍字节PBPetabyte1(PB)=1024TB艾字节EBExabyte1(EB)=1024PB泽字节ZBZettabyte1(ZB)=1024EB尧字节YBYottabyte1(YB)=1024ZB珀字节BBBrontobyte1(BB)=1024YB大数据理论与应用基础1.2.2大数据的特征2.多样化通常所说的数据是一个整体性的概念，按照不同的划分方式，数据可以划分成多种类型，最常用和最基本的就是利用数据关系进行划分，这种类型的多样性也让数据被分为结构化数据和非结构化数据。大数据理论与应用基础1.2.2大数据的特征3.快速化快速化是大数据区分于传统数据挖掘最显著的特征。如物联网每秒都在采集数据，微博内容随时都在更新，处理速度达到每小时10TB或更高。要求数据处理速度快，时效性高，在Web2.0应用领域的1分钟内，新浪可以产生2万条微博，Twitter可以产生10万条推文，苹果可以下载4.7万次应用，淘宝可以卖出6万件商品。大数据理论与应用基础1.2.2大数据的特征4.价值密度低传统数据基本都是结构化数据，每个字段都是有用的，价值密度非常高。大数据时代，越来越多数据都是非结构化数据，比如网站访问日志，里面大量内容都是没价值的，真正有价值的比较少，虽然数据量比以前大了很多倍，但价值密度降低很多。1.2.1什么是大数据大数据理论与应用基础1.3大数据的关键技术萌芽期1.3大数据的关键技术大数据理论与应用基础大数据技术是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统的工具来对大量的结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。关键技术架构大数据理论与应用基础1.3.1大数据采集技术数据采集是大数据分析过程中的最基本的环节，是对数据进行ETL(ExtractTransformLoad)操作的过程，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。由于数据产生的总类很多，方式不同，对于大数据采集系统，主要有以下几类：1.网络数据采集系统2.系统日志采集系统3.数据库采集系统大数据理论与应用基础1.3.2大数据预处理技术原始数据中往往会存在如下问题：不完整：即缺少属性值或仅仅包含聚集数据。含噪声：即包含错误或存在偏离期望的离群值。不一致：即数据记录的规范性和逻辑性不合规或与其他数据集合不一致。为了避免影响后续步骤，就需要用到整个大数据关键技术中最容易被忽略却也极其重要的一项——大数据预处理。大数据理论与应用基础1.3.2大数据预处理技术1.数据清洗数据清洗主要是通过填写空缺信息，消除噪声数据，识别和删除孤立点，并解决不一致问题来清洗数据，从而改善数据质量，提高数据挖掘的精度和性能。2.数据集成数据集成是将多个数据源中的数据整合到一致的数据存储仓库中。集成过程中主要遇到的实体识别问题、冗余问题和数据冲突的检测处理问题。大数据理论与应用基础1.3.2大数据预处理技术3.数据变换数据预处理阶段，数据被变化或统一，使数据挖掘过程更有效、挖掘的模式更容易理解。4.数据归约数据规约技术可以用来得到数据集的规约表示，规约后的数据集比原数据集小得多，但仍近似地保持数据的完整性。大数据理论与应用基础1.3.3大数据存储及管理技术1.不断加密:通过将所有内容转换为代码，使用加密信息，只有收件人可以解码。如果没有其他的要求，则加密保护数据传输，增强在数字传输中有效地到达正确人群的机会。2.NoSQL数据库:NoSQL(NotonlySQL)数据库的优势是：可以支持超大规模数据存储；灵活的数据模型可以很好地支持Web2.0应用；具有强大的横向扩展能力等等。3.云数据库:云数据库是基于云计算技术发展的一种共享基础架构的方法，是部署和虚拟化在云计算环境中的数据库。大数据理论与应用基础1.3.4大数据分析及挖掘技术数据分析过程需要从复杂数据中找出规律从而获得有价值的知识，这正是大数据的价值体现。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。大数据理论与应用基础1.3.5大数据展现与应用技术大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。1.2.1什么是大数据大数据理论与应用基础1.4大数据的行业应用萌芽期1.4大数据的行业应用大数据理论与应用基础水利大数据领域生物医学领域智慧城市领域商业领域农业领域安全领域主要在以下行业中应用：大数据理论与应用基础1.4.1水利大数据领域大数据理论与应用基础1.4.1水利大数据领域水利工作关系到国计民生，尤其是我国水资源分布存在严重的时空分布不均特性，旱灾洪涝易发多发。水利行业在经济、生态、社会等方面都扮演着重要角色，对水利大数据的研究具有重要的现实意义和应用价值。水利大数据是在大数据的理论指导及技术支撑下的水利科学和工程的重要实践。大数据理论与应用基础1.4.1水利大数据领域实时获取涉水监测与状态的流数据，利用分布式存储系统的高吞吐，实现海量监测与状态数据的同步存储，利用事先定义好的业务规则和数据处理逻辑，结合数据检索技术对监测与状态数据进行快速检索处理，根据流计算结果，实现实时评估和趋势预测，对水安全状态正确评价，实现异常状态报警，对极端条件下水安全进行预警，为水灾害防治提供决策支撑。实时分析应用：大数据理论与应用基础1.4.1水利大数据领域在离线数据一体化存储的基础上，建立数据分析接口，提供对水空间规划数据统计处理任务的支撑，并进一步满足水空间规划计算分析、水安全风险评估及预警等高级应用系统的数据要求，为管理层制定优化的决策方案提供科学合理的依据。离线分析应用：大数据理论与应用基础1.4.2生物医学领域大数据理论与应用基础1.4.2生物医学领域基于大数据的流行预测大数据理论与应用基础1.4.2生物医学领域智慧医疗大数据理论与应用基础1.4.2生物医学领域生物信息学大数据理论与应用基础1.4.3智慧城市领域大数据理论与应用基础1.4.3智慧城市领域城市现存问题大数据理论与应用基础1.4.3智慧城市领域智慧城市是以互联网、物联网、电信网、广电网、无线宽带网等网络的多样化组合为基础。智慧城市是技术集成、综合应用、高端发展的网络化、信息化、智能化和现代化城市。智慧城市是以智慧技术、智慧产业、智慧人文、智慧服务、智慧管理、智慧生活等为重要内容的城市发展的新模式。大数据理论与应用基础1.4.4商业领域大数据理论与应用基础1.4.4商业领域大数据理论与应用基础1.4.4商业领域大数据理论与应用基础1.4.5农业领域大数据理论与应用基础1.4.5农业领域大数据理论与应用基础1.4.5农业领域《中国农业云大数据》、《中国网络菜市场》两大项目的云数据电商平台已落户贵州，旨在依托贵州良好的生态、区位、资源、气候等方面的优势，将贵州打造成为全国第一个“数据农业、智慧农业、电商农业、旅游农业”一体化的示范省份。大数据理论与应用基础1.4.6安全领域大数据理论与应用基础1.4.6安全领域大数据成为竞争新焦点同时，带来了更多安全风险1.2.1什么是大数据大数据理论与应用基础1.5大数据领域的主要职位及其能力要求萌芽期1.5大数据领域的主要职位及其能力要求大数据理论与应用基础大数据是时代的重要力量，而熟练掌握大数据技术的人才是根本。由于大数据系统的复杂性和层次性，大数据领域的职位有不同的特点和不同能力要求。主要有以下职位：大数据理论与应用基础1.5.1首席数据官CDO（ChiefDataOfficer)首席数据官是随着企业不断发展而诞生的一个新型的管理者。其主要是负责根据企业的业务需求、选择数据库以及数据抽取、转换和分析等工具，进行相关的数据挖掘、数据处理和分析，并且根据数据分析的结果战略性地对企业未来的业务发展和运营提供相应的建议和意见。大数据理论与应用基础1.5.2数据科学家数据科学家是运用统计分析、机器学习、分布式处理等技术，从大量数据中提取出对业务有意义的信息，以易懂的形式传达给决策者，并创造出新的数据运用服务的人才。数据科学家擅长“量化问题，然后解决问题”，他们的工作由三种内容混合而成：定量分析(让你了解数据)、程序设计(让你可以处理数据)、讲故事(让你了解数据的含义)。大数据理论与应用基础1.5.3大数据开发工程师大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。熟练掌握数据仓库、Hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具。大数据理论与应用基础1.5.4大数据运维工程师大数据运维工程师负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;及时反馈技术处理过程中的异常情况，及时向上级反馈告警，同时主动协调资源推动问题解决；研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;负责和参与自动化运维系统及平台的建设;负责优化部门运维流程提升运维效率。1.2.1什么是大数据大数据理论与应用基础1.6大数据面临的挑战和应对措施大数据理论与应用基础1.6.2鲲鹏大数据解决方案/paper/214577890.html大数据理论与应用基础1.6.1大数据的挑战计算和存储融合，利用率低刚性扩容数据孤岛作业拥塞大数据理论与应用基础1.6.2鲲鹏大数据解决方案2019年在全联接大会上，华为云发布了首个鲲鹏大数据解决方案——BigDataPro解决方案优势：高安全性：服务器及大数据平台自主可控，芯片级数据加密，数据不失密高性能：比同档通用服务器性能提升30%，超强算力，高并发应用场景优化，支持5000+节点大数据集群。高开发：兼容ARM生态链，支持主流硬软件，建立Openlab,提供软件开发，应用移植，兼容认证等服务大数据理论与应用基础1.6.3鲲鹏大数据解决方案应用海量数据离线分析场景低成本:利用OBS实现低成本存储。海量数据分析:利用Hive实现TB/PB级的数据分析。可视化的导入导出工具:通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。大数据理论与应用基础1.6.3鲲鹏大数据解决方案应用海量数据存储场景实时：利用Kafka实现海量骑车的消息实时接入。海量数据存储：利用HBase实现PB级别海量数据存储，并实现毫秒级别数据查询。分布式数据查询：利用Spark实现海量数据的分析查询。大数据理论与应用基础1.6.3鲲鹏大数据解决方案应用低时延实时数据分析场景实时数据采集:利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。海量的数据源接入∶利用Kafka实现万级别的电梯数据的实时接入。1.2.1什么是大数据大数据理论与应用基础1.7本章小结萌芽期1.7本章小结大数据理论与应用基础本章作为大数据基本理论及实践的概述部分，重点介绍了大数据概念和特性，讨论了大数据关键技术，包括大数据采集技术、大数据预处理技术、大数据存储及管理技术、大数据分析及挖掘技术、大数据展现与应用技术。阐述了大数据行业中对专业人才的要求，最后基于目前大数据面临的挑战，给出鲲鹏大数据的解决方法。第二章

Linux的基础操作大数据理论与应用基础2.1

Linux概述2.2

Linux命令2.3

本章小结本章目录大数据理论与应用基础2.1Linux概述大数据理论与应用基础2.1Linux概述Linux内核最初是由芬兰人林纳斯·托瓦兹(LinusBenedictTorvalds)在赫尔辛基大学上学时出于个人爱好而编写。在诞生之初，Linux系统就是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。大数据理论与应用基础2.1.1Linux发行版本及特点目前被普遍使用的Linux发行版本如下：大数据理论与应用基础DebianUbuntuRedhatFedoraCentOS2.1.1Linux发行版本及特点大数据理论与应用基础2.1.2Linux操作系统与Windows操作系统对比1.

界面风格

Windows系统界面统一，外壳程序固定。

Linux系统发行版本图形界面风格依据发布版本不同而不同，可能互不兼容。2.

驱动程序获取

Windows系统驱动程序丰富，版本更新频繁。新硬件驱动依赖于硬件厂商提供。一些老版本的硬件，如果没有原配的驱动有时难以支持。

Linux系统的驱动程序由志愿者开发，Linux核心开发小组发布。在开源开发模式下，许多老版本的硬件很容易找到驱动。大数据理论与应用基础2.1.2Linux操作系统与Windows操作系统对比3.

用户体验

Windows系统的图形化界面对没有计算机背景知识的用户使用十分有利。

Linux系统图形界面使用简单，容易入门。但在命令行界面，需要学习相关知识才能熟练操作。4.学习难易度

Windows系统构造复杂、变化频繁，且知识、技能淘汰快，深入学习困难。Linux系统构造简单、稳定，且知识、技能传承性好，深入学习相对容易。大数据理论与应用基础2.1.2Linux操作系统与Windows操作系统对比5.

软件获取

Windows系统上每一种特定功能可能都需要商业软件的支持，需要购买相应的授权。Linux系统上大部分软件都可以自由获取，同样功能的软件选择较少。大数据理论与应用基础2.2Linux命令大数据理论与应用基础2.2.1命令行技巧1.

Tap自动补全如果已敲出的字符匹配到的命令或文件唯一,按Tab键，系统会自动补全。然后按Tab键。大数据理论与应用基础[root@hadoop~]#catfi

[root@hadoop~]#catfile2.2.1命令行技巧2.命令历史记录可以通过history命令，查看历史输入过的命令。3.快速中断进程与清屏Linux某些程序的运行，如果想要强制停止它，可以使用快捷键ctrl+c。通过快捷键ctrl+l，可以清空终端内容或通过命令clear得到同样效果。大数据理论与应用基础2.2.2

Linux帮助命令1.help命令与--help参数help命令能够在控制台上打印出我们需要的命令的帮助信息。格式：help<command>2.man命令man命令可以查询某个命令的帮助信息。格式：man[选项]commandman命令相比于help命令最大的优势在于用户可以在manpage中，通过按键交互进行翻页、查找等操作。大数据理论与应用基础2.2.3

Linux文件类型及查看操作1.Linux文件类型Linux常用的文件类型有普通文件、目录文件、链接文件、设备文件、套接字文件和管道文件。大数据理论与应用基础2.2.3

Linux文件类型及查看操作以下主要介绍链接文件和设备文件。链接文件：在Linux系统中，链接文件分为两种：硬链接文件和软链接文件，这两种文件都能实现windows中快捷方式的功能，但它们的实现方式不同。大数据理论与应用基础2.2.3

Linux文件类型及查看操作Linux系统中创建链接文件的命令是ln，其命令格式如下：ln[选项]源文件目标文件ln命令的第一个参数为被链接的文件，即源文件的路径名；第二个参数为链接文件的路径名，指定链接文件的存储位置。说明：①当ln命令的选项缺省时，系统会创建一个硬链接文件。②若搭配-s选项，则会创建一个软链接文件。大数据理论与应用基础2.2.3

Linux文件类型及查看操作设备文件：Linux系统中将外部设备视为一个文件来管理，设备文件被保存在系统中的/dev目录下。将设备抽象为文件的好处是：应用程序可以使用与操作普通文件一样的方式，对设备文件执行打开、关闭和读写等操作。使用“ls–l/dev”命令查看设备文件的详细信息。大数据理论与应用基础2.2.3

Linux文件类型及查看操作2.在Linux系统中，有以下三种查看文件类型的方法：ls命令

：参数-a列出目录下的所有文件，包括以“.”开头的隐含文件。根据文件属性的第一个属性判断文件类型。

file命令：能够比较简单的给出文件的文件类型。stat命令：可以查看文件的详细属性(其中包括文件的时间属性)。大数据理论与应用基础2.2.4文件与目录操作1.Linux的目录结构如下所示：大数据理论与应用基础2.2.4文件与目录操作1.Linux的目录结构/bin是Binaries(二进制文件)的缩写，该目录存放经常使用的命令。/boot：引导目录，存放启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件。/dev:dev是Device的缩写。该目录下存放的是Linux的外部设备。在Linux中，访问设备的方式和访问文件的方式是相同的。/etc:该目录下存放的是所有系统管理所需要的配置文件和子目录。/home:用户的家目录。大数据理论与应用基础2.2.4文件与目录操作1.Linux的目录结构/proc:是一个虚拟目录，是系统内存的映射，可以直接访问它来获取系proc:统信息，也可以直接修改里面的某些文件。/root:该目录是系统管理员的用户家目录。

/run:这个目录其实和/var/run是同一个目录，这里面存放的是一些服务的pid。一个服务启动完后，是有一个pid文件的。

/sbin:s就是SuperUser的意思，该目录存放的是系统管理员使用的系统管理程序。大数据理论与应用基础2.2.4文件与目录操作1.Linux的目录结构

/srv:该目录存放的是一些服务启动之后需要提取的数据。

/sys:该目录存放的是与硬件驱动程序相关的信息。/tmp:该目录用来存放一些临时文件。/usr:类似于windows下的ProgramFiles目录，用户的很多应用程序和文件都存放在该目录下。/var:该目录存放的是不断扩充且经常修改的目录，包括各种日志文件或者pid文件。大数据理论与应用基础2.2.4文件与目录操作2.Linux有关文件与目录操作命令ls:命令功能：列出参数的属性信息命令格式：ls[选项][参数]大数据理论与应用基础选项功能说明-a显示包括隐藏文件(文件名以“.”开头)在内的所有文件-l以长格式显示文件的详细信息，这个选项最为常用。每行列出的信息：文件类型与权限、链接数、文件属主(属主就是所属的主人，即owner)、文件属组(属组就是owner所在的group)、文件大小、建立或最近修改的时间名字-L若指定的名称为一个符号链接文件，则显示链接指向的文件-hhuman以人性化的方式显示出来-A显示指定目录下的所有子目录与文件，包括隐藏文件，但不列出“.”和“..”2.2.4文件与目录操作2.Linux有关文件与目录操作命令ls:示例1：ls-la大数据理论与应用基础[root@hadoop01~]#ls-la/usr/lib总用量36dr-xr-xr-x.27rootroot40969月1619:25.drwxr-xr-x.13rootroot15510月503:28..drwxr-xr-x.2rootroot610月22020binfmt.ddrwxr-xr-x.3rootroot644月112018debug2.2.4文件与目录操作2.Linux有关文件与目录操作命令cd：命令功能：切换目录命令格式：cd[选项][directory]大数据理论与应用基础参数功能说明cd/进入系统根目录cd返回父级目录cd或者cd～进入当前用户主目录cd/目录名称/目录名称/目录名称/跳转到指定目录cd-返回进入此目录之前所在的目录2.2.4文件与目录操作2.Linux有关文件与目录操作命令cd:示例：大数据理论与应用基础[root@hadoopdata]#cd/usr/src/[root@hadoopsrc]#pwd/usr/src2.2.4文件与目录操作2.Linux有关文件与目录操作命令pwd：命令功能：打印当前工作目录的绝对路径命令格式：pwd[选项]示例：大数据理论与应用基础[root@hadoopdata]#pwd/root/data2.2.4文件与目录操作2.Linux有关文件与目录操作命令touch：命令功能：更新已存在文件的时间标签，若文件不存在则新建文件命令格式：touch[选项]filename示例：大数据理论与应用基础[root@hadoop~]#lsdatadata.zipresult[root@hadoop~]#touchfile[root@hadoop~]#lsdatadata.zipfileresult2.2.4文件与目录操作2.Linux有关文件与目录操作命令cp:命令功能：将一个或多个源文件复制到指定目录命令格式：cp[选项]sourcedest大数据理论与应用基础选项功能说明-a该选项通常在复制目录时使用。它保留链接、文件属性，并递归地复制目录-d若来源档为连结档的属性(linkfile)，则复制链接文件属性而非文件本身-f为强制(force)的意思，若目标文件已经存在且无法开启，则移除后再尝试一次-R递归复制整个文件夹2.2.4文件与目录操作2.Linux有关文件与目录操作命令cp:示例：大数据理论与应用基础[root@hadoopdata]#ls[root@hadoopdata]#cp../file../data[root@hadoopdata]#lsfile2.2.4文件与目录操作2.Linux有关文件与目录操作命令mv:

命令功能：移动文件或目录命令格式：mv[选项]sourcedest大数据理论与应用基础选项功能说明-i交互方式操作。若mv操作将覆盖已经存在的目标文件，系统会询问是否重写，要求用户回答y或者n，这样可以避免误覆盖文件-f禁止交互操作。在mv操作要覆盖某已有的目标文件时不给任何提示，指定此选项后，-i选项将不再起作用。如果所给目标文件(不是目录)已存在，该文件的内容将被新文件覆盖2.2.4文件与目录操作2.Linux有关文件与目录操作命令mv:示例：大数据理论与应用基础[root@hadoop~]#ll总用量8-rw-r--r--.1rootroot6010月417:42result[root@hadoop~]#mvfiletest[root@hadoop~]#ll总用量8-rw-r--r--.1rootroot010月523:56test2.2.4文件与目录操作2.Linux有关文件与目录操作命令rm:命令功能：删除目录中的文件或目录命令格式：rm[选项]filename大数据理论与应用基础选项功能说明-i删除前逐一询问确认，进行交互式删除-f删除文件前，不询问确认，强制删除-r将参数中列出的全部目录和子目录均递归地删除，若未使用-r选项，则rm不会删除目录-v显示指令的详细执行过程2.2.4文件与目录操作2.Linux有关文件与目录操作命令rm:示例：大数据理论与应用基础[root@hadoopdata]#ls-l总用量0-rw-r--r--.1rootroot010月600:01file-rw-r--r--.1rootroot010月523:56test[root@hadoopdata]#rm-rftest[root@hadoopdata]#ls-l总用量0-rw-r--r--.1rootroot010月600:01file2.2.4文件与目录操作2.Linux有关文件与目录操作命令mkdir:命令功能：创建目录命令格式：mkdir[选项][dirname]大数据理论与应用基础选项功能-p创建一个完整的目录结构，即使用-p选项时，可在指定的目录下逐级创建目录-m对新创建的目录设置存取权限，也可以使用chmod命令设置2.2.4文件与目录操作2.Linux有关文件与目录操作命令mkdir:示例：大数据理论与应用基础[root@hadoop~]#ls[root@hadoop~]#mkdirdata[root@hadoop~]#ls-l总用量0drwxr-xr-x.2rootroot610月600:20data2.2.4文件与目录操作2.Linux有关文件与目录操作命令rmdir:命令功能：删除目录命令格式：rmdir[选项][dirname]大数据理论与应用基础选项功能说明-P删除指定目录上的所有目录，这些目录都应该是空目录-i在删除过程中，以询问的方式完成删除操作2.2.4文件与目录操作2.Linux有关文件与目录操作命令rmdir:示例：大数据理论与应用基础[root@hadoop~]#ls-l总用量0drwxr-xr-x.3rootroot1510月600:26adrwxr-xr-x.2rootroot610月600:26data[root@hadoop~]#rmdirdata[root@hadoop~]#ls-l总用量0drwxr-xr-x.3rootroot1510月600:26a总用量02.2.4文件与目录操作2.Linux有关文件与目录操作命令ln:命令功能：创建链接文件命令格式：ln[参数][源文件或目录][目标文件或目录]大数据理论与应用基础选项功能说明-i交互模式，文件存在则提示用户是否覆盖。-s软链接(符号链接)-d允许超级用户制作目录的硬链接。-b删除，覆盖以前建立的链接2.2.4文件与目录操作2.Linux有关文件与目录操作命令ln:示例：大数据理论与应用基础[root@hadoop~]#ln-stesttest_ln[root@hadoop~]#lsa.txtfifo_filefile2test_ln[root@hadoop~]#rm-rf./test_ln#删除软连接(注意不要写最后的/)[root@hadoop~]#lsa.txtfifo_filefile22.2.5文本编辑Vi编辑器是Linux系统下最基本的编辑器，工作在字符模式下，工作模式分为命令模式、插入模式和末行模式，这三种模式之间可以进行转换。1.命令模式命令模式下，可通过键盘控制光标的移动，实现文本内容的复制、粘贴、删除等操作。大数据理论与应用基础2.2.5文本编辑1.命令模式

命令模式常用指令：复制和粘贴和删除

大数据理论与应用基础命令功能说明yy复制当前行yw复制光标后的一个单词y0复制当前字符到当前行的起始y$复制当前字符到当前行的未尾yG复制当前行到文件末尾的内容n+yy复制n行yy复制当前行p粘贴2.2.5文本编辑1.命令模式

命令模式常用指令：复制和粘贴和删除

大数据理论与应用基础命令功能说明x删除当前字符X删除前一个字符dd删除当前行dw删除光标后的一个单词d$删除当前字符到当前行的末尾d0删除当前字符到当前行的开始dG删除当前行到文件末尾2.2.5文本编辑1.命令模式

控制光标常用指令：

大数据理论与应用基础命令功能说明h或左方向键左移一位l或右方向键右移一位j或下方向键下移一位k或上方向键上移一位h或左方向键左移一位l或右方向键右移一位j或下方向键下移一位2.2.5文本编辑1.命令模式

控制光标常用指令：

大数据理论与应用基础命令功能说明数字0移置本行开头$移动至行尾w移动到下一个单词的开头b移动到上一个单词的开头e移动到当前单词的未尾命令功能说明H移动到屏幕最上面一行M移动到屏幕中间一行L移动到屏幕最下面一行gg移动到文件开头G移动到文件未尾2.2.5文本编辑2.插入模式在插入模式下可以编辑文本内容。在命令行模式下按i,I,o,O,a,A等键可以进入插入模式，在此模式下可以输入文本，但命令执行后的字符插入位置不同。

大数据理论与应用基础2.2.5文本编辑3.末行模式

末行模式下可以对文件进行保存，也可进行查找、设置、退出编辑器等操作。末行模式常用命令：

大数据理论与应用基础命令功能说明:wfilename以指定的文件名filename保存并退出(类似于另存为):w保存当前修改，还可继续编辑:wq保存并退出vi环境:q退出vi环境:q!不保存修改，并强制退出vi环境命令功能说明:x保存并退出Vi环境，相当于“:wq”命令ZZ保存并退出vi环境:setnumber显示行号:!系统命令执行一个系统命令并显示结果:sh切换到命令行，按Ctrl+D组合键切换回vi环境2.2.6

文本过滤器与处理cat：命令功能：打印文件内容到输出设备

命令格式：cat[选项]filename示例：

大数据理论与应用基础[root@hadoop~]#catfilereshmilkmetamorphicfruit2.2.6

文本过滤器与处理more：命令功能：分页显示文件内容命令格式：more[选项]要查看的文件

示例：大数据理论与应用基础[root@hadoop~]#more+3a.txt#显示文件中从第3行起的内容342.2.6

文本过滤器与处理head：命令功能：查看文件的前n行

命令格式：head[选项]filename

示例：大数据理论与应用基础[root@hadoop~]#head-n3file#显示文件file的前3行reshmilkmetamorphicfruitfreshvegetable2.2.6

文本过滤器与处理tail：命令功能：查看文件的后n行

命令格式：tail[选项]filename

示例：大数据理论与应用基础[root@hadoop~]#tail-n3/etc/passwd#查看/etc/passwd文件最后3行的数据内容tt:x:1000:1000::/home/tt:/bin/bashuser:x:1001:1001::/home/user:/bin/bashtestUser:x:1002:1003::/home/testUser:/bin/bash2.2.6

文本过滤器与处理file：命令功能：辨识文件类型

命令格式：file[选项]filename

示例：大数据理论与应用基础[root@hadoop~]#filefile1file1:ASCIItext

2.2.7用户与工作组管理Linux系统是一个多用户、多任务的分时操作系统。在Linux系统中，用户可分为以下3种类型：（1）root用户：又称为超级用户，ID为0，拥有最高权限，可以对普通用户和整个系统进行管理。（2）系统用户：又称为虚拟用户、伪用户或假用户，不具有登录Linux系统的能力，但却是系统运行不可缺少的用户，一般ID为1～499。（3）普通用户：ID为500以上。可以登录Linux系统，但是使用的权限有限。这类用户由系统管理员创建。

大数据理论与应用基础2.2.7用户与工作组管理用户组是具有相同特征用户的集合，每个用户都有一个用户组，方便系统集中管理一个用户组中的所有用户。用户和用户组的对应关系有以下4种：（1）一对一：一个用户可以存在一个组中，是组中的唯一成员。（2）一对多：一个用户可以存在多个用户组中，此用户具有这多个组的共同权限。（3）多对一：多个用户可以存在一个组中，这些用户具有和用户组相同的权限。（4）多对多：多个用户可以存在多个组中，也就是以上3种关系的扩展。

大数据理论与应用基础2.2.7用户与工作组管理实现用户与用户组的管理，要完成的工作主要有如下几个方面：用户账号的添加、删除与修改；用户口令的管理；用户组的管理。通过定义用户组，在很多程序上简化了对用户的管理工作。

大数据理论与应用基础2.2.7用户与工作组管理有关用户和工作组的命令如下：useradd:命令功能：添加用户命令的格式：useradd[选项]username

示例1：

大数据理论与应用基础[root@hadoopdata]#useraddtt[root@hadoopdata]#tail-n1/etc/passwdtt:x:1003:1004::/home/tt:/bin/bash

2.2.7用户与工作组管理有关用户和工作组的命令如下：useradd:

示例2：

大数据理论与应用基础[root@hadoopdata]#useradd-d/usr/testtest[root@hadoopdata]#tail-n1/etc/passwdtest:x:1004:1005::/usr/test:/bin/bash

2.2.7用户与工作组管理有关用户和工作组的命令如下：userdel:命令功能：删除指定账户以及与账户相关的文件和信息

命令格式：userdel[选项]username

大数据理论与应用基础选项功能说明-f强制删除用户，即使用户当前已登录-r删除用户的同时，删除与用户相关的所有文件2.2.7用户与工作组管理有关用户和工作组的命令如下：userdel:

示例：大数据理论与应用基础[root@hadoopdata]#userdel-rtest[root@hadoopdata]#tail-n1/etc/passwd

2.2.7用户与工作组管理有关用户和工作组的命令如下：passwd:命令功能：设置用户的认证信息，包括用户密码、密码有效期等

命令格式：passwd[选项][username]

示例：大数据理论与应用基础[root@hadoopdata]#passwd-ltt#使用passwd锁定用户锁定用户tt的密码。passwd:操作成功

2.2.7用户与工作组管理有关用户和工作组的命令如下：usermod:命令功能：修改用户账号信息命令的格式：usermod[选项]username

大数据理论与应用基础选项功能-a把用户追加到某些组中，仅与-G选项一起使用-c修改用户账号的描述信息-d修改用户的宿主目录-e修改用户账号的有限期限-f修改用户密码过期多少天后就禁用该账号-g修改用户所属组2.2.7用户与工作组管理有关用户和工作组的命令如下：usermod:

大数据理论与应用基础选项功能-G修改用户所属的附加组-l修改用户的登录名称-L锁定用户的密码-s修改用户登入后所用的shell-u修改用户的uid，该uid必须唯一-U解锁用户的密码2.2.7用户与工作组管理有关用户和工作组的命令如下：usermod:示例：

大数据理论与应用基础[root@hadoop01data]#tail-n2/etc/passwdtestuser:x:1006:1001::/home/testuser:/bin/bashmyuser:x:1007:1001::/home/myuser:/bin/bash[root@hadoop01data]#usermod-luser1myuser[root@hadoop01data]#tail-n2/etc/passwdtestuser:x:1006:1001::/home/testuser:/bin/bash

user1:x:1007:1001::/home/myuser:/bin/bash

2.2.7用户与工作组管理有关用户和工作组的命令如下：groupadd:命令功能：主动添加用户组

命令格式：groupadd[选项]用户名大数据理论与应用基础选项功能说明-g(组ID)指定新用户组的组标识号ID-r创建系统工作组-k覆盖配置文件“/etc/login.defs”-o允许添加组ID号不唯一的组2.2.7用户与工作组管理有关用户和工作组的命令如下：groupadd:示例：

大数据理论与应用基础[root@hadoopdata]#groupadd-g2000youGroup[root@hadoopdata]#grepyouGroup/etc/groupyouGroup:x:2000:2.2.7用户与工作组管理有关用户和工作组的命令如下：groupmod:命令功能：修改用户组的属性命令格式：group[选项]group大数据理论与应用基础选项功能说明-g修改用户组的组标识号-n将用户组的名字改为新名字-o和-g选项同时使用，用户组的新gid能和系统已有用户组的gid相同2.2.7用户与工作组管理有关用户和工作组的命令如下：groupmod:示例：

大数据理论与应用基础[root@hadoopdata]#groupmod-g1999youGroup[root@hadoopdata]#grepyouGroup/etc/groupyouGroup:x:1999:

2.2.7用户与工作组管理有关用户和工作组的命令如下：groupdel:命令功能：删除已存在的用户组命令格式：groupdelgroup大数据理论与应用基础选项功能说明-g修改用户组的组标识号-n将用户组的名字改为新名字-o和-g选项同时使用，用户组的新gid能和系统已有用户组的gid相同2.2.7用户与工作组管理有关用户和工作组的命令如下：groupdel:示例：大数据理论与应用基础[root@hadoopdata]#groupdelotherGroup[root@hadoopdata]#grepotherGroup/etc/group[root@hadoopdata]#2.2.7用户与工作组管理有关用户和工作组的命令如下：su:命令功能：切换当前用户身份到其他用户身份

命令格式：su[选项][参数]示例：大数据理论与应用基础[root@hadoopdata]#sutt[tt@hadoopdata]$

2.2.8文件权限管理根据用户与文件的关系，Linux系统中将用户分为文件或目录的拥有者、同组用户、其他组用户和全部用户；又根据用户对文件的权限，将用户权限分为读取权限（read）、写入权限（write）和执行权限（execute）。大数据理论与应用基础权限对文件的影响对目录的影响r(读)可读取文件内容可列出目录内容w(写)可修改、删除文件内容可在目录中创建、删除文件x(执行)可作为命令执行可访问目录内容2.2.8文件权限管理权限管理命令：chown：命令功能：变更文件或目录的所有者命令格式：chown[选项][owner][:[group]]file大数据理论与应用基础2.2.8文件权限管理权限管理命令：chown：

示例：大数据理论与应用基础[user@hadoop~]$ls-ldtestdrwxr-