大数据技术导论 第3版（项目化教程）课件 程显毅- 项目1、2 数据素养认知、Linux操作系统

项目1数据素养认知目录01无处不在的大数据02大数据产生的历史必然03大数据概念与核心特征04大数据与小数据的本质区别05大数据思维范式转型06大数据处理全流程07大数据商业价值实现路径08大数据产业链09数据要素10项目实施：数据素养核心能力构建11项目总结与展望0101无处不在的大数据医疗领域：早产儿健康预警系统通过实时采集婴儿心跳、呼吸等生理数据，结合历史数据库进行模式识别，实现感染风险的早期预测。利用视频课程观看行为与答题记录分析学生掌握情况，动态调整教学内容难度与节奏。教育领域：个性化学习路径规划基于销售数据与库存状态自动触发补货指令，实现库存优化与物流效率提升。企业运营：智能供应链管理整合用户消费习惯、社交互动及浏览轨迹，生成千人千面的个性化营销方案。消费领域：精准推荐与优惠推送大数据的现实应用场景数据沉淀与产品迭代将用户反馈转化为结构化数据集，用于指导后续版本的功能优化与用户体验改进。成功案例：相机算法升级根据大量用户拍摄样张的数据分析，优化夜景模式算法，显著提升成像质量。用户参与功能设计机制搭建线上共创平台，邀请数十万粉丝投票选择新功能开发方向。全流程数据闭环构建实现从需求收集→原型测试→数据验证→正式发布的一体化数据驱动流程。小米手机用户共创平台在试衣镜嵌入传感器，记录试穿次数、停留时长及未购买原因分类。试衣间行为数据采集每件衣物配备RFID标签，实时上传销售状态与流转信息至中央数据库。衣架内置传感技术应用实时同步门店交易数据，形成“销售-反馈-生产”快速响应链条。POS系统与数据中心联动构建基于消费者偏好的产品偏好模型，支撑新品研发决策。设计师知识库建设ZARA快时尚数据反馈体系2009年《自然》期刊论文证实其预测准确率超过传统监测手段。研究成果发表可提前1-2周预警疫情爆发，但存在过度敏感与误报风险。应用价值与局限性建立搜索频率与实际发病率之间的相关性模型，进行区域级流行趋势预判。模型构建原理030204聚焦“流感”“发烧”“咳嗽”等高频词汇在不同地区的搜索热度变化。数据来源：搜索关键词行为01Google流感趋势预测项目02大数据产生的历史必然人类活动自然遗留数据，如手写日记、纸质账本，数据量小且难以获取。被动产生阶段有意识地记录信息，如问卷调查、实验数据采集，具备明确目的性。主动产生阶段智能设备持续生成数据流，如摄像头、传感器、移动终端自动上传日志。自动产生阶段物联网设备数量突破百亿级，每日新增数据量达数百万TB。技术驱动下的数据爆炸数据产生方式的演进02030401分布式存储架构支持海量非结构化数据长期保存，成本大幅下降。存储能力突破瓶颈计算资源弹性调度数据服务模式变革云原生技术生态成熟云平台可根据任务负载动态分配计算节点，保障高并发处理能力。从本地部署转向SaaS化服务，降低企业使用门槛。Kubernetes、容器化、微服务架构为大数据应用提供稳定运行环境。云计算作为大数据前提01020304智能手机渗透率达85%以上，成为个人数据的主要采集终端。移动互联网普及工业传感器、智能家居、可穿戴设备全面接入网络。物联网设备泛在化低延迟、高带宽特性支持实时视频流与大规模设备连接。5G网络加速数据传输在靠近数据源的位置完成初步处理，减少中心服务器压力。边缘计算兴起技术融合推动数据革命数据规模指数级增长全球数据总量已突破100ZB，预计2030年将达250ZB。数据类型多元化图像、音频、视频、文本、位置信息等多模态数据占比持续上升。数据生命周期缩短从产生到被利用的时间窗口不断压缩，要求即时响应能力。数据治理成为关键议题合规性、隐私保护、数据安全等问题日益突出。大数据时代来临标志03大数据概念与核心特征技术定义无法在合理时间内用传统软件工具完成采集、存储、管理和分析的数据集合。语境依赖性“大”的标准随技术发展而变化，当前以PB级为基准阈值。本质特征不是单纯的数据堆积，而是对数据间关联关系的深度挖掘与系统分析。价值导向强调从数据中提取有效信息，服务于决策优化与业务创新。1234大数据定义解析大数据5V特征详解bit→Byte(8bit)→KB(1024Byte)→MB→GB→TB→PB→EB→ZB→YB.基础单位层级数据单位换算体系每日增幅结构化数据占比仅占约25%，主要存在于企业ERP、CRM系统中。半结构化数据特点包含标签或元数据，如邮件、网页、日志文件。非结构化数据主导地位占比75%，包括图像、视频、音频、社交媒体内容。处理挑战需要自然语言处理、计算机视觉等先进技术支撑。数据种类分布分析04大数据与小数据的本质区别数据记录方式变革小数据：人为设定由研究者设计问卷或实验，有明确目标与范围。数据自主性大数据不依赖人工干预即可持续产生，具有自组织特性。大数据：自然涌现来自真实世界的行为痕迹，不受主观意图控制。信息完整性能够完整还原事件全过程，避免抽样遗漏。数据生成逻辑差异小数据相当于盲人摸象仅具使用价值，不可再生，消耗即消失。可重复使用、增值、交易，具备金融属性。小数据：资源属性大数据：资产属性基于收益法、市场法、成本法进行综合估值。探索建立数据所有权、使用权、收益权分离机制。数据资产评估方法数据确权与产权制度数据资产化趋势05大数据思维范式转型三种决策方式凭借个人判断与过往经历做决定，缺乏客观依据。寻找问题根源，建立理论模型解释现象，适用于复杂系统。经验驱动因果驱动直接从数据中寻找规律，无需先建立假设，强调实证结果。数据驱动平均决策时间缩短60%，错误率下降45%。数据驱动决策效率对比三种决策方式对比识别所需数据源，制定采集策略与接口规范。数据获取阶段分析建模阶段应用统计学或机器学习方法发现隐藏模式。明确业务目标，提出可量化的问题陈述。问题定义阶段处理缺失值、异常值、重复数据，保证数据质量。数据清洗阶段数据驱动的决策流程01从复杂算法到简单查询大数据时代可用“查找”替代“推理”，大幅提升效率。02机器翻译的技术突破GoogleTranslate基于海量双语语料库实现高质量翻译，无需复杂语法引擎。03第四范式科学发现由实验→理论→模拟→数据密集型发现，标志着科研范式革命。04科研效率提升数据驱动研究周期平均缩短70%，成果转化率提高50%。计算方式的演进理论科学计算科学数据科学实验科学整体思维基于全样本而非抽样，确保结论全面性与准确性。关注“是什么”而非“为什么”，追求即时洞察。相关思维容错思维接受部分噪声数据，充分利用非结构化信息。将数据思维与科学思维结合，实现更优决策。思维融合策略大数据思维三大核心06大数据处理全流程大数据处理过程数据敏感度培养建立“问题—数据—答案”思维惯性。需求识别四要素目标、指标、时间节点、责任主体。业务流程熟悉深入一线了解实际运作环节，识别关键痛点。价值锚定机制明确分析成果如何转化为商业回报。业务理解阶段统计均值、方差、分布形态等基础指标。使用直方图、箱线图、散点图揭示数据特征。可视化呈现描述性分析异常检测数据探索报告输出包含摘要、图表、关键发现的综合文档。识别离群点、突变趋势，排查数据质量问题。数据认知阶段将原始字段转换为更具区分度的指标，如增长率、占比。特征工程根据任务类型选择回归、分类、聚类等算法。模型选择输入训练集，调整参数直至达到预期性能。模型训练使用准确率、召回率、F1分数等指标衡量效果。模型评估数据建模阶段可视化设计原则清晰传达信息，避免误导性图表。报告撰写技巧采用金字塔结构，先结论后证据，便于高层阅读。交互式仪表盘支持钻取、筛选、联动等功能，提升用户体验。演讲呈现要点控制节奏，突出重点，预留问答时间。数据展现阶段07大数据商业价值电商平台推荐系统优化使点击率提升300%。销售转化率提升动态定价模型根据供需关系实时调整价格。产品定价策略优化基于用户行为数据开发增值服务产品。新业务模式孵化建立基准线与实验组对比，量化数据贡献。收入增量测算增加额外收入供应链优化预测需求波动，减少库存积压与缺货损失。能源效率提升工厂设备运行数据监控，降低能耗15%。运营成本分析构建费用分摊模型，识别浪费环节。人力成本节约自动化流程替代重复性工作，释放人力资源。减少支出01信用评估模型基于多维度数据判断借款人违约概率。02风险预警系统实时监控异常交易行为，防范欺诈风险。03灾害预测能力气象数据与地理信息融合，提前预警自然灾害。04合规性保障自动检测数据使用是否符合法律法规。降低风险通过分析时段、天气、促销活动影响因素，实现日均销量增长50%。01车联网数据支持实时拥堵判定，促成保险新产品上市。02推荐算法迭代使转化率从2%提升至5%。03三项举措合计带来年收益增长超300万元。04豆浆店销量提升堵车险产品落地个性化推荐优化综合效益评估价值实现案例大数据分析工具08大数据产业及岗位产业链大数据技术岗位大数据、物联网、人工智能之间关系09数据要素数据，是继土地、劳动力、资本、技术四大生产要素之后，被纳入生产要素范畴的第五大生产要素。数据要素概念土地劳动力技术资本数据五大生产要素数据要素重要性数据要素声明周期1）采集：依托传感器采集、问卷调研、系统日志记录等方式，获取初始信息，形成原始数据。2）治理：通过去重清洗、脱敏处理、分类标注等流程，将原始数据转化为可复用的数据资源。3）产品化：借助模型搭建、API封装、数据集整合等手段，把数据资源加工为可计量定价的数据产品。4）资产化：完成确权登记、价值评估、会计入表等环节，使数据产品成为可抵押融资的数据资产。数据如何定价——“三维评估”模型P=α·稀缺性+β·治理成本+γ·预期收益1）稀缺性：数据的不可替代性越强、时效性越高，对应的权重α占比则越高。2）治理成本：涵盖数据从采集、清洗、脱敏到合规审查全流程所投入的各类成本。3）预期收益：聚焦数据在未来应用场景中，能够为使用主体节省的成本或创造的经济价值。10项目实施数据素养核心能力构建价值判断标准是否带来可衡量的业务改善或效率提升。价值密度评估识别高价值数据子集，聚焦重点分析方向。价值转化路径设计规划从数据到行动再到结果的完整链条。机会成本考量平衡投入产出比，避免无效数据采集。数据价值识别能力主动思考“这个数据能解决什么问题”。对异常数据保持警惕，追问来源与真实性。问题意识觉醒数据质疑精神将抽象数据与具体业务情境关联。基于趋势数据预测未来发展方向。场景联想能力预见性思维训练数据敏感度培养隐私保护原则最小必要原则，仅收集必需信息。数据脱敏处理对个人信息进行匿名化或加密处理。合规使用边界明确数据用途范围，禁止越界使用。问责机制建立设立数据使用审计制度，落实责任到人。数据伦理与合规统筹推进组织数据文化建设。分层分级开展数据技能培训课程。将数据素养纳入绩效考核指标。鼓励员工参与数据分析竞赛与分享会。企业培训体系首席数据官角色考核激励机制持续学习文化数据素养教育路径09项目总结与展望大数据本质是关系挖掘重点在于发现事物间的深层联系，而非数据本身。Part01数据驱动是未来趋势决策方式正从经验向数据转变。Part02数据素养是必备能力不再是技术人员专属，而是全员通用技能。Part03价值创造源于应用数据只有被使用才能体现其真正意义。Part04核心观点回顾人工智能深度融合AI将自动完成更多数据处理与分析任务。01数字孪生广泛应用物理世界与数字世界实现双向映射。03数据治理规范化国家立法加强数据安全管理。02人人都是数据生产者每个个体都在持续贡献数据资产。04未来发展趋势01养成“用数据说话”的习惯。建立数据思维02关注日常细节中的数据线索。提升数据敏感度03学习Excel、Python、SQL等实用技能。掌握基础分析工具04主动申请数据分析项目，积累实战经验。参与数据实践行动建议抓住机遇比等待完美理由更重要。相关性优于因果性每一次微小努力都是通往成功的基石。量变到质变的哲学立足全局才能做出最优选择。整体观照的重要性接受不完美，才能拥抱更大可能性。容错思维的价值人生启示2026.4谢谢大家项目2Linux操作系统CONTENTSPartoneLinux操作系统基础Parttwo文本编辑器vi/vim操作Partthree文件权限管理机制Partfour国产操作系统发展历程PartfiveLinux基本操作Partsix总结与展望01Linux操作系统基础Linux操作系统概念Linux是开源的类Unix操作系统内核，由LinusTorvalds于1991年开发。它采用GPL许可证，代码公开可自由修改分发。核心特点：多用户多任务、高稳定性与安全性、模块化设计、强大的网络功能。Linux系统通常指发行版（如Ubuntu、CentOS、Debian），包含内核、GNU工具、桌面环境及应用程序。主要应用于服务器（全球主流）、云计算、嵌入式设备及开发环境。与Windows/macOS不同，Linux通过命令行和包管理器提供高度可定制的操作体验，是开发者、运维人员的核心工具。Linux主流版本对比RedHat系列：企业级首选包含RHEL（收费）、FedoraCore（免费桌面版）、CentOS（社区版），稳定性高，适合服务器部署。Debian系列：开源典范以稳定性和遵循GNU规范著称，分支包括stable（服务器）、testing（新技术）、unstable（测试）。Gentoo系列：极致性能优化基于源码编译的Portage包管理系统，可针对硬件深度定制，运行效率极高。FreeBSD：高效稳定之选虽非Linux，但与Linux用户群重合度高，拥有强大Ports系统，适合高性能服务器场景。Linux主流版本对比OpenSUSE：华丽易用的桌面系统独家开发zypper/yast管理工具，支持KDE/Gnome等丰富桌面环境，新手友好。XteamLinux1.0：早期国产探索1999年推出，国内首批基于Linux的中文系统之一，推动了国产化浪潮。2001年北京市政府办公采用，联想戴尔等厂商转向国产系统替代高价Windows。红旗Linux1.0：政府采购主力与长城、厦华等厂商合作预装，月出货量达十几万套，曾在美国上市。蓝点Linux1.0：市场占有率领先OpenSUSE与特殊发行版Linux系统目录结构/etc：系统配置管理中心/boot：启动核心文件存储区/sbin和/bin：系统核心命令路径/root：超级用户主目录所有服务配置文件集中存放，如网络设置、用户权限、服务参数。包括内核镜像、引导加载程序（GRUB）、initramfs等关键组件。/sbin用于管理员高级程序，/bin包含常用基本命令。系统管理员专属空间，存放配置文件与私有数据。Linux系统目录结构/home：用户个人空间每个用户拥有独立子目录，命名规则为用户名，保存文档、设置等数据。/usr：应用程序与资源主仓库类似Windows的ProgramFiles，包含/bin、/sbin、/lib、/share等子目录。/tmp：临时文件专用目录系统重启后自动清空，用于程序运行过程中的临时数据缓存。/var：日志与动态数据存放地日志文件位于/var/log，邮件系统默认存储在/var/spool/mail。Linux系统目录结构01.和..：当前与父目录标识符在命令行中用于路径导航，如cd..返回上级目录。03ls-a命令显示隐藏内容查看所有文件（包括隐藏项），便于排查配置问题。02隐藏文件命名规则文件名以.开头即为隐藏文件，如.bashrc、.ssh。04隐藏文件常见用途存储用户个性化设置、密钥、登录凭证等敏感信息。特殊路径与隐藏文件02文本编辑器vi/vim操作vi的三种工作模式支持语法高亮自动识别代码类型并着色，提升可读性。内置帮助系统输入:help即可调出在线文档，涵盖全部命令说明。多窗口编辑能力支持分屏查看多个文件，方便跨文件比较与修改。宏录制与回放可记录重复操作序列，实现批量自动化处理。4321vim增强功能介绍h/j/k/l分别对应左/下/上/右移动，gg跳转到首行，G到末行。光标移动技巧/关键字进行正向搜索，:%s/旧内容/新内容/g全局替换。查找替换功能dd删除整行，yy复制行，p粘贴到下方，u撤销上一步。文本编辑快捷键:wq保存并退出，:q!放弃更改强制退出，:x保存退出。保存退出组合键01020304常用vi/vim操作命令创建测试文件使用touchtest.txt创建空文件。进入vi编辑模式输入vimtest.txt打开文件，按i进入插入模式。输入并保存内容输入“HelloWorld”，按Esc退出插入模式，输入:wq保存退出。查看文件内容使用cattest.txt确认内容正确。vi编辑器实战练习03文件权限管理机制权限表示与解读STARTEND显示文件属性，包括权限位、链接数、所有者、大小、时间戳。ll命令输出解析分为owner/group/others三组，每组rwx权限对应读写执行。九位权限位划分r=4,w=2,x=1,无权限=0，累加得总分数。权限数字编码规则owner:rwx=7,group:r-x=5,others:---=0。示例分析：-rwxr-x---→750权限表示与解读使用addusertestuser创建新用户。创建测试用户将文件config.conf设为640，仅所有者可读写。设置文件权限切换用户尝试访问文件，确认权限限制生效。验证权限效果模拟权限不足错误，学习排查流程。故障排除演练权限管理实操chmod750filename将文件权限设为750。数字方式设置权限chmodu+xfile添加所有者执行权限，chmodo-rfile移除其他用户读权限。字符方式灵活调整chmod-R755directory对目录及其子文件统一赋权。递归修改目录权限setuid（4000）、setgid（2000）、stickybit（1000）用于特殊场景。特殊权限位说明chmod权限变更操作01最小权限原则用户仅授予完成任务所需的最低权限，防止越权操作。02关键文件保护措施系统配置文件如/etc/passwd应设为644或600权限。03SSH密钥安全管理私钥文件权限必须为600，避免被他人读取。04定期审查权限分配使用find/-perm-4000查找具有特殊权限的文件。权限安全策略“权限不足”错误处理检查当前用户身份及所属组，确认是否具备相应权限。目录访问失败原因通常因缺少执行权限（x），无法进入目录。文件写入失败诊断查看是否有写权限，或磁盘是否已满。误操作恢复方案使用cp备份原始文件，必要时从备份恢复。权限故障排查04国产操作系统发展历程1983年：第一款中文操作系统诞生严援朝团队历时两个月完成CCDOS，公开源码推动技术传播。技术突破：全汉字界面实现图形化中文菜单，打破国外垄断。研发背景：缺乏汉字支持原有DOS系统无法显示中文，必须自主研发。历史意义：奠定国产软件基础成为后续各类中文系统的原型参考。从CCDOS到自主可控基于科索沃战争启示，确立“缺芯少魂”战略方向。1989年：国家决策开发自主系统中国计算机服务总公司联合开发，通过院士评审认证。COSIX操作系统研发缺乏软硬件生态支撑，难以形成规模效应。生态短板导致市场失利时代局限：未赶上商业化浪潮被新兴的Windows95和Linux冲击，最终退出主流。90年代的自主创新尝试

蓝点、红旗、中软、Xteam等纷纷推出，形成竞争格局。

与多家PC厂商合作预装，月出货量超十万套。1999年：国产系统爆发元年蓝点的快速崛起

2000年在OTCBB挂牌，首日股价飙升至22美元，市值破4亿。

马化腾曾到蓝点用餐，并以超越其为目标。蓝点赴美上市与腾讯同楼办公2000年前后的野蛮生长2008年：洪磊被捕事件盗版系统创始人因牟利被调查，引发行业震动。黑屏事件始末微软通过技术手段使盗版用户桌面每小时变黑一次。国家版权局表态不赞成过度保护，强调应与国家发展水平相适应。安全危机暴露一旦系统被远程控制，可能造成大规模数据泄露或瘫痪。微软黑屏事件与转折点2014年独立运营，专注高端领域。天津麒麟成立2010年中标软件与银河麒麟合并，打造军民两用平台。中标麒麟合并2006年整合多种系统优势，2009年改用Linux内核。银河麒麟发展历程银河麒麟V10发布2020年推出新一代产品，支持多架构适配。麒麟软件：军民融合典范2008年发起，2009年发布首个版本，主打美观易用。Deepin项目起源012011年获得投资，2014年更名为Deepin。武汉深之度成立022019年与诚迈科技合资成立，面向商业客户。统信UOS诞生03Deepin服务社区用户，统信满足企业需求。社区版与商业版分离04统信软件：商业与社区双轮驱动030402面向服务器市场的专业操作系统，支持鲲鹏处理器。华为EulerOS01自主研发，广泛应用于通信设备领域。中兴新支点NewStartOS2022年中兴与麒麟联合打造，推动桌面系统标准化。openKylin根社区2019年发布，构建开源协作生态。openEuler开放社区华为与中兴的技术布局1234统信应用商店上架800+应用，适配600+商用软件。应用商店建设成果无缝运行大量Windows传统应用，提升用户体验。Wine兼容技术应用兼容x86、ARM、MIPS等主流处理器平台。多架构支持能力主动适配Intel、AMD等国际平台，拓展市场边界。开放拥抱策略当前生态现状STEP.01“缺芯少魂”问题揭示依赖国外核心技术存在安全隐患，易受制于人。STEP.02操作系统作为“数字灵魂”是整个信息系统的基础，决定安全底线。STEP.03国家信息安全保障需求必须掌握底层系统话语权，防止外部攻击。STEP.04产业安全基石作用自主操作系统是数字经济发展的核心基础设施。自主可控的战略意义代码透明，全球开发者共同维护，漏洞响应快。Linux开源优势在开源基础上进行本地化改造，满足特定需求。保持开放协作，吸收国际先进经验。企业投入→技术创新→吸引更多开发者加入。国产系统创新机制构建良性生态循环避免闭门造车开源与封闭的平衡系统加固措施关闭不必要的服务，禁用默认账户，强化防火墙。定期更新补丁及时修复已知漏洞，降低攻击面。访问控制策略实施最小权限原则，严格管理用户权限。日志审计机制记录关键操作行为，便于事后追溯。01020304安全防护体系构建人工智能深度融合利用AI实现智能威胁检测与自动响应。边缘计算场景适配优化轻量化版本，支持物联网设备部署。量子安全前瞻布局探索抗量子密码算法，应对未来挑战。全球化协作推进参与国际标准制定，提升全球影响力。未来发展方向05Linux基本操作测试环境验证运行简单脚本，确认系统正常运行。初始化配置更新系统、安装基础工具链（gcc、make）、配置网络。安装过程指导使用ISO镜像启动安装，分区规划合理，设置root密码。选择合适发行版根据用途选择RedHat（服务器）、Ubuntu（桌面）、Debian（稳定）。搭建Linux开发环境Linux常用命令命

令含

义cd/home/hadoop把/home/hadoop设置为当前目录cd..返回上一级目录cd~

或cd返回登录目录cd/返回整个目录的根目录cd/root返回根用户或超级用户的主目录；只有根用户才能访问该目录ls查看当前目录中的文件ls-l或

ll或ls–l

文件名

查看文件和目录的权限信息ls-a显示隐藏文件mkdirinput在当前目录下创建input子目录mkdir-psrc/main/scala在当前目录下，创建多级子目录src/main/scalacat/proc/version查看Linux系统内核版本信息catword.txt把word.txt文件全部内容显示到屏幕上head-5word.txt把word.txt文件中的前5行内容显示到屏幕上cpword.txt/usr/local/把word.txt文件复制到“/usr/local”目录下rm./word.txt删除当前目录下的word.txt文件rm–rf./test删除当前目录下的test目录及其下面的所有文件rm–rtest*删除当前目录下所有以test开头的目录和文件tar-zxvf*.tgz-C/usr/local/把*.tgz压缩文件解压到/usr/local目录下tar-zxvf*.tar.gz把*.gz压缩文件解压到当前目录下tar-cfall.tar*.jpg将*.jpg文件打包成all.tarmvspark-2.1.0spark把spark-2.1.0目录重新命名为sparkchown-Rhadoop:hadoop./sparkhadoop是当前登录Linux系统的用户名，把当前目录下的spark子目录的所有权