《人工智能基础》课件-2.2.2大数据分析处理的平台_第1页
《人工智能基础》课件-2.2.2大数据分析处理的平台_第2页
《人工智能基础》课件-2.2.2大数据分析处理的平台_第3页
《人工智能基础》课件-2.2.2大数据分析处理的平台_第4页
《人工智能基础》课件-2.2.2大数据分析处理的平台_第5页
已阅读5页，还剩2页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

（3）大数据分析处理的平台Hadoop三驾马车：HDFS+MapReduce+YARNHDFSHDFS是Hadoop的分布式文件系统，通过多副本块存储实现容错和负载均衡，为海量数据提供可靠的存储。MapReduceMapReduce是Hadoop的核心计算框架，通过Map和Reduce两个阶段实现大规模数据的并行处理。YARNYARN是Hadoop的资源管理器，负责统一调度集群资源，支持多种计算框架的运行。1*.HadoopHadoop生态群像：Hive、HBase、Pig等七剑客HiveHive是一个基于Hadoop的分布式数据仓库工具，通过SQL语句实现对Hadoop数据的查询和分析。HBaseHBase是一个高可靠性、高性能的分布式存储系统，支持大规模数据的随机读写访问。PigPig是一个基于Hadoop的大数据分析平台，提供SQL-like语言PigLatin，简化数据分析流程。其他组件Sqoop用于在Hadoop与传统数据库之间传递数据；Flume用于日志采集和传输；Oozie用于任务调度；ZooKeeper提供分布式协调服务。Spark统一引擎：内存加速百倍增益Spark的特点Spark是一个基于内存计算的大数据并行计算框架，通过RDD实现弹性分布式数据处理，速度比MapReduce快100倍。Spark的优势Spark支持多种计算模式，包括批处理、流处理、交互式查询、机器学习和图计算，适用于各种大数据应用场景。2*.Spark八爪鱼采集器安装与账号注册安装与注册通过360浏览器访问八爪鱼采集器官网，下载安装包并安装。安装完成后，注册账号以获取完整功能。任务进阶——使用八爪鱼采集书单数据参数配置：网址输入与取消智能识别输入网址打开八爪鱼采集器，输入目标书单的网址，确保网址正确无误。取消智能识别为了避免系统自动识别带来的干扰，手动取消智能识别功能，以便进行精准的字段提取。字段提取与翻页规则设定字段提取通过点击书名，框选目标字段，提取书名等关键信息，并将字段名称修改为‘图书名称’。翻页规则点击‘后页’按钮，设置翻页规则，确保能够自动翻页并采集全站书单数据。数据预览在界面下方的数据预览中，查看提取的书名和链接，确保数据准确无误。启动采集与Excel导出启动采集与导出选择本地普通

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论