第17章 大数据应用入门_第1页
第17章 大数据应用入门_第2页
第17章 大数据应用入门_第3页
第17章 大数据应用入门_第4页
第17章 大数据应用入门_第5页
已阅读5页，还剩3页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Python从入门到实战第十七章大数据应用入门 第十七章讲解主要内容 17 1什么是大数据17 2一个完整的网络爬虫17 3Python Spark 17 1什么是大数据 定义26大数据 BigData 美国的Gartner公司把大数据定义为高速 巨量且 或 多变的数据 所谓高速指数据的生成或者变化速度很快 所谓巨量是指数据的规模很大 所谓多变是指数据类型的范围或数据中所含信息的范围非常广泛 1 巨量 意味着一台普通的服务器无法满足数据存储及处理的需求 必须采用多服务器的分布式处理 分布式处理技术也是大数据技术的标配内容之一 如基于大数据处理的分布式数据库系统 目前 巨量数据入门量级在PB级别 因为随着硬件技术的发展 当前一般服务器都具备了存储几十个TB 几百个TB数据的能力 2 高速 要求能支持同时能支持每秒上千上万次的并发访问数据的能力 或在PB级别的数据量的情况下 时间上 能在秒级快速响应和处理 3 多变 指需要处理各种各样格式的数据 如网页数据 图片数据 视频数据 音频数据 财务表格数据等 17 1什么是大数据 海量数据的获取 大数据管理 大数据分析应用 其实对应着大数据的三个方面的技术要求1 海量数据的获取 需要相应的数据获取技术 2 大数据管理对应分布式处理技术的数据库系统的选择 3 大数据分析应用对应大数据分析技术 17 2一个完整的网络爬虫 把计算机连接到互联网上 使之可以访问需要爬取数据的网站 1 安装Python这里假定已经安装了Python3 X 2 requests库3 安装MongoDB用于存放爬取网页数据 详见下一节内容 4 安装pymongo用于实现python访问MongoDB的数据库驱动程序 17 2一个完整的网络爬虫 importrequests 导入requests模块 获取网页 r requests get 17 3Python Spark 利用MongoDB等分布式数据库系统 可以实现数据的分布式存储及读写操作 另外 对于繁重的数据计算任务 也可以实现分布式计算 这里简单介绍一下Spark集群计算框架 ClusterComputin
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论