2023学年完整公开课版数据框架_第1页
2023学年完整公开课版数据框架_第2页
2023学年完整公开课版数据框架_第3页
2023学年完整公开课版数据框架_第4页
2023学年完整公开课版数据框架_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：朱佳目录0102使用SparkSQL处理结构化数据SparkSQL与DataFrame使用SparkSQL处理结构化数据1使用SparkSQL处理结构化数据

可以使用SparkSQL处理结构化和半结构化数据。具有模式(每个记录或行具有清晰的列）的任何数据都被认为是结构化数据。SparkSQL可以加载和查询结构化数据。Spark使用称为DataFrames的抽象（其类似于关系型数据库表)，处理结构化数据。Spark可以处理许多类型的结构化数据，如JSON、Hive表及Parquet文件等。使用SparkSQL处理结构化数据

SparkSQL允许使用SQL，以两种不同的方式查询数据:可以从Spark应用程序中使用SQL语句查询。可以使用外部BI工具（如Tableau）进行查询，该工具可以通过JDBC（或ODBC）连接到SparkSQL。SparkSQL与DataFrame2数据框架SparkSQL基于DataFrame的逻辑概念,DataFrame只是我们的老朋友RDD的扩展。DataFrames可以感知行的模式。DataFrames是行对象的RDD，每行都指向一个记录。数据框架由于DataFrame是模式感知的，因此它比简单的RDD能更有效地存储数据。DataFrame的模式感知特性使得我们可以对数据运行SQL查询。可以从以下数据创建DataFrames:外部数据源常规RDD查询结果可以将DataFrame注册为表，并从中运行SQL查询。数据框架SparkSQL定位处理结构化数据的模块。SparkSQL提供相应的优化机制，并支持不同语言的开发API。Java、Scala、Python，类SQL的方法调用（DSL）RDD与SparkSQL的比较说明：使用SparkSQL的优势：a.面向结构化数据；b.优化机制；RDD缺点：a.

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论