2023学年完整公开课版Hcatalog_第1页
2023学年完整公开课版Hcatalog_第2页
2023学年完整公开课版Hcatalog_第3页
2023学年完整公开课版Hcatalog_第4页
2023学年完整公开课版Hcatalog_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hcatalog1.了解Hcatalog基础知识

2.知道为什么选择HCatalog

3.掌握HCalalog架构1.HCatalog简介

2.为什么选择HCatalog

3.HCalalog架构

HCatalog简介HCatalog是Hadoop的表存储管理工具。它将HiveMetastore的表格数据公开给其他Hadoop应用程序。使得具有不同数据处理工具（Pig，MapReduce）的用户能够轻松将数据写入网格。它确保用户不必担心数据存储在何处或以何种格式存储。HCatalog像Hive的一个关键组件一样工作，它使用户能够以任何格式和任何结构存储他们的数据。为什么选择HCatalog为正确的作业启用正确的工具Hadoop生态系统包含用于数据处理的不同工具，如Hive，Pig和MapReduce。虽然这些工具不需要元数据，但它们仍然可以从中受益。共享元数据存储还可以使跨工具的用户更容易地共享数据。数据加载和使用MapReduce或Pig进行标准化然后通过Hive分析的工作流程非常普遍。如果所有这些工具共享一个Metastore，则每个工具的用户可以立即访问使用其他工具创建的数据。不需要加载或传输步骤。为什么选择HCatalog捕获处理状态以启用共享HCatalog可以发布您的分析结果。所以其他程序员可以通过“REST”访问您的分析平台。您发布的schemas对其他数据科学家也很有用。其他数据科学家将您的发现用作后续发现的输入。为什么选择HCatalog将Hadoop与其他一切集成在一起Hadoop作为处理和存储环境为企业开辟了很多机会;然而，为了推动采用，它必须与现有工具合作并扩大现有工具。Hadoop应作为分析平台的输入或与运营数据存储和Web应用程序集成。组织应该享受Hadoop的价值，而无需学习全新的工具集。REST服务使用熟悉的API和SQL类语言为企业打开了平台。企业数据管理系统使用HCatalog与Hadoop平台进行更深入的整合。HCatalog支持以任何可以编写SerDe（串行器-解串器）的格式读取和写入文件。默认情况下，HCatalog支持RCFile，CSV，JSON，SequenceFile和ORC文件格式。要使用自定义格式，您必须提供InputFormat，OutputFormat和SerDe。HCalalog架构HCatalog建立在HiveMetastore的顶部，并结合了Hive的DDL。HCatalog为Pig和MapReduce提供了读写接口，并使用Hive的命令行界面来发布数据定义和元数据探索命令。HCa

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论