第四章 FusionInsight 技术基础 - Spark架构原理

HCNP，FusionInsight，R2CXX，1.0，2015.10，柴永强/345266，新开发，张伟/301377，Spark架构的原理，完成本课程后，理解Spark应用场景，了解Spark的特征，Spark技术架构Spark应用场景Spark的基本功能Spark应用场景，Spark在分布式批处理系统和分析挖掘引擎中做什么(数据处理) :快速处理数据。 支持容错性和可扩展性的迭代计算。有效支持多个步骤的数据处理逻辑数据挖掘：基于大量数据进行复杂挖掘分析，支持各种数据挖掘和机器学习算法，以及Spark应用的方案。 大多数群集计算框架(例如MapReduce )基于从稳定存储(文件系统)到稳定存储的非循环数据流，并且在需要重用数据集的情形中效率低下。 与传统MapReduce任务的频繁读写磁盘数据相比，基于内存计算的Spark更适合于迭代计算和交互式分析场景。 Spark的特点， 轻： Spark核心代码巧妙利用了3万行Scala语言的简洁性和丰富的表现力，HadoopYarn和Mesos的基础设施速度： Spark对于小数据集亚秒级的延迟可以学习对于大数据集的反复机械的特定查询等的应用基于ce、Hive和Pregel的快速内存计算、数据本地性和传输优化、调度优化和Spark特征的灵活性： Spark是一种不同级别的灵活性Scala语言trait动态混合策略(可交换群集调度器、串行库) 允许扩展新的数据运算符，新的数据源Spark包括内存计算、多次迭代批量处理、即席查询、流处理、 支持多种模式，如图表计算：现有的大型数据组件Spark借助Hadoop的势头，将Hadoop和无缝图表计算结合起来，借用Pregel和PowerGraph的API和PowerGraph的点划分思想， Spark应用场景Spark基本功能Spark组件介绍了Spark驱动程序在群集中启动，ResourceManager为群集分配container，Spark驱动程序启动整个应用程序。 SparkOnYarn模式App的执行过程、Spark应用场景Spark基本功能Spark组件的介绍、Spark与其他组件的交互、在FusionInsight群集中Spark为1)HDFS:Spark为HDFS文件系统Yarn :执行spark任务通过Yarn进行资源的调度管理3)DBService:Spark的表存储在DBService的数据库中1 .服务状态信息、角色信息以及开放的构成项目2 .管理操作：启动spark。 下载spark客户端的同步配置3 .整个服务概述4 .查看角色和健康状况，单击适当的角色查看角色下面的示例spark webui表示法，FusionInsight平台为spark服务提供了管理监视的可视接口您可以通过WebUI界面执行以下操作： Spark的常见进程JDBCServer实际上是一个持久的Spark应用程序。 通过在shell_start-thriftserver.sh脚本中启动用户，运行beeline脚本并连接到JDBCServer。 运行sql语句JobHistory是一个单节点进程。使用shell _ start-history-server.sh脚本启动此进程，提供HistoryServer页，显示历史记录应用程序的运行信息，以及维护服务的重要性SparkResource提供执行Spark任务所需的资源，而JobHistory和JDBCServer角色则提供服务。 如果Spark角色不正常，则在指向相应节点的/var/log/Bigdata/Spark/路径中查看相关日志如果Spark任务失败，请在Yarn本机接口中查看相应任务的日志信息，或者， 可以在Yarn.nodemanager.log-dirs位置查看相应的