方案中常用的大数据相关的关键技术与技术路线

1.海量数据存储技术 32.实时数据处理技术 6 6（2）作业级容错机制 7 83.数据仓库技术 4.人工智能技术 统（NFS）虽然也称为分布式文件系统，但是其存在一些限制，由于访问NFSServer时，很容易造成服务器压力系统的一种实现。Hadoop抽象文件系统可以与本地系统、Am群中的Datanode一般是一个节点一个储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具Namenode和Datanode被设计成可以在机器一般运行着GNU/Linux操作系统(OS)。HDFS采用Java语言开发，Namenode是所有HDFS元数据的仲裁者和管理者，这样，用户数据永①硬件错误是常态而不是异常。HDFS可能由成百上千的服务器②运行在HDFS上的应用和普通的应用不同应用所在显然更好。HDFS为应用提供了将它们自己移动到数据附近⑥HDFS在设计的时候就考虑到平台的可移植性。这种特性方便针对具有实时性、易失性、突发性、无序性、无限性等特征的流持续稳定运行和弹性可伸缩等特性,这其中离不开系统架构、是Twitter支持开发的一款分布式的、开源的成的有向无环图，通过数据流(stream)实现Spout和Bolt之间的关算，实现过滤、聚合、查询等具体功能，可以级联，也可以向外发送元组序列，数据流是通过流分组(streamgrouping)所提供的用户可以为一个或多个数据流作业进行编号，分配一个唯一的生成的新数据流经过任务拓扑中每一个应该到达作业级容错的基本原理是:给Acker及后续的Bolt作为该分组单元的唯一标识符。同时，无论cluster和slaves)构成。其中，主节点Nimbus运行在master环境中，是无状态的，负责全局的资源分配、任务调度、状态监控和故障检测：一方面，主节点Nimbus接收客户端提交来的任务，验证后分往往由分布在多个从节点Supervisor上的Worker进程来协调执行，每个Worker都执行且仅执行任务拓扑中的一个子集。在每个Worker内部，会有多个Executor，每个Executor对应一个线程。Task负责会对应一个或多个Task，因此，系统中Executor的数量总是小于等Zookeeper是一个针对大型分布式系统的可靠协调信息、任务分配信息、任务的执行状态信息等，便于主节点Nimbus监控任务的执行情况；②存储从节点Supervisor、工作进程Worker③存储整个集群的所有状态信息和配置信息，便于主节点Nimbus监②支持多种编程语言，默认支持Clojure，Java，Ruby和Python，Hive是建立在Hadoop上的数据仓库基础构架。它列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以的分析工作。Hive没有专门的数据格式。HiHive并不能够在大规模数据集上实现低延迟快速的查询，例如Hive以直接使用存储在Hadoop文件系统中的数据；⑤内置大量用户函数UDF来操作时间、字符串和其他的数据挖掘工具，支持用户扩展UDF人工智能（ArtificialIntelligence，AI）是行感知、认知、决策、执行的人工程序或系统。当前，人工智能进入将人工智能识别技术与智能机器人技术相结合,可广泛应用于农业中入数据与一组系数（或称权重）结合，通过放