大数据与数据湖技术重点基础知识点

大数据与数据湖技术重点基础知识点一、大数据概述1.大数据定义a.大数据是指规模巨大、类型多样、价值密度低的数据集合。b.大数据具有4V特性：Volume（大量）、Velocity（高速）、Variety（多样）和Value（价值）。c.大数据是信息技术发展的产物，是现代社会的重要资源。2.大数据应用领域a.互联网行业：搜索引擎、推荐系统、广告投放等。b.金融行业：风险管理、欺诈检测、信用评估等。c.医疗行业：疾病预测、个性化治疗、药物研发等。3.大数据技术体系a.数据采集：数据采集工具、数据源接入等。b.数据存储：分布式存储、云存储等。c.数据处理：数据清洗、数据挖掘、数据分析等。d.数据可视化：图表、地图、报表等。二、数据湖技术1.数据湖定义a.数据湖是一种分布式存储系统，用于存储海量、多样化的数据。b.数据湖支持多种数据格式，如结构化、半结构化和非结构化数据。c.数据湖具有高扩展性、高可用性和低成本等特点。2.数据湖架构a.分布式文件系统：如HadoopHDFS、Alluxio等。b.数据存储引擎：如Hive、Spark等。c.数据处理框架：如Spark、Flink等。d.数据访问工具：如JDBC、ODBC等。3.数据湖应用场景a.数据归档：将历史数据存储在数据湖中，降低存储成本。b.数据分析：利用数据湖进行大规模数据处理和分析。c.数据挖掘：从数据湖中挖掘有价值的信息。d.机器学习：利用数据湖进行机器学习模型的训练和预测。三、大数据与数据湖技术重点知识点1.大数据技术a.数据采集：①数据采集工具：如Flume、Kafka等。②数据源接入：如关系型数据库、NoSQL数据库、日志文件等。③数据采集流程：数据采集、数据清洗、数据转换等。④数据采集质量：保证数据准确性、完整性和一致性。b.数据存储：①分布式存储：如HadoopHDFS、Alluxio等。②云存储：如阿里云OSS、腾讯云COS等。③数据存储格式：如Parquet、ORC等。④数据存储策略：如数据分区、数据压缩等。c.数据处理：①数据清洗：去除重复数据、处理缺失值、异常值等。②数据挖掘：挖掘数据中的有价值信息。③数据分析：对数据进行统计、预测、聚类等分析。④数据可视化：将数据以图表、地图等形式展示。2.数据湖技术a.分布式文件系统：①HadoopHDFS：高可靠、高扩展的分布式文件系统。②Alluxio：内存级分布式文件系统，提高数据访问速度。③Ceph：开源分布式存储系统，支持多种存储类型。b.数据存储引擎：①Hive：基于Hadoop的数据仓库工具，支持SQL查询。②Spark：快速、通用的大数据处理框架，支持多种数据处理任务。③Flink：流处理框架，支持实时数据处理。c.数据处理框架：①Spark：支持批处理、流处理和机器学习等多种数据处理任务。②Flink：支持实时数据处理，适用于流处理场景。③Storm：实时数据处理框架，适用于低延迟场景。d.数据访问工具：①JDBC：Java数据库连接，支持多种数据库。②ODBC：开放数据库连接，支持多种数据库。③Python：支持多种数据处理库，如Pandas、NumPy等。[1]郭涛，大数据技术原理