任务27 初识大数据

第七章

新一代信息技术概述任务27：初识大数据

概念、系统架构、应用01任务描述02任务实现03课后练习目录任务描述任务描述李明同学通过在线课程平台选学了一门关于大数据技术的课程，并了解到大数据技术能够处理和分析海量数据集，也是建设数据驱动经济的关键引擎。他想知道大数据技术如何帮助企业做出更精准的决策，于是决定继续深入学习并掌握相关知识。考点分析1.掌握大数据的基本概念2.了解大数据的核心特征3.了解大数据技术架构与工具4.熟悉大数据的应用场景任务实现任务实现任务1：大数据的概念大数据技术是指一系列用于处理和分析大规模数据集的技术和工具集合。大数据技术定义1这些技术能深入洞察数据，发现其中隐藏的模式和趋势。洞察数据模式趋势2随着互联网和物联网发展，传统工具无法应对激增的数据量。应对数据量激增3明确大数据本质任务实现任务1：大数据的概念把握大数据特点1数据规模巨大，远超传统数据处理能力范围。Volume（体量大）2数据生成速度快，需实时或准实时处理。Velocity（速度快）3数据种类繁多，包括结构化、半结构化和非结构化数据。Variety（种类多）4数据必须真实可靠，以保证分析结果的准确性。Veracity（真实性）任务实现任务1：大数据的概念了解大数据应用领域商业领域应用电商分析用户数据推送产品，刺激消费，优化产业结构。1科研领域应用为科研提供数据支持，助力科学发现和创新。2公共管理领域应用政府利用大数据感知社会变化，提供精准公共服务。3其他领域应用如医疗、金融等，都有大数据的身影。4任务实现任务2：大数据的系统架构了解系统整体设计系统庞大需整体设计大数据系统是庞大工程，需从多方面考虑整体设计。1涵盖数据采集到展现包含数据采集、存储、运算、分析到展示等全过程。2任务实现任务2：大数据的系统架构掌握数据采集要点数据来源数据可源于企业内部，如交易数据库、日志文件等。01数据收集工具常见工具有Flume、Kafka，用于处理实时数据应用。02工具适用场景Kafka提供高吞吐量，用于实时数据收集；Flume擅长处理日志数据。03在线数据收集考虑因素需考虑数据多样性，如数据协议、文件格式，以及数据产生速度。04数据采集模块任务实现任务2：大数据的系统架构认识数据存储系统存储系统类型有分布文件系统、NoSQL数据库、数据仓库等。01适用数据类型适用于处理大量结构、半结构和非结构数据组成的大数据。02各存储系统特点HDFS高可靠，适合超大型数据集；NoSQL灵活，适合非结构化数据。03数据仓库作用数据仓库（Hive）提供类SQL方式分析HDFS文件中的数据。04任务实现任务2：大数据的系统架构了解数据处理工具常用工具有MapReduce和ApacheSpark。01数据处理工具将任务分解为映射和归约步骤，并行处理大数据集。02MapReduce工作原理支持实时数据处理，比MapReduce具有更高效的数据处理能力。03Spark优势任务实现任务2：大数据的系统架构感受数据可视化魅力数据可视化作用01将分析结果直观展现，提高信息可理解性和吸引力。可视化工具02如Python中的Matplotlib，可创建多种图表。可视化示例说明03如图8.1.1三维散点图，展示数据分布模式和差异。图表类型04包括条形图、折线图、热力图、散点图等。任务实现任务3：大数据的应用401数据大爆炸时代当前处于数据大爆炸时代，数据为生活和发展提供动力。02大数据变革情形从提高效率、提升质量、解决难题角度展现变革。开启大数据应用之旅任务实现任务3：大数据的应用4监测污染指标借助感知仪器和检测设备，实时监测空气、水和噪声等污染指标。01分析预判环境对收集的数据进行分析预判，提前发现环境问题。02调整因应措施根据分析结果调整措施，改善城市环境质量。03北京“城市大脑”案例该项目通过大数据分析，对交通资源进行动态调控。04大数据城市管理任务实现任务3：大数据的应用感受个性化学习体验01分析学生成绩、在线行为和反馈，揭示学习情况。分析学习数据02辅助教师制定个性化教学计划，提高学习效率。制定个性化计划03教育平台识别学习困难，推荐补充材料。识别学习困难04提前预测学习成果，干预学术问题，提高教育质量。预测学习成果大数据辅助学习任务实现任务3：大数据的应用保障金融安全运行分析交易行为分析人们的交易行为，发现异常交易模式。01检测防范欺诈02帮助金融机构检测和防范欺诈行为，维护金融秩序。计算信用危险03通过分析计算信用危险，评估客户信用状况。04提升服务水平利用大数据提升金融的服务水平，保障客户权益。大数据金融风险管理任务实现任务3：大数据的应用1整合医疗数据整合患者电子病历、基因组数据和临床试验结果。2辅助精准诊断为医生提供精准诊断辅助，提高诊断准确性。3制定治疗方案制定个性化治疗方案，改善患者治疗效果。4预测疾病趋势预测疾病发展趋势和结果，提前做好防控。享受精准医疗服务大数据医疗健康课后练习课后练习一、选择题1.以下哪项不是大数据的“4V”特征之一

A.Volume（体量大） B.Velocity（速度快）C.Variety（种类多） D.Veracity（真实性）E.Validity（有效性）2.大数据技术可以显著提高哪个领域的决策制定

A.商业 B.科研 C.公共管理D.以上都是3.以下哪种工具更擅长从多种来源实时收集聚合和移动大量日志数据到集中式数据存储？AHDFS BHive CFlume DSpark4.在大数据技术中，哪个工具常用于数据处理

A.HDFS B.Kafka C.Spark D.Hive5.大数据技术可以应用于哪个领域以提高服务质量

A.电商 B.政府服务 C.医疗 D.以