大数据导论第2版微课版安俊秀习题答案

第1章1.简述什么是大数据？答：大数据（bigdata）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2.大数据的数据有什么特点？答：数据量大（Volume）、数据类型复杂（Variety）、数据产生速度快（Velocity）、价值密度低（Value）。3.大数据对科学研究有什么影响？答：促进了科学研究的第四范式产生和交叉学科的发展。4.大数据有哪些数据类型？答：有结构化数据、非结构化数据和半结构化数据。5.大数据有哪些应用？答：大数据可以在众多领域创造巨大的衍生价值：实现数据的资源化，帮助企业抢占市场，提供个性化服务，指定有效方针等；与云计算深度结合；可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破第2章1.简述什么是云计算？答：①云计算是一种动态扩展的计算模式，通过网络将虚拟化的资源作为服务提供给用户。②云计算是一种无处不在的、便捷的通过互联网访问的一个可定制的IT资源（IT资源包括网络、服务器、存储、应用软件和服务）共享池，是一种按使用量付费的模式。它能够通过最少量的管理或与服务供应商的互动实现计算资源的迅速供给和释放2.云计算有什么特点？答：①具有大规模并行计算能力②资源虚拟化和弹性调度③数据量巨大并且增速迅猛产生了典型的大数据处理技术3.请简述云计算的几种主要部署模式。答：①公有云：提供面向社会大众、公共群体的云计算服务②私有云：提供面向应用行业/组织内的云计算服务③混合云：是把公有云和私有云进行整合，吸纳二者的优点，给企业带来真正意义上的云计算服务=4\*GB3④社区云：介于公有云和私有云之间，一种适用于多个组织之间共享资源的云计算服务4.请简述云计算的三种主要服务模式。答：1.基础设施即服务（IaaS）=1\*GB3①主要用户是系统管理员=2\*GB3②直接利用云提供的资源进行业务的部署或简单的开发=3\*GB3③服务提供商提供给用户的服务是计算和存储基础设施=4\*GB3④用户不管理或控制任何云计算基础设施，但能控制操作系统的选择=5\*GB3⑤关键技术及解决方案是虚拟化技术2.平台即服务（PaaS）=1\*GB3①主要用户是开发人员=2\*GB3②把应用服务的运行和开发环境作为一种服务提供的商业模式即PaaS是把二次开发的平台以服务形式提供给开发软件的用户使用=3\*GB3③开发人员不需要管理或控制底层的云计算基础设施，但可以方便地使用很多在构建应用时的必要服务=4\*GB3④两个关键技术：分布式的并行计算和大文件分布式存储3.软件即服务（SaaS）=1\*GB3①主要用户是普通用户=2\*GB3②服务提供商提供给用户的服务是运行在云计算基础设施上的应用程序，用户只需要通过终端设备接入使用即可，简单方便，不需要用户进行软件开发，也无需管理底层资源=3\*GB3③关键技术是多租户技术，使资源能够更好的共享5.请画出云计算基础设施Hadoop平台的基础架构图。答：6.用自己的语言分别解释物联网，边缘计算，雾计算，隐私计算。答：物联网：物联网就是物物相连的互联网边缘计算：边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务雾计算：数据、（数据）处理和应用程序集中在网络边缘的设备中，而不是几乎全部保存在云中，是云计算（CloudComputing）的延伸概念隐私计算：是一类旨在保护用户数据隐私和安全的计算技术和方法。它的目标是在数据处理、分析和共享过程中，确保数据的隐私不会被泄露或滥用，同时也能从中获得有价值的信息7.用自己的语言简述物联网、大数据和云计算之间的关系。答：物联网、大数据和云计算是当今信息技术领域中的三大关键支柱，它们相互依存，形成一个强大的技术生态系统。物联网产生数据，数据通过云计算进行存储和处理，而大数据技术则用于分析这些海量信息，从中提取价值。物联网、大数据和云计算构成了一个完整的数据收集、处理和分析的生态系统，三者紧密配合，共同推动智能设备和智能应用的发展第3章1.请简述大数据的处理流程？答：大数据的处理流程分为以下几步=1\*GB3①获取源数据；=2\*GB3②进行数据清洗；=3\*GB3③数据分析；=4\*GB3④数据解释；=5\*GB3⑤将数据分析与解释的结果呈现给用户。2.简述Flume的数据处理流程。答：分为以下几步=1\*GB3①webserver（或其他）输入数据

=2\*GB3②数据进入Source（输入接口）

=3\*GB3③信息以队列的形式进入Channal管道（存储渠道或者存储通道）

=4\*GB3④Sink会将Channel中的数据发送到指定的地方——外部存储

=5\*GB3⑤只有在Sink将Channel中的数据成功发送出去之后，Channel才会将临时数据进行删除。3.大数据预处理过程是什么？答：主要过程包括：=1\*GB3①数据的分类和预处理。=2\*GB3②数据清洗。=3\*GB3③数据的集成。=4\*GB3④数据归约。⑤数据变换。=6\*GB3⑥数据的离散化处理。4.数据归约有哪几种方法？选择一个方法进行解释。答：常见的数据归约的方法有=1\*GB3①数据立方体聚集、=2\*GB3②维归约、=3\*GB3③数据压缩、=4\*GB3④数值归约、=5\*GB3⑤数据离散化与概念分层。随意选择一种解释即可，例如：数据立方体聚集主要是用于构造数据立方体，数据立方体存储多维聚集信息。每个单元存放一个聚集值，对应于多维空间的一个数据点，每个属性可能存在概念分层，允许在多个抽象层进行数据分析。 5.假设12个销售价格记录已经排序，如下所示：5,10,11,13,15,35,50,55,72,92,204,215。使用如下方法将他们划分为三个箱。（1）等深划分。（2）等宽划分。答：等深划分：=1\*GB3①5,10,11,13=2\*GB3②15,35,50,55=3\*GB3③72,92,204,215（深度为4）等宽划分：=1\*GB3①5,10,11,13,15,35,50,55,72=2\*GB3②92=3\*GB3③204,215（宽度为70）6.折线图对比散点图的优点有哪些？答：散点图在处理数量小的数据时数据比较混乱。而折线图可以使用较少的数据显示随单位（如：单位时间）而变化的连续数据。7.分析下列情况我们使用什么图形分析

（1）学历与收入的分布情况

（2）某地气温与地理区域的关系

（3）分析一个商品各项属性的特点答：=1\*GB3①散点图或气泡图=2\*GB3②热力图 =3\*GB3③雷达图第4章1.请简述并行计算机的发展。答：20世纪70年代，第一台并行计算机于1972年问世。1976年向量机Cray-1投入运行。20世纪80年代以多指令多数据流（MultipleInstructionstreamMultipleDatastream，MIMD）并行计算机为主。20世纪90年代，并行计算体系结构框架趋于统一，以分布式共享存储（DistributedSharedMemory，DSM）、大规模并行处理结构（MassivelyParallelProcessing，MPP）、工作站集群（ClusterofWorkstations，COW）为代表。2000年至今，并行计算机由以COW为原型的大规模商用普通PC机构成的集群为主。2.请简述集群的定义和目的。答：定义：集群是一组相互独立的计算机（Node）的集合体，节点间通过高速的网络连接，各节点除了作为一个单一的计算资源供用户使用外，还可以协同工作，并表示为一个单一的、集中的计算资源，供并行计算任务使用。目的：集群可用于提高大数据存储系统的可用性和可缩放性。3.请简述集群的分类以及他们的特点。答：①高性能集群：高性能集群系统主要是追求整个集群系统强大的计算能力，是并行计算的基础。其目的是完成复杂的计算任务，在科学计算中常用的集群系统就是高性能集群系统，目前物理、生物、化学等领域有大量的高性能集群系统提供服务。 ②负载均衡集群：负载均衡集群系统中所有节点都参与工作，系统通过管理节点（利用轮询算法、最小负载优先算法等调度算法）或利用类似一致性哈希等负载均衡算法实现整个集群系统内负载的均衡分配。负载均衡集群为企业需求提供了更实用的系统。 ③高可用集群：高可用集群系统通常通过备份节点的使用来实现整个集群系统的高可用性，活动节点失效后备份节点自动接替失效节点的工作。 ④虚拟化集群：虚拟化集群是将一台服务器利用虚拟化技术分割为多台独立的虚拟机使用，并通过管理软件实现虚拟资源的分配和管理。4.请简述分布式文件系统的概念。答：指每台计算机各自提供自己的存储空间，并各自协调管理所有计算机节点中的文件。即是指同一个文件系统下的文件不是被放在单一节点内，而是被分开存放在多个节点之内，这就是所谓的“分布式”的意义。5.主/主（Active/Active）集群模型和主/从（Active/Passive）集群模型有什么区别？答：主/主（Active/Active）集群模型每个节点都通过网络对客户机提供资源；每个节点的容量被定义好，使得性能达到最优；每个节点都可以在故障转移时临时接管另一个节点的工作；所有的服务在故障转移后仍保持可用，但是性能通常都会下降。主/从（Active/Passive）结构模型也是两个服务器节点，但是绝大多数时间是Active服务器（或者说PrimaryNode）进行服务，当Primary服务器出问题，就使用另一个Passive服务器作为备用。当主节点出现故障时，备用节点会接管主节点的工作，继续为客户机提供服务，并且不会有任何性能上影响。6.集群文件系统有什么特点？答：①运行在多台计算机之上，之间通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务②存储数据时按一定的策略分布式地放置于不同物理节点的存储设备上③将系统中每个节点上的存储空间进行虚拟的整合，形成一个虚拟的全局逻辑目录④在进行文件存取时依据逻辑目录按文件系统内在的存储策略与物理存储位置对应，从而实现文件的定位=5\*GB3⑤相比传统的文件系统要复杂第5章1.简述什么是Hadoop？答：Hadoop是一个开源的分布式大数据处理框架，其核心组件包括HDFS（HadoopDistributedFileSystem）和MapReduce。HDFS提供了高容错性的分布式文件存储系统，能够高效地存储和管理海量数据；而MapReduce则是一种分布式计算模型，用于并行处理大规模数据集。此外，Hadoop生态系统还包含多个子项目（如HBase、Hive、Spark等），进一步扩展了其在数据存储、处理和分析方面的能力。Hadoop广泛应用于大数据领域，能够帮助企业高效处理和分析PB级甚至EB级的数据。2.简述HDFS存储数据的优点。答：HDFS存储数据的优点为：1、支持超大文件：目前在实际应用中，HDFS可用于存储管理PB级的数据。2、高容错性：HDFS中数据会自动保存多个副本，提供了容错和恢复机制。3、流式数据访问：HDFS中数据集在生成后就会被复制分发到不同的存储节点，然后响应各种数据分析任务请求。请求读取整个数据集要比读取一条记录更加高效。4、简化的一致性模型：HDFS操作文件时，只需一次写入便可多次读取。这样简单的一致性模型，有利于提高吞吐量。5、运行于廉价的机器集群上。3.Hadoop生态系统包括哪些组成部分？简述各部分对应功能。答：1、Hive（基于Hadoop的数据仓库）：擅长数据展示，通常用于离线分析。2、HBase（分布式列存数据库）：可对大规模数据进行随机、实时读写访问。3、ZooKeeper（分布式协作服务）：用于构建分布式应用，解决分布式环境下的数据管理问题。4、Sqoop（数据同步工具）：完成HDFS和关系型数据库中的数据相互转移5、Pig（基于Hadoop的数据流系统）：提供相应的数据流语言和运行环境，实现数据转换和实验性研究。6、Mahout（数据挖掘算法库）：包含算法、数据的输入/输出工具与其他存储系统集成等数据挖掘支持架构。7、Flume（日志收集工具）：支持收集数据和对数据进行简单处理的能力。8、Avro（数据序列化工具）：是一种新的数据序列化格式和传输工具，设计用于支持大批量数据交换的应用。9、BIReporting（商业智能报表）：它能提供综合报告、数据分析和数据集成等功能。10、RDBMS（关系型数据库管理系统）：RDBMS将数据存储在被称为表的数据库中。11、ETLTools是构建数据仓库的重要环节，由一系列数据仓库采集工具构成。12、Ambari可帮助系统管理员部署和配置Hadoop、升级集群，并可提供监控服务。4.根据资源管理器的不同，可将Spark运行模式分为哪几种？并简要概述各模式。答：1、Standalone模式：Spark内置的独立集群模式，无需依赖外部资源管理器，适用于小规模集群或测试环境。2、Yarn-Cluster模式：Driver运行于Yarn的ApplicationMaster中，由Yarn统一管理集群资源，适用于生产环境的大规模分布式计算。3、Yarn-Client模式：Driver运行于客户端，适合需要与用户交互的场景（如调试或开发），但客户端需保持运行状态。4、Mesos模式：Spark运行于ApacheMesos资源管理器上，支持与其他框架共享资源，适合高资源利用率的场景。5.简述RDD具有的5个特征。答：1、Partition（分区）。2、Compute（Compute函数）。3、Dependencies（依赖）。4、Partitioner（分区函数）。5、PreferedLocations（优先位置）。6.简述GraphX底层设计的关键点。答：GraphX采用分布式框架，将对巨型图的各种操作包装成简单的接口，使得开发者可以更加聚焦在图计算相关的模型设计和使用上，而不用关心底层的分布式细节，极大地满足了对分布式图处理的需求。7.简述Storm的核心组件及其功能。答：1、Topology：实时计算应用程序。2、Nimbus：负责资源分配和任务调度。3、Supervisor：负责接收Nimbus分配的任务，启动和停止管理的Worker进程。4、Worker：具体的逻辑处理组件。5、Spout：是在Topology中产生数据源的组件。6、Bolt：在Topology中接收Spout的数据，再执行处理的组件。8.Hadoop、Spark与Storm按处理类型不同依次归类为哪类框架？答：按照处理类型的不同可分为：仅批处理框架（Hadoop），仅流处理框架（Storm），混合框架（Spark）。9.简述Hadoop、Spark与Storm的适用场景。答：1、Hadoop的适用场景：=1\*GB3①海量数据的离线分析处理；=2\*GB3②大规模Web信息搜索；=3\*GB3③数据密集型并行计算。2、Storm的适用场景：=1\*GB3①实时流数据处理；=2\*GB3②分布式RPC。3、Spark的适用场景：=1\*GB3①多次操作特定数据集的应用场合；=2\*GB3②粗粒度更新状态的应用；③批处理与流处理混合场景。10.大数据分析与挖掘技术包括哪些？答：1、数据处理：自然语言处理技术。2、统计和分析：A/Btest;topN排行榜;地域占比；文本情感分析。3、数据挖掘：关联规则分析；聚类；分类。4、模型预测：预测模型；机器学习；建模仿真。第6章1.请简述Hive与HBase的区别与联系。答：Hive是一个建立在Hadoop上的数据仓库。HBase是一种Key/Value型的Nosql数据库，两者底层都是HDFS。Hbase和Hive不一样，Hbase能够在它的数据库上实时运行，而Hive底层是执行MapReduce任务。Hive是利用HQL语句来查询，不支持更新操作，亦不支持事务操作，适合OLAP，不支持实时的查询。HBase是存储的key/value值。支持增加或者更新行，可查看一个范围内的cell，获取指定的行，删除指定的行、列和列的版本。版本信息用来获取历史数据。Hbase非常适合用来进行大数据的实时查询。2.简述Hive产生背景。答：MapReduce编程的不便性HDFS上的文件缺少Schema（字段名，字段类型等）3.简述Hive的服务结构组成及其对应的功能。答：Hive组成部分分为Hive客户端和Hive服务端。客户端提供了Thrift、JDBC、ODBC应用程序驱动工具，可以方便地编写使用Thrift、JDBC和ODBC驱动的Python、Java或C++程序，使用Hive对存储在Hadoop上的海量数据进行分析；服务端提供了HiveShell命令行接口、HiveWeb接口和为不同应用程序（包括上层Thrift应用程序、JDBC应用程序以及ODBC应用程序）提供多种服务的HiveServer，实现上述Hive服务操作与存储在Hadoop上的数据之间的交互。4.MySQL数据库针对Hive的用途是什么？答：Hive集成Mysql作为元数据。默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。5.简述什么是云计算？答：云计算是一种通过互联网（“云”）按需提供计算资源（如服务器、存储、数据库、网络、软件、分析等）的服务模式。其核心在于，你无需自建和维护复杂的物理数据中心，而是像使用水电一样，从云服务商那里租用所需的IT资源，并根据使用量付费。这带来了降低成本、快速部署、弹性伸缩和全球访问等核心优势。6.云计算有什么特点？答：虚按需自助服务：用户可以根据需要，自行在管理界面配置计算能力（如服务器时间、网络存储），无需与服务商人工交互。广泛的网络接入：能力通过网络提供，支持各种标准设备（如手机、平板、笔记本电脑）随时随地访问。资源池化：服务商的计算资源被集中起来，通过多租户模式服务多个客户，用户通常无需关心资源的具体位置。快速弹性伸缩：资源可以快速、弹性地供应和释放。对用户而言，可供应的资源近乎无限，并能随时按需扩展或缩减。可计量服务：云系统自动控制和优化资源使用，通过计量能力（如存储、处理、带宽）实现按使用量付费的模式。7.描述云存储系统的结构模型。答：存储层是云存储最基础的部分。基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。应用接口层是云存储最灵活多变的部分。访问层任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。8.简述云存储的实现前提。答：=1\*GB3①宽带网络的发展=2\*GB3②WEB2.0技术=3\*GB3③应用存储的发展=4\*GB3④集群技术、网格技术和分布式文件系统=5\*GB3⑤CDN内容分发、P2P技术、数据压缩技术=3\*GB3③存储虚拟化技术、存储网络化管理技术9.云存储服务系统的应用有哪些分类，并列举一些应用，并对其进行简述。答：分为个人级存储应用和企业级存储应用。个人级云存储应用中有网盘、文档在线编译、网络游戏等。其中基于云存储管理和运营网络游戏，可以大幅提升游戏性能，并有效降低游戏开发商的运营成本。企业级云存储应用中有云存储空间租赁服务、企业级远程数据备份及容灾、视频监控系统等。其中对于很多企业，数据的备份是一件极其重要的事情。云存储的远程数据备份及容灾能为企业提供一个很好的保障。当企业本地数据发生了严重的事故（数据丢失，数据损毁），就可以通过远程的备份数据快速进行数据恢复，这样就避免造成无法挽回的损失。10.简述云存储的特性。答：=1\*GB3①可靠性=2\*GB3②安全性=3\*GB3③管理方便=4\*GB3④可扩展性第7章1.简述数据分析与大数据分析的区别答：数据分析是用适当的统计分析方法对收集到的数据进行分析，提取有用信息并形成结论，数学基础在20世纪早期确立，依赖数学与计算机科学。它处理的数据规模相对较小，更注重用统计方法挖掘数据价值。大数据分析是对规模巨大的数据进行分析，当数据规模大到难以用常规软件工具处理时采用，具有更强的洞察力和优化信息资产流程的能力，不用考虑数据分布状态和假设检验。大数据分析处理的数据规模大，需要借助更先进的技术和工具，更强调对海量、高增长率和多样化数据的处理与分析。2.数据有哪些类型？分别举例说明？答：数据类型有计量资料、计数资料和等级资料。计量资料是用仪器、工具等测量方法获得的数据，有计量单位，如患者的身高、体重、血压等；计数资料是按照某种属性分类计数后得到的数据，无计量单位，有二分类和多分类两种情形，如肤色（黑白）、血型、性别等；等级资料来源于半定性或半定量的观察结果，有大小顺序，如癌症分期（早期、中期、晚期）。3.统计数据分析的步骤是什么，获得的数据要从哪几个方面进行检查？答：统计数据分析分为以下几步：①确定问题确定分析目标；②采用科学方法收集数据；③整理数据；④统计分析；⑤出具分析报告，提出解决意见或建议。要检查以下几个方面=1\*GB3①检查数据的完整性（所查对象是否有遗漏），=2\*GB3②准确性（数据是否有错误、存在异常值），=3\*GB3③适用性（明确数据的来源、口径、背景材料是否符合分析研究的需要），=4\*GB3④实效性（对于时效性较强的问题，如果数据是滞后的对于研究就没有多大的意义）。4.机器学习有哪些主要类型？请简要描述其特点。答：机器学习主要有有监督学习、无监督学习、半监督学习和强化学习。有监督学习用已知特性的样本作为训练集建立数学模型，再预测未知样本，涉及标签数据，主要类型是分类和回归，如垃圾邮件过滤器、天气预测。无监督学习的数据无标签，通过特征信息归纳规律，分为聚类和降维，如自动对图片分类、大数据可视化中的趋势识别。半监督学习结合监督学习和无监督学习，利用少量标记数据和大量未标记数据构建模型，提高模型学习能力。强化学习使用机器的历史和经验做决定，通过接收环境奖励更新模型参数，以“试错”方式学习，目标是获得最大奖赏，如玩游戏。5.分析下列例子是有监督学习还是无监督学习。

（1）利用历史销售数据预测未来销售额（2）对一批客户的消费行为进行分析，自动划分不同的客户群体。答：场景一属于有监督学习。因为利用了历史销售数据（有标签数据）来建立模型预测未来销售额，符合有监督学习从标签化训练数据集中推断模型并进行预测的特点。场景二属于无监督学习。因为是对客户消费行为数据（无标签数据）进行分析，自动划分客户群体，属于根据数据特征进行聚类，符合无监督学习的特点。6.假设银行要对客户进行分类，从而可以给特定人群推送相应的优惠套餐，那么应该选用哪种算法进行分类？答：决策树分类算法：决策树通过一系列规则对数据进行分类，内部节点表示特征属性的测试条件，叶子节点表示分类结果。银行可将客户年龄、收入、消费频率、信用记录等作为内部节点的测试条件。比如先依据年龄将客户分为不同年龄段，再在每个年龄段内根据收入进一步细分，最后根据消费频率和信用记录确定客户类别。这种方式分类过程清晰直观，可解释性强，银行能够清楚了解每个类别客户的特征，从而有针对性地为不同类别客户设计和推送优惠套餐。K-均值聚类算法：这是一种无监督学习的聚类算法，能将相似对象归到同一簇。银行可以将客户的多个特征（如收入、消费金额、消费类型、理财偏好等）进行量化，然后让算法自动将客户聚成不同的簇。例如，算法可能将高收入且高消费、偏好投资高端理财产品的客户聚为一类；将中等收入、消费稳定且偏好储蓄的客户聚为另一类。通过这种方式，银行可以发现不同客户群体的潜在特征和规律，针对不同簇的客户制定个性化优惠套餐。朴素贝叶斯分类算法：该算法基于贝叶斯定理，假设属性之间相互独立，通过计算每个类别在给定样本特征下的概率，将样本划分到概率最大的类别中。银行可以把客户的各种属性（如职业、资产状况、贷款记录等）作为特征，先统计不同类别客户（如优质客户、普通客户、潜在风险客户等）中这些特征出现的概率。当有新客户时，根据其特征计算属于各个类别的概率，从而确定客户类别。例如，如果一个客户职业为企业高管、资产状况良好且无贷款逾期记录，通过朴素贝叶斯算法计算后，可能被归类为优质客户，银行可为这类客户推送高价值的优惠套餐。7.解释一下Apriori算法中支持度和置信度是什么意思。答：支持度：某两件事物共同发生占总体的比例（如同时购买X、Y的订单数占总订单数的比例），置信度：某两件事物同时发生占其中一件事单独发生的比例（如购买X的订单中同时购买Y的比例，即同时购买X和Y的订单数占购买X的订单的比例）。8.基于图的数据分析在社交网络分析中有哪些应用？请举例说明。答：在社交网络分析中，基于图的数据分析可用于发现用户之间的关系。例如，通过构建社交网络图，节点代表用户，边代表用户之间的关系（如好友关系、关注关系等）。利用图分析机制可以查找两个用户之间的共同好友、最短路径等。比如，在微信社交网络中，可通过图数据分析找到任意两个用户之间的共同好友，这些共同好友可作为推荐新好友的依据；还能通过分析用户之间的连接路径和紧密程度，发现潜在的社交圈子，为精准营销、信息传播等提供支持。第8章1.请举例说明弱人工智能和强人工智能的区别。答：弱人工智能是专门针对特定任务设计和训练的AI，比如苹果公司的Siri，它只能专注于完成如语音识别、回答特定问题等特定任务，功能较为单一。而强人工智能具备通用化的人类认知能力，目前虽尚未实现，但理论上它能理解复杂理念、进行抽象思维、解决不熟悉的问题等，像人类一样具备广泛的智能，二者在智能程度和应用范围上有显著差异。2.人工智能发展经历了多个阶段，其中第二次浪潮兴起和进入低谷的原因是什么？答：人工智能第二次浪潮兴起是因为20世纪80年代Hopfield神经网络和BT训练算法的提出，这些技术推动了人工智能在语音识别、语音翻译计划以及第五代计算机计划等方面的发展。进入低谷则是由于训练学习时数据量过大，很多训练到一定程度效果就难以提升，而且当时这些设想在实际应用中进展缓慢，无法达到预期，导致人们对人工智能的信心受挫，发展陷入低谷。3.简述生成式对抗网络（GAN）的工作原理，说明其在图像生成领域的应用表现。答：GAN由生成器和判别器组成。生成器从随机噪声中生成数据，试图欺骗判别器；判别器则区分真实数据和生成数据。二者通过不断对抗进行训练，生成器努力让判别器误判，判别器努力正确区分，最终使生成器生成的数据难以被判别器识破。在图像生成领域，GAN应用广泛，如NVIDIA的StyleGAN系列能生成高质量、几乎可乱真的人脸图像；还可实现图像超分辨率，将低分辨率图像转化为高清晰度图像，在卫星图像、医学成像等领域意义重大；也能用于图像修复与填补，修复破损或模糊的图像，以及进行风格转换，如将照片风格转换为绘画风格。4.大模型在教育领域有哪些具体应用？可能会面临哪些挑战？答：大模型在教育领域可作为智能辅导系统，根据学生的学习情况提供个性化的学习路径和即时反馈，帮助学生更高效地学习；还能自动批改作业，减轻教师工作负担。但它也面临挑战，比如在数据使用方面可能存在隐私保护问题，学生的学习数据若被不当使用，会侵犯学生隐私；而且大模型存在算法偏见的可能，这可能导致对不同学生的评价不够客观公正，影响教育公平。5.简要概括人工智能与大数据的关系。答：大数据与人工智能二者相辅相成，一方面人工智能需要大量的数据作为“思考”和“决策”的基础，另一方面大数据也需要人工智能技术进行数据价值化操作。第9章1.列举大数据安全面临的至少3种挑战。答：数据访问控制挑战：数据量和用户数量增长使定义用户或用户组对不同数据的访问权限变得复杂，策略制定需综合考虑多因素，且大数据系统动态变化增加了访问控制管理难度，易导致越权或非法访问，带来法律风险和名誉损失。数据完整性验证挑战：数据量庞大，传统完整性检查方法效率低，难以满足实时性和大规模处理需求。数据来源多样、格式质量参差不齐，动态更新的数据在变化时保障完整性困难，分布式存储系统中节点通信问题也影响完整性验证的准确性和效率。大数据技术被应用到攻击手段中：黑客利用大数据分析工具挖掘系统漏洞，发动高级持续性威胁（APT）攻击，还能构建僵尸网络进行拒绝服务（Dos）攻击。数据存储安全挑战：大数据体量大、数据敏感，采用分布式存储增加了潜在攻击面，存储节点漏洞可能蔓延，数据集中存储也易成为攻击目标，存储设备老化和故障若没有备份恢复机制会导致数据丢失。2.数据治理框架通常包含哪些主要组件？（说出至少4个）答：使命与价值：为数据治