大数据概论罗湘明课后参考答案

第一章选择题1.c2.a3.d4.d5.b思考题答案：大数据的特性主要包括四个方面：数据量大、数据速度快、数据多样化、数据质量不一。这些特性对大数据处理和分析带来了很多挑战，例如需要使用分布式计算和存储技术来处理大规模数据、需要实时或近实时处理数据以满足业务需求、需要使用机器学习和数据挖掘技术来从多样化数据中提取有用信息、需要对数据进行清洗和预处理来保证数据质量和准确性。答案：未来大数据的发展趋势主要包括以下几个方面：数据智能化：未来大数据的发展将更加注重数据智能化，即通过人工智能、机器学习等技术对大数据进行智能化处理和分析，提高数据的价值和利用效率。云原生技术：未来大数据的发展将更加注重云原生技术，即利用云计算、容器化等技术来实现数据处理和分析的高效、弹性和可扩展性。数据治理和隐私保护：未来大数据的发展将更加注重数据治理和隐私保护，即建立完善的数据管理和保护机制来保障数据的合规性和安全性。大数据技术将对社会和经济发展产生深远的影响，例如：促进数字化转型：大数据技术将促进企业和组织的数字化转型，提高业务效率和创新能力。改善生产和服务：大数据技术将改善生产和服务，例如提高供应链管理效率、改善医疗服务质量等。产生新的商业模式：大数据技术将带来新的商业模式和商业机会，例如数据共享和交易、智能制造、智慧城市等。答案：大数据的应用存在诸多潜在风险，例如数据安全和隐私保护风险、算法偏差和歧视风险、数据滥用和侵权风险等。规避这些风险需要从技术、法律和管理等多个方面入手，例如采用数据加密和安全传输技术来保护数据安全和隐私、使用多个算法和数据源来避免算法偏差和歧视、建立完善的数据管理制度和审查机制来防范数据滥用和侵权。第二章选择题CCBBB思考题以淘宝商城商品销售为例，如果只关注某个时间段的销售数据，可能无法反映商品销售量的季节性变化，在做商品生产环节就不能靠着局部时间段的修改生产线的产量，因此，考虑全部时间段的数据再进行分析可以做出更准确的预测和决策。对于某些应用场景，精度可能并不是最重要的因素。例如，如果我们需要分析某个产品在市场上的销售情况，可能并不需要非常精确的数据，只需要在较短的时间内获取大致的销售趋势即可。对于实时推荐系统，需要在较短的时间内对用户行为进行分析，并给出推荐结果。又如，对于大规模的图像识别任务，需要在较短的时间内对大量的图像进行分类。关注相关而非因果可能会导致分析结果的不准确性。例如，如果我们只关注肥胖与高血压之间的相关性，可能会得出肥胖是高血压的原因的结论，而实际上肥胖只是高血压的一个可能因素，还有其他因素也可能导致高血压的发生。因此，在大数据分析中，需要综合考虑多个因素，以避免因相关而忽视其他重要因素的情况。第三章选择题CBDAD思考题答案：系统架构：存储层：使用分布式文件系统，例如HadoopHDFS，以支持大规模非结构化数据存储。计算层：使用分布式计算框架，例如ApacheSpark，以支持高效数据处理和实时数据分析。可视化层：使用数据可视化工具，例如Tableau，以展示数据分析结果。硬件部署：使用集群架构，以支持高并发和高可用性。技术选择：存储层：选择HadoopHDFS作为分布式文件系统，以支持海量非结构化数据存储。计算层：选择ApacheSpark作为分布式计算框架，以支持高效数据处理和实时数据分析。可视化层：选择Tableau作为数据可视化工具，以展示数据分析结果。硬件部署：选择云计算平台，例如AWS或Azure，以支持高并发和高可用性。答案：HadoopHDFS：优点：可扩展性好，能够存储大规模数据。适合存储冷数据，即不经常被访问的数据。数据冗余机制较为完备，能够保证数据的可靠性。开源社区活跃，具有广泛的技术支持和应用场景。缺点：不支持实时读写，即无法对数据进行及时的修改。对小文件的存储效率较低，可能导致存储浪费。对数据的访问速度较慢，不适合对实时性要求较高的应用场景。适用场景：适合存储海量的非结构化数据，例如图片、音频、视频等。适合离线数据处理和批量计算任务，例如机器学习、数据挖掘等。使用注意事项：HadoopHDFS需要在集群环境中运行，需要一定的硬件资源和运维经验。HadoopHDFS的可靠性依赖于复制和备份机制，需要进行合理的配置和管理。需要注意数据存储和计算的负载均衡，以保证系统的稳定性和性能。Cassandra：优点：支持实时读写，适合对数据进行实时修改和访问。支持水平扩展，能够满足大规模数据存储的需求。支持多数据中心复制，能够保证数据的高可用性和可靠性。对小文件的存不支持事务，可能导致数据一致性问题。不支持多表连接操作，可能导致查询效率低下。对数据模型的设计和优化要求较高，需要一定的专业知识和经验。适用场景：适合实时读写、数据访问频繁的应用场景，例如社交网络、实时监控等。适合对数据进行复杂查询和统计分析的应用场景，例如数据仓库、在线分析处理等。使用注意事项：需要进行合理的数据模型设计和索引优化，以提高查询效率。需要注意数据分布和负载均衡，以保证系统的稳定性和性能。需要注意数据一致性问题，可以通过增加复制节点和配置读写一致性级别来提高数据可靠性。答案：在制造业中，大数据技术可以应用于以下几个方面：智能制造：通过采集、处理和分析生产过程中的大量数据，实现对生产设备和工艺的实时监测和优化，提高生产效率和产品质量。例如，利用传感器等设备采集生产过程中的温度、湿度、压力、振动等数据，通过大数据分析和机器学习算法预测设备故障，提前进行维修，避免生产中断和损失。质量管理：通过采集和分析产品的各种数据，实现对产品质量的实时监测和分析，发现问题和缺陷，并及时进行调整和改进。例如，通过采集产品的检测数据、工艺参数和生产环境等信息，通过大数据分析和机器学习算法预测产品质量，及时调整生产过程和改进产品设计，提高产品质量和客户满意度。供应链管理：通过采集和分析供应链中的各种数据，实现对供应链的实时监测和优化，降低物流成本和提高供应链的灵活性和响应速度。例如，通过采集供应链中的交通流量、库存、订单等数据，通过大数据分析和机器学习算法预测物流瓶颈，优化物流路径和运输方式，提高物流效率和降低成本。未来发展趋势：未来，随着人工智能、物联网等技术的不断发展和成熟，大数据技术在制造业中的应用将会更加广泛和深入。制造企业将会越来越注重数据的价值和应用，将大数据技术融入到产品设计、生产管理、供应链管理等各个环节中，实现数字化转型和智能化升级。同时，随着数据安全和隐私保护的需求不断增强，大数据技术的安全性和可信度也将成为制约其应用的重要因素，未来需要不断加强数据安全和隐私保护方面的研究和投入。第四章选择题DBACD思考题1.个性化学习体验：通过对你的学习数据进行分析，智慧教育系统可以了解你的学习习惯和水平，为你提供个性化的学习内容和学习计划，帮助你更好地学习。教学资源共享体验：智慧教育系统可以为你提供更多的教学资源，例如教学视频、课件、试题等，让你更轻松地获取学习资料。学习进度跟踪体验：智慧教育系统可以实时跟踪你的学习进度和学习成果，让你更清晰地了解自己的学习情况。大数据在科学研究中的应用可以推动科学创新，例如通过对大量的科学数据进行分析，可以发现科学规律和趋势，帮助科学家更好地理解自然界和人类社会；同时，可以通过科学数据共享平台等应用，促进科学研究的交流和合作，推动科学创新。例如淘宝的个性化推荐。淘宝会根据大数据生成用户画像并进行分类，对同类型的用户已购买或多次点击的商品进行推送。第五章选择题1、D2、B3、B4、D5、D思考题1、高性能、可扩展性、高可用性、安全性2、移动互联网、云计算、物联网等3、数据备份和恢复、安全审计、漏洞扫描和修复、身份验证、安全培训和教育、数据加密、防火墙和网络安全设备、安全策略和管理第六章选择题1、D2、B3、D4、A5、D思考题（说出一种即可，不限于以下答案）NEO（原名小蚁）：国内首个开源公有链项目和智能资产平台。简单来说，NEO=数字资产+智能合约+数字身份，可用于股权众筹、股权交易、债权转让、供应链金融等领域，也有人称“中国以太坊”。NEO区块链通过点对点网络、拜占庭容错机制、ca证书、区块链智能合约、纳米管买卖、跨链互操作协议书等系列技术相结合，让你迅速、高效、安全、合法地管理方法智能化资产。2014年正式立项，2015年6月于github实时开源。创立至今，NEO团队经历了区块链市场行业的高潮迭起与低潮期，虚拟货币市场的疯狂与冷却，世界各国管控与政府部门态度的模糊不清。人们坚信高新科技是这一时期变化的源动力，在那股驱动力的促进下，人们将迈入新的“智能化经济发展”时期。量子链（QuantumBlockchain，Qtum）：首例通过utxo实体模型的pos区块链智能合约平台，能够实现和比特币生态和以太币生态的兼容模式，并通过移动端发展的战略，推动区块链应用的实用化和提升区块链市场行业的便捷性，致力于将真正商业服务社会发展与区块链全球连结。因而，量子链是一个区块链平台的集大成者。量子链运用其学术合作伙伴、开发环境和科学方法论对商业服务区块链智能合约的开发设计开展了规范化，包含将自然语言的合同精确的转翻译设备可读智能合约、高容错度的细节及合约条款。第三方将在量子链的帮助下开发设计专用型的客户插口来提升区块链智能合约生命期管理方法。比原链（bytomblockchainprotocol，bytom/BTM）曾与NEO、量子链一起被称为国内三大公链，是一种多元比特资产的交互协议，运行在比原链区块链上的不同形态的、异构的比特资产（原生的数字货币、数字资产）和原子资产（有传统物理世界对应物的权证、权益、股息、债券、情报资