《人工智能基础》课件-2.2.1人工智能的数据支撑-大数据

任务2.2人工智能的数据支撑——大数据04任务导入大数据已经成为当今社会的一个热门话题，特别是在工业界和学术界，早已成为争相讨论的热点。作为继云计算、物联网之后的又一IT行业颠覆性技术，无论是在专业领域内，还是在日常生活中，随处可见大数据的影子，大数据被频繁地应用于电子商务、金融、教育、医疗、能源、交通等领域。通过本任务，深入思考大数据的定义、特性、现实应用、关键技术及处理平台，从而掌握大数据的基本知识。（1）大数据基本概念什么是大数据：动态巨量的信息资产大数据的定义大数据是指需要借助新处理模式才能释放更强决策力、洞察力与流程优化能力的巨量资料。其‘大’是动态的，随着技术发展，从GB到TB、PB乃至EB级不断扩容。大数据的资产属性大数据不仅是数据量的堆积，更是能转化为资产的信息集合。它为各行业提供了深度洞察和优化流程的潜力，是现代企业决策的重要依据。大数据的价值基础大数据的价值在于其背后的信息价值。随着技术的不断进步，大数据的处理和分析能力不断提升，为各行业带来了前所未有的机遇和挑战。大数据的特点海量性大数据的海量性体现在现代社会人类活动被全面记录，微博、自拍、运动手环等数据源源不断地通过互联网上传到云端，形成了体量巨大的数据集合。数据来源广泛海量数据来源于各种终端设备和网络平台，涵盖了人们生活的方方面面，从社交媒体到物联网设备，数据的产生无处不在。数据类型的挑战数据类型的多样化给大数据系统的存储和计算带来了不小的挑战，需要开发新的技术和工具来处理这些复杂的数据。多样性大数据的多样性体现在数据来源和格式的丰富性，包括结构化数据、半结构化数据和非结构化数据，如数据库表格、XML文件、文本、图像和音频等。大数据的高速性描述了数据被创建和移动的速度。在高速网络时代，企业需要快速地处理、分析数据并将其返回给用户，以满足实时需求。高速性大数据的价值性在于其低价值密度。数据采集并不总是及时的，样本数量有限，数据不完全连续。但随着数据体量的增大，我们可以从中提取有价值的信息，为决策提供支撑。价值性（2）大数据的关键技术大数据技术是一个完整的闭环系统，包括采集、预处理、存储管理、分析挖掘和可视化五大关键技术。这五大技术环环相扣，任何一个环节的短板都会影响整体的价值释放。1*采集技术：多源高并发获取采集技术的重要性采集技术是大数据处理的第一步，负责从多个来源获取数据。其核心挑战是应对高并发访问和海量数据的获取。数据来源的多样性数据来源包括平台自营型数据、其他主体运营数据和互联网数据。每种数据来源都有其特点和获取方式，需要不同的采集方法。采集技术的挑战采集技术面临的挑战包括高并发访问、数据的实时性和准确性。需要通过负载均衡和分片等技术来应对这些挑战。大数据技术总览：五层闭环2*预处理技术：让脏数据变干净预处理技术的作用预处理技术是大数据处理的关键环节，负责将采集到的原始数据进行清洗、过滤、去重等操作，使其变得干净、整洁。清洗过滤清洗过滤是预处理的第一步，通过技术手段去除数据中的噪声和错误信息，弥补缺失的数据，提高数据质量。去重去重是预处理的重要环节，通过识别和删除重复数据，减少数据冗余，提高数据的准确性和可用性。特征提取与标签化特征提取是从原始数据中提取有价值的信息，将其转化为结构化数据。标签化则是为数据添加标签，便于后续的分析和处理。3*存储管理技术：海量混合数据安身存储管理技术的挑战存储管理技术面临的挑战是海量数据的存储和管理。需要解决海量文件、小文件、大文件分块、可扩展性与可靠性等问题。分布式存储解决方案分布式文件系统和NoSQL数据库是解决海量数据存储的关键技术。它们能够实现数据的弹性扩容和高效管理。4*分析挖掘技术：沙中淘金的方法论分析挖掘技术的分类分析挖掘技术可以根据任务、对象、方法和目的进行分类，涵盖了从分类预测到异常趋势的多种算法。挖掘技术的价值挖掘技术是从低价值密度的大数据中提取隐含知识的核心环节，为后续的可视化和决策提供支持。挖掘技术的应用挖掘技术广泛应用于商业、医疗、金融等领域，帮助企业从海量数据中