《人工智能通识与应用》课件-项目4：数据清洗与转换

《生成式人工智能应用》第四章

生成式人工智能阅读能力的应用任务4.2使用生成式人工智能辅助识读一份市场调研报告在商业分析中，市场调研报告常包含大量复杂图表和图片。本任务以一份果汁饮料市场调研报告为载体，使用KIMI生成式人工智能，教授如何利用生成式人工智能技术高效完成图表分析和图片识别，提升数据解读效率与准确性。任务描述在学术和职业领域中，我们经常面临必须解读和分析各种复杂图表和数据的挑战。通过利用人工智能的强大数据处理和图像识别能力，我们可以迅速识别图表中的关键信息，自动分析数据之间的关系和趋势。任务分析图表分析图片识别本任务聚焦于利用生成式人工智能解决市场调研报告中复杂图表与图片的解读难题。任务实施分为两大核心环节:数据分析跨语言分析内容解析跨场景应用逻辑验证数据提取任务实施步骤1：图表分析图表是将数据以直观形式展示的强大工具，能够帮助我们快速理解数据的主要趋势和关键信息。通过生成式人工智能能够快速识别并解读各种图表类型。通过对比各年度的数据表现，人工智能不仅帮助我们识别了增长趋势和下降趋势，还能挖掘出潜在的市场变化和消费者行为的变动。任务实施步骤1：图表分析在本次果汁的市场调研报告中，有一张针对全球主要地区收入的市场份额图。但是我们也发现了，图表中数据非常多，并且用以区分不同数据的图例也很多，人工分析效率会非常低。人工智能可以准确地识别出了各个细分市场的表现，并对2022年至2027年间的市场份额进行详细解读，这可以帮助企业制定更有针对性的市场策略。实现技巧1分析全球主要地区收入市场份额图表任务实施步骤1：图表分析实现技巧1分析全球主要地区收入市场份额图表首先要把图片作为附件上传给KIMI，然后输入以下提示词。请帮我重新分析这份表格，并要求对于其中的概念，要有简单的解释。提示词任务实施步骤1：图表分析实现技巧1分析全球主要地区收入市场份额图表任务实施步骤1：图表分析生成结果我们可以看出人工智能给出了图表中的关键名词概念，同时对表格中数据进行了简要分析。复杂的图表瞬间变得清晰明了容易理解。实现技巧1分析全球主要地区收入市场份额图表任务实施步骤1：图表分析下图某航空公司日均执飞航班量。请分析这张图。技能拓展1某航空公司日均执飞航班量分析任务实施步骤1：图表分析技能拓展1某航空公司日均执飞航班量分析给人工智能输入提示词请帮我重新分析这份表格，并要求对于其中的概念，要有简单的解释。提示词任务实施步骤1：图表分析技能拓展1某航空公司日均执飞航班量分析任务实施步骤1：图表分析生成结果在这个具体案例中，人工智能能够识别2019年到2024年的数据趋势，并通过不同颜色的线条区分每一年的数据表现。这种能力极大地提高了数据分析的效率和准确性，尤其是在处理包含多变量和时间序列的复杂数据集时。技能拓展1某航空公司日均执飞航班量分析任务实施步骤1：图表分析除了中文图表，人工智能还能够识别和解读英文图表，这一功能大大扩展了数据分析的范围和能力。除了中文图表，人工智能还能够识别和解读英文图表，这一功能大大扩展了数据分析的范围和能力。在本任务的果汁市场调研报告中，有一份市场规模2016/2021/2027的数据对比。图表中有一些是英文词汇，对我们的阅读造成了一定的障碍。这个时候可以灵活运用人工智能来解决。实现技巧2解读英文图表任务实施步骤1：图表分析实现技巧2解读英文图表给人工智能输入提示词请帮我重新分析这份表格，并要求对于其中的英文内容做翻译和概念解释。提示词任务实施步骤1：图表分析实现技巧2解读英文图表任务实施步骤1：图表分析生成结果在这个生成的结果中，人工智能把原图表中的英文内容做了解释，同时针对整个数据表格的内容也做了解析，大大提高了我们的阅读理解效率。实现技巧2解读英文图表任务实施步骤1：图表分析人工智能凭借其强大的自然语言处理和图像识别能力，可以快速识别图表中的文字标签、标题和数据注释，准确提取出图表中的核心信息。实现技巧3识别图表内容下面我们尝试用人工智能来识别调研报告中的主要厂商果汁销量。任务实施步骤1：图表分析实现技巧3识别图表内容给人工智能输入提示词请帮我识别图表文字标签、标题和数据注释等关键内容。提示词任务实施步骤1：图表分析实现技巧3识别图表内容任务实施步骤1：图表分析人工智能生成结果实现技巧3识别图表内容任务实施步骤2：图片识别小明想知道图片中的狗狗是什么品种，我们发给人工智能问问看，提示词和生成结果下：任务实施步骤2：图片识别可以看出人工智能具有出色的图片识别能力，可以智能识别图中信息。智能图片识别技术，利用人工智能尤其是深度学习算法，能够识别和分析图片中的内容，从简单的物体识别到复杂的场景解析。智能图片识别不仅提高了处理速度和准确性，还能处理超出人类能力范围的任务。例如，调研报告中这个图片的分析，我们可以使用人工智能来完成。给人工智能输入提示词任务实施步骤2：图片识别实现技巧1上传图片分析请帮我分析这张图片，要求：1.分析产品属性。2.分析潜在问题和建议。3.推测产品应用场景。提示词任务实施步骤2：图片识别实现技巧1上传图片分析任务实施步骤2：图片识别人工智能生成结果实现技巧1上传图片分析任务小结本任务以市场调研报告为载体，系统化展示了生成式人工智能在复杂图表分析与图片识别中的核心应用。教学内容聚焦两大模块：图表分析图片识别人工智能技术不仅显著提升数据解读效率，还能生成结构化分析报告，辅助制定市场策略。任务强调批判性思维的融入，要求通过交叉验证、逻辑核对等方式确保人工智能生成结果的准确性，避免盲目依赖。最终，能够高效处理海量数据图表，精准提炼商业洞见，同时具备验证分析结论的能力，为学术研究或商业决策提供可靠支持。任务拓展任务拓展请帮我分析附件数据图表，并分析每个变量之间的相关性。提示词任务拓展任务拓展请帮我识别图片里的节日是哪个节日，它具有怎样的文化背景，并分析一下其具备的商业价值。提示词任务拓展任务拓展帮我识别附件货物销量数据图表并进行分析，要求：1.分析数据图表，指出数据图表中存在的逻辑矛盾。2.说明逻辑矛盾的产生原因及解决策略。提示词任务拓展任务4.2数据转换Python数据分析学习目标及重难点学习目标：了解什么是数据转换素养目标：了解数据转换的意义学习重点：数据转换的三种形式目录学习内容1.数据转换基本概念2.数据转换的作用3.常见的三种数据转换01数据转换的基本概念1.什么是数据转换数据转换是指将数据从一种格式、结构或类型转换为另一种格式、结构或类型的过程现实世界信息纷繁复杂互联网数据多种多样实际客户各有所需业务环境不尽相同1.什么是数据转换数据转换的内容通常包括数据形态转换——分类字段与连续字段的相互转换数据一般化——原始数据的概念阶层向上抽象提升数据标准化——极值标准化和Z值标准化2.数据转换对数据存储和数据库性能影响存储空间如果数据量较大，转换后的数据可能会占用更多的存储空间，从而增加存储成本。

数据库性能在大数据量和高并发的情况下，可能会降低数据库的响应速度和处理能力。

数据质量可能会出现数据丢失、数据错误、数据不一致等问题。可能会导致数据质量下降，进而影响数据分析和决策的准确性和可靠性。

数据可读性转换后的数据可能包含更多的字段、更复杂的数据类型、更多的空值等，使得数据更难以理解和使用。02数据转换的作用1.数据转换有何作用？利用数据资料进行分析之前，最好能对资料进行适当的变换处理，因为：通过数据资料的变换，能够运用简单的方法开展分析。能够保证数据分析所需要的假定条件得到满足。有助于从原始资料中迅速获得更加清晰的信息。有利于选择和建立合适的分析模型，包括模型的函数形式、模型的结构简化等。有助于弱化乃至消除数据资料不准确对计量分析结论的影响，有助于减小模型受到的各种干扰，有利于减小预测和估计的误差。1.数据转换有何作用？数据转换可提高数据的可用性和可读性格式转换：将数据从一种格式转换为另一种格式数据清洗：删除重复或无用数据，填充缺失值，纠正错误数据，以确保数据的准确性和一致性数据归一化：将数据转换为标准化的形式，例如将温度从华氏度转换为摄氏度数据聚合：将数据转换为标准化的形式，例如将温度从华氏度转换为摄氏度数据重采样：将数据从高频率采样转换为低频率采样或反之，以适应不同的分析需求03常见的三种数据转换1.重命名轴索引Pandas中提供了一个rename()方法来重命名个别列索引或行索引的标签或名称。index，columns：表示对行索引名或列索引名的转换。inplace：布尔值，表示是否在原地修改DataFrame，默认为False，即创建并返回重命名后的副本，若设置为True，则在原DataFrame上进行修改。rename（mapper=None,index=None,columns=None，axis=None,copy=True,inplace=False,level=None）1.重命名轴索引例如，将df对象的每个列索引名称重命名为a、b、c。1.重命名轴索引使用PythonDataFrame重命名列名和行名的代码实例：2.数据离散化离散化，就是把无限空间中的有限个体映射到有限空间中。数据离散的操作大都针对连续数据进行，处理后的数据值域分布将从连续属性变为离散属性。

针对连续数据的离散化是主要的离散化应用，这些算法的结果以类型或属性标识为基础，而非数值标记。离散化通常分为两类：

将连续数据划分为特定区域

将连续数据划分为特定类，如类1、类2、类3等。2.数据离散化例如，将有关年龄的数据进行离散化（分桶）或拆分为“面元”，直白来说，就是将年龄分成几个区间2.数据离散化连续数据离散化的方法通常有：分位数法：使用四分位、五分位、十分位等分位数进行离散化处理，这种方法简单易行。距离区间法：可使用等距区间或自定义区间的方式进行离散化，这种操作更加灵活且能满足自定义需求，另外该方法(尤其是等距区间)能较好地保持数据原有的分布。频率区间法：将数据按照不同数据的频率分布进行排序，然后按照等频率或指定频率离散化，这种方法会把数据变换成均匀分布，好处是各区间的观察值是相同的，不足是已经改变了原有数据的分布形态。聚类法：例如使用K均值将样本集分为多个离散化地簇。卡方：通过使用基于卡方的离散化方法，找出数据的最佳临近区间并合并，形成较大的区间。2.数据离散化Pandas的

cut

()函数能够实现离散化操作x：表示要分箱的数组，必须是一维的。bins：接收int和序列类型的数据。right：是否包含右端点，决定区间的开闭，默认为True。pandas.cut（x，bins，right=True，labels=None，retbins=False，precision=3，include_lowest=False，duplicates='raise'）2.数据离散化关于cut

()函数的几点说明cut()函数会返回一个Categorical对象，我们可以将其看作一组表示面元名称的字符串，它包含了分组的数量以及不同分类的名称。如果希望设置左闭右开区间，则可以在调用cut()函数时传入right=False进行修改。pd.cut(ages,bins=bins,right=False)Categories对象中的区间范围跟数学符号中的“区间”一样，都是用圆括号表示开区间，用方括号则表示闭区间3.哑变量处理类别型数据哑变量又称虚拟变量、名义变量，顾名思义，它是人为虚设的变量，用来反映某个变量的不同类别。使用哑变量处理类别转换，事实上就是将分类变量转换为哑变量矩阵或指标矩阵，矩阵的值通常用“0”或“1”表示。3.哑变量处理类别型数据假设变量“职业”的取值分别为司机、学生、导游、工人、教师共5种选项，如果使用哑变量表示，则可以用下图表示。3.哑变量处理类别型数据在Pandas中，可以使用get_dummies()函数对类别特征进行哑变量处理get_dummies用于机器学习的特征处理分类特征有两种：普通分类：性别、颜色顺序分类：