《Excel商务数据分析与应用（AI+慕课版第3版）》项目二课件

项目二商务数据的收集与处理Excel商务数据分析与应用

（AI+慕课版第3版）1商务数据的收集2商务数据的预处理目录CONTENTS商务数据的收集作为市场洞察与决策支持的关键环节，其质量直接影响数据分析的可靠性与商业策略的有效性。本任务将介绍商务数据的来源、数据采集原则与流程、数据采集的方法与技术，并通过实操案例讲解采集商务数据的方法。任务一商务数据的收集一、商务数据的来源市场调研市场调研是企业获取商务数据的重要途径之一，它运用问卷调查、访谈、观察等多种科学方法收集数据。企业业务系统企业内部的业务系统是商务数据的重要存储库。例如：ERP（企业资源计划）系统、CRM（客户关系管理）系统、SCM（供应链管理）系统。公开数据库和资源公开数据库和资源是企业获取外部商务数据的重要来源。政府机构发布的统计数据行业协会发布的行业报告、市场研究成果等网络上的开源数据库和数据共享平台提供的数据资源第三方数据提供商第三方数据提供商是专门为企业提供数据服务的公司或机构，如市场调研公司、数据咨询公司。这些第三方数据提供商能根据企业的具体需求，提供定制化的数据解决方案。社交媒体和互联网社交媒体平台上积累了海量的用户行为数据，如用户的点赞、评论、分享、关注等。企业可以通过网络爬虫技术收集网页上的产品信息、价格信息、用户评价等数据；互联网上的搜索数据则反映了用户的搜索意图和需求。二、数据采集的原则与流程（1）准确性：确保采集的数据真实、可靠，反映实际情况。（2）完整性：尽可能收集全面的数据，避免遗漏重要信息。（3）时效性：强调及时采集数据，以便快速做出决策。（4）合法性：遵守相关法律法规，确保数据采集的合法性。数据采集的原则（1）需求分析：明确数据分析的目标和需求，确定需要采集的数据类型和范围。（2）数据源选择：选择数据源时，要综合考虑数据的质量、可靠性、可获取性及成本等因素。（3）数据获取：采用合适的方法和技术，从选定的数据源中获取数据。（4）数据验证：数据验证可以采用多种方法，如数据清洗、数据比对、逻辑校验等。（5）数据存储：将验证后的数据存储在安全、可靠的地方。数据存储方式有多种，包括本地存储、云存储等。数据采集的流程三、数据采集的方法与技术传感器采集传感器数据是指由传感器设备采集的实时性较高的非结构化数据，如温度、湿度、光照等。网络爬虫网络爬虫就像是数字世界里的“数据采集员”，它通过程序模仿浏览器的操作，按照设定的规则自动在互联网的网页中获取数据。数据库采集数据库采集是指通过连接数据库，并执行SQL语句获取数据，通常应用于大规模数据的查询和处理任务。日志采集日志文件是记录用户行为和系统运行状态的重要工具，企业可以通过分析日志文件采集用户行为数据。文件导入文件导入是指将本地计算机或远程文件中的数据导入目标系统中。企业可以将Excel、CSV等格式的文件直接导入数据分析工具中。API接口采集API接口采集是指通过调用第三方API接口获取数据，广泛应用于金融、物流、天气等领域。文本挖掘文本挖掘是一种针对非结构化数据的采集方法，它可以从大量的文本数据中自动提取出有用信息。图像识别图像识别是一种重要的非结构化数据采集方法，它可以从图片或视频中提取出所需信息。社交媒体监测社交媒体监测是一种针对社交媒体平台上的数据的采集方法，它可以了解用户在社交媒体平台上的活动和态度。埋点埋点指针对特定用户行为或事件进行捕获的相关技术。数据埋点主要分为以下两类：代码埋点、可视化埋点。四、采集商务数据下面详细介绍使用工具采集商务数据的方法，包括使用Excel采集网页表格数据、使用八爪鱼采集器采集商品评论数据、使用“店透视”插件采集市场数据，以及使用豆包获取图片中的数据。四、采集商务数据下面详细介绍使用工具采集商务数据的方法，包括使用Excel采集网页表格数据、使用八爪鱼采集器采集商品评论数据、使用“店透视”插件采集市场数据，以及使用豆包获取图片中的数据。四、采集商务数据下面详细介绍使用工具采集商务数据的方法，包括使用Excel采集网页表格数据、使用八爪鱼采集器采集商品评论数据、使用“店透视”插件采集市场数据，以及使用豆包获取图片中的数据。四、采集商务数据下面详细介绍使用工具采集商务数据的方法，包括使用Excel采集网页表格数据、使用八爪鱼采集器采集商品评论数据、使用“店透视”插件采集市场数据，以及使用豆包获取图片中的数据。原始的商务数据往往存在缺失值、重复值、异常值及格式不规范等诸多问题，这些问题会严重影响数据分析的准确性和有效性。因此，对商务数据进行预处理是开展后续数据分析工作的关键前置步骤。通过数据清洗、数据转换、数据分组等一系列操作，去除数据中的杂质，规范数据的格式，让数据以更优质、更整齐的状态进行呈现，为后续的数据挖掘、分析和决策提供坚实、可靠的数据基础。任务二商务数据的预处理一、数据集成商务数据集成是指将来自不同数据源、采用不同数据格式的商务数据整合起来并集中存储的过程。商务数据集成的核心目标是借助特定的方法，依照既定规则，将各个相互独立的数据组织成一个有机的整体。同种数据的多表集成在实际业务中，同一种类的数据往往会因为采集时间、采集人员等差异，分散存储在多个数据表中。为了确保后续数据分析工作能够高效、顺利地开展，有必要将这些分散的数据整合到一个数据表中。在Excel2019中进行同种数据的多表集成，可以采用以下方法。使用PowerQuery手动复制粘贴相关联的不同表数据集成在某些情况下，存在多个数据表，每个数据表中的内容各不相同，但这些数据表之间通过某一列或几列数据建立了关联关系。为了全面、深入地了解数据特征，高效推进相关工作，需要依据关联列进行查找和匹配，将多个表的数据整合到一个表中。在Excel2019中进行相关联的不同表数据集成时，可以使用VLOOKUP函数或INDEX、MATCH函数组合进行数据匹配。二、数据清洗重复数据通常有以下3种类型：字段内容完全一致的重复记录、关键字段重复但其他字段部分不同、数据录入误差导致的内容相似但不完全相同的重复。在处理重复数据时，一般采用删除操作。重复数据销售记录表当数据中的某个或某些数据元素为空时，即存在缺失数据。用户可以根据数据的具体情况，选择合适的方法处理缺失数据，常见的方法有删除法和替换法。缺失数据异常数据是指数据中的个别明显偏离其余数值，或者违背客观公理的数据。删除异常数据或将其纠正到正常数据范围内是异常数据的常用处理方法。在Excel中，可以使用条件格式或公式识别异常数据。异常数据不一致数据通常是指同一事物表述不一致的情况，一般是由于数据采集或集成过程的命名方式、数据代码不一致造成的。将不一致数据按照统一规则进行纠正、整理是不一致数据的常用处理方法。在Excel中，可以使用查找和替换功能处理不一致数据。不一致数据三、数据规约维规约维规约也称属性规约，是通过删除不相关、弱相关或冗余的维度（列）减少数据量。数量规约数量规约是一种数据预处理方法，它通过少量数据记录（行）代表或替换原有数据，以此减小数据量。数量规约主要包括数据抽样和数据泛化两种方式。数据压缩数据压缩通常是运用数据编码或转换技术获取原数据集的规约表示。在Excel中，可以通过一些技巧实现类似的效果。聚合压缩降维压缩编码压缩商务数据规约是指在尽可能维持数据完整性的基础上，最大程度地精简数据量。数据规约主要包括维规约、数量规约和数据压缩3种方式。四、数据转换数据转换是指将商务数据转变为适用于后续分析的数据形式的处理过程。商务数据转换主要包括标准化和格式化两种类型。格式化商务数据格式化操作没有严格的标准，数据分析人员需要根据数据的特点及后续数据分析操作的需要进行格式化操作。以下两种情况均属于格式化转换的情况。（1）价格数据格式化（2）性别数据格式化标准化又称规范化，主要解决数据中不同特征之间的量纲差异问题。常用的标准化处理方法有Min-Max标准化、Z-Score标准化和小数定标标准化。（1）Min-Max标准化数据转换的公式为：（2）Z-Score标准化数据转换的公式为：（3）小数定标标准化数据转换的公式为：标准化五、数据分组商务数据分组是依据统计研究需求，把原始数据按照特定标准划分到不同组别，以此观察数据的分布特征，随后计算出各组中数据出现的频数，也就是频数分布。在Excel2019中，常用的数据分组、频数分布方法包括分类汇总、数据透视表、函数统计等，用户需结合数据特点、分组及频数统计目标选择恰当的操作方法。在Excel2019中，利用数据透视表统计数据是一种能够快速汇总大量数据的交互式方法，可以灵活调整版面布局，还能重新设置行、列和页字段。使用数据透视表实现频数分布除了使用数据透视表实现频数分布外，还可以使用函数实现数据分组、频数分布。在Excel2019中，常用于频数分布的函数有FREQUENCY、COUNTIF等。使用函数实现频数分布“员工业绩考核”工作表六、数据脱敏数据脱敏是通过技术手段对敏感数据进行变形处理，以降低数据泄露风险，同时保障数据的可用性。其核心目标是在保护个人隐私（如姓名、身份证号、银行卡号）和企业机密（如商业合同、客户信息）的基础上，使数据仍能用于开发、测试、分析等场景。数据脱敏技术常用的数据脱敏技术有替换、加密、掩码、泛化、随机化等手段，在保护数据安全的同时，确保业务数据可用性。Excel数据脱敏方法（1）使用文本函数替换部分内容（2）生成随机替代值（3）模糊化日期或数值（4）使用“查找和替换”功能批量操作（5）使用“分列”功能截断数据七、使用AI工具进行商务数据处理借助AI工具，能够提高商务数据处理的质量与效率，让数据分析工作变得更加便捷。下面通过具体示例，讲解AI工具在数据清洗、数据提取及数据分析3个方面的应用。七、使用AI工具进行商务数据处理借助AI