项目3社交电商数据采集教案

项目3社交电商数据采集《社交电商数据分析与应用》课程教案项目3社交电商数据采集8学时教学分析1.授课信息教学项目社交电商数据采集课程名称授课日期课时8授课班级授课地点授课形式授课教师2.教学内容小美是拼多多某服饰企业店铺的运营专员，负责该企业拼多多店铺的整体规划、营销、推广、客户关系管理等系统性运营工作。最近企业要推出一款新品，运营主管要小美去收集关于该产品的关键词信息及运营有关的相关数据，为该产品的商品标题确定，文案描述，关联销售、产品设计等提供决策参考。已经初步掌握数据分析流程的小美意识到，没有数据无法展开分析，基于移动端的拼多多平台数据是如何采集的呢，商品标题的主打关键词数据又是如何去寻找呢？这是典型的通过数据分析在解决企业实际运营问题的应用场景，通过数据分析让运营人员了解该产品的核心关键词数据，平台热搜关键词等情况，为企业进行运营规划选择提供参考。这个数据分析的最重要的一个阶段就是数据采集，基于移动端的数据采集如何去实现，就是该分析任务的一个重要阶段，因此该项目围绕拼多多数据采集需求拆解成如表3-1所示的两个任务，分别为了解HTML源码解析及网络抓包体验，采集拼多多产品搜索关键词，最终形成产品热搜词库。3.教学目标知识目标能力目标素质目标了解网络爬虫理解URL构成原理了解HTML请求与响应了解网页的构成结构掌握静态网页和动态网页的区别了解采集数据的流程掌握数据采集面临的法律问题理解搜索框下拉词能获取移动app应用的URL地址能识对动态网页进行抓包分析能利用excelPq的内置函数对动态数据包进行采集和解析“一切劳动者，只要肯学肯干肯钻研，练就一身真本领，掌握一手好技术，就能立足岗位成长成才，就都能在劳动中发现广阔的天地，在劳动中体现价值、展现风采、感受快乐。”数据采集工作在入行初期是一件“苦差事”，需要更多的耐心、专心、细心、用心。在学习过程中，要引导学生养成肯学肯干肯钻研、严谨认真的职业素养，学会分析问题、解决问题，从多渠道获取信息，全面把握原始数据，掌握数据采集的基本能力，增强职业自信心。4.重点难点教学重点教学难点动态数据URL的识别动态网页的数据获取动态网页的数据解析动态网页的数据获取5.教学方法分组探究学习；案例教学法任务驱动法自主学习法

教学过程任务3.1HTML源码解析及网络抓包教学过程【任务描述】在浏览互联网上的信息时，人们可以轻松地获取到相关的内容，但是这个简单行为的背后却是后台经过一系列的工作才得以实现的。简而言之，人们眼前的信息是经过服务器的请求和响应实现的，涉及网络爬虫、TCP/IP协议、HTTP协议以及URL等相关知识，本节任务将详细介绍相关内容。【知识准备】1.网络爬虫2.URL构成原理3.网页的构成4.HTML请求与响应5.静态网页和动态网页【任务实施】3.1.1 明确采集目标链接3.1.2 构建采集数剧表3.1.3 利用函数采集与提取3.1.4 整理列表，优化关键词下拉提取模型任务2.2整理社交电商店铺运营数据教学过程【任务描述】任务1我们通过观察拼多多页面源码，了解了HTML请求与响应的机理，知道如果根据UTL找到需要采集数据目标数据的接口，接下来就是需要掌握如何把源码中或者动态抓包中看到的数据，下载并整理。数据一般可以通过数据产品和页面收集，收集数据时如果使用手动方式将耗费大量的时间和精力，因此使用软件构建采集脚本可极大节约时间成本。下面我们将带领大家体验通过传统的源码采集方式实现数据采集。【知识准备】采集数据的流程数据采集的法律问题搜索框下拉词【任务实施】3.2.1 明确采集目标链接3.2.2 构建采集数剧表3.2.3 利用函数采集与提取3.2.4 整理列表，优化关键词下拉提取模型项目实训背景：运营主管让你负责一款面膜的标题设计，需要你根据拼多多下拉词等信息来确定主打关键词，现在需要你设计一个下拉词采集模型，实时采集关键词变化。目