电子商务数据分析与应用（Excel版） 课件 项目四 数据的采集

电子商务数据分析与应用项目四数据的采集本章提纲

课前自学一、电子商务相关数据的获取二、店铺数据获取的主要渠道

课中实训实训一、网络数据的爬取实训二、调查问卷的设计与回收处理

课后提升案例1数据采集在电商成本控制中的应用案例2数据采集实训思维导图思政园地案例1明晰数据主权，规范数据使用【思政教育元素：树立正确的职业道德观】

在大数据时代，企业利用网络采集数据是了解客户需求的重要方式，成本也较传统方式低。但在数据采集过程中，企业对于客户信息的处置方式是否符合道德法律的规范，关系到其自身、客户以及社会等各个方面的利益。“滴滴出行”正因为存在严重违法违规收集使用个人信息问题而被通知在应用商店下架。为了取缔强势者对个体的数据霸凌行为，国家网信办依据相关法律来推动规范数据收集、使用的行为，不让大数据成为数据强权者掌握、控制数据弱势者行为的工具。对于企业来说，更要遵循保护个人信息的原则，确保数据在其所有者可知且授权的前提下被使用，坚守职业道德，共创安全的网络环境。思政园地案例2积极践行绿色电子商务理念【思政教育元素：树立正确的社会责任感】

为加快实现电子商务高质量发展，更好满足人民群众日益增长的美好生态需求，电子商务绿色发展相关法律法规不断完善，不少电商企业按照规定积极使用环保包装材料，实现包装材料的减量化和再利用。菜鸟裹裹将部分塑料包装袋更换为生物基环保袋，并试点推进环保寄件袋。该种“减塑环保袋”由秸秆、陈化谷物等可再生原料参与制作，与同尺寸的其它快递袋相比，每个环保袋在生产环节可直接节省塑料4.4克，大大降低了废弃塑料包装对环境造成的影响。

毫无疑问，发展绿色电商，电商企业理应承担更多的责任，参与到协同治理中来，助力社会化大循环体系发展完善。同时，要继续坚持实事求是、适度超前，成为践行绿色新发展理念的表率。案例导入

蜘蛛是生物界中很普通的小虫子，但是它却做了一件令人非常佩服的事情—织网捕物。蜘蛛经常会在自己所织的网上捕获食物，而这一行为就如同我们人类想在关系复杂的互联网上获取我们想要的数据。为了能够更高效的获取数据，人类通常会创造一只小精灵—“小爬虫”去帮助自己做事情。世界上第一个网络爬虫“万维网漫游者”（“WorldWideWebwanderer”）是由麻省理工学院的学生马休·格雷（MatthewGray）在1993年写成。它的初衷是用来统计互联网上的服务器数量，后来逐渐服务于搜索引擎的数据采集。

网络爬虫技术作为数据采集的一种重要方法，它是如何进行数据采集呢？你还了解哪些数据采集方法？课前自学一、电子商务相关数据的获取在做数据分析之前，首先需要完整、真实、准确地收集和获取数据，以便于量化分析工作的开展。一般商务数据的获取有以下几个常见途径：从公开数据源获取、利用网络爬虫抓取数据以及设计调查问卷收集数据。特别，针对电子商务平台和卖家，可以通过网站后台获取运营数据。一、

电子商务相关数据的获取1.公开数据源2.网络爬虫3.问卷调查1.公开数据源比较权威的公开数据源包括：国际货币基金组织、世界银行、世界卫生组织、经济合作和发展组织、UCI数据库等。2.网络爬虫由于网络爬虫可以自动访问网页并记录网页对应的内容，因此被用作数据获取工具。这里主要介绍用作数据获取工具的网络爬虫。爬虫只是一类批量自动访问网页的工具，核心功能是访问网页。网页中的素材存在于网站所在的服务器上，当这个服务器收到一个访问请求时，它会把对应的素材发送到请求发出的地方，这就是人们通过浏览器可以看到别人服务器上的内容的原因。3.调查问卷调查是获取一手数据的重要方式之一。通常而言，调查是指为了了解总体的某些属性特征，而对其中的所有或部分个体开展信息搜集的系统方法。二、

店铺数据获取的主要渠道以电商卖家的视角切入，介绍数据分析中的第一步——数据收集的获取渠道。主要包括：店铺流量数据、商品数据、交易数据、客户服务和物流服务数据以及市场和竞争数据的收集渠道。二、

店铺数据获取的主要渠道（一）

流量数据（二）商品数据（三）交易数据（四）客户服务和物流服务数据（五）市场和竞争数据（一）流量数据流量是非常重要的电商指标。一个店铺的流量来源有很多，有免费的、付费的、站内的、站外的。本小节主要介绍站内免费流量数据、站内付费流量数据和自主流量数据的收集指标和采集方法。1.站内免费流量数据各平台站内免费流量的来源有很多，要想收集站内免费流量的数据，首先一定要清楚站内免费流量的结构，哪些是店铺已经做了的引流，哪些是店铺还可以去做的引流。下面介绍淘系（阿里巴巴、淘宝、天猫）平台的流量结构。（1）流量的来源结构淘系平台站内免费流量的入口有很多。主要流量以无线端为主，入口也是以无线端为主，主要包括以下几项流量来源：①手淘搜索。②

手淘首页。③

手淘微淘。④淘系站内活动。⑤淘系类目频道。⑥其他。（一）流量数据（2）流量数据查询工具/入口在明确了淘系站内免费流量的来源后，接下来要了解从哪里可以查询到这些数据。对于卖家可以使用官方平台的数据工具。可以从以下两个入口进入生意参谋首页：①商家中心入口。账号登录进入商家中心，点击“商家地图”→“营销＆数据管理”→“生意参谋”。②千牛入口。登录千牛软件，点击“店铺管理”→“商家中心”；找到数据中心模块，点击“生意参谋”；进入生意参谋首页。（一）流量数据【知识拓展】生意参谋——专业的电商数据分析平台生意参谋为商家提供数据，让商家对于数据进行分析，然后去对自己的店铺进行布局规划，但是功能区分还是非常明显的，可分为两大类。一是淘系商家对自己店铺进行经营分析，帮助商家对店铺进行管理。主要包括：①流量；②商品；③客户；④营销；⑤交易；⑥服务。二是为淘系卖家提供行业整体的大盘数据，使其了解自己店铺中经营类目的整体市场行情。主要是生意参谋中的“市场竞争”功能模块。包括：市场概况、市场看板、供需洞察、行业大盘、店铺排行、商品排行、属性排行、搜索词排行、搜索词查询、竞争洞察、竞店对比、零售市场洞察、跨境商机等。（一）流量数据2.站内付费流量数据（1）淘系站内付费流量来源直通车、淘宝客、钻展是淘宝/天猫平台站内三大付费流量的来源方式。宝贝展现量点击量点击率点击转化率投入产出比关键词质量得分（2）淘系流量数据查询工具直通车、钻展及淘宝客开通之后，淘系卖家可以通过阿里巴巴集团官方出品的千牛工作平台，查询付费推广的各项数据，包括卖家工作台、消息中心、阿里旺旺、量子恒道、商品管理等主要功能。采集推广效果数据，掌握付费推广为店铺带来的流量数据，了解投放效果。（一）流量数据3.自主流量数据在各项流量数据中，自主流量多来自老客户，通过“购物车”“收藏夹”“直接访问”等方式访问店铺，这部分流量的转化率相对较高。（1）站内自主流量结构站内自主流量有五种主要渠道。①收藏夹。②我的淘宝③已买到的商品④直接访问。⑤购物车。（2）数据查询工具淘系平台可以选择千牛平台的生意参谋进行操作。登录千牛账户，点击从左向右数的第三个模块，打开千牛工作台。在千牛工作台首页“数据中心”模块找到“生意参谋”，点击进入生意参谋首页。（二）商品数据电商平台需要定期分析商品销售情况，比如不同商品的成交转化情况、访客浏览情况及售后服务情况等，从时间、商品的类别、价格等多个维度进行商品数据分析。1.店铺商品效果数据（1）店铺商品效果数据指标①核心数据。②全量商品排行③商品360。（2）数据查询工具

可以通过生意参谋的品类罗盘进行商品数据查询。

品类罗盘可以为商家提供全店商品实时监控，商品人群精准营销，新品上市效果追踪，异常商品问题诊断等丰富的产品运营场景服务，其主要功能有：人群管理精准应用、宝贝标题精细优化、竞争单品对比剖析。（二）商品数据2.主推品单品分析数据（1）主推品单品数据分析的数据指标①流量来源。②销售分析。③客群洞察。④关联搭配。（2）数据查询工具通过生意参谋能一站式地进行数据分析，具体操作步骤：登录淘宝千牛软件，点击“店铺管理”→“商家中心”；找到数据中心模块，点击“生意参谋”；点击商品模块，进入单品分析界面。（三）交易数据1.店铺交易数据（1）店铺交易数据指标①交易概况数据。②交易构成数据。③交易明细数据。（2）数据查询步骤登录千牛平台的生意参谋工具，进入生意参谋工作界面。进入生意参谋首页，点击“交易”板块。在左侧列表中，点击“交易概况”找到交易趋势，选择需要统计的周期，在交易趋势模块中点击右边的“下载”按钮。在左侧列表中，点击“交易构成”，分别在终端构成、类目构成、价格带构成和资金回流构成模块中，点击“下载”按钮。在左侧列表中，点击“交易明细”，对数据进行收录统计。（三）

交易数据2.主推品交易数据（1）主推品交易数据①下单买家数与支付买家数。②下单件数与支付件数。③下单金额与支付金额。④下单支付转化率与支付转化率。（2）主推品交易数据查询工具/入口运用生意参谋中的品类板块可以搜索单个产品，进入单品交易数据板块，分析商品成为热销品的可能性。“商品洞察”中的“商品360”，包括销售分析、流量来源、标题优化、内容分析、客群洞察、关联搭配、服务分析等七种功能模块。（四）客户服务和物流服务数据1.客户服务数据（1）客户服务数据指标①服务体验②接待响应③客服销售④售后维权（2）客户服务数据查询工具生意参谋的“服务洞察”功能主要用于监测子账号的各项服务数据，重点面向客服主管、一线客服等人员，提供数据监测分析、客服管理协同以及客服辅助支持3个方面的产品服务，帮助商家提升客服管理与执行能力。（四）客户服务和物流服务数据2.物流服务数据（1）物流服务数据结构①创建订单数②发货订单数③揽收订单数④签收订单数（2）物流服务数据查询工具淘系平台中的“物流洞察”由生意参谋和菜鸟网络联合发布，为零售电商提供全面、实时的物流监控，帮助商家洞察物流仓储问题，提升物流时效和客户体验，降低仓储成本。在物流洞察模块中可以通过整体概况、异常雷达、效能提升三类数据来查看店铺的物流情况。（五）市场和竞争数据1.市场行业数据（1）市场行业数据指标①市场监控数据②供给洞察数据③搜索洞察数据④客群洞察数据⑤机会洞察数据（2）市场行业数据查询工具淘系平台市场行业数据是通过千牛工作台的生意参谋来查看的，包含市场监控、供给洞察、搜索洞察、客群洞察以及机会洞察5个子模块。可满足市场大盘全景洞察、针对市场机会深度解析、市场客群多维透视及可实时监控分析等四大核心场景的分析诉求，以帮助商家清晰了解市场结构，深度挖掘潜在客户需求，为市场扩展提供决策支持。（五）市场和竞争数据2.竞争对手店铺运营数据（1）竞争店铺的查找方式①搜索词。②销量。③店铺属性。④店铺综合数据。（2）竞争店铺运营数据结构①竞店可监控的核心指标。②交易构成。③入店来源。④顾客流失。（3）竞争店铺运营数据查询工具可以运用生意参谋收集淘系卖家竞争店铺的信息，该软件的数据纵横、市场行情和竞争情报可直接查阅、获取、监控竞争店铺的商品、流量、交易等数据。此外，还有一些第三方工具，比如店侦探、看店宝、淘数据、轻淘客和创客工具箱等也能收集到竞争店铺的很多精准信息。（五）市场和竞争数据3.竞争对手同款产品（竞品）数据（1）竞品数据结构①关键指标对比数据。②入店搜索词数据。③入店来源数据。（2）竞品数据查询工具可运用生意参谋竞争板块中的“竞争商品”模块来查询竞品数据。竞争商品模块包含了监控商品、竞品识别及竞品分析，可选择不同时间筛选数据。对于卖家来说，了解竞品与自己商品之间的差异，可以更好地优化商品，提高热度。课中实训实训一、网络数据的爬取1.八爪鱼——网络数据的爬取工具之一（1）介绍八爪鱼八爪鱼采集器是深圳视界信息技术有限公司研发的一款业界领先的网页采集软件，具有使用简单、功能强大等诸多优点。八爪鱼采集器可简单快速地将网页数据转化为结构化数据，存储于Excel或数据库等，并且提供基于云计算的大数据云采集解决方案，实现精准、高效、大规模的数据采集。实训一、网络数据的爬取（2）八爪鱼简易模式下“京东商品列表采集”京东商品数据采集下来有很多作用，如可以分析京东商品价格变化趋势，了解评价数量、竞品销量和价格，分析竞争店铺等，快速掌握市场行情，帮助企业决策。下面重点介绍八爪鱼简易模式下“京东商品列表采集”的使用过程及注意要点。①下载八爪鱼软件并登录。②设置京东商品列表抓取规则。③掌握模板的使用方式。④保存并运行京东商品列表采集规则。实训二、调查问卷的设计与回收处理（一）调查问卷设计（二）调查问卷的回收处理（一）调查问卷设计1.搭建框架调查问卷是一种非常好的数据收集方式。在正式设计问卷之前，首先一定要明确问卷中将会出现哪些内容，或者将要采集哪些数据来服务于研究主题。这可以通过搭建一个问卷框架来实现，这个框架通常包含三大部分：中心概念、核心内容、具体问项。中心概念（一级指标）核心内容（二级指标）具体问项（三级指标）1使用情况1.1使用广度1.1.1微信用户占比1.1.2使用时间1.1.3获知渠道1.2使用深度1.2.1依赖程度1.2.2持续使用情况1.2.3功能了解程度1.2.4替代性2需求满足情况2.1主观满意度2.1.1功能多样2.1.2获取信息2.1.3情感交流2.1.4人性化设计（一）调查问卷设计2.确定问题形式问卷中常见的问题形式包括封闭式问题和开放式问题。单选题、多选题、排序题、量表题都是常见的封闭式问题的表现形式问题形式示例开放式问题您希望手机淘宝可以做哪些改进？请留下您的宝贵意见（_______）封闭式问题单选题您对手机淘宝的使用程度如何？（_______）A.基本每天都会使用B.一周4~5次C.一周2~3次D.一周一次或更少多选题您觉得手机淘宝的哪些功能做得好？（多选，至多三项）A.搜索功能B.加购功能C.结算功能D.领券功能E.社交功能F.小游戏G.售后功能H.协调买卖双方纠纷功能I.其他（请注明内容：

）排序题您觉得手机淘宝哪些功能好？请选出最好的三项功能并排序。A.搜索功能B.加购功能C.结算功能D.领券功能E.社交功能F.小游戏G.售后功能H.协调买卖双方纠纷功能I.其他（请注明内容：

）量表（五级）有关手机淘宝的一些陈述，请选择符合您实际想法的选项。手机淘宝是一种在线购物的有效渠道（___）。A.非常同意B.比较同意C.一般D.比较不同意E.非常不同意量表（评分式）请根据您最近一次的购物经历，对手机淘宝的购物体验打分。(0~5分，0分最不满意，5分最满意)（___）（一）调查问卷设计3.选措辞、排结构避免复合内容错误示例您认为手机淘宝支付功能安全、方便吗？点评和建议安全和方便是两个概念，不应在一个问项中同时测量，考虑两个概念是否都必须测量，若是，则设为两个单独的问题。修改方案您认为手机淘宝的支付功能安全吗？您认为手机淘宝的支付功能方便吗？避免指代不明错误示例最近有使用过优惠券吗？点评和建议“最近”指代不明，应指明具体范围。修改方案您最近一周有使用过优惠券吗？避免答项缺失错误示例您一般使用什么手机应用购物？①手机淘宝；②京东；③唯品会；④苏宁易购点评和建议遗漏了一些方式“拼多多”，“网易严选”等，同时考虑到难以保证涵盖全部方式，应补充其它选项让受访者自行补充。修改方案您一般使用什么手机应用购物？①手机淘宝；②京东；③唯品会；④苏宁易购；⑤拼多多；⑥其他____避免感情色彩错误示例您至今未进行网购的原因是什么？①骗子多；②不方便；③不懂；④软件少点评和建议“骗子多”，“不懂”都是带有贬义和偏见的表达，应改为中性的表达。修改方案您至今未进行网购的原因是什么？①安全考虑；②方便程度考虑；③技术门槛；④选择少；⑤其他____避免难以回答错误示例最近三年，您在线购物的次数是多少？点评和建议时间太长、难以回忆，建议重新思考需要测量的概念，如可能，请缩减时间段。修改方案最近一周，您在线购物的次数是多少？（一）调查问卷设计4.评估及预测试在问卷正式发放之前，必不可少的两个步骤是评估和预测试。①问卷评估是指请专业人士对问卷进行审校②问卷预测试是请潜在的受访者进行试填（二）调查问卷的回收处理1．校订数据的内容（1）调查员是否按照抽样调查指示进行访问？样本单位是否正确？如果受访者不符合抽样的要求，那么其答案应予舍弃。例如，抽样的总体是大学生群体，若有其他社会人士参与答卷，则不被计入有效答卷。（2）答案是否完整无遗漏？所有应该答复的问题是否都回答了？（3）字迹是否清晰可见？受访者寄回的问卷、调查员的访问报告或观察员的观察记录上的字迹是否清晰可读？如果无法辨认，有时可以送回原答卷者或原记录者重新填写，但有时因时间关系或其他原因，只能舍弃不用。（4）答案是否有前后不一致的现象或出现矛盾的地方？（5）答案的意义是否明确？开放式问题的答案的叙述通常难以了解，如有合糊不清的答案应设法弄清楚。（二）调查问卷的回收处理2．校订的操作方式（1）校订者分工进行校订数据的工作，一位校订者负责某部分校订工作，此种方式对部分范围的校对较为精细可靠。（2）个别校订者负责整份问卷的校订工作，此种方式易察觉问卷前后不一致的矛盾答案。（二）调查问卷的回收处理3．特殊处理事项1）对空白的处理对于出现空白的答案或答案不齐全的情况，首先探究发生的原因，若起因是调查员的疏忽，则可询问该名调查员并将答案补全；若此时调查员已不记得答案，则可比照受访者未作答的情形，当作不知道或无答案的方式处理。2）对不知道的处理若出现不知道的答案次数不多，则可不加理会；但是若出现的频率过高，则应该正视问题发生的原因。3）对多项答案的处理通常处理的方式包括：将某一特定属性的百分比作为后续分析的依据；利用重复分析，将所有答案编表列示以了解答案的组合情形；若是开放式作答的问题，则将所得的答案分门归类处理。（二）调查问卷的回收处理4．其他注意事项（1）校订人员不可随意地更改答案，对于问卷上原始的答案不可涂掉修改或任意加上不必要的字句符号。（2）对于未说明或可更改范围以外的问题，校订者要向负责的专家请示应如何进行处理。（3）校订者在完成问卷校订的工作后，应在问卷上记下名字或编号等，以便负责复核的专家进行查对。课后提升案例1数据采集在电商成本控