项目2 商务数据采集

商务数据分析项目二

商务数据采集任务一商务数据采集认知任务二商务数据采集实施CONTENT目录【知识目标】了解商务数据采集的含义及采集原则掌握商务数据采集的方法、工具和步骤

【能力目标】能够根据商务书采集目的设计初步的采集指标能够使用商务数据采集工具采集网站数据【素质目标】具备良好的数据保密意识和法律规范意识在数据保存中具备严谨规范的操作态度学习目标知识导图任务一商务数据采集认知任务一商务数据采集认知一、商务数据采集的概念

数据采集也叫数据获取，是指通过在平台源程序中预设工具或程序代码，获取商品状态变化、资金状态变化、流量状态变化、用户行为和信息等数据内容的过程，为后续进行数据分析提供数据准备。二、商务数据采集的原则合法性及时性准确性有效性任务一商务数据采集认知及时性进行数据采集需要尽可能地获取到电子商务平台最新数据，只有最新的数据与往期数据进行比对才能更好地发现当前的问题和预测变化趋势。有效性在进行数据采集过程中，需要注意数值期限的有效性。任务一商务数据采集认知准确性在数据分析过程中每个指标的数据可能需要参与各种计算，有些数据的数值本身比较大，参与计算之后就可能出现较大的偏差，在进行数据采集时需要确保所摘录的数据准确无误，避免数据分析时出现较大偏差。合法性数据采集还需要注意数据采集的合法性，比如在进行竞争对手数据采集过程中只能采集相关机构已经公布的公开数据，或是在对方同意的情况下获取的数据，而不能采用商业间谍、非法窃取等非法手段获取。任务一商务数据采集认知内部数据外部数据数据的主要来源渠道

电子商务数据的有效性、准确性与及时性建立在可靠数据的来源基础上，常见的数据来源渠道有两个，一个是内部数据一个是外部数据。任务一商务数据采集认知三、商务数据主要来源（一）内部数据

在电子商务项目运营过程中电子商务站点、店铺自身所产生的数据信息，如站点的访客数、浏览量、收藏量，商品的订单数量、订单信息、加购数量等数据，可通过电子商务站点、店铺后台或类似生意参谋、京东商智等数据工具获取。对于独立站点流量数据还可使用百度统计、友盟等工具进行统计采集。任务一商务数据采集认知政府部门、机构协会、媒体1政府部门、行业协会、新闻媒体、出版社等发布的统计数据、行业调查报告、新闻报道、出版物。（二）外部数据任务一商务数据采集认知权威网站、数据机构2

行业权威网站或数据机构发布的报告、白皮书等，常见的网站有易观数据、艾瑞咨询等。任务一商务数据采集认知电子商务平台3

电子商务平台上聚集着众多行业卖家和买家，也是电子商务数据产生的重要源泉来源。指数工具4

百度指数、360趋势、搜狗指数、阿里指数等工具依托于平台海量用户搜索数据，将相应搜索数据趋势、需求图谱、用户画像等数据通过指数工具向用户公开，该类型数据可为市场行业、用户需求和用户画像数据分析提供重要参考依据。任务一商务数据采集认知任务二商务数据采集实施一、商务数据采集的方法网页数据采集系统日志数据采集数据库采集报表采集调查问卷采集任务二商务数据采集实施网页数据采集

在采集行业及竞争对手数据时，在电商平台上的一些数据诸如商品属性数据（商品结构少标题、品牌、价格、销量、评价）可以直接进行摘录或使用火车采集器、八爪鱼采集器等爬虫采集工具进行采集。任务二商务数据采集实施系统日志数据采集

在网站日志中记录了访客IP地址、访问时间、访问次数、停留时间、访客来源等数据。通过对这些日志信息进行采集、分析，可以挖掘电子商务企业业务平台日志数据中的潜在价值。数据库采集

通过数据库采集系统直接与企业业务后台服务器结合，将企业业务后台每时每刻产生的大量业务记录写入到数据库中，最后由特定的处理系统进行数据分析。任务二商务数据采集实施报表采集

对于一些独立站点可能没有如每天咨询客户数、订单数等数据指标统计功能，在进行数据采集时可以通过每日、周的工作报表进行相应数据采集。任务二商务数据采集实施调查问卷采集

在进行用户需求、习惯、喜好、产品使用反馈等数据进行采集时常常会用到调查问卷，数据采集人员通过设计具有针对性的问卷，采用实际走访、电话沟通、网络填表等方式进行信息采集。任务二商务数据采集实施二、商务数据采集工具任务二商务数据采集实施生意参谋

淘宝网官方提供的综合性网店数据分析平台，不仅是店铺数据的重要来源渠道，同时也是淘宝/天猫平台卖家的重要数据采集工具是，为天猫/淘宝卖家提供流量、商品、交易等网店经营全链路的数据展示、分析、解读、预测等功能。数据采集人员不仅可以采集自己店铺的各项运营数据（流量、交易、服务、产品等数据），通过市场行情板块还能够获取到在淘宝/天猫平台的行业销售经营数据。任务二商务数据采集实施店侦探

一款专门为淘宝及天猫卖家提供数据采集、数据分析的数据工具。通过对各个店铺、宝贝运营数据进行采集分析，可以快速掌握竞争对手店铺销售数据、引流途径、广告投放、活动推广、买家购买行为等数据信息。任务二商务数据采集实施淘数据

一款针对国内和跨境电子商务提供数据采集和分析的工具，为卖家提供行业和店铺的各项数据。任务二商务数据采集实施京东商智

京东向第三方商家提供数据服务的产品。从PC、APP、微信、手机QQ、移动网页端五大渠道，店铺与行业的流量、销量、客户、商品等数据。任务二商务数据采集实施八爪鱼采集器

一款通用网页数据采集器，使用简单，完全可视化操作；功能强大，任何网站均可采集，数据可导出为多种格式。可以用来采集商品的价格、销量、评价、描述等内容。任务二商务数据采集实施火车采集器

一个供各大主流文章系统、论坛系统等使用的多线程内容采集发布程序。对于数据的采集其可分为两部分：一是采集数据；二是发布数据。借助火车采集器可以根据采集需求在目标数据源网站采集相应数据并整理成表格或TXT导出。任务二商务数据采集实施三、商务数据采集的步骤确定采集范围及人员分工1

进行数据采集前首先需要根据数据采集目标进行分析，明确数据采集的指标范围和时间范围。接着明确这些数据需要从哪些途径及部门采集，最后确定参与部门和人员配备。任务二商务数据采集实施建立必要的数据指标规范2

数据指标需对数据进行唯一性标识，并且贯穿之后的数据查询、分析和应用，建立数据指标规范是为了使后续工作有一个可以遵循的原则，也为庞杂的数据分析工作确定了可以识别的唯一标识。单元一数据采集认知数据检查3完整性检查准确性检查规范性检查完成数据采集后对数据进行复查或计算合计数据，将其和历史数据进行比较。同时还要检查字段的完整性，保证核心指标数据完整。在数据采集录入的过程中可能