数据采集与处理 课件 项目二 电子商务数据采集认知

《数据采集与处理》电子商务数据采集认知项目二CONTENT目录任务一电商数据采集认知任务二数据采集方法任务三电商数据的来源任务四数据采集常用工具学习目标知识目标技能目标1.明确电商数据采集的内涵和原则；2.了解数据采集的不同方法；3.熟悉电商数据的不同来源渠道；4.了解不同数据采集工具的特性。1.能够选择合适的方法进行数据采集；2.能够明确区分内部数据和外部数据；3.能够根据数据采集需求选择合适的数据采集工具。任务一电商数据采集认知任务一电商数据采集认知电商数据采集又叫数据获取，是指借助一定的工具或程序代码，采集不同平台系统中的各项数据信息。如获取浏览数据变化、访客数据变化、商品状态变化、物流数据变化、用户行为变化等数据内容的过程，为后续进行数据分析提供数据准备。数据采集的内涵任务一电商数据采集认知电商数据采集的原则有效性合法性实时性准确性任务一电商数据采集认知实时性所采集的电子商务平台数据或第三方平台数据需要保证实时性，因各类访问、浏览、转化数据时刻在发生变化，需要尽可能获取最新的实时数据任务一电商数据采集认知有效性电商市场是不断变化的，在进行数据采集的过程中，需要注意数据的有效性。任务一电商数据采集认知准确性电商不同的数据指标具有紧密的联系，互相影响，在后期进行数据分析时，需要通过其中的几项数据去计算相关联的其他数据是否存在异常，在这个过程中，需要确保所摘录的数据准确无误，避免在进行数据分析时出现较大偏差，影响分析效果。任务一电商数据采集认知合法性在采集竞争对手各项数据的过程中，可采集竞争对手或相关机构发布的公开数据，或是在竞争对手允许的情况下获取相关数据，而不能采用非法手段获取。任务二数据采集方法任务二数据采集方法网页数据采集数据库采集系统日志数据采集调查问卷采集数据采集方法任务二数据采集方法商品数据商品评价数据电商平台如淘宝、京东、唯品会的运营、产品及竞争数据可以直接在网页进行摘录。网页数据采集任务二数据采集方法访问频率注册时间客户名联系方式地址交易时间购买数量交易金额退货金额直接与企业业务后台服务器结合，将企业业务后台每时每刻产生的大量业务记录写入到数据库中由特定的处理系统进行数据分析······数据库采集任务二数据采集方法系统日志数据采集企业的平台或各类网站每天会产生大量的日志，并且一般为流式数据（即实时大数据），如网站日志中记录了访客IP地址、访问时间、访问次数等数据。通过对这些日志信息进行采集、分析，可以挖掘电子商务企业业务平台日志数据中的潜在价值。任务二数据采集方法调查问卷是以问题的形式系统地记载调查内容的一种数据采集方式，调查问卷可以进行大规模的调查，结果容易量化且便于统计处理，这为数据采集提供了便利。调查问卷采集任务三电商数据的来源任务三电商数据的来源外部数据更加宏观、更加公开内部数据电商平台或电商企业在日常运营过程中产生的各项数据信息任务三电商数据的来源内部数据电商平台或电商企业在日常运营过程中产生的各项数据信息，内部数据一般与企业的服务或销售等相关，如注册用户数、访客数、新访客比率、浏览量、收藏量，订单数、订单信息、退换货数量等数据，涉及到用户信息的保密与商业机密等问题。友盟百度统计任务三电商数据的来源外部数据统计部门或政府的公开资料任务三电商数据的来源查机构、行业协会等发布的数据情报各类第三方调查机构及行业协会发布的数据报告、发展白皮书等，常见的有中国互联网协会、艾媒咨询、艾瑞咨询、易观国际等，在这些平台上提供了行业市场或行业龙头企业的各类统计数据，具有较高的参考性任务三电商数据的来源出版社出版图书指数工具任务四数据采集常用工具任务四数据采集常用工具任务四数据采集常用工具生意参谋是淘宝网官方提供的综合性网店数据分析工具。不仅可以采集到自身网店的各项运营数据，通过市场板块还能够获取到相关行业销售经营数据，通过竞争板块还可以了解到竞争店铺、竞品的各项数据。任务四数据采集常用工具京东商智是一款京东平台商家数据分析工具，展示实时与历史两个视角下，店铺与行业两个范畴内的流量、销量、客户、商品等全维度的电商数据，如图2-12所示。为商家提供专业基础运营、决策建议、精准营销等专业服务，帮助商家提升店铺运营效率，降低运营成本，是商家“精准营销、数据掘金”的强大工具。任务四数据采集常用工具店侦探是一款能全面跟踪天猫、淘宝店铺的运营数据工具，可自主添加竞店及竞品，提供竞店爆款关注、改价跟踪、标题改动跟踪、淘宝活动跟踪、直通车关键词排名跟踪等功能，有助于分析对手、学习对手并进一步超越对手。八爪鱼是一款高效的网页数据采集器，满足多种业务场景，简易采集模式内置上百种主流网站数据源。此外，提供多种网页采集策略与配套资源，可自定义配置，组合运用，自动化处理