《跨境商务数据分析与应用》课件-数据采集渠道及工具选择-双语

2024数据采集渠道及DataCollectionChannels&工具选择ToolSelection主讲教师：XXX日期：2024.01.01目

录

CONTENTTABLEOFCONTENTS01020304跨境电商数据的来源SourceofCrossborderE-commerceData数据采集的方法Methodsofdatacollection数据采集的原则PrinciplesofDataCollection数据采集的步骤Thestepsofdatacollection跨境电子商务专业Cross-BorderE-CommerceMajor01跨境电商数据的来源SourceofCrossborderE-commerceData数据采集的概念ConceptofDataCollection数据采集的概念ConceptofDataCollection数据采集也叫数据获取，是指通过在平台源程序中预设工具或程序代码,获取商品状态变化、资金状态变化、流量状态变化、用户行为和信息等数据内容的过程，为后续进行数据分析提供数据准备。Datacollection,alsoknownasdataacquisition,referstotheprocessofobtainingdatacontentsuchasproductstatuschanges,capitalstatuschanges,trafficstatuschanges,userbehavior,andinformationbypre-settingtoolsorprogramcodesintheplatformsourceprogram,providingdatapreparationforsubsequentdataanalysis.跨境电商数据的来源SourcesofCross-BorderE-CommerceData数据源是数据分析的基础，准确的数据源是管理者决策的保证。对于跨境电商数据来说，有多种数据来源的渠道。在采集数据的时候，首先，要了解商家的需要是什么，然后再根据需求去选择相应的数据。Datasourcesarethefoundationofdataanalysis,andaccuratedatasourcesaretheguaranteeformanagerialdecision-making.Forcross-bordere-commercedata,therearemultiplechannelsofdatasources.Whencollectingdata,onemustfirstunderstandtheneedsofmerchantsandthenselectthecorrespondingdatabasedonthoserequirements.如何进行选品？Howtoconductproductselection?AB同类的竞争对手有哪些，分别有什么有优势？Whoarethecompetingpeersinthesamecategory,andwhataretheirrespectiveadvantages?跨境电商商家需求DemandsofCross-borderE-commerceMerchantsC如何提升产品的曝光率？Howtoimproveproductexposure?D怎么让现有的客户重复购买自己的产品？Howtoboostproductexposure?跨境电商数据的来源SourcesofCross-BorderE-CommerceData跨境电商平台上商家可以查看自己每个产品的销售数据、浏览数据、收藏数据等。Oncross-bordere-commerceplatforms,merchantscanviewsalesdata,browsingdata,favoritesdata,etc.foreachoftheirproducts.跨境电商平台数据Cross-BorderE-CommercePlatformData第三方平台的统计数据研究报告通常会提供有关行业趋势的一般数据。Statisticaldataresearchreportsfromthird-partyplatformstypicallyprovidegeneraldataonindustrytrends.第三方平台的统计数据研究报告Third-PartyPlatformStatisticsDataResearchReports消费者购买数据不仅是商家的个人产品的数据，而是大范围的用户数据，这些数据包括消费者行为、购买习惯等。Consumerpurchasedataisnotlimitedtoindividualmerchantproductdata,butratherencompasseslarge-scaleuserdata,includingconsumerbehavior,purchasinghabits,etc.消费者购买数据ConsumerPurchaseData选择性向客户发送一些调研邮件，对一部分客户进行针对性的调查，获取更详尽的回复。Selectivelysendsurveyemailstocustomersandconducttargetedinvestigationsonaportionofcustomerstoobtainmoredetailedresponses.客户调研数据CustomerSurveyData跨境电商数据的来源SourcesofCross-BorderE-CommerceData跨境电商平台数据Cross-BorderE-CommercePlatformData客户调研数据CustomerSurveyData跨境电商数据的来源SourcesofCross-BorderE-CommerceData第三方平台的统计数据研究报告StatisticalDataResearchReportsfromThird-PartyPlatforms消费者购买数据ConsumerPurchaseData02数据采集的原则PrinciplesofDataCollection跨境电子商务专业Cross-BorderE-CommerceMajor数据采集的原则PrinciplesofDataCollection跨境电商数据采集需遵循真实性、多维性和高效性三大原则。Cross-bordere-commercedatacollectionmustfollowthreemajorprinciples:authenticity,multidimensionality,andefficiency.010203在跨境电商数据采集的过程中，数据的取得必须是客观真实的，才能保证跨境电商数据分析的价值性，所采集的跨境电商数据量必须足以支撑分析需求。Intheprocessofcross-bordere-commercedatacollection,thedataobtainedmustbeobjectiveandauthentictoensurethevalueofcross-bordere-commercedataanalysis;thevolumeofcollectedcross-bordere-commercedatamustbesufficienttosupportanalysisrequirements.数据更重要的是能满足分析需求，灵活、快速、自定义数据的多种属性和不同类型，能够满足不同的分析目标，Moreimportantly,datamustmeetanalysisneeds—flexible,rapid,andcustomizabledatawithmultipleattributesanddifferenttypescansatisfyvariousanalysisobjectives.高效性包含技术执行的高效性、团队内部成员协同的高效性以及数据分析需求和目标实现的高效性。采集数据一定要明确采集目的，使信息采集更高效、更有针对性。Efficiencyencompassestheefficiencyoftechnicalexecution,theefficiencyofcollaborationamongteammembers,andtheefficiencyofachievingdataanalysisrequirementsandobjectives.Whencollectingdata,onemustclarifythepurposeofcollectiontomakeinformationgatheringmoreefficientandtargeted.03数据采集的方法Methodsofdatacollection跨境电子商务专业Cross-BorderE-CommerceMajor数据采集的方法MethodsofDataCollection在大数据环境下，跨境电商平台中的数据是公开的、共享的，但是数据建的信息传输和分析都需要有一个采集整理的过程，数据采集方法主要有两种，一是网络爬虫，二是API。Inthebigdataenvironment,dataoncross-bordere-commerceplatformsispublicandshared,buttheinformationtransmissionandanalysisofdatarequireaprocessofcollectionandorganization.Therearetwomaindatacollectionmethods:webcrawlersandAPIs.**网络爬虫WebCrawlerAPI1212通用网络爬虫General-PurposeWebCrawler聚焦网络爬虫FocusedWebCrawler开放认证协议OpenAuthenticationProtocol开源API调用Open-SourceAPICall数据采集的方法MethodsofDataCollection1.通用网络爬虫：爬行对象从一些种子URL扩充到整个Web，主要为门户站点搜索引擎和大型Web服务提供商采集数据。从互联网中搜集网页采集信息，这些网页采集信息用于为搜索引擎建立索引提供支持，网页信息的丰富程度决定了整个引擎系统的内容是否丰富、信息是否即时，因此引擎系统性能的优劣直接影响了搜索引擎的使用效果。1.General-PurposeWebCrawler:ThecrawlingtargetsexpandfromsomeseedURLstotheentireWeb,primarilycollectingdataforportalsitesearchenginesandlargeWebserviceproviders.WebpagesarecollectedfromtheInternet,andthiscollectedinformationisusedtosupportindexingforsearchengines.Therichnessofwebpageinformationdetermineswhethertheentireenginesystem'scontentisabundantandwhetherinformationistimely;therefore,theperformanceoftheenginesystemdirectlyaffectstheeffectivenessofthesearchengine.2.聚焦网络爬虫：一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。2.FocusedWebCrawler:AprogramorscriptthatautomaticallycapturesWorldWideWebinformationaccordingtocertainrules.Theworkflowofafocusedcrawlerisrelativelycomplex—itneedstofilteroutlinksunrelatedtothetopicbasedoncertainwebpageanalysisalgorithms,retainusefullinks,andplacethemintoaURLqueueawaitingcapture.Then,itselectsthenextwebpageURLtocapturefromthequeueaccordingtoacertainsearchstrategyandrepeatstheaboveprocessuntilacertainsystemconditionismet.除了通用网络爬虫、聚焦网络爬虫外，还有增量式网络爬虫、深层网络爬虫这两种类型，实际的网络爬虫系统通常是几种爬虫技术相结合实现的。Inadditiontogeneral-purposewebcrawlersandfocusedwebcrawlers,therearealsoincrementalwebcrawlersanddeepwebcrawlers.Actualwebcrawlersystemsareusuallyimplementedbycombiningseveralcrawlertechnologies.数据采集的方法MethodsofDataCollection增加了链接评价模块及内容评价模块，聚焦网络爬虫爬行策略实现的关键是评价网页内容和链接的重要性，使用不同的方法得出的重要性不同，由此导致链接的访问顺序也不同。Withtheadditionoflinkevaluationmodulesandcontentevaluationmodules,thekeytoimplementingfocusedwebcrawlercrawlingstrategiesisevaluatingtheimportanceofwebpagecontentandlinks.Differentmethodsyielddifferentimportancevalues,whichinturnleadtodifferentlinkaccessorders.只需要抓取与主题相关的网页，极大地减少了硬件损耗、节省了网络资源，保存的网页也由数量少而更新快，同时可以很好地满足特定人群对特定领域信息的需求。Onlywebpagesrelatedtothetopicneedtobecrawled,whichgreatlyreduceshardwareconsumptionandsavesnetworkresources.Thesavedwebpagesarefewerinquantitybutupdatedquickly,whilealsowellsatisfyingtheneedsofspecificgroupsforinformationinspecificfields.聚焦网络爬虫和通用网络爬虫相比FocusedWebCrawlervs.General-PurposeWebCrawler数据采集的方法MethodsofDataCollectionAPI利用网站自身提供的应用程序编程接口（ApplicationProgrammingInterface,API）实现网络数据采集，即调用网站API，可以很好地解决数据针对性的问题。越来越多的社会化媒体网站推出了开放平台，提供丰富的API，如新浪微博、博客等。APIsutilizetheApplicationProgrammingInterface(API)providedbywebsitesthemselvestoachievewebdatacollection,i.e.,callingwebsiteAPIs,whichcaneffectivelyaddresstheissueofdatatargeting.AnincreasingnumberofsocialmediawebsiteshavelaunchedopenplatformsofferingrichAPIs,suchasSinaWeibo,blogs,etc.

不需要提供用户名和密码就可以获取用户数据，它为第三方应用提供了一个“令牌”，每一个“令牌”对应特定的网站，并且应用只能在令牌规定的时间范围内访问特定的资源。Userdatacanbeobtainedwithoutprovidingausernameandpassword;itprovidesthird-partyapplicationswitha"token."Each"token"correspondstoaspecificwebsite,andtheapplicationcanonlyaccessspecificresourceswithinthetimerangespecifiedbythetoken.开源API是网站自身提供的接口，可以自由地更改接口来调用该网站的指定数据。Open-sourceAPIsareinterfacesprovidedbywebsitesthemselves,allowingfreemodificationoftheinterfacetocallspecifieddatafromthatwebsite.开放认证协议OpenAuthenticationProtocol开源API调用Open-SourceAPICall04数据采集的步骤Thestepsofdatacollection识别信息需求Identifyinformationneeds识别信息需求既是管理者的职责，也是确保数据分析过程有效性的首要条件。准确地识别信息需求，管理者需要运用各种指标。指标用来衡量具体的运营效果，如浏览量、销售额、转化率等。Identifyinginformationrequirementsisnotonlytheresponsibilityofmanagersbutalsoaprimaryprerequisiteforensuringeffectivedataanalysis.Toaccuratelypinpointinformationneeds,managersneedtoutilizevariousmetrics.Thesemetricsareappliedtomeasurespecificoperationalperformance,includingpageviews,salesrevenueandconversionrates明确分析对象Clarifyanalysisobjects对于跨境电商企业来说，明确其目标客户的特征至关重要。目标客户关注的重点及痛点，也就是需要明确具体的分析对象，即分析维度。维度是用来对指标进行细分的属性。Forcross-bordere-commerceenterprises,clarifyingthecharacteristicsoftargetcustomersiscritical.Theconcernsandpainpointsoftargetcustomerscorrespondtothespecificanalysissubjectstobedefined,namelyanalysisdimensions.Adimensionreferstoanattributeusedtobreakdownmetrics.按需求采集数据Collectdataasrequired明确分析对象以后，接下来的工作就是按需求采集数据。首先，由数据需求人员整理出需求的数据指标和分析的维度，然后由技术人员带着需求和分析目标来采集数据。Afterdefiningtheanalysissubjects,thenextstepistocollectdataasrequired.First,personnelresponsiblefordatademandssortoutrequireddatametricsandanalysisdimensions.Thentechnicalstaffcollectdatabasedontheserequirementsandanalysisobjectives.数据采集的步骤StepsofDataCollection数据采集的步骤StepsofDataCollection确定采集范围及人员分工DefineCollectionScopeandPersonnelAssignment进行数据采集前，首先需要根据数据采集目标进行分析，明确数据采集的指标范围和时间范围，然后明确这些数据需要从哪些途径及部门采集，最后确定参与部门和人员配备。Beforeconductingdatacollection,onemustfirstanalyzebasedondatacollectionobjectives,clarifytheindicatorscopeandtimerangeofdatacollection,thenidentifythechannelsanddepartmentsfromwhichthedataneedstobecollected,andfinallydeterminetheparticipatingdepartmentsandpersonnelassignments.数据采集的步骤StepsofDataCollection建立必要的数据指标规范EstablishNecessaryDataIndicatorSpecifications数据指标需对数据进行唯一性标识，并且贯穿之后的数据查询、分析Dataindicatorsneedtouniquelyidentifydataandrunthroughsubsequentdataqueryandanalysis.和应用，建立数据指标规范是为了使后续工作有一个可以遵循的原则，也为庞杂的数据分析工作确定了可以识别的唯一标识。andapplication.Estab