电子数据基础分析 2

第一章电子商务数据分析导论1.1电子商务数据分析概述教学目的与要求：

解释电子商务数据分析的含义描述电子商务数据的类型陈述电子商务数据分析的基本特点与主要作用说明电子商务数据分析的一般流程一、电子商务数据分析的含义电子商务数据分析（DataAnalysisinE-Commerce）:是指用适当的数理统计、数据挖掘以及大数据分析等方法对收集的大量电子商务数据进行分析与挖掘，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据（Data）:是已知的用于进行推理或估算的基础性事实，是对客观事物的逻辑归纳。电子商务数据分析是进行对象测量、评估和预测的基础。数据可以是用符号和字母等方式对客观事物进行的直观描述，也可以是表达知识的字符集或信息的各种表现形式。二、电子商务数据的类型按数据范畴分类2．按数据表现形式分类3．按数据来源分类三、电子商务数据分析的基本特点（1）电子商务数据分析涉及多个学科领域知识；（2）电子商务数据分析的对象大多为半结构化和非结构化数据；（3）电子商务数据分析往往需要借助大数据处理模式。非结构化数据是指不方便用数据库二维逻辑表来表现的数据，包括所有格式的全文文本、图像、声音、影视、超媒体信息等。①计算机科学为电子商务数据分析提供工具；②人工智能可以模拟智能行为算法；③数学为电子商务数据分析提供诸多数学技术；④专业领域知识是电子商务数据分析中不可或缺的重要基础。半结构化数据是指介于完全结构化数据和完全非结构的数据之间的数据，如XML文档就属于半结构化数据。

大数据（BigData）是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，无法在一定时间范围内用常规软件工具进行捕捉、管理和处理。

在电子商务领域内，大批量信息处理如果是以PB、EB、ZB为计量单位，则这些信息就构成了大数据。四、电子商务数据分析的主要作用1.评价、诊断作用

能够帮助电商企业或电子商务经营者评价经营绩效，找出问题的来源和解决方案。例如：①通过分析用户访问路径，可以判断访问者是否在按照预先设想的流程访问网页，进而诊断网站的设计是否存在问题；②通过对商品名称搜索量的分析，可以判断网站是否有利于搜索引擎的搜索；③通过分析网店访问者浏览时间的长短，可以判断网店是否有利于浏览、是否能给浏览者提供美好的交流体验；④通过分析用户对电子邮件信息接收过程的开信率、阅读率、删除率等指标，可以评价电子邮件营销的效果等。2.预测作用（1）分析某些指标异常变化的原因预测市场变化趋势。（2）分析顾客访问企业网站的行为数据预测库存与消费需求。对于一些数据的异常增加或减少，一定要分析其产生的原因与市场时机，这对平台以后的发展及政策导向非常有借鉴意义。通过分析顾客访问行为数据，可以帮助企业判断顾客的消费行为和消费心理等极具价值的信息，了解商家的销售与库存情况，并进一步预测预测顾客的消费需求，进而推出相应的产品或服务。①识别商务需求②数据采集③数据预处理数据审查数据清洗数据转换数据验证④数据分析⑤数据可视化展现⑥数据分析报告的撰写与应用探索性分析建模分析推断分析五、电子商务数据分析的一般流程①识别商务需求②数据采集③数据预处理数据审查数据清洗数据转换数据验证④数据分析⑤数据可视化展现⑥数据分析报告的撰写与应用探索性分析建模分析推断分析五、电子商务数据分析的一般流程确保电子商务数据分析过程的有效性，为采集数据、分析数据提供清晰的目标。按照确定的数据分析需求和框架内容，有目的地收集、整合相关数据。

注意：进行数据采集前，数据分析师需要对收集数据的内容、渠道、方法进行策划。策划时应考虑：①将识别的商务需求转化为具体的数据要求；②明确由谁在何时何处，通过何种渠道和方法采集数据；③记录表应便于使用；④采取有效措施，防止数据丢失和虚假数据对系统的干扰。五、电子商务数据分析的一般流程检查数据的数量（记录数）是否满足分析的最低要求，变量值的内容是否与研究目的要求一致，检查各个变量的数据类型等。针对数据审查过程中发现的明显错误值、缺失值、异常值、可疑数据、重复数据，选用适当的方法进行“清理”，使“脏”数据变为“干净”数据，保证后续的数据分析得出可靠的结论。③数据预处理数据审查数据清洗数据转换数据验证对于性质、计量单位不同的统计指标，需要在分析前对数据进行转换。该步骤的目的是初步评估和判断数据是否满足统计分析的需要，从而决定是否需要增加或减少数据量。五、电子商务数据分析的一般流程④数据分析探索性分析建模分析推断分析在探索性分析的基础上，采用数据分析的软件工具和方法进行数据建模，或者从几类可能的数据模型中挑选一定的模型，然后进行统计分析、挖掘、预测处理。即运用数理统计方法对所构建或选定模型的可靠程度和精确程度做出推断。当数据刚取得时，可能看不出规律，需要通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式。①识别商务需求②数据采集③数据预处理数据审查数据清洗数据转换数据验证④数据分析⑤数据可视化展现⑥数据分析报告的撰写与应用探索性分析建模分析推断分析五、电子商务数据分析的一般流程数据可视化展现常用的图形包括饼形图、折线图、柱形图或条形图、散点图、雷达图、金字塔图、矩阵图、漏斗图、帕雷托图等，直观地让数据分析师表述想要呈现的信息、观点和建议。综合呈现整个分析成果，把数据分析的目的、过程、结果及应用方案完成呈现出来，为达成商业目的提供参考。1.2电子商务数据分析的内容及业务指标教学目的与要求：

描述电子商务数据分析的业务内容说明各业务指标的含义或功能电子商务数据分析的内容十分丰富，涉及电子商务市场经营环境数据、网站运营数据、电商客户数据、网络营销绩效数据等多方面的业务。一、市场经营环境数据分析

电子商务市场经营环境主要包括市场竞争环境、物流仓储与配送环境、电子支付环境、交易安全环境与信用服务环境等.市场经营环境数据分析业务指标一级指标二级指标

一级指标二级指标市场竞争环境数据分析指标市场占有率物流配送环境数据分析指标配送业务量市场扩大率配送车辆满载率网站排名配送满足率网站访问比重配送准确率信用与客服环境数据分析指标商品符合度交货及时率承诺实现度物流仓储环境数据分析指标仓库吞吐量在线客服响应率库容量平均排队时间库存量平均处理时间仓储缺货率一次性问题解决率仓储资金周转天数监听合格率库存周转天数呼出量库存周转率客服满意度库存账龄仓储利用率二、电子商务网站运营数据分析

电子商务网站运营数据指标是用来衡量电子商务网站整体运营状况的若干特征值，包括网站流量数量指标、流量质量指标、流量转换指标、商品类目指标、成本收益指标等。电子商务网站运营数据分析业务指标一级指标二级指标

一级指标二级指标流量数量指标PV流量转换指标商品页转化率每个访客的页面浏览数加入购物车转化率独立访客数UV支付结算转化率访问量订单转化率登记搜索引擎的数量排名购物车内转化率流量质量指标到达率目标转化率新访问占比商品销售业绩指标商品订单量访问深度订单金额停留时间每订单金额跳出率有效订单量退出率订单有效率成本收益指标网站成本指标商品毛利网站收益指标店铺佣金三、电商客户数据分析

电商企业客户指企业产品或服务的消费者及潜在消费者。客户数据分析指标主要包括会员数据指标和客户价值指标两大类。客户价值通常由历史价值、潜在价值、附加值三方面构成。电子商务网站运营数据分析业务指标一级指标二级指标

一级指标二级指标会员数据指标注册会员数客户价值指标价值客户数活跃会员数重复购买率会员激活率客户终身价值流失会员数平均订单价值会员异动比客户获取成本四、网络营销绩效数据分析

网络营销绩效数据分析的目的是为了尽可能客观、全面地衡量企业进行网络营销的经济效果，需要借助相应的网络营销绩效评价指标体系。相关评价指标包括促销效果评价指标、网络广告效果评价指标、社会影响效果评价指标、服务效果评价指标、竞争效率评价指标、财务效益评价指标等。网络营销绩效数据分析业务指标一级指标二级指标一级指标二级指标网站设计效果评价指标风格独特性服务效果评价指标投诉答复率主页下载速度承诺履约率有效链接率客户投诉率信息更新频率商品退换率促销效果评价指标信息利用率平均每次售后服务成本有消费倾向的访客比例企业服务响应速度获取单位市场份额的费用竞争效率评价指标客户渗透率市场占有率客户选择性市场扩大速度价格竞争力客户数量增长率客户忠诚度销售额增长率客户满意度购买商品客户增长率品牌知名度网络广告效果评价指标网络广告引起的询问次数企业知名度网络广告引起购买的客户百分比竞争者仿效率每次咨询的成本财务效益评价指标销售利润增长率网络广告宣传费用资产负债率社会影响效果评价指标社会经济影响力流动比率社区影响力存货周转率消费者影响力应收账款周转率公益活动的数量五、移动端数据分析

移动端数据分析是指对移动App或网站在智能手机、平板电脑等移动设备上的用户行为数据进行收集、处理和分析的过程。随着智能手机和平板电脑的广泛使用，移动端数据分析对于优化产品功能、提升用户体验、指导营销策略以及做出更明智的商业决策至关重要，已经成为企业数字战略不可或缺的一部分。一级指标二级指标一级指标二级指标用户规模与质量评价指标总用户数用户留存评价指标次日留存率新用户数7日留存率活跃用户数30日留存率流失用户数滚动留存率回流用户数用户反馈评价指标评分用户参与度评价指标会话数评论会话时长客服咨询量页面浏览量用户满意度使用频率评价指标用户地理分布使用时长用户设备用户转化评价指标注册转化率用户人口统计付费转化率购物车转化率关键动作转化率移动端App数据分析指标1.3电子商务数据分析的主要方法教学目的与要求：

陈述电子商务数据分析的主要方法类型说明电子商务数据分析各类方法的主要特点一、单纯的数据加工方法1.描述性统计分析

是利用图表和统计量描述数据的基本分布特征的方法。描述性统计分析分为集中趋势分析、离中趋势分析和数据分布分析三大部分。2.相关分析

相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象进行相关方向及相关程度的研究。二、基于数理统计的数据分析方法1.方差分析

方差分析(AnalysisofVariance，ANOVA)，又称“变异数分析”“F检验”，是费雪（R.A.Fisher）发明的，用于两个及两个以上样本均数差别的显著性检验。

2.一元线性回归分析

回归分析（RegressionAnalysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，主要研究一个随机变量Y对另一个变量（X）或一组（X1，X2，…，Xk）变量的相依关系。

3.因子分析

因子分析（FactorAnalysis）是指研究从变量群中提取共性因子的统计技术。回归分析按照涉及的自变量的数量，分为一元回归和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。三、基于数据挖掘的数据分析方法1.聚类分析

聚类分析（ClusterAnalysis）：是一种无监督学习方法，用于将一组对象分类为若干个簇，使得同一个簇内的对象具有较高的相似性，而不同簇之间的对象则尽可能相异。常用的聚类算法：（1）K-means聚类。（2）层次聚类。（3）基于密度的带有噪声的空间聚类。（4）谱聚类。是一种基于划分的聚类算法，它通过迭代优化的方式将数据集划分为预设数量的簇。自底向上（凝聚法）或自顶向下（分裂法），逐步构建树状图来表示对象间的层次关系。

能够识别出具有足够高密度区域内的点，并且能有效处理噪声。利用图论中拉普拉斯矩阵的特征向量来进行聚类，适合于处理非线性可分的数据。三、基于数据挖掘的数据分析方法2.分类分析

分类分析（ClassificationAnalysis）：是数据挖掘和机器学习中的一种监督学习任务，其目的是根据已知的数据集（训练集），构建一个模型来预测新数据点的类别标签。逻辑回归随机森林决策树支持向量机K近邻算法朴素贝叶斯人工神经网络通过估计给定输入特征下某个事件发生的概率来工作，并根据设定的阈值将概率转换为类别标签。通过寻找一个最优的超平面或超曲面，将数据划分为不同的类别，同时最大化数据与超平面或超曲面的间隔，提高分类的泛化能力，从而实现数据点的有效分离。通过一系列条件判断，根据不同的属性和划分准则，将数据逐步划分成不同的子集，最终生成一棵决策树。通过计算新数据点与训练集中已有数据点之间的距离，选择最近的k个邻居，并根据这些邻居的信息来进行预测。是从信息处理角度对人脑神经元网络进行抽象建立的一种运算模型，由大量的节点（神经元）按不同连接方式相互连接构成的非线性、自适应信息处理系统。通过构建多个决策树并将它们的结果综合起来进行预测，从而提高了模型的准确性和鲁棒性。通过计算数据的先验概率和似然概率，得到数据的后验概率，然后选择最大的后验概率对应的类别作为分类结果。

数据挖掘中常用的分类分析算法：Apriori算法FP-Growth算法Eclat算法Apriori是最早期且最著名的关联规则挖掘算法之一。它基于这样一个原则：如果一个项集是频繁的，那么它的所有子集也必须是频繁的（即Apriori性质）。该算法通过迭代地生成候选频繁项集，并使用支持度阈值来过滤掉那些不满足最小支持度要求的项集。通过构建一个压缩的数据结构——FP树（频繁模式树），将整个交易数据库映射到一棵树上，然后直接从这棵树中挖掘出频繁项集。FP-Growth不需要生成显式的候选项集，因此在处理大规模数据时效率更高。Eclat使用一种垂直数据格式（事务ID列表）来进行频繁项集挖掘。它通过对项目进行逐个比较来找到共同出现的事务集合，从而确定哪些项集是频繁的。三、基于数据挖掘的数据分析方法3.关联分析

关联分析：也称为关联规则学习（AssociationRuleLearning），是一类旨在从大型数据集中发现变量之间有趣关系的数据挖掘方法。

数据挖掘中常用的关联分析算法：三、基于数据挖掘的数据分析方法4.回归分析

回归分析：是数据挖掘中用于预测连续型变量（即数值型输出）的一种方法，旨在建立一个数学模型，以描述自变量（特征或输入变量）与因变量（目标或输出变量）之间的关系，并且可以对新的、未见的数据进行预测。

数据挖掘中常用的关联分析算法：（1）多元线性回归。（2）多项式回归。（3）岭回归。（4）Lasso回归。（5）弹性网络回归。在多个自变量（也称为特征或预测变量）和一个连续因变量（也称为响应变量或目标）之间建立线性关系的统计方法被称为多元线性回归。这个模型假设因变量与各个自变量之间存在线性关系，并试图找到最佳拟合这些数据点的超平面。多项式回归允许自变量与因变量之间建立非线性的关系，通过引入自变量的高次项来捕捉更复杂的数据模式。一种带有L2正则化的线性回归，有助于解决多重共线性和过拟合的问题。它通过向损失函数添加一个惩罚项来限制模型参数的大小。类似于岭回归，但是使用L1正则化。除了防止过拟合外，Lasso还可以执行特征选择，因为一些不重要的特征的系数可能会被直接缩减为零。结合了岭回归和Lasso回归的优点，同时包含L1和L2正则化项，提供了一种折中的方法来处理高度相关变量的数据集。。L1和L2正则化是机器学习中用于控制模型复杂度、防止过拟合的两种核心技术。它们的核心思想都是在模型的原始损失函数中加入一个“惩罚项”，以此来限制模型参数（权重）的大小，使模型在“拟合数据”与“保持简单”之间取得平衡。L1正则化（Lasso）概念含义：通过在损失函数中添加模型参数绝对值之和作为惩罚项。其英文别名Lasso（LeastAbsoluteShrinkageandSelectionOperator）本意为“套索”。核心特性（特征选择）：L1正则化最显著的特性是能产生稀疏解，它能够将不重要特征的系数直接压缩为0，相当于自动剔除了这些无用特征，实现了“建模即筛选”的特征选择功能。适用场景：适用于高维数据（如基因数据、文本分类），特别是当需要剔除冗余特征、简化模型并提升可解释性时。

L2正则化（Ridge/岭回归）概念含义：通过在损失函数中添加模型参数平方和作为惩罚项，因此也被称为“权重衰减（WeightDecay）”。核心特性（软筛选与平滑）：倾向于让所有特征的权重都变小、接近于0，但不会使其精确等于0。它能有效处理多重共线性问题（即特征间高度相关），使模型系数更稳定。适用场景：适用于大多数常规场景，尤其是当你希望保留所有特征、增强模型抗噪能力以及提升整体泛化性能时。四、基于大数据的数据分析方法

大数据具有海量、快速、多样化和价值性4个重要特征，其中，海量特征使大数据分析不可能使用单台机器完成，而需要多台机器同时运算，即分布式计算。大数据技术要解决两个重要的问题：一是解决海量数据在多台计算机上的存储；二是要解决如何对多台机器上存储的数据进行分析。1.深度学习

2.知识计算3.社会计算是通过组合低层特征形成更加抽象的高层表示，以此更好地发现原始数据的属性类别或特征表达的一种新的学习范式。是大数据分析的基础，知识图谱是知识计算的核心。要对数据进行高端分析，一般需要从大数据中先抽取出有价值的知识，并把它们构建成可支持查询、分析和计算的知识库。是指面向社会科学的计算理论和方法，包括面向社会活动、社会过程、社会结构、社会组织及其作用和效应的计算方法等。1.4电子商务数据分析的常用工具教学目的与要求：

陈述电子商务数据分析的常用工具类型说明电子商务数据分析各类常用工具的主要功能一、企业数据分享平台1.生意参谋2.百度指数3.PowerBI4.Tableau生意参谋是阿里巴巴集团推出的商家数据产品平台，集数据作战室、市场行情、装修分析、来源分析、竞争情报等数据产品于一体，也是大数据时代下服务商家的重要平台，其核心作用在于分析消费者行为数据，判断哪些环节可以改进，进而保持店铺稳定与良性发展。百度指数是以百度海量网民行为数据为基础的数据分享平台，主要功能模块有：基于单个关键词的趋势研究（包含整体趋势、PC趋势、移动趋势）、需求图谱、舆情管家、人群画像；基于行业的整体趋势、地域分布、人群属性、搜索时间特征。PowerBI是由微软推出的商业智能工具，能够集成多种数据源，支持实时数据刷新和多用户协作，广泛用于企业数据分析和报表生成。PowerBI的特点：能与微软其他产品无缝集成，用户界面友好，支持自定义数据模型和高级数据分析。Tableau是一款数据可视化工具，支持多种数据源，能够将数据转化为易于理解的图表和仪表板，帮助用户更直观地分析数据和发现趋势。二、网站分析工具1.百度统计2.GoogleAnalytics3.AdobeAnalytics4.Webtrekk5.Webtrends6.Matomo百度统计是百度网讯科技有限公司提供的免费网站分析工具，结合了百度强大的搜索引擎技术和丰富的数据资源，帮助企业全面收集、分析和利用网站和移动应用的用户数据，为企业优化用户体验和提升业务绩效提供支持。是互联网公司谷歌（Google）为网站提供的数据统计服务，可以对目标网站进行访问数据统计和分析，并提供多种参数供网站拥有者使用。是一套能对电子商务数据进行收集、分析、整合的数据分析工具，提供数字化营销人员所需的数据收集、分析界面添加、系统连接等机制，可为改善用户行为、用户体验、提高网站适用性、优化多渠道营销等解决方案提供支持。Webtrekk是一家总部位于德国的数字分析和营销技术公司，提供全面的数字分析和营销优化解决方案。通过用户行为分析和路径分析，优化网站和应用的设计和功能，提升用户体验和转化率。主要面向电子商务大型站点，具有Web服务器日志分析、Proxy服务器日志分析、链接分析、IP设备监视器、流媒体服务器分析、支持Web服务器群、与数据库相连等功能，可以预测网站的成长及未来发展需求，通常用来判定网站运营成效或证明网站的存在价值。主要特点是数据隐私保护和高度的可定制性，可通过用户行为分析和路径分析，优化网站和应用的设计和功能，提升用户体验和转化率。三、数理统计分析工具1.

Excel

2.SPSSExcel提供了强大的计算能力、图表工具以及多种数据管理和分析功能，可以进行各种数据管理、统计分析和可视化。用户可以使用Excel进行简单的数据记录，也可以灵活地对数据进行整理、计算、汇总、查询、分析等处理，还可以进行复杂的数据建模。统计产品与服务解决方案（StatisticalProductandServ