数据挖掘的技术对电子商务平台作用

数据挖掘技术对电子商务平台的作用数据挖掘技术对电子商务平台的作用 以京东为例的数据挖掘应用分析 作者 史俊禺 班级 12 计 1 指导老师 郑琪 完成时间 2015 1 3 第一章第一章 绪论绪论 1 1 背景资料分析 3 1 2 数据挖掘应用对电子商务领域的意义 4 1 3 数据挖掘过程 4 1 4 数据挖掘主要方法 5 1 5 数据挖掘系统体系结构 7 1 6 数据挖掘在电子商务中的应用流程 8 第二章第二章 以京东为例的数据挖掘应用分析以京东为例的数据挖掘应用分析 2 1 数据挖掘在电子商务中的应用分析 客户获得 9 2 11 客户获得的定义 9 2 12 数据挖掘可以对客户获得产生的作用 9 2 13 客户获得的步骤 9 2 2 数据挖掘在电子商务中的应用分析 客户流失预测 11 2 21 客户细分的定义 11 2 22 客户流失预测步骤 13 2 3 数据挖掘在电子商务中的应用分析 客户消费特征 14 2 31 客户消费特征定义及背景 14 2 32 京东建立客户消费特征的过程 14 2 33 RSS 技术在电子商务平台的应用 16 2 34 建立客户消费特征之后可应用的数据模块 17 结语结语 18 摘要 摘要 在电子商务平台日益发展的今天 数据分析作为一种科学的手 段 可以起到规范市场 节约成本 保护在线交易安全 而数据挖 掘这门技术可以从大量繁杂数据中提取有用的信息 并发现特定的 规律 为商家对客户的需求信息和行为预测提供可能性 本篇报告是作者在对数据挖掘课本学习的前提下 以京东商城 为例 从互联网上搜集各类数据并进行分析 从客户获得 客户流 失预测 客户消费特征这三个方面进行分析 最后归纳出数据挖掘 在电子商务应用上的必然性和重要性 第第 1 章章 绪论绪论 1 1 背景资料分析背景资料分析 电子商务是指个人或企业通过 Internet 网络 采用数字化电子 方式进行商务数据交换和开展商务业务活动 电子商务的发展促使 公司内部收集了大量的数据 并且迫切需要将这些数据转换成有用 的信息和知识 为公司创造更多潜在的利润 数据挖掘 Data Mining 又称数据库中的知识发现 Knowledge Discovery in Database KDD 是从大量的 不完全的 有噪声的 模糊的和随机的数据中 提取 隐含在其中的 人们事先不知道的 但又是潜在有用的信息和知识 的过程 数据挖掘涉及的科学领域和方法很多 其核心技术经历了 数十年的发展其中包括统计 近邻 聚类 决策树 神经网络和规 则等 1 21 2 数据挖掘应用对电子商务领域的意义数据挖掘应用对电子商务领域的意义 数据挖掘有助于发现电子商务业务发展的趋势 帮助电子商 务企业做出正确的决策 使企业处于更有利的竞争位置 商业电子 化的趋势不仅为客户提供了便利的交易方式和广泛的选择 同时也 为商家提供了更加深入地了解客户需求信息和购物行为特征的可能 性 数据挖掘技术作为电子商务的重要应用技术之一 将为正确的 商业决策提供强有力的支持和可靠的保证 是电子商务不可缺少的 重要工具 数据挖掘有助于客户关系管理 特别是对电子商务客户关系 管理起着决定性的作用 数据挖掘主要是找寻隐藏在数据中的信息 例如发现趋势 特征及相关性的过程 也就是从数据中发掘出信息 或知识 以此对客户需求进行深入分析以满足企业对个体细分市场 的客户关系管理需求 从发现客户到客户分类再到客户管理 数据 挖掘通过各种针对性技术为企业客户关系管理提供了强有力的保证 将数据挖掘技术应用于客户关系管理 能够帮助企业深入理解客户 得到更加准确的客户模型 从而改进营销决策和客户服务 数据挖掘可以促进电子商务平台的发展 加强企业电子商务 平台应用的普及度 采用数据挖掘技术将电子商务中丰富的数据源 信息进行有效组织利用对电子商务的具有巨大的应用价值 同时数 据挖掘对于电子商务平台信息的挖掘分析可以帮助检验电子商务平 台的性能 促进电子商务平台的智能化 帮助企业打造更具可操作 性及吸引力的消费平台 为消费者提供更便利的消费环境 数据挖掘有利于企业资源优化 合理分配资源以实现资源价 值最大化 数据挖掘进行有效的统计分析挖掘 可以指导营销的组 织和分配 让企业在市场竞争中处于有利位置抢占先机 通过数据 挖掘可以发现消费者的消费特性 从而帮助制定个性化服务 极大 地吸引顾客 既避免资源浪费 又为企业带来巨大的价值 1 31 3 数据挖掘过程数据挖掘过程 挖掘数据过程可以分为 3 个步骤 数据预处理 模式发现 模 式分析 A A 数据预处理数据预处理 实际系统中的数据一般都具有不完全性 冗余性和模糊性 因 此 数据挖掘一般不对原始数据进行挖掘 要通过预处理提供准确 简洁的数据 预处理主要完成以下工作 包括合并数据 将多个文 件或多个数据库中的数据进行合并处理 选择数据 提取出适合分 析的数据集合 数据清洗 过滤 剔除一些无关记录 将文件 图 形 图像及多媒体等文件转换成可便于数据挖掘的格式等 B 模式发现模式发现 模式发现阶段就是利用挖掘算法挖掘出有效的 新颖的 潜在 的 有用的以及最终可以理解的信息和知识 可用于 Web 的挖掘技 术有路径选择 关联分析 分类规则 聚类分析 序列分析 依赖 性建模等等 C 模式分析模式分析 模式分析是从模式发现阶段获得的模式 规则中过滤掉不感兴趣的 规则和模式 通过技术手段 对得到的模式进行数据分析 得出有 意义的结论 常用的技术手段有 关联规则 分类 聚类 序列模 式等 1 4 数据挖掘主要方法数据挖掘主要方法 a a 数据统计方法数据统计方法 使用这些方法一般首先建立一个数据模型或统计模型 然后根 据这种模型提取有关的知识 例如 可由训练数据建立一个 Bayesian 网 然后 根据该网的一些参数及联系权重提取出相关的 知识 b b 关联规则方法关联规则方法 关联规则是描述数据之间存在关系的规则 形式为 A1 A2 An B1 B2 Bn 一般分为两个步骤 第一步 求出大数 据项集 第二步 用大数据项集产生关联规则数据库一组 运用关 联规则的数据项往往存在某种潜在关联关系的规则 一找出所有类 似的关联规则 对于企业确定生产销售 产品分类设计 市场分析等 多方面是有价值的 c c 人工神经网络方法人工神经网络方法 人工神经网络是由大量的简单神经元 通过极其丰富和完善的连 接而构成的自适应非线性动态系统 并具有分布存储 联想记忆 大 规模并行处理 自组织 自学习 自适应等功能 人工神经网络是 一种有效地预测模型 在聚类分析 奇异点分析 特征提取中可以得 到 通过模拟人的神经元功能 经过输入层 隐藏层 输出层等 对数据进行调整 计算 最后得到结果 用于分类和回归 d d 决策树方法决策树方法 决策树算法是目前应用最广泛的归纳推理算法之一 是一种逼近 离散值函数的方法 它是以实例为基础的归纳学习算法 通常用来 形成分类器和预测模型 着眼于从一组无次序 无规则的事例中推理 出决策树表示形成的分类规则 它采用自顶向下的递归方式 在决策 树的内部结点进行属性值的比较并根据不同的属性值判断从该结点 向下的分支 最后在决策树的叶结点得到结论 因此从根到叶结点的 一条路径就对应着一条合取规则 而整棵决策树就对应着一组析取表 达式规则 决策树可能是现在最流行的有指导数据挖掘结构 e e 聚类方法聚类方法 聚类分析是对群体及成员进行分类的递归过程 一个簇是一组 数据对象的集合 在同一簇的对象彼此类似 而不同簇中的对象彼此 相异 将一组物理或抽象对象分组成为由类似对象组成的多个簇的 过程被称为聚类 聚类是将数据对象分组成为多个类或簇 在同一个 簇中的对象具有较高的相似度 而不同簇中的对象差别较大 f f 可视化技术可视化技术 数据与结果被转化和表达成可视化形式 如图形 图像等 使 用户对数据的剖析更清楚 1 51 5 数据挖掘系统体系结构 见下图 数据挖掘系统体系结构 见下图 1 6 数据挖掘在电子商务中的应用流程 见下图 数据挖掘在电子商务中的应用流程 见下图 第第 2 章章 以京东为例的数据挖掘应用分析以京东为例的数据挖掘应用分析 2 1 数据挖掘在电子商务中的应用分析数据挖掘在电子商务中的应用分析 客户获得客户获得 2 112 11 客户获得的定义客户获得的定义 客户获得是指企业在吸引潜在客户转变为实际购买者这一过程 中所运用的策略和方法 客户获得的最佳值取决于企业保留客户的 能力 客户重复购买的频次以及与保留客户相比获得客户的相对机 遇 2 12 数据挖掘可以对客户获得产生的作用数据挖掘可以对客户获得产生的作用 由于现代线上交易的特点 即 客户数量庞大 需求多种多样 特征分类较多 用传统方式如问卷调查等已经不能全面科学的对客 户获得产生作用 而利用数据挖掘可以根据客户的市场活动数据 在一定时间内分析其历史数据 总结出一个预测模型 从而可以针 对不同的客户 不同的需求提供个性化服务信息 如广告投放 喜 好预测等 来锁定重点客户 其中典型的方法有统计方法的贝叶斯 分类 机器学习的判定树归纳分类 神经网络的后向传播分类等 2 132 13 客户获得的步骤客户获得的步骤 1 建立关系阶段 建立关系阶段 是卖方确立客户 买卖双方建立互信的阶段 买方对你的产品和服务并没有真正的使用经验 这个阶段是客户营 销中最为关键的 也是需要消耗最多资源的 以京东为例 截止今年 4 月份 京东商城已经有 4 千万注册用户 2014 年 3 4 月份订单量达到每月 40 万 数据来源 驱动之家 建立关系的方 法如增加广告投入 seo 优化 优惠信息提示等 2 稳定关系阶段 稳定关系阶段 与客户关系进入稳定期以后 工作重点和关 键就发生了转移 这个时候工作重点应该放在防止意外情况发生和 积极进行危机管理 进入稳定阶段以后 沟通在客户管理中起着非 常重要的作用 3 加强关系阶段加强关系阶段 随着买卖双方信任和了解的加固 卖方应该 对自己满足客户的能力进一步地加强和要求 应该更加深入分析客 户的需求潜力 这也是增加销售内容和加固关系的最佳时期 在加 强阶段要和客户建立一个互利互惠的关系 以京东为例以京东为例 注 图片来源 客户客户关系的建立与维护 第 3 版 同时 京东还建立了积分制度 由购买商品和评价商品获得 此处不再赘述规则 优点 层次清晰 关键客户明确 会员制度提高客户忠诚度 积分制度的补充很充分 缺点 等级划分过多 会员的优惠有水分无法刺激客户的升级 欲望 等级升级制度如五钻过于苛刻 2 2 数据挖掘在电子商务中的应用分析数据挖掘在电子商务中的应用分析 客户流失预测客户流失预测 2 212 21 客户流失定义及背景客户流失定义及背景 由于企业各种营销手段的实施而导致客户和企业中止合作的现 象就是客户流失 而在互联网购物高度发展的今天 流失率不再是购物平台生存 的决定性因素 而如何使用独特的销售手段和对客户购买行为的分 析以及访问量和站内搜索量保持并增加客户数量成为各大购物平台 竞争的主要目标 传统的客户流失预测采用时间阈值法和 RFM 法 但效果不佳 自 1994 年 David C Schmittlein 等人提出的 SMC 模型 可以科学 的预测客户流失问题 这是首个真正意义上的客户行为预测模型 而在数据挖掘技术中对客户行为的预测 多采用回归分析 决策树 和神经网络 近两年 SVM 贝叶斯网络 粗糙集等也被用于客户 流失预测建模 本段着重介绍最常规的两种方法 决策树和贝叶斯 分类 决策树决策树 决策树是一种流行的分类算法 具有学习快速块 分类准确率 高 分类结果表现直观等特点 决策树的构造包括两个阶段 通过 训练集生成决策树 对生成的决策树进行剪枝 应用决策树对新样 本进行分类时 从树根节点开始对样本进行测试 根据测试结果确 定下一个节点 直至到达也节点 叶节点所属类别就是新节点的预 测类别 决策树算法有 ID3 C4 5 C5 0 CART 等 由于基于 C4 5 算法的决策树有良好的性能并且能够自动产生分 类规则 应用 C4 5 算法对保险客户基本信息进行了分类 分析出了 客户流失的特征 通过此模型 保险公司提高了客户挽留率 Kitayama 通过基于决策树的方法对客户档案进行了分类 首先把客 户群体划分为首选客户 Preferred customers 和一般客户 首选客 户指那些对公司最有价值的客户 接着应用决策树根据客户特征分 类 识别高价值客户 以达到挽留高价值客户的目的 为了克服决 策树固有的缺点 提高客户流失预测模型的精确度和可解释性 结 合了 AD Tree 模型与 Logistic 回归方程的优点 提出了 TreeLogit 模型 贝叶斯分类法贝叶斯分类法 贝叶斯分类是一种典型的统计学分类方法 用于预测样本属于 特定类的概率 主要分为朴素贝叶斯 Na ve Bayes 分类和贝叶斯网 络 Bayes network 朴素贝叶斯是机器学习中常用的概率统计方法 基本思想是基于概率论的贝叶斯公式和简化假设 根据属性和类别 的联合概率来估计新样本的基本类别 应用朴素贝叶斯提的前提条 件是类条件独立 而贝叶斯网络则用于非独立的联合条件的概率分 布 训练后的贝叶斯网络可以用于分类 客户流失预测技术的对比研究表明 朴素贝叶斯的预测效果可 以与决策树和神经网络相媲美 首先对引起电商客户流失的客户心 理 服务质量等因素进行分析 确定先验知识 根据先验知识选取 特征和训练样本 通过贝叶斯网络的结构学习和参数学习 建立客 户流失模型 通过实验证明了贝叶斯网络是分析客户流失等不确定 性问题的有效工具 2 222 22 客户流失预测步骤客户流失预测步骤 以京东为例的电商平台统计并预测客户流失量时 需要使用的 数据属性太过复杂 所以一般情况下专业人员首先需要对数据进行 采集 来源即是客户的搜索信息 购买信息 基本资料 客服回执 等 在京东客户的历史行为中 隐含了大量与流失相关的行为模式 数据必须围绕市场分析得到的与相关的信息来组建 专业人员从数 据库中抽取基本客户群 客户的缴费资料 客户基本资料 客户投 诉资料 客户帐单 客户消费习惯等信息形成信息表 然后根据用 户号和帐务年月进行连接 即为原始数据 同时在原始数据的基础 上 根据业务专家的意见 进一步衍生有可能与流失相关的属性 在一般的流失预测中 多采用分类建模和聚类建模的方法进行 数据的归纳和模型的优化 建立分类预测模型 2 3 数据挖掘在电子商务中的应用分析数据挖掘在电子商务中的应用分析 客户消费特征客户消费特征 2 312 31 客户消费特征定义及背景客户消费特征定义及背景 一定的客户群体在某一消费行为上有相似性或可聚性 便由单 独的消费行为变为一种群体消费特征 从电子商务应用的角度讲 数据挖掘技术可以提取客户消费特征 并以数据研究为前提对客户 的消费行为分析 得出客户的消费习惯 消费能力 心理特征 从 而对客户进行分群 做到精准广告投放 vip 客户重点关注等 2 322 32 京东建立客户消费特征的过程京东建立客户消费特征的过程 首先进行数据收集 网络日志数据 访问数据 用户行为数 据 收藏 购买 浏览等 网站交易数据 初步建立用户画像 如图 数据来源 199IT 网站 本挖掘 自然语言处理 机器学习 贝叶斯算法 聚类算法等 根据数据建模进行用户分群 界定不同消费特征的人群 如图 数据来源 199IT 网站 2 332 33 RSSRSS 技术在电子商务平台的应用技术在电子商务平台的应用 经过对客户消费特征的分析之后 京东网等电商平台就可以运 用最新的 RSS 技术构建个性化服务 RSS 的英文全称是 RichSiteSu mmary 丰富站点摘要 或者是 RDFSiteSummary RDF 站点摘要 京东可以根据客户的喜好建立不同格式的频道 由客户根据自己的需求定制频道 客户根据自己的需求对接收的所 有频道进行定制 挑选出对自己有用的频道 定制完成后 当客户再 次进入该网站时就会只显示其定制的频道 通过定制 客户就拥有一 个完全属于自己的个性化网站 RSS 具有及时 全面 有序 高效等特点 能及时传递客户需 要的最新信息 全面报道客户感兴趣的网站内容 能够按照内容的重 要性进行排序 并且将最新和最重要的内容置于顶端 客户可以根据 自己的兴趣对商品进行定制 并且能够随时掌握最新的标价等信息 打开京东的首页 可以发现几乎所有种类的商品都已打包成相应的 RSS 频道 向客户的个人主页定期发送 通过 RSS 这个新渠道 京东有新商品上市 新促销信息时 都能快速地将这些信息传送给其 客户 不仅给客户提供了方便 而且大大提高了这些信息的普及率 针对性和实效性 2 342 34 建立客户消费特征之后可应用的数据模块建立客户消费特征之后可应用的数据模块 问题分析模块 分析客户信息 根据客户特点将用户进行分类 实现客户信息库记录的建立 更新及客户信息的获取 同时还为客 户兴趣模型的建立提供客户基本信息 1 用户接口模块 客户和系统进行交互的接口 其可以接受客户注 册及其请求信息 反馈信息 在这个过程中可以学习并记录客户的 兴趣和习惯 同时 该模块还负责将最终结果输出给对应客户及获 取本地客户信息库的内容 2 信息收集模块 根据客户需求 主动跟踪本地信息库和网络相关 信息 收集客户所需信息 3 客户兴趣模型库 包括客户的基本信息 客户