电商经济形态背景下的数据挖掘、大数据分析技术及实用案例.ppt

电商经济形态背景下的数据挖掘 大数据分析技术及实用案例 引言 随着云计算 物联网 社交网络等新兴服务的兴起 人类社会的数据种类和规模正以前所未有的速度增长 大数据时代正式到来 数据从简单的处理对象开始转变为一种基础性资源 如何更好地管理和利用数据 从已有的数据资源中挖掘出更大的价值已经成为普遍关注的话题 本课程从数据挖掘以及数据分析讲起 结合大数据背景时代行业特点与现状 希望能对如何利用当前数据资源开展数据挖掘工作及有效的进行数据收益分析做一些有益的探讨 第一篇思维模式篇 要想上战场杀敌 你首先得让自己成为一个士兵 找准定位 视角 视角 视角 8 9 企业的决策结构相当于中枢神经系统 情报系统相当于神经系统 资金管理相当于血液 知识管理 方法 工具 相当于骨架 人力资源 能力 相当于肌肉 传导 动作反应信息情报 管理决策 如何理解信息情报的功能性 责权 情报的多渠道来源 不同渠道的情报内容不同 渠道 内部信息公司战略营销政策产品服务数据财务报表市场分析报告销售人员业绩 外部信息媒体新闻行业统计股市资讯同行网站分销商报表 渠道 信息情报来源真实性评估 据美国308家公司的调查结果显示 销售人员96 顾客92 行业期刊89 公司的促销材料84 营销研究人员83 对竞争对手产品的分析81 公司的年度报告77 会议 贸易展会74 分销商70 供应商65 渠道 如何应用情报的 13 谁在用 为什么用 谁没有用情报 为什么 在什么情况下用 通过什么方式 使用者是如何获得情报的 他们获得情报的意愿如何 效果 情报工作中可能出现的问题 14 工作重点不明确 最佳分配5 10 30 15 20 20 实际使用5 5 20 50 5 25 效果 15 效果 16 第二篇行动实践篇 我们应如该何操作 Contents目录 数据挖掘与分析的基本概念 定义历史特点功能重要性 第一部分 我们身边的数据挖掘与分析 如今 网上购物已成为大部分人的消费趋势与习惯 而大家在网上购物时 经常会收到系统做出的个性化推荐 比如 亚马逊会推荐你可能会喜欢看的图书 淘宝会根据你的购物和浏览记录推荐你可能感兴趣的商品 所有这些推荐结果都来自于各式各样的推荐系统 它们依靠计算机算法运行 根据顾客的浏览 搜索 下单和喜好 为顾客选择他们可能会喜欢 有可能会购买的商品 从而增加潜在的销售 定义 数据挖掘分析是什么 技术层面 探查和分析大量数据以发现有意义的模式和规则的过程 商业层面 是一种商业信息处理技术 特点是对大量业务数据进行抽取 转换 分析和建模处理 从中提取辅助商业决策的关键性数据 海量数据 知识库 数据挖掘 数据挖掘分析的发展历史 数据挖掘与分析的重要性 电信 客户流失银行 客户细分 交叉销售百货公司 超市 购物篮分析保险公司 客户细分 流失信用卡 欺诈探测 客户细分税务部门 偷税漏税行为探测医学 医疗保健电子商务 网站日志分析物流行业 货物追踪 在银行 保险 电信 零售等行业 激烈的市场竞争环境下 数据挖掘及数据分析的作用尤为重要 并已开始广泛应用 通过挖掘出的数据 对其进行适当的数据模型分析 使公司对客户了解更精细化 从而改善其市场 销售和客户支持运作 典型的商业应用领域包括 市场营销 交叉销售与交叉营销 客户关系管理 个性化推荐与服务 风险分析与控制 欺诈行为检测和异常模式的发现 供应链库存管理 以及人力资源管理等 数据挖掘与分析的功能 美国梅隆银行 BankofNewYorkMellon 梅隆银行设定争取20万新户头的目标 为此计划向1000万可能得顾客邮寄邀请函 利用数据挖掘产生了3000个最可能得顾客模式 对这些数据进行进一步分析后再加以精选 产生了更小的数目 而这个更小的数据会产生12 的回报率 结果表明 该银行只需发出200万份邀请函即可获得20万名新用户 数据挖掘与分析技术瞄准了那些最适合梅隆银行服务项目的顾客 不仅削减成本 还提高了每位新开户顾客的平均利润率 其利润要比通常高3倍 Pop Tarts和飓风 分析人员发现 每次飓风来临 一种袋装小食品 Pop Tarts 的销售量都会明显上升 手电筒 电池 水 这些商品的销量会随着飓风的到来而上升 很容易理解 但 Pop Tarts 的上升是不是必然的呢 研究人员后来发现 这也是一个有用的规律 Pop Tarts的销量上升 一是因为美国人喜欢甜食 二是因为它在停电时吃起来非常方便 此后 飓风来袭之前 沃尔玛也会提高 Pop Tarts 的仓储量 以防脱销 并把它和水捆绑起来销售 如果没有进行数据挖掘与分析 Pop Tarts 和颶风的微妙关系就难以被发现 数据挖掘与分析方法 目的流程方法 第二部分 27 在处理海量数据时 我们常常遇到类似的苦恼 数据库越来越大 数据爆炸 不能制定合适的决策 那么我们如何更好的利用挖掘出的数据 通过分析获取到有价值的数据成为非常重要的课题 数据挖掘与分析目的 用适当的统计分析方法对收集来的大量资料 数据进行分析 提取有用信息并形成分析结论 把隐没在一大批看似杂乱无章的数据中的信息集中 萃取和提炼出来 以找出所研究对象的内在规律 对数据 资料等加以详细研究和概括总结的过程 帮助人们作出判断 以便采取适当行动 数据挖掘与分析流程 数据是企业核心业务处理的中心内容 决定着企业的未来发展 但是在面对这些海量数据时 需要通过一个系统的流程来处理 成功的数据挖掘是让数据产生商业价值 而不是简单运营特别算法或工具 根据1999年由欧盟机构联合起草的 跨行业数据挖掘过程标准 CRISP DM 一个数据挖掘项目生命周期可以分为商业理解 数据理解 数据准备 建立模型 模型评估及模型发布6个阶段 欧盟 跨行业数据挖掘过程标准 数据挖掘的第一个阶段 理解项目的目标和从业务的角度理解需求 并将这个知识转化为数据挖掘的定义和完成目标的初期计划 熟悉数据 发现数据的内部属性 识别潜在的特征 检查数据是否完整 正确 是否存在缺失值等等 将模型输出的结果与现实生活中发生的结果进行对比 从而进一步评估模型准确性 合理性 简单性 稳定性 预测能力 为了特定的数据挖掘目的作出假设 运用适当的数据挖掘工具建立模型 利用模型解释特定的现象和预测对象的未来状况 构建模型不是项目的终点 在模型建立并验证之后 还需要一个 部署 监控 更新 的过程 以使模型的作用最大化 将原始数据处理成最终建模需要的数据 该过程可能多次执行 且非常耗时 如何构建一个有指导的数据挖掘与分析模型 把业务问题转换为数据挖掘问题 把广泛的目标具体化 细化 深入观察客户行为可能变成具体的目标 取决于对要解决的业务问题的理解程度 没有正确的理解业务问题就没办法把数据转化为挖掘任务 例如 主动向高风险或高价值的客户提供一个优惠 挽留他们研究渠道方式 以利于那些能带来最忠实客户的渠道如果停止某类产品 列出处于销售风险的产品根据当前市场营销策略 预测未来三年的客户数量 数据挖掘分析后 会产生几个不同类型的交付形式 可能是一个报表或充满图标和图形的简报 例如 当我们的目的是提醒销售惊雷时 产生一个营销测试的客户列表是不够的 什么数据可以用 多少数据才足够 分析需要多久的时间 数据必须包含什么 构建分析模型数据分析模型 方法论 主要是用来指导分析人员进行一个完整的数据分析 更多是指导数据分析的思路 如 主要从哪几方面开展分析 各方面包含什么内容或者指标之类 常用分析模型 水平比较分析趋势分析定标比超九宫图分析法SWOT分析波士顿矩阵竞争态势矩阵竞争者分析竞争者标杆核心竞争力分析差距分析 麦肯锡7S框架组织和个性评估组合分析产业 行业分析价值链组合管理和调整战略波特一般竞争战略波特价值链波特 产业五种力量分析产品生命周期经验曲线 营销技术矩阵比率分析国家风险分析分销战略分析研发 产品和制造分析方向政策矩阵战略设想和联盟分析曲线分析持续增长率分析商业筛选宏观环境分析 数据分析常用表现形式 应用案例 啤酒和尿布 沃尔玛的购物篮分析 分析啤酒与尿布之间的销售关系啤酒和尿布是顾客群完全不同的商品 沃尔玛通过一年数据挖掘与分析两种产品的情况 结果显示尿布卖得好的店面啤酒也卖得很好 原因很简单 一般太太让先生下楼买尿布的时候 先生们一般都会犒劳自己两听啤酒 因此啤酒和尿布一起购买的机会是最多的 新加坡樟宜国际机场通过整合各种渠道和后端数据源 为其旅客提供卓越的服务 通过云端大数据 整合了来自各种消费者接触点的信息 将收集到的反馈数据信息分门别类地发送至机场各相关部门进行汇总处理 进一步了解客户消费习惯 便于跨业务部门的沟通和为旅客提供无缝隙服务 业内先进公司的应用案例 新加坡樟宜国际机场 提高了客户的满意度和忠诚度 提高行业竞争力并找到新的收入增长源 对数据进行进一步分析 水平比较分析趋势分析定标比超波士顿矩阵 水平比较分析 水平比较法 通过对各类相关数字资料 将两期或多期连续的相同指标或比率进行定基对比和环比对比 得出它们的增减变动方向 数额和幅度 是揭示企业财务状况 经营情况和现金流量变化趋势的一种分析方法 比较方式分类 指标比较将相同指标或比率进行比较 直接观察其增减变动情况及变动幅度 考察其发展趋势 预测其发展前景 这种方式在统计学上称之为动态分析 指标比较方法 报表比较将连续数期的报表金额并列起来 比较其相同指标的增减变动金额和幅度 据以判断企业财务状况和经营成果发展变化的一种方法 运用该方法进行比较分析时 最好是既计算有关指标增减变动的绝对值 又计算其增减变动的相对值 这样可以有效地避免分析结果的片面性 例如 某企业利润表中反映2010年的净利润为100万元 2011年的净利润为150万元 2012年的净利润为210万元 通过绝对值分析 通过相对值分析 2011年与2010年相比 净利润增长了150 100 50 万元 2012年与2011年相比 净利润增长了210 150 60 万元 说明2012年的效益增长好于2011年 2011年较2010年同比净利润增长率为 150 100 150 33 2012年较2011年相比净利润增长率为 210 150 210 28 说明2012年的效益增长明显不及2011年 趋势分析法 趋势分析法 通过对大量数据进行模糊计量 分析预测每个时间段的变化趋势 预测公司未来发展趋势 从中发现相应时间或区间的拐点 是以连续时间序列为支柱的分析方法和预测工具 具有较高的准确率和可操作性 作用 确定公司财务状况和经营成果的发展趋势对投资者是否有利 通过趋势分析可以知道企业经营的变化情况 为预测未来发展方向提供帮助 预测法的主要优点是考虑时间序列发展趋势 使预测结果能更好地符合实际 趋势分析方式 销售趋势说明企业的经营状况 通过企业之间销售趋势的比较 获得更多的有用信息 在销售趋势出现异常的情况下 要仔细判断形成这种趋势的原因 此外 销售额的增加不一定与销售数量直接相关 要考虑市场价格的影响 收益趋势对收益趋势要做企业间和行业间的数据比较 收益趋势与销售趋势具有可比性 需要将销售趋势和收益趋势结合分析 例如 如果成本稳定 企业的盈利将与销售额同步增长 但在成本快速增加或者各项费用的增加超出销售额同步增长的时候 销售额的增长并不意味着利润的增加 如果销售量的增加是由于大幅度降价换来的 企业也会损失大量的利润 所以两者趋势需相结合分析 趋势线所谓趋势线 是用划线的方法将低点或高点相连 根据历史数据上下变动的趋势所画出的线路 正确地划出趋势线 人们就可以大致了解未来发展方向 可依其脉络寻找出恰当收益调节点 也可推测后期大致走向的一种图形分析方法 趋势线可分为上升趋势线 下降趋势线与横向整理趋势线 若右图所示 定标比超法 定标比超法就是将本企业各项活动与目标值进行比较 从而提出行动方法 发现不足并弥补自身的不足 改进经营并达到最佳效果的一种有效手段 是将本企业经营的各方面状况和环节与竞争对手或行业内外一流的企业进行对照分析的过程 是一种评价自身企业和研究其他组织的手段 是将外部企业的持久业绩作为自身企业的内部发展目标并将外界的最佳做法移植到本企业的经营环节中去的一种方法 作用 1 有助于确定和比较竞争对手经营战略的组成要素 在此过程中能获得许多对评价整个竞争形势价值很大的信息 2 对一流企业所做的定标比超可以将从任何产业中最佳企业那里得到的信息用于改进本企业的内部经营 建立相应的赶超目标 3 作跨行业的技术性定标比超还有助于技术的跨行业渗透 4 通过对竞争对手的定标比超 与其对客户要求的了解作对比 可以发现本公司在这方面的不足 可以将市场 竞争力和目标的设定结合在一起 定标比超的类型 运行过程 管理方法 诀窍等 学习模仿 改进融合使企业在该领域赶上或超过竞争对手的定标比超 对领先企业的管理系统 管理绩效进行对比衡量 某种产品作为基准 进行对比 比较的是本企业与对标企业的战略意图 分析确定成功的关键战略要素以及战略管理的成功经验 组织内部的绩效评估活动 其目的是找出组织内部的最佳作业典范 认定竞争对手对比 其目的是找出竞争对手的优势和特长 发现自己与竞争对手之间的差距并努力缩短这种差距 跨行业比超 不同行业 但具有相同或类似运作环节的企业间的定标比超 将来自不同行业的创新实践移入本企业 这对整个企业来说是一个极大的挑战 因为企业可能因此需要重新设计业务流程 主要实施步骤 波士顿矩阵 明星业务 它是指处于高增长率 高市场占有率象限内的产品群 这类产品增长率很快 市场占有率也很高 得到的利润较好 就像明星一样 发展前途很好 这类业务处于迅速增长的市场 具有很大的市场份额 明星业务 在增长和获利上有着极好的长期机会 但它们是企业资源的主要消费者 需要大量的投资 为保护或扩展 明星业务 在增长的市场中占主导地位 一般应对此类业务进行保护 在短期内优先供给它们所需的资源 支持它们继续发展 波士顿矩阵一共有四种业务类型 按照市场增长率和相对市场占有率来划分可分为 明星业务 金牛业务 幼童业务 瘦狗业务 市场增长率以10 为基准点 市场占有率以1 0X为基准点 四种业务分析如下 金牛业务 又称厚利产品 它是指处于低增长率 高市场占有率象限内的产品群 已进入成熟期 像奶牛一样 吃的是草 产出的是高质量的牛奶 这类业务处于成熟的低速增长的市场之中 市场地位有利 盈利率高 本身不需要投资 反而能为企业提供大量资金 用以支持其他业务的发展 企业的任何业务都是朝着这种业务发展的 它是处于高增长率 低市场占有率象限内的产品群 前者说明市场机会大 前景好 指增长率很快 而后者则说明在市场营销上占有率不高 得到的利润有限 利润率较低 企业对于该类业务需进一步进行分析 判断使其转移到 明星业务 所需要的投资量分析其未来盈利 研究是否值得投资等问题 对其产品的改进与扶持方案一般均列入企业长期计划中 要是无法投资的 应该放弃该类业务了 幼童业务 瘦狗业务 也称衰退类产品 它是处在低增长率 低市场占有率象限内的产品群 像瘦狗一样 要吃饭 但是自身却没有什么价值 其财务特点是利润率低 处于保本或亏损状态 负债比率高 无法为企业带来收益 这类业务处于饱和的市场当中 竞争激烈 可获利润很低 不能成为企业资金的来源 如果这类经营业务还能自我维持 则应该缩小经营范围 加强内部管理 如果这类业务已经彻底失败 企业应及早采取措施 清理业务或退出经营 发展 每个企业都会有上述的四种业务 只是每样业务的多少不一定而已 在分析过程中 须明确各项业务在公司中的不同地位 从而进一步明确其战略目标 通常有四种战略目标分别适用于不同的业务 以提高经营单位的相对市场占有率为目标 甚至不惜放弃短期收益 要是 幼童 类业务想尽快成为 明星 就要增加资金投入 投资维持现状 目标是保持业务单位现有的市场份额 对于较大的 金牛 可以此为目标 以使它们产生更多的收益 这种战略主要是为了获得短期收益 目标是在短期内尽可能地得到最大限度的现金收入 对处境不佳的 金牛 类业务及没有发展前途的 幼童 类业务和 瘦狗 类业务应视具体情况采取这种策略 目标在于清理和撤销某些业务 减轻负担 以便将有限的资源用于效益较高的业务 这种目标适用于无利可图的 瘦狗 类和 幼童 类业务 一个公司必须对其业务加以调整 以使其投资组合趋于合理 保持 放弃 收割 案例 为了直观的表现各地产品市场竞争态势的情况 我们引进波士顿矩阵分析模型 对我司与竞争者共有的产品竞争分析 其中产投差 销量增幅 产能增幅 横坐标 相对产投差 我司产投差 竞争者产投差 表示的是相对竞争态势关系 纵坐标 产投比 销售份额 产能份额 表示的是绝对竞争态势关系 一站式了解地区整体经营情况金牛类 自身投产超过1 竞争态势保持相对优势的城市 但产投差相对增长低于竞争者 明星类 各项指标较好 产出大于投入 且相比去年产投差增长高于竞争者 瘦狗类 载运率低 产投比不足1 且产投差增长也不及竞争者 如 TSN 幼童类 产投比未达1 但其产投增长高于竞争者 如 INC 波士顿矩阵案例 竞争环境分析 国家政策 政治风险分析环境 情境分析成本预算分析竞争问题分析利益相关者分析其他相关性分析 课堂练习 某烟草公司计划在某市某区的新华街设立门市 如果你是该公司此项目负责人 请拟定出一份简要的可行性报告纲要 数据挖掘与分析系统框架的设计 发展趋势数据库资源功能设计关键KPI指标系统项目团队 第三部分 信息情报管理系统的发展趋势 系统框架设计 企业情报信息系统建立后的数据库资源 60 公司的知识库管理系统 或是说情报知识库 实际上是一个通过企业内联网对竞争对手和市场进行深层次分析的知识管理系统 这一系统具体囊括了对许多内容的分析 竞争对手的主品和服务 优势和劣势 市场焦点 销售渠道以及战术 公司任何部门和决策机构可以在制定竞争情景规划时参考以上内容 系统框架设计 情报信息系统的基本功能设计 系统框架设计 系统框架设计 市场占有率产投比 收投比收投差竞争质量控制线及跟踪管理 收益率指标群价格管理效益指标纵向趋势矩阵及散点分析 阶段性生产能力资源组织分配能力产销衔接周转速度分销渠道容量及能力 信息情报系统设置考虑的关键KPI指标系统 第三篇大数据应用及思维模式 Contents目录 第五次信息技术革命 第五次信息革命是以计算机的数据处理技术 对数据的采集 存储 检索 加工 变换和传输 与新一代通信技术 移动网络如3G 的有机结合为开端的 第五次信息技术领域的重大技术革命 个人计算机 互联网 云计算 大数据 体感交互 PS 云计算是一种基于互联网的计算方式 通过这种方式 共享的软硬件资源和信息可以按需求提供给计算机和其他设备 云技术中的 云 是网络 互联网的一种比喻说法 PS 体感交互技术属于前沿科技之一 从Kinect开始逐步向各个领域 各个国家延伸和发展 它可以用手势或者身体动作来代替传统的遥控器操作各种软件和游戏 为软件的应用带来了重要的影响 什么是大数据 大数据 是由数量巨大 结构复杂 类型众多数据构成的数据集合 是基于云计算的数据处理与应用模式 通过数据的整合共享 交叉复用 形成的智力资本和知识服务能力 4G时代大数据理念 4G将使大数据在采集 传输和应用端发生重大变化4G最大数据传输速率超过移动电话数据传输速率的1万倍信息过载压力增大的同时也催生了大数据产业链上的商机 什么是大数据 实时处理的要求 是区别大数据引用和传统数据仓库技术 BI技术的关键差别之一 为什么今天才谈大数据 为什么今天才谈大数据 美国医疗行业的年度大数据经济预测值 相当于西班牙年度医疗行业总体投资的两倍 欧洲公共事业的年度大数据经济预测 超过希腊的GDP产值 全球个人消费者使用地理信息数据获取的商业价值 零售商借助大数据技术增加的利润 增加的数据深度分析的工作岗位 在美国 借助大数据技术从事数据相关的经理工作岗位 大数据价值 理解大数据 数据处理理念的转变 大转变数据价值链三大转变 大数据所有权 大数据技术能力 大数据创新思维 重要性上升 重要性上升 重要性下降 数据处理理念的三大转变 传统数据处理理念随机采样 精确性 因果关系 大数据处理理念所有数据 效率 相关关系 理解大数据 不仅应用于营销领域 应用 通过对大数据的储存 挖掘与分析 大数据在营销 企业管理 数据标准化与情报分析等领域大有作为行业 大数据一方面可以应用于客户服务水平提升及营销方式的改进 另一方面可以助力行业内企业降低成本 提升运营效益 同时还能帮助企业进行商业模式的创新及发现新的市场商机社会 大数据在智慧城市 智慧交通及灾难预警等方面都有巨大的潜在应用价值 专业机构预测 随着互联网技术的高速发展 云计算 物联网应用的日益丰富 大数据未来发展前景将更为广阔 领域大数据 社会 行业 大数据应用场景 政府 政府投入将形成示范效应 大大推动大数据的发展 政府职能变革 职业乞丐脑袋里的大数据 大数据应用案例 大数据应用案例之汽车制造 大数据应用场景 智慧城市 大数据应用场景 智慧医疗 面临挑战 数据源数据格式数据量 结构化 半结构化 病历 非结构化 PACS影像 标准难制定 或不断变化中型城市 1000万人口 存放50年会达到10PB 信息共享提升效率医疗信息区域内准实时共享 医生可快速调阅病人信息 个性化医疗基于病