KXEN产品介绍

北京英泰慧雪科技有限公司电信业数据挖掘 北京英 泰慧雪 科技 有限公 司 - 2 - 公司简介 产品解决的问题背景 产品定位 产品特点 与传统数据挖掘产品比较 理论基础 产品组成 产品应用案例 北京英 泰慧雪 科技 有限公 司 - 3 - 北京英泰慧雪科技有限公司 简介 北京英泰慧雪科技有限公司 成立于 2006年 雇员 超过 100名 项目管理 业务和技术的整合 应用开发 系统维护和技术支持服务 解决方案 商务智能 企业绩效管理 企业内容管理 行业解决方案 服务产品线 市场营销服务 宗旨以互联网和无线技术基础上开发的创新的多渠道的客户关系管理及电子商务解决方案帮助客户实现业务收入的增长 北京英 泰慧雪 科技 有限公 司 - 4 - 北京英泰慧雪科技有限公司 介绍续 2007年， I 进一步扩大了产品服务在 在 2008年，我们在北京设立客户关系管理服务中心，以便更好地为客户提供服务。 公司投入大量资金用于产品研发，并且在多个电子商务解决方案领域取得独立的知识产权。 行业：我们侧重的金融服务、电信、零售和旅游行业。 我们的客户：包括中国移动、中国电信、电讯盈科、国泰航空、创新、金宝汤、永明人寿等 经验丰富的专业服务团队，为客户制定和实施电子商务和 们专注于自己的产品，包含电子商务平台、客户联络中心解决方案、以及各种网络和移动应用的同时，我们也作为世界级解决方案专家，如 此外，我们还为电信部门的重点大型工程项目提供系统集成和项目管理服务。 北京英 泰慧雪 科技 有限公 司 - 5 - 合作伙伴 强大的合作伙伴确保给客户带来最佳的解决方案 高效的同盟保证我们时刻走在技术的前沿 在中国、马来西亚、泰国和印度尼西亚也建立了相关合作伙伴关系和经销体系 北京英 泰慧雪 科技 有限公 司 - 6 - 公司背景 全球著名的专业数据挖掘软件开发厂商，创立于 1998年七月 总部位于旧金山，在巴黎拥有研究中心，在美国和欧洲运作 投资方 : S & 科学技术委员会 : 在机器学习（人工智能）领域拥有很高的声誉 支持 支持包括中文在内的多个国家语言 北京英 泰慧雪 科技 有限公 司 - 7 - 全世界 250+ 多个客户截至到 2007年 1月 电信 2 K L Z 建电信 甘肃电信 四川电信 融 a 丰银行（香港） K) 售和其他 s . S & 京英 泰慧雪 科技 有限公 司 - 8 - 2007年 50 个新客户 金融 零售和其他 信 P) 北京英 泰慧雪 科技 有限公 司 - 9 - 2008年 48个新客户 金融 r M 售和其他 上海疾控中心 E 信 京英 泰慧雪 科技 有限公 司 - 10 - 2009年 32 个新客户！ 金融 零售和其他 S 电信 美国 京英 泰慧雪 科技 有限公 司 - 11 - 合作伙伴 全球系统集成商 技术合作伙伴 战略合作伙伴 技术合作伙伴 W 认证 - 两个 由 持 技术合作伙伴 战略合作伙伴和转售合作伙伴 其它合作伙伴 : 京英 泰慧雪 科技 有限公 司 - 12 - 公司简介 产品解决的问题背景 产品定位 产品特点 与传统数据挖掘产品比较 理论基础 产品组成 产品应用案例 北京英 泰慧雪 科技 有限公 司 - 13 - 数据挖掘现状及问题 数量巨大 ,维度繁多 人类仅仅能够应付最多 5个变量 商业问题多 客户流失 欺诈分析 交叉销售 财务预测 客户需求个性化 全球通 神州行 动感地带 各种套餐 手工挖掘速度效率已经无法满足市场变化速度 决策的科学化 经验信息 报告 表 企业日常决策 建模 “整个公司由猜测 & 行为 变为测试，理解，预测行为” 埃森哲 北京英 泰慧雪 科技 有限公 司 - 14 - 客户 市场 销售 财务 公司面临商业问题 客户生命周期 客户分类 终生价值 利润率 忠诚度 客户满意度 购买倾向 价格分析 促销活动的 用效性 向上销售 交叉销售 客户满意度 市场分类 市场分析 渠道优化 销售预测 实时产品推荐 在线出价管理 销售代表概评 包裹生成 损失预防 财务预测 风险管理 终生评价 欺诈探测 客户保留 需求预测 供应链 北京英 泰慧雪 科技 有限公 司 - 15 - 2个面临的挑战 挑战 1: 更多客户 ,更多群体 ,更多产品 , 更多模型需要建立 ! 问题 : 我们能够用现有的工具建这么多新的模型吗？ 挑战 2: 团队在扩充和雇佣更多新人。 问题：他们有符合要求的技能吗？他们能很快地培训好吗？ 15 北京英 泰慧雪 科技 有限公 司 - 16 - 什么不同？ 易于使用 没有 统计 培 训 或 专业 知 识 ，也可以使用 自 动 数据准 备 和探索，允 许访问 原始数据 包括上千个 变 量并自 动 找到重要的指 标 快速建模 在几小 时 内 创 建和部署模式，而不是数周 使用 行日常决策、解答 传统 模型因市 场 响 应 速度慢而无法解决的商 业问题 变规则 易于部署 明确的 质 量和可靠性指 标 ，便于自 动 部署 设计 整合到企 业应 用程序和工作流程 模型代 码 可以 导 出到任何目 标环 境 16 北京英 泰慧雪 科技 有限公 司 - 17 - 数据挖掘项目中时间开销情况 (008) 执行报告 经过优化的数据库内打分 打分 /部署 理解商业问题 访问和准备数据 生成模型 写报告 北京英 泰慧雪 科技 有限公 司 - 18 - 选择变量 理解 商业问题应用 准备数据 建模 模型测试 准备数据 : 缺失值处理 , 异常值处理 , 函数变换 把数学语言转换成商业描述 选择与商业问题最相关变量，以适合算法需要 用不同算法进行建模，选择不同参数 动决定重要变量 多至几千个变量 构风险最小化理论自动选优 特专利技术 自动化数据挖掘技术 北京英 泰慧雪 科技 有限公 司 - 19 - 数据理解 数据准备 建模 评估 传统数据挖掘工具处理流程 北京英 泰慧雪 科技 有限公 司 - 20 - 数据挖掘应用瓶颈 :技术问题 数据预处理 类型转换：转换为算法本身所支持的类型、做数据 去奇异值：辨识奇异值，做适当处理 去缺失值：填充缺失值 函数变换：去除数据分布的影响 数据集平衡：使训练集中的数据均衡 降维处理 模型选优 模型验证 模型选优： 算法选择 算法参数选择 模型理解 数学 -商业 北京英 泰慧雪 科技 有限公 司 - 21 - 传统的数据挖掘方法 每个模型的成本 : ￥ 30,000 4周 数据理解 业务问题应用 准备数据 建模 模型评估（理解） 一代的方法 每个模型的成本 : ￥ 500 1周或更少 ! 业务问题建模应用我们现在创建上百个预测模型所花费的时间在过去只能创建一个模型 . 通过 们节省上百万美元，运用了更有效的营销活动 . 金融客户 间与成本 选择 变量 准备数据 变量编码 缺失值处理 奇异值处理 匹配模型 测试 模型 模型报告 模型部署 动化 北京英 泰慧雪 科技 有限公 司 - 22 - 数据处理 数据准备 模型建立 模型部署 生成结果 获取数据 序列编码 文本编码 一致编码 事件记录 稳健回归 聪明分群 关联规则 时间序列 模型输出 北京英 泰慧雪 科技 有限公 司 - 23 - 北京英 泰慧雪 科技 有限公 司 - 24 - 任意维度 “ 5 000 ” 任意回应率 “ 0% ” 任意数据类型 字符串 , 整型 , 浮点型 , 日期 , 任意噪音 缺失值 , 奇异值 变量任何分布形态 正态 ,非正态 输入变量的任意相关度 独立 ,高度相关 据预处理 北京英 泰慧雪 科技 有限公 司 - 25 - 营销案推广 甄选出很有可能购买产品的目标客户 显著提高客户响应率，降低营销广告成本 提高利润 客户流失预警 哪些用户已经流失 哪些用户快要流失 影响用户流失的重要因素是什么 客户细分 怎样根据用户价值或使用行为划分用户群 各用户群的比例是多少 用户群的特征是什么 交叉销售 哪些产品组合更受欢迎 未来预测 客户消费的周期性分析 客户消费的趋势分析 稳健回归 (聪明分群 (关联规则 (时间序列 (算法） 北京英 泰慧雪 科技 有限公 司 - 26 - 稳健回归组件 回归 /分类 了解并预测客户的行为（连续二值分类目标） 应用：目标市场、欺诈检测、评分、流失 可能的场景： 会有人购买你的产品吗？ 你是否应该给客户贷款？ 哪些用户已经流失？ 哪些用户将要流失？ 影响用户流失的重要因素是什么 哪些用户可能会响应您的营销活动吗？ 是否有欺诈行为？ 客户的估计价值是多少？ 客户的 26 北京英 泰慧雪 科技 有限公 司 - 27 - 聪明分群组件 分群 /聚类 聚类相似群体 - 监督 /无监督 应用：市场分群、渠道 /信息管理 可能的场景： 为每个不同的营销活动，识别不同的市场客户群体？ 定义和理解潜在的流失客户特征？ 定义和理解高价值客户特征？ 识别购买新产品的客户特征？ 认识购买不同产品组的客户特征？ 怎样根据用户价值或使用行为划分用户群 各用户群的比例是多少 用户群的特征是什么 27 北京英 泰慧雪 科技 有限公 司 - 28 - 关联规则组件 关联规则 /市场篮分析 发现产品和服务的内在关联，并立即采取适当的行动或建议 可能的 场 景： : 哪些 产 品可以交叉 销 售 ? 哪些 产 品可以考 虑 捆 绑销 售 ? 鉴于该客户有移动电话，他会订漫游服务的可能性多大？ he is he 鉴于他买了 将购买 28 北京英 泰慧雪 科技 有限公 司 - 29 - 时间序列组件 时间序列 /预测 分析预测与时间相关的数据（提取趋势和周期）来预测下一个未来值。 可能的场景： 整体 电话通话量预计未来两周是多少？ 股市指数是否会继续攀升？ 客户消费的周期性分析 客户消费的趋势分析 29 北京英 泰慧雪 科技 有限公 司 - 30 - 模向导 基于 侣 c+ 北京英 泰慧雪 科技 有限公 司 - 31 - 数学 商业完美结合 模型解释 北京英 泰慧雪 科技 有限公 司 - 32 - 一套符合各项规范的可重用组件 C+ 模型输出为各种源码 C 北京英 泰慧雪 科技 有限公 司 - 33 - 预处理 模型性能验证 最优模型搜索 模型商业解释 传统工具 用对象 数据分析师 决策者 /数据分析师 建模时间 数周 数小时 成本 30000$ 约 500$ 上帝的归上帝 ,撒旦的归撒旦 数学的归 业的归用户 北京英 泰慧雪 科技 有限公 司 - 34 - “减少了数据准备时间从以前的整个建模周期的70%到现在的几乎不用花什么时间。” “ 健壮。” “即使经验不是很多的分析员也可以创建高质量的模型。” “一年自动维护几百个模型。” “期望生产力提高 10倍。” 发表于 2005 户大会 客户评价 京英 泰慧雪 科技 有限公 司 - 35 - 来源： 在 07年 2季度客户数据挖掘魔力象限 报告中， 见卓识”象限。这意味着， 正代表着未来的发展；于 户可以获取最先进的数据挖掘技术，最好的性价比，洞悉客户行为，提升企业竞争力 北京英 泰慧雪 科技 有限公 司 - 36 - 来源：德国技术咨询公司 2009最具性价比数据挖掘软件 最近，德国技术咨询公司 2009最具性价比数据挖掘软件 ，考察了 M、 2种产品： 最终结果， 具体请下载 009: 008)。 北京英 泰慧雪 科技 有限公 司 - 37 - 模型性能及产量比较 模 型 准 确 性 模型产量 北京英 泰慧雪 科技 有限公 司 - 38 - 高 低 数据操作 01234561 2 3 4 5 6 7 8 9 10 11S A S S P S S K X 5 K X E N 0 9北京英 泰慧雪 科技 有限公 司 - 39 - 公司简介 产品解决的问题背景 产品定位 产品特点 与传统数据挖掘产品比较 理论基础 产品组成 产品应用案例 北京英 泰慧雪 科技 有限公 司 - 40 - 基于 结构风险最小化方法 学家 支撑向量机（ 称 基于统计学习理论的一种新的机器学习技术。采用了使用结构风险最小化原则替代经验风险最小化原则 991 建模理论基础 北京英 泰慧雪 科技 有限公 司 - 41 - 结构风险最小化的岭回归算法 一种 “第三代”算法（ 一种概括了 稳健回归 (聪明分群 (关联规则 (时间序列 (且算法的参数设置是一个自动的流程， 自动把一个数据集分为三部分，估计集，验证集和测试集， 自动汇报最好的模型，保证了模型的拟合能力与泛化能力 北京英 泰慧雪 科技 有限公 司 - 42 - 训练集 数据集 自动分割等分割策略 模型 2 模型 1 模型 n 测试集 验证集 选择最好模型 验证性能 模型数据集分割 北京英 泰慧雪 科技 有限公 司 - 43 - 学习范式：回归 鉴于已知观测集，试图找到一个基本的过程模型 ( f(X,w) ) : Y x f(X,w) M. X 32 岁 收入 100 Y t o C l o s e w)f ( X , . .)x,x,X ( R G E T M O D E L I N 321北京英 泰慧雪 科技 有限公 司 - 44 - 哪一个是好的模型 ? - 建的模型 已知数据 新数据 学习理论问题： 在训练集的错误在新数据集上的错误，两者间的关系？ 模型推广能力怎样？ 低拟合性 / 高泛化性 (训练错误 =测试错误 ) 稳健模型 (低 训练错误 低 测试错误 ) 过拟合 /低泛化 (没有训练错误 , 高测试错误 ) 北京英 泰慧雪 科技 有限公 司 - 45 - 经验风险或预期风险？ 传统 的学 习 理 论 经验风险 预 期 风险 假 设 预 期 风险 =京英 泰慧雪 科技 有限公 司 - 48 - 标解释 % 目标命中率 理想模型 随机模型 证集 系列 50 15 100 100 50 1- B/(A+B+C) A %打分排名前百分数人数 C/(A+B+C) (B+C)/(A+B+C) B C 80 北京英 泰慧雪 科技 有限公 司 - 49 - 60% 客户获取 /营销案推广 风险管理 交叉销售 / 向上销售 客户满意度分析 风险 : 25% 信用卡风险评估（信用评分） I 欺诈检测 其它 : 15% 数据清洗 流程优化 北京英 泰慧雪 科技 有限公 司 - 50 - 变量数量 900 1200 2沃达丰 2500 2500 8000 6,000 模型数量 /年 760 9,600 8,800 70,000 y 460,000 获得的生产力 7x 2 10x 8x 2x 商业价值 邮件件数 70%, 15 的呼入活动的转换率，销售 35 ，成本 30 ， 获利 35 在 1个季度赢得 6千 7百万美元新业务 , 响应 300 500% 销售 20%, 从 1个模型获得每年 5百 8十万美元销售增量 复率 260%,产品每户 14%,投资回报率在 2个月 : 100% 个模型 大型电信运营商：呼出 70%, 产品 利润 20% 上 销售 渠道 200 700% :运营 成本 50%, 开发时间 90 银行： 上市时间 66 100 的投资回报率 在 1个模型 北京英 泰慧雪 科技 有限公 司 - 51 - 侦测潜在客户流失，制定相应对策 ( 基于历史数据建立预测模型 利用模型每周或每月对新的客户数据进行侦测 对于潜在流失性高的客户提供相应对策，维持客户忠诚度 挑战 : 精确的侦测 = 高投资回报率 商业推广活动优化 ( 根据商业活动的历史数据，或从客户资料库中抽取 1%的数据进行试探投放，根据反馈的信息建立模型 将模型应用于整个数据库，生成每个客户对于新一轮的商业活动的反馈指数 对于反馈指数较高的客户群有针对性地进行商业推广活动 挑战 : 快速建模 = 高投资回报率 交叉销售 ( 根据上一季度购买新产品的客户资料建立模型 将交叉销售模型应用于最近的客户资料 根据每个客户的消费倾向进行有针对性的产品推广 挑战 : 快速建模（多个模型） +精确的预测 = 高投资回报率 其他 : 欺诈预警 ( 客户群分类 ( 推广活动策划 (. 北京英 泰慧雪 科技 有限公 司 - 52 - 需求及使用 结果 其他好处 1、 2天建立 10个模型 60秒完成 194万多个客户打分 2、 % 3、 2分 30秒建立一个模型 为每个变量绘制收益曲线 自动创建 于实时部署 可以把数据拷贝到 存图形，更容易创建汇报 手工写 数据提取到 、流失分析 :平均每个模型 2 4周 2、客户潜在人均收益分析： 因子分析缺乏稳健性 3、呼叫容量预测 : 分析区域日均呼叫总长 总部在欧洲，是全球电信解决方案的领导性供应商。他们提供本地的，漫游和国际的声音和数据服务，蜂窝电话服务，卫星服务和所有的网络服务。它的移动电话有 400万个客户。公司提供全球解决方案，覆盖 200多个国家和地区，客户能以一种电信标准连接各种的商务中心。他们有16个节点的 传统方法建立 10个模型需要 50个星期 0个模型，速度快 一家大的欧洲电信公司 北京英 泰慧雪 科技 有限公 司 - 53 - 欧洲最大的电信供应商 ，提供 移动 、 固定电话 和 高速数据服务。 15000名雇员， 3400万商业和个人 客户 。 2007年营业额达 84亿欧元 。面临的挑战：深入了解客户及其喜好，进行成功的市场营销； 超过 100的市场渗透率已导致每年整体流失率高达 24。采用 年 760个模型，模型的开发时间减少了 70 。 沃达丰德国、荷兰 客户流失管理 向上销售 /交叉销售 促销活动管理 沃达丰 德国 客户挽留 市场推广模型 圣诞节促销 客户行为预测 沃达丰 荷兰 2%的客户流失。对于开发新的产品和服务，产品上市的速度是关键 。 使用 速 发现 300个或更多变量的影响 。从 到一个小时就能得到我们需要的答案 。这样的速度和准确性任何其他种类的分析解决方案几乎是不可能实现的。荷兰客户业务部负责人 对用户来说， 再有任何需要无休止的配置，人们可以专注于解释的结果。 14070亿条记录 北京英 泰慧雪 科技 有限公 司 - 54 - 美国 25个州的 148个市场中的 620多万用户提供无线通信服务。 成立于 1983年，总部位于芝加哥， 2008年利润 42亿美元，运营网络是 国无线服务运营商 在 用 们开始构造严重流失模型，建立了竞争流失模型，并初步建成 5个产品交叉销售 /向上销售模型： 原来的客户流失模型需要好几个月构建和调整 而 0%10%20%30%40%50%60%70%80%90%100%0% 20% 40% 60% 80% 100% 效率 北京英 泰慧雪 科技 有限公 司 - 55