数据挖掘与分析1

1、Hand 20011数据仓库和数据挖掘在商业活动中的应用刘建民 博士首席顾问数据挖掘与数据分析业务汉得信息技术有限公司jianmin.liuhand-Hand 20012简介数据仓库是公司成功的关键因素随着数据的数量以指数速度增长，将原始数据转化为可供决策的信息就变得十分关键这个演讲将展示一个数据仓库的结构及它在成功开展商业活动中所扮演重要角色Hand 2001345+ SystemsFeed Data3800万万帐户帐户/服务服务世界资本世界资本市场市场活期存款活期存款市场活期存款市场活期存款个人贷款个人贷款小型企业贷款小型企业贷款定期存款定期存款银行分支业务银行分支业务 房屋贷款房屋贷款商

2、务贷款商务贷款外部数据外部数据银行批发业务及银行批发业务及客户信息客户信息信用卡信用卡 每月每月公司数据仓库公司数据仓库 一览一览投资帐户投资帐户通过电脑的业务通过电脑的业务 自动存自动存/取款机业务取款机业务每天每天每周每周通过电话进行通过电话进行的银行业务的银行业务Hand 20014数字（信息）量的成长趋势数字（信息）量的成长趋势05001,0001,5002,0002,5003,0003,5004,00019861988199019921994199619982000USERSGIGABYTESHand 20015数据和数据挖掘消费者贷款信用数据客户其它数据（社会、生活、经济）第三方专

3、有数据 (UPDW, HVC, MM)统计模型,分析及报告数据数据仓库开放性客户服务器技术 庞大的数据仓库/数据来源 系统数据库营销数据库营销的专业，技术知识和专长对有待开发市场的数据营销。商业目标Hand 20016目标:创立一个世界一流的数据库营销系统和来帮助开发新市场具体需求促销活动的管理 (设计, 开发, 实施)促销活动的追踪和分析 对不同问题的数据分析和数据挖掘在线用户进网的可靠和方便商业解决方案方案一览:我们了解您的需求Hand 20017商业解决方案方案一览:假设数据库系统展望假设:最初系统将包含50个州5千万条记录系统必须能够扩展到8千万条个人记录每季度的报告要重建每月和每周数

4、据库更新年度邮件数量达到1500百万在旧金山的用户可直接进入 6个远端用户 5个月的开发和测试阶段 36 个月的合同期限Hand 200183.5.7.6.SAS服务器服务器Extracting transforming & Loading(ETL)/数据仓库数据仓库服务器服务器Data Mart 服务器服务器富国银行最终用户富国银行最终用户4.8.促销活动促销活动管理服务器管理服务器1.商业解决方案 方案一览: 概念化系统设计2.Hand 20019房屋拥有者数据 Dataquick (5200万 homeowners) UPDW (7000万 homeowners)贷款信用数据 E

5、xperian 信用数据季度性更新系统设计可容纳3家贷款信用公司的数据客户数据由富国银行每两个月或更短时间内进行更新促销活动数据至少24个月的促销商业活动的数据得以储存促销活动反应效果的历史记载（每周进行）其它数据来源 禁止促销的个人数据商业解决方案方案一览:1.输入数据来源Hand 200110商业解决方案 方案一览:2.ETL流程 Hand 200111数据仓库功能 保证所有联邦法律得以实施所有经识别的数据都存储在数据仓库 管理文件输出流程信件,审计文件,分析文件等重点变量的维护和管理 文件输出流程 数据存储 硬件/软件 Compaq 8400 (12 processors, 8GB RA

6、M)数据管理工具 (address standardization, M/P, etc.)商业解决方案 方案一览: 3. 促销对象的数据库（新市场）Hand 200112选择数据库的功能促销活动的设计,开展和实施数据挖掘和分析促销活动的回应历史数据信用、房屋拥有人及其它有关促销对象的社会、经济数据硬件/软件 Compaq GS60E (8 processors, 6GB RAM) Oracle 8i RDBMS商业解决方案 方案一览: 4. 选择数据 来源Hand 200113远程连接功能 Fractional闭路联网连接（T1) 6个用户进入商业解决方案方案一览: 5. 远程连接Hand 2

7、00114促销数据库是 可实施ODBC 的用户工具促销活动管理 软件IMPACT!数据挖掘 SAS（Enterprise Miner)决策支持 软件“Business Object”用户培训 商业活动管理软件数据库模型商业解决方案 方案一览: 6. 用户进入工具Hand 200115专用的SAS 服务器 保证 SAS 的运行不影响数据库的运行效率不必将数据送回用户电脑进入专用用户的工作区是可靠的硬件/软件 SUN E450 或相同服务器 (4 processors 2GB RAM) Base SAS, Stat, Connect, Access to Oracle商业解决方案 方案一览： 7.

8、 SASHand 200116Dedicated IMPACT! 应用服务器确保能够进入专用的用户工作区硬件/软件 SUN E450 或相同服务器 (4 processors 2GB RAM)促销活动软件包商业解决方案 方案一览： 8. IMPACT!Hand 200117商业解决方案 商业活动管理流程: Process FlowSASSAS/IMPACT!IMPACT!促销活动促销活动设计和实施设计和实施数据库部门数据库部门PPPPPPPPPP PPPPPPPPPPP终端终端用户用户Hand 200118IMPACT! 提供用户以下功能: 操作简单直接通过终端电脑进入数据库具备开发复杂促销战

9、略的能力具备定义输出数据规格的能力具备输出报告和数据的能力具备追踪促销次数的能力具备使用数据库数据与外数据库数据文件的能力 商业解决方案 商业活动管理流程: IMPACT!Hand 200119优点优点 应用标准 分类展望 创立样本 应用模型评估 定义联系方式 创立分析报告商业解决方案 商业活动管理流程： IMPACT! 模板Hand 200120商业需求功能需求项目阶段投资计划范围商业解决方案 数据库开发方法: 构成概念构架逻辑数据模型实际数据模型 ETL概念 流程 ETL 流程设计系统设计和构造实际数据模型实施网络连接用户工具具体化系统测试 用户培训IMPACT!数据模型Hand 200121商业解决方案 数据库开发方法论: 构成Hand 200122数据挖掘和分析充分利用一切数据Hand 200123数据仓库数据仓库: