数据仓库和数据挖掘技术

1、2021-7-12数据仓库与数据挖掘技术1 数据仓库和数据挖掘技术 n什么是数据挖掘? n几种主要数据挖掘模型和算法 n复杂类型数据的挖掘 2021-7-12数据仓库与数据挖掘技术2 数据挖掘都干了些什么? n英国电信需要发布一种新的产品，需 要通过直邮的方式向客户推荐这种产 品 n通过数据挖掘的方法使直邮的回应 率提高了100 nGUS日用品零售商店需要准确的预测未 来的商品销售量，降低库存成本 n通过数据挖掘的方法使库存成本比 原来减少了3.8% 2021-7-12数据仓库与数据挖掘技术3 美国国防财务部需要从每年上百 万比的军火交易中发现可能存在 的欺诈现象 发现可能存在欺诈的交易，进

2、行深入调查，节约了大量的调 查成本 汇丰银行需要对不断增长的客户 群进行分类，对每种产品找出最 有价值的客户。 营销费用减少了30 数据挖掘都干了些什么? 2021-7-12数据仓库与数据挖掘技术4 什么是数据挖掘？ 通过采用自动或半自动的手段，在海量数据中 发现有意义的行为和规则的探测和分析活动。 数据挖掘能够帮助你选择正确，瞄准潜在目标， 向现有的客户提供额外的产品，识别那些准备 离开的好客户。 数据挖掘是从数据中自动地抽取模式、关联、 变化、异常和有意义的结构 数据挖掘大部分的价值在于利用数据挖掘技术 改善预言模型 2021-7-12数据仓库与数据挖掘技术5 数据挖掘应用领域 电信 ：流

3、失 银行：聚类（细分）, 交叉销售 百货公司/超市：购物篮分析 （关联规则） 保险：细分，交叉销售，流失（原因分析） 信用卡： 欺诈探测，细分 电子商务： 网站日志分析 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健 2021-7-12数据仓库与数据挖掘技术6 (Big Bank Can identify information within given web pages Ahoy! (Etzioni et.al. 1997):Uses heuristics to distinguish personal home pages from other web pages S

4、hopBot (Etzioni et.al. 1997): Looks for product prices within web pages Search Result Mining Web Usage Mining General Access Pattern Tracking Customized Usage Tracking Mining the World-Wide Web 2021-7-12数据仓库与数据挖掘技术85 Web Mining Mining the World-Wide Web Web Usage Mining General Access Pattern Tracki

5、ng Customized Usage Tracking Web Structure Mining Web Content Mining Web Page Content Mining Search Result Mining Search Engine Result Summarization Clustering Search Result (Leouski and Croft, 1996, Zamir and Etzioni, 1997): Categorizes documents using phrases in titles and snippets 2021-7-12数据仓库与数

6、据挖掘技术86 Web Mining Web Content Mining Web Page Content Mining Search Result Mining Web Usage Mining General Access Pattern Tracking Customized Usage Tracking Mining the World-Wide Web Web Structure Mining Using Links PageRank (Brin et al., 1998) CLEVER (Chakrabarti et al., 1998) Use interconnections

7、 between web pages to give weight to pages. Using Generalization MLDB (1994), VWV (1998) Uses a multi-level database representation of the Web. Counters (popularity) and link lists are used for capturing structure. 2021-7-12数据仓库与数据挖掘技术87 Web Mining Web Structure Mining Web Content Mining Web Page Co

8、ntent Mining Search Result Mining Web Usage Mining General Access Pattern Tracking Web Log Mining (Zaane, Xin and Han, 1998) Uses KDD techniques to understand general access patterns and trends. Can shed light on better structure and grouping of resource providers. Customized Usage Tracking Mining the World-Wide Web 2021-7-12数据仓库与数据挖掘技术88 Web Mining Web Usage Mining General Access Pattern Tracking Customized Usage Tracking Adaptive Sites (Perkowitz and Etzioni, 1997) Analyzes access patterns of each user at a time. Web site restructures itself automatically by learning from user access pat