揭开数据挖掘面纱

讲师：XXX

>>人工智能专业DataMiningTechnology数据挖掘技术课程名项目一：搭建数据挖掘环境揭开数据挖掘面纱搭建数据挖掘环境运行第一个程序1.11.21.3项目一：搭建数据挖掘环境揭开数据挖掘面纱搭建数据挖掘环境运行第一个程序1.11.21.3任务描述项目组接到一个数据挖掘项目，今天我们将进行该项目的项目启动会，以便了解项目的整体情况，并对各个环节的工作要求有一个清晰的认识和了解，为日后协同开展工作做准备。“知己知彼，才能百战百胜“，我们先要进行数据挖掘系统的构建规划，理解数据挖掘商业模式和业务流程，构思好项目的总体架构，这样才能在编写页面时游刃有余。”这就是我们完成的第1个任务：揭开数据挖掘面纱。在facebook有40亿的信息扩散会有60张照片上传到网络ONESECONDONEMINUTEONEDAY会有60小时视频上传到视频网站youtube每个智能手机用户平均会安装65个应用有2940亿封邮件发出，相当于美国两年的纸质信件数量发出的社区帖子达200万个，相当于《时代》杂志770年的文字量互联网产生的全部内容可以刻满1．68亿张DVD1.1.1认识数据挖掘为什么需要数据挖掘——数据爆炸VS知识匮乏人们积累的数据越来越多

目前这些数据还仅仅应用在数据的录入、查询、统计等功能，无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，导致了“数据爆炸但知识贫乏”的现象。1.1.1认识数据挖掘数据挖掘的提出1.1.1认识数据挖掘什么是数据挖掘数据挖掘是从数据中，发现其有用的信息，从而帮助我们做出决策（广义角度）1.1.1认识数据挖掘什么是数据挖掘数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程（技术角度）1.1.1认识数据挖掘1.1.1认识数据挖掘1.1.2数据挖掘的应用领域数据挖掘的其他应用领域商业领域金融领域交通领域......1.1.2数据挖掘的应用领域抖音的大数据通过识别大数据，分析每个内容，通过点赞，停留等动作识别用户的兴趣标。然后分别给内容和用户打上大量的标签，精准给用户匹配相关内容。农夫山泉用大数据卖矿泉水在强大的数据分析能力做支持后，农夫山泉近年以30%-40%的年增长率，在饮用水方面快速超越了原先的三甲：娃哈哈、乐百氏和可口可乐。1.1.2数据挖掘的应用领域soul的大数据soul提出的心灵匹配算法（可以看到两个人心灵的契合程度）1.1.2数据挖掘的应用领域1.1.3数据挖掘的模型1.1.4数据挖掘的数据类型数据库数据数据仓库数据事务处理数据库数据其他类型的数据数据挖掘能被应用于任何对目标应用有意义的数据类型最基本的形式有：1.1.3数据挖掘的数据类型数据库数据数据库管理系统（DBMS）数据仓库数据数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。1.1.4数据挖掘的数据类型事务处理数据库数据

传统的数据库系统不能做这种商业分析。但是基于交易数据的数据挖掘能够发现这种频繁模式，即发现那些商品会被一起经常购买。其他类型的数据时间相关的数据和序列数据（历史记录，股票交易）数据流（视频监控和传感器数据）空间数据（地图）工程设计数据（系统部件和集成电路）超链接和多媒体数据（文本、图像、音频和视频）图数据和网络数据（社会和信息网络）web数