数据挖掘入门

1、2021-5-51 2021-5-52 2021-5-53 2021-5-54 2021-5-55 2021-5-56 2021-5-57 数据清理筛选数据清理筛选 数据数据 目标数据目标数据 预处理预处理 及变换及变换 变换后的数据变换后的数据 数据挖掘数据挖掘 解释解释/评估评估 2021-5-58 2021-5-59 2021-5-510 2021-5-511 2021-5-512 2021-5-513 2021-5-514 数据仓库数据仓库 数据清理数据清理 数据集成数据集成过滤过滤 数据库数据库 数据库或数据仓库 服务器 数据挖掘引擎 模式评估 图形用户界面 知识库 2021-5-5

2、15 2021-5-516 2021-5-517 2021-5-518 2021-5-519 2021-5-520 定义：论域x=x上的模糊集合a由隶属函数 a(x)来表征。其中a(x)在实轴的闭区间0，1中 取值，a(x)的大小反映x对于模糊集合a的隶属程 度。 a(x)的值接近1，表示x隶属于a的程度很高。 a(x)的值接近0，表示x隶属于a的程度很低。 特例，当a的值域取0，1闭区间的两个端点， 亦即0，1两个值时，a便退化为一个普通的逻辑 子集。隶属函数也就退化为普通逻辑值。 2021-5-521 2021-5-522 2021-5-523 2021-5-524 2021-5-525

3、2021-5-526 2021-5-527 2021-5-528 2021-5-529 2021-5-530 2021-5-531 2021-5-532 2021-5-533 2021-5-534 2021-5-535 2021-5-536 2021-5-537 数据清理数据清理 数据集成数据集成 数据转换数据转换 数据归约数据归约 2021-5-538 2021-5-539 2021-5-540 2021-5-541 n简单，但是没有意义 2021-5-542 2021-5-543 2021-5-544 2021-5-545 2021-5-546 2021-5-547 2021-5-548

4、x y y = x + 1 x1 y1 y1 2021-5-549 2021-5-550 2021-5-551 2021-5-552 ba ba n bbaa r ) 1( )( )( , a b a b 2021-5-553 2021-5-554 aaminnewmaxnew_,_ aaa aa a minnewminnewmaxnew minmax minv v_)_( 2021-5-555 av v j v v 10 where j is the smallest integer such that max(| |) reduced attribute set: a1, a4, a6 y

5、 y y n n n 2021-5-563 2021-5-564 2021-5-565 count 51015202530 1 2 3 4 5 6 7 8 9 10 1-1011-2021-30 5 10 15 20 25 13 25 15 priceprice count 2021-5-566 2021-5-567 2021-5-568 2021-5-569 2021-5-570 count 51015202530 1 2 3 4 5 6 7 8 9 10 1-1011-2021-30 5 10 15 20 25 13 25 15 priceprice count 2021-5-571 20

6、21-5-572 2021-5-573 n例例1：包含数据：包含数据：101、110、203、222、305、315 n方法：最高位包含方法：最高位包含3个值（个值（1、2、3） n分成分成100，200），），200，300），），300，400）三段）三段 n例例2：包含数据：包含数据：101、110、103、422、405、415，400 n方法：最高位包含方法：最高位包含2个值（个值（1、4） n分成分成100，150），），150，200） ，400，450） ，450，500）四段）四段 n例例3：包含数据：包含数据：101、210、203、322、305、415，500 n方法：

7、最高位包含方法：最高位包含5个值（个值（1、2、3、4、5） n分成分成100，200），），200，300） ，300，400） ，400，500），），500，600） 五段五段 2021-5-574 2021-5-575 country province_or_ state city street 15 distinct values 65 distinct values 3567 distinct values 674,339 distinct values 2021-5-576 主要内容主要内容 l为什么需要数据预处理为什么需要数据预处理? ? l数据清洗数据清洗 l数据集成与转换数据集成与转换 l数据归约数据归约 l数据离散化与概念层次的构建数据离散化与概念层次的构建 l本章小结本章小结 2021-5-577 2021-5-578 信息 可视化 数据 挖掘 可视化 数据 挖掘 2021-5-579 2021-5-580 2021-5-581 202