数据分析与R语言09

豳

数据分析与R语

言第9周

2012.7.20

DATAGURU专业数据分析网站

支持向量机SVM

■问题的提出：最优分离平面（决策边界）

2012.7.20

DATAGURU专业数据分析网站2

优化目标

■决策边界边缘距离最远

2012.7.20

DATAGURU专业数据分析网站3

数学模型

w.x+b=0

bn：w-x+b=1

如：w-x4-=-1

w.(xi-x2)=2

||w||xd=2

-l|w||

2012.7.20

DATAGURU专业数据分析网站

［问题转化为凸优化

w・Xi+b》l如果

wXj+bW—1如果M二-1

2

minEM

W2

受限于必(w・Xi+))三1,1=1,2,…，N

2012.7.20

DATAGURU专业数据分析网站5

拉格朗日乘子法未知数太多

X（w・Xi+b）21

2012.7.20

DATAGURU专业数据分析网站6

KKT变换和对偶公式

・Xj+。）T]=o

N1

LD=X'i-孑^彳几/力%玉

i=i乙ij

2012.7.20

DATAGURU专业数据分析网站7

［问题的解决和神经网络化

■对偶公式是二次规划问题，有现成的数值方法可以求解

■大部分的拉格朗日乘子为0,不为0的对应于〃支持向量〃（恰好在边界上的样本点）

■只要支持向量不变，修改其他样本点的值，不影响结果，当支持变量发生改变时，结

果一般就会变化

■求解出拉格朗曰乘子后，可以推出W和b,判别函数可以写成以下神经网络的样式

N

AZ)=w•z+Z?)=sign(Z4^x.-z+b)

i=l

2012.7.20

DATAGURU专业数据分析网站8

支持向量机神经网络

2012.7.20

DATAGURU专业数据分析网站9

聚类

聚类和分类判别有什么区别？

X2

2012.7.20

DATAGURU专业数据分析网站10

I关键度量指标：距离

■距离的定义

■常用距离（薛毅书P469）

绝对值距离

欧氏距离

闵可夫斯基距离

切比雪夫距离

马氏距离

Lance和Williams距离

离散变量的距离计算

DATAGURU专业数据分析网站11

|dist()函数

xl=c(L2,3,4,5)nn

>dist(xzmethod=euclidean)

1234

x2=c(32L46)22.449490

x3=c(5,3,5,6,2)32.8284272.449490

43.3166254.1231063.316625

55.R309525.0990206.1644144.5H2576

x=data.frame(xlzx2zx3)

n

>disL(xzmeLhod=niiiikowi5ki*,)

1234

22.449490

32.8284272.449490

43.3166254.1231063.316625

55.8309525.0990206.1644144.582576

nn

>dist(xzmethod=minkowski,p=5)

1234

22.024397

32.2973972.024397

43.0049223.1436033.004922

54.3231014.1746865.0850574.025455

2012.7.20

DATAGURU专业数据分析网站12

dist()函数

nnnnnnnnnn

>yl=c(F,F,MzFzM)

>y2=c(”A"，”B“，“B“，“C“，“A”)

>y3=c(2,3,1,2,3)

>y=data.frame(yl,y2zy3)

nH

>dist(yzmethod=binary)

1234

20

300

4000

50000

警告信息：

Indist(yzmethod="binary"):强制改变过程中产生了NA

>71=0(1,0,1,1,0,0,1)

>y2=c(l,0,0,0,l,l,l)

>y3=c(lzlzlz0,0zlzl)

>y=data.frame(ylzy2,y3)

nn

dist(yzmethod=binary)

123456

20.6666667

30.33333330.5000000

40.66666671.00000000.5000000

50.66666671.00000001.00000001.0000000

60.33333330.50000000.66666671.00000000.5000000

70.00000000.66666670.33333330.66666670.66666670.3333333

2012.7.20

DATAGURU专业数据分析网站13

I数据中心化与标准化变换

■目的：使到各个变量平

>X

等地发挥作用xlx2x3

■scale()函数1135

2223

■极差化。sweep()函数3315

4446

(薛毅书P473)5562

>scale(xzcenter=TRUE,scale=TRUE)

xlx2x3

[1,]-1.2649111-0.10397500.4868645

[2Z]-0.6324555-0.6238503-0.7302967

[3Z]0.0000000-1.14372550.4868645

[4,]0.63245550.41590021.0954451

[5,]1.26491111.4556507-1.3388774

attr(,"scaled:center")

xlx2x3

3.03.24.2

attr(,Hscaled:scaleH)

xlx2x3

1.5811391.9235381.643168

2012.7.20

DATAGURU专业数据分析网站14

［对变量进行分类的指标：相似系数

■距离：对样本进行令类

■相似系数：对变量进行分类

■常用相似系数：夹角余弦，相关系数（薛毅书P475）

2012.7.20

DATAGURU专业数据分析网站15

I（凝聚的）层次聚类法no露曷曜

■思想

1开始时，每个样本各自作为一类

2规定某种度量作为样本之间的距离及类与类之间的距离，并计算之

3将距离最短的两个类合并为一个新类

4重复2-3,即不断合并最近的两个类,每次减少一个类，直至所有样本被合并为一类

2012.7.20

DATAGURU专业数据分析网站16

各种类与类之间距离计算的方法

■薛毅书P476

■最短距离法

■最长距离法

■中间距离法

■类平均法

■重心法

■离差平方和法

2012.7.20

DATAGURU专业数据分析网站

|hclust()函数

■简单的例子(薛毅书P480)ClusterDendrogramClusterDendrogram

>x<-c(1,2,6,8,11);dim(x)<-c(5,1);

>x

[,H

[lz]1

[2Z]2

hdustr，'wigtelhcluslf."completel

[3Z]6

ClusterDendrogramClusterDendrogram

[4Z]8

[5,]11

>d<-dist(x)

>d

1234

21

354

4762

510953hclust(*.hdustC.mcourttv")

>hcl<-hclust(dz"single");hc2<-hclust(d,“complete")

nn

>hc3<-hclust(dz"median");hc4<-hclust(d,mcquitty)

>opar<-par(mfrow=c(2z2))

>plot(hcl,hang=-l);plot(hc2,hang=-l)

>plot(hc3,hang=-l);plot(hc4,hang=-l)

>par(opar)|

DATAGURU专业数据分析网站18

各种谱系图画法

■as.dendrogram()函数(薛毅

书P482)

dendl<-as.dendrogram(hcl)

opar<-par(mfrow=c(2,2),mar=c(4,3,l,2))

plot(dendl)

plot(dendl,nodePar=list(pch=c(l,NA),

ce:<=0.8,lab.cex=0.8),

type=*t",center=TRUE)

plot(dendl,edgePar=list(col=1:2,Ity=2:3),

dLeaf=l,edge.root=TRUE)

plot(dendl,nodePar=list(pch=2:1,

ce:<=.4*2:l,col=2:3),

horiz=TRUE)

par(opar)

2012.7.20

DATAGURU专业数据分析网站19

对变量进行聚类分析

■例子（薛毅书P483）

巴

2012.7.20

DATAGURU专业数据分析网站

分多少个类?

函数

■rect.hclust()ClusterDendrogram

O

中

O