杂货店分类与聚类

第1／92第2／92第3／92第4／92X，值域是C第5／92很多分类体系Reuters第6／92法A类马列主义 TB类一般工业技B类哲 TD类矿业工C类社会科学总 TE类石油、天然气工D类政治、法 TF类冶金工E类军 TG类金属学、金属工F类经 TH类机械、仪表工GHI类文学J类艺术KNO类数理科学和化学PQ类生物科学 S类农业科学U类交通V类

TK类动力工业TL类原子能技术TM类电工技术TNTP类自动化技术、计算技术TQ类化学工业TSTU类建筑科学TV类水利工程第7／92

X类环境科学、劳动保护科学（安全科学

分类工分类工 类第8／92“nning

第9／92 第10／92 表（ContingencyABCD准确率(precision)aa率(recall)aafallout=b/(b+第11／92BEP（BEP（break-even当准确率 率相等时的值即为Fp,r2 2p

F

2pr prr时），因此BEP小于或等于F1第12／92 第13／92 第14／92 第15／92 ·第16／92第17／92

第18／92·第19／92P(H|E)P(H

P(E|H)P(HP(HP(HE)P(E|H)P(H得到：P(H|E)P(E|H)P(H第20／92P(ci|E)

n

|E)n

nn

P(ci)P(E|ci)P(E)P(E)P(ci)P(E|ci第21／92先验概率条件概率P(E|P(ci则 P(ci)=ni/Ee1e2…第22／92mmP(E|ci)P(e1e2.em|ci)P(ej|ci第23／92ciCP(ci)=|Di|/P(wi|ci)=(nij+1)/(ni+|V第24／92n为XnargmaxP(ci)P(wi|cin

第25／92第26／92

C={allergy,cold,e1=sneeze;e2=cough;e3=当前实例是：E{sneezecoughNaïveBayesP(well|E)=P(cold|E)=P(allergy|E)=最大概率类P(E)=0.089+0.01+0.019=P(well|E)=P(cold|E)=P(allergy|E)=第27／92y-tennisy-tennis例子TemperatureHumidityTemperatureHumidityWindyNNPPPNPNPPPPPNP(n)=P(p)=第28／92P(false|n)=P(false|p)=P(true|n)=P(true|p)=P(normal|n)=P(normal|p)=P(high|n)=P(high|p)=P(cool|n)=P(cool|p)=P(mild|n)=P(mild|p)=P(hot|n)=P(hot|p)=P(rain|n)=P(rain|p)=P(overcast|n)=P(overcast|p)=P(sunny|n)=P(sunny|p)=第29／92X<rain,hot,·P(X|p)P(p)=P(rain|p)P(hot|p)P(high|p)P(false|p)P(p) 3/92/93/96/99/14 =0.010582·P(X|n)P(n)=P(rain|n)P(hot|n)P(high|n)P(false|n)P(n) 2/52/54/52/55/14 =0.018286第30／92 20 第31／92朴素的假定在一个位置上出现的词的概幸运的是，在实践中朴素学习器在许多第32／92第33／92·对于测试样本点x，在集合中距离它最近的的x1。最近邻分类就是把x分为x1所属的类别最近邻规则的推广第34／92simMAX(y)MAXxNsim(x,A{xN|sim(x,y)simmax(p(c1|y)

n1

p(c2|y)

第35／92·k=1,A类第36／92第37／92··第38／92 第39／92 第40／92第41／92第42／92 第43／92第44／92第45／92

(OutlookSunnyHumidity(Outlook(OutlookRainWind第46／92第47／92第48／92第49／92第50／92Gain(S,A)Entropy(S)

SS

Entropy(Sv第51／92HumidityNNPPPNPNPPPPPN第52／92S[9,5]

SS

0.949(8/14)0.811(60.048第53／92

第54／92第55／92??

??Gain(Ssunny,Wind)=0.970-(2/5)1.0-(3/5)0.918=0.019第56／92第57／92

第58／92第59／92向前剪枝（forward向后剪枝（backward第60／92第61／92第62／92第63／92TextText第64／92页第页第66／92·率第67／92..........第68／92 worminsect第69／92 第70／92第71／92 第72／92SingleLinkCompleteLinkGroupAverage第73／92SingleComplete第74／92第75／92第76／92第77／92第78／92第79／92_ sim(ci,cj_

sim(x,cicj(cic

x(cicj)y(cicj):y1)1) _第80／92s(cj)

＿＿ sim(c,c)(s(ci)s(cj))(s(ci)s(cj))(|ci| (|ci||cj|)(|ci||cj|第81／92第82／92-

1x|c|x第83／92m(L2mL(x,y)(xyi)22L1L1(x,

mm

xi1 x 第84／92选择k个随机样例{s1,s2,…sk}作 对每个样例xi:将xicjd(xisj是最小的(Updatetheseedstothecentroidofeachsj=第85／92KMeans举例

Pick