数据挖掘算法介绍

数据挖掘算法介绍

－－综述

2004年12月17日数据挖掘数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。

KDDDMKDDKDD:knowledgediscoveryindatabase数据建模验证应用DMDM:dataming——KDD的一个阶段KDD与DM等同DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/TeamKitchen/DWH数据挖掘与其他学科的关系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization数据挖掘与OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的维度和数据类型用户控制的流程假设——验证——结论DM：没有明确假设的前提下去挖掘信息、发现知识——具有未知、有效、可实用三个特征能自动的发现隐藏在数据中的规律可以发现比OLAP更复杂而细致的信息未知——归纳——结论联系：OLAP——DMOLAM数据挖掘与统计学数据挖掘：数据挖掘利用了统计、人工智能、数据库等技术，把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题；不仅仅是统计分析；统计分析：统计分析技术都基于完善的数学理论和高超的技巧，预测的准确度还是令人满意的，但对使用者的要求很高

联系统计分析方法学的延伸和扩展

很多的挖掘算法来源于统计学前景预言：著名的咨询公司GartnerGroup在（2000年）一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位国外现状：成熟、产品：SAS、CLEMENTINE、UNICA、各大数据库国内现状：起步产品：大部分是实验室产品数据踏挖掘忌分类挖掘校对象基于白数据敌库的横挖掘基于we煤b的挖师掘基于汽文本懂的挖齿掘其他商：音脑频、年视频漂等多浅媒体茶数据顿库数据成挖掘痒分类应用响应内模型交叉旷销售价值驾评估客户此分群数据望挖掘携分类挖掘态模式预测逃型(Pr岸ed顾ic阿ti抓ve欢)描述怜型(De湿sc余ri坝pt候iv里e)实际示作用迁可分吉为以馒下几违种模婚式：分类扫：对杆没有减分类仍的数仪据进裁行分庸类；预测农：用绪历史抛来预疾测未幻玉来；关联汤分析膝：关乎联规北则；聚类鉴：物灰以类陷聚；序列瓶模式宝：在多伯个数习据序斩列中开发现研共同摊的行幕为模齐式;描述源和可亲视化扭：数克据挖拴掘的轿结果健的表拘示形赏式;偏差卷分析唯：从数症据分增析中炊发现子异常徐情况炮。数据眼挖掘杠分类我的芬理解错－挖号掘的傲算法叉分为科三个蜘层次费：模式炉：比榴如分的类、浮聚类怖－》模型贱：决伟策树油、神毕经网盘络－好》算法嫌：ID躲3、焦CH厘AI梦D、极BP举例趣：分类绣－决街策树衡－ID洁3、倒CH喊AI意D等；聚类盖－聚主类分道析－k-寒me尸an呼s、著EM等。数据显挖掘跟分类挖掘龙模型决策笔树(de偶ci救si慎on宪t哗re翼e)关联墙规则亚(as科so纱ci孔at压io垂n雪ru洁le浇s)聚类锋(cl书us权te掏ri锹ng脑)神经扮网络消(Ar协ti需fi当ci筝al设N哲eu阀ra居l度Ne咬tw霸or僵ks，简记穗作AN演N)粗糙声集(ro蔬ug紧h尘se浅t)概念吴格(co座nc接ep净t微la暑tt稀ic盆e)遗传霜算法晕(ge毙ne谊ti趁c亩al秤go壤ri桃th务ms灯)序列油模式违(se越qu杀en森ce资p娇at版te务rn)贝叶啊斯(Ba狼ye轨s)支持恩向量牛机(su习pp峰or谦t假ve避ct狠or艰m短ac腔hi向ne皮，简记真作SV睛M)模糊塌集(fu窑zz全y仪se灯t)基于懂案例嚷的推统理(ca吉se浑-b走as刊ed蹦r谈ea线so秆ni叔ng掘，简记霸作CB尝R)决策啄树决策泽树学速习是自以实筒例为问基础镰的归参纳学私习算侄法,着眼艰于从耳一组叹无次申序/无规拜则的最事例吸中推莫理出进决策翅树表傍示形昆式的微分类种规则阁；决策豪树基虏本算伐法是:贪心傲算法,它以岸自顶照向下略递归蜘、各溪个击鞠破方辱式构吃造决奋策树.关联燥规则关联腰规则蝇是形戏式如政下的湿一种过规则趟，“递在购啊买面献包和彼黄油饭的顾尊客中磨，有牙90屠％的范人同凉时也恼买了暑牛奶烤”（蓝面包场＋黄厉油丹→搜牛奶夸）；关联系规则醒的“冻三度雄”：观支持有度、债可信狗度、蚊兴趣废度。聚类聚类云是根衡据数突据的绢不同盘特征,将其醉划分砌为不教同的据簇（cl吨us泥te伶r）,目的招是使周得属泊于同课一个赚簇中栋的对绘象之证间具塌有较吨高的版相似宿度，晕而不藏同簇续中的刷对象通差别毫（相韵异度汉）较飞大；聚类蛋技术抄大致满分为崇五种袋：划分两方法庭（pa北rt泡it唉io盗ni吵ng狭m闯et尤ho磨d）层次湖方法议（hi扒er写ar雄ch叫ic圾al汇m粮et荷ho穗d）基于林密度秋的方举法（de知ns溜it等y-寒ba蚕se事d摸me感th畅od托）基于懒网格豪的方态法（gr倦id泥-b蹦as跌ed遮m醋et宰ho丽d）基于订模型贺的方僵法（mo辜de乳l-脂ba夸se棉d下me附th竿od故）神经守网络人工茄神经务网络，是对睛人类肆大脑啄系统伙的中插模拟惜；神经有网络物是一点组连票接的顶输入/输出男单元,其中润每个灰连接粗都与贱一个坚权相面关联,在学惠习阶稻段,通过寇调整雁神经乒网络汗的权,使得声能够堪预测软输入葱样本界的正至确类蜜标号历来学尸习。激励待函数盆的选屑择和幕权值肆的调融整粗糙由集粗糙从集理研论是捉一种壳研究岸不精蹄确、与不确穷定性悟知识粗的数秤学工袖具；粗糙衣集对义不精税确概个念的陶描述乏方法障是：辨通过用上近懂似概道念和削下近电似概末念这矿两个扇精确惯概念蚊来表芹示；一个革概念众（或横集合继）的供下近秋似指担的是渠其中俱的元纺素肯催定属晴于该诱概念胀；一肾个概摊念（找或集扣合）趁的上踪蝶近似尿指的洞是其翁中的箱元素丑可能去属于剧该概岛念。粗糙以集方悟法则艰有几艳个优执点：我不需听要预梨先知盗道的码额外痛信息倾，如胁统计杨中要闭求的闭先验馒概率醋和模捎糊集扩中要位求的寇隶属坏度；仰算法帐简单鲁，易宽于操奇作。粗糙激集理口论在泻知识馋发现舟研究款中有予着许增多具艳体应和用，素特别饱适合嫂于数集据之直间（步精确阶的或剥近似遮的）西依赖陷关系惊发现嫌、评扰价某善一分稍类（荡属性盼）的被重要医性、颂数据票相似托或差绒异发客现、粉数据槽模式障发现装、从膊数据愁中产典生一锦般决煌策规淘则、滩削减渠冗余生对象放与属塑性、抄寻求重属性为的最羊小子耽集以材确保鸟产生防满意嚼的近味似分青类等栗等粗糙岸集举例概念絮格概念惹格描陪述的享是对乔象和果属性运之间扫的联航系和茄统一套，表亡明概继念之饶间的室泛化关和例悠化关会系，绣相应扑的Ha孩ss渡e图实壁现数漂据的抗可视森化。遗传龄算法遗传味算法遭（Ge肤ne胞ti卧cAl灶go鄙ri踢tm甘s，简称GA凉）是以顿自然支选择验和遗秋传理慎论为哗基础稼，将坝生物苗进化施过程王中“塔适者葛生存并”规应则与菜群体疼内部饶染色纠体的派随机佣信息瘦交换势机制示相结离合的工搜索雨算法抹；遗传警算法斥主要惕组成扎部分防包括娇编码驶方案灿、适心应度附计算君、父床代选竞择、悠交换屋算子保和变臂异算醋子。序列乳模式是指厅在多慕个数叛据序傍列中日发现业共同踪蝶的行列为模偷式。通过新时间歼序列餐搜索渡出重蜓复发妻生概兄率较治高的航模式飘。这校里强风调时阳间序蔬列的炸影响宿。例如骡，在灵所有慨购买冲了激腾光打酿印机乖的人匆中，灵半年佣后80齐%的人砖再购减买新建硒鼓衬，20窝%的人尝用旧监硒鼓伍装碳柔粉；在所绵有购挎买了俱彩色葱电视粱机的圈人中岩，有60挽%的人俊再购笔买VC煮D产品；在时批序模撤式中性，需题要找技出在淘某个订最短穿时间主内出虑现比馒率一杰直高贯于某怜一最幻玉小百挎分比档（阈凝值）葱的规德则。贝叶贩斯贝叶部斯分伯类是归统计纪学的漏分类吹方法粪，其坊分析摸方法绳的特样点是劈燕使用妙概率猫来表巩示所胡有形谦式的但不确阻定性枝，学央习或上推理分都用闪概率箭规则赠来实帖现；朴素习贝叶邮斯分期类：卖假定佛一个拉属性恰值对壮给定注类的牢影响钢独立迷于其毯他属婚性的以值；贝叶希斯网处络：倘是用眨来表更示变针量间扩连接粗概率路的图竹形模涂式,吴它提牧供了纠一种慰自然叮的表未示因乱果信悬息的帖方法握,用怒来发企现数鄙据间坝的潜忧在关垒系。支持欧向量湿机支持请向量槽机（Su港pp木or执t吃Ve掌ct四or锐M芽ac筐hi扫ne浑,喊SV误M）建立卵在计冬算学镜习理工论的驳结构率风险鹿最小筋化(SR吹M)原则深之上记。其完核心劳问题闻是寻多找一皂种归盛纳原起则，命以实上现最尚小化飞风险胀，从貌而实检现最劳佳的驱推广竞能力棕。而央且SV伍M一个惊重要傅的优聋点是域可以券处理有线性趁不可步分的仅情况。以往偶的机雄器学岂习理岗论的双核心渔是经欲验风车险最禽小化殃原则钞（ER鱼M）模糊必集模糊盖集：泻不同娃于经赴典集衣合，求没有遇精确牢边界橡的集傲合；定义臣：设X是对煌象x的集训合，x是X的任深一个惠元素姜。X上的哑模糊阶集合A定义牛为一熔组有像序对漠：A＝沫{（危x，天uA(X松)）老|xX},其中uA(X)称为殊模糊丢集合A的隶虽属度侨函数丽（me喇mb捉er树sh漏ipfu粥nc持ti肯on层,M间F）别MF将集爹合中且的元弦素映父射为较0到脏1之回间的雀隶属裳度；隶属谊度为散0，冶或者隶1，台则A