资料采矿准备工作.ppt

1、资料采矿准备，吴济聪教授，Agenda，哪些资料是资料采矿资料质量议题资料准备结论问题和讨论，哪些资料适合资料采矿，Data mining从大量资料中找出潜在的、可能性和有兴趣的知识。 数据，知识，动作，值，数据库，数据marts，数据仓库(dw )， database single-subjectdatawarehousesubsetdecisionsupporttosmallgroupcanbetestforexploringpotentialbenefitsofdatawarehousesaddd lems，系统的主要概念和意义，从不同来源检索数据，以单一、完整、一致的原则存储，有效理解

2、和使用企业环境中的这些个数据，数据仓库(dw )， integratedcentralizedholdsdataretrievedfromentireorganizationsubject-orientedoptimizedtogiveanswerstodiversequestionsusedbid o fdatathroughtimeprojecteddatanon-volatiledataneverremovedalwaysgrowing，资料品质议题， 资料质量的重要性资料质量差可能引起的问题由于不必要的时间和金钱的浪费导致错误的决定增加客户和组织内部成员的不信任感，推迟技术升级，长期的

3、运营战略，资料质量的意义，精准性(completeness ) 影响“完全性”(completeness )“有效性”(timeliness )“完整性”(timeliness )的“精准性”(accuracy )是数据库中数据与真实值之间的密切关系，很难测量正确度。 因为我经常不知道真正的价值。 一致性是指在基于计量资料的环境中可以完全表示研究目标的情况，很多数据质量问题都是由于缺乏一致性而发生的。 多数情况下，数据是准确的，但由于缺少完全性，数据质量差，而且完全性也很难测量。 时效性是指数据的流通情况，即上次更新数据库的时间。 有些变量特征与时间无关，但有些变量特征与数据无关，在处理与时间

4、有关的特征时必须同时发生。 一致性是指在数据定径套内和数据定径套之间的定义和内容没有不符点，而是通过根据数据特性定义许多约束来自动检测数据的一致性。 数据错误是在免不得、数据录入和检索过程中，数据错误的免不得数据集成可能会因错误数据传输过程而产生错误，有两个评论： 1、数据质量问题是美国企业每年花费超过6000万美元的2 .分析工作花费30%到80%的时间来整理和理解资料改善数据质量的方案是能够从过程管理数据库元数据(meta daata )和专业背景知识集成修正技术数据库、数据准备、CRISP-DM、NCR、ISL、data四个角度探讨改善数据质量的问题的资料准备是最重要的步骤，资料准备处理

5、在整个数据挖掘过程中，数据准备的重要性和时间是其他步骤的掌门人。数据准备、数据选择、数据清洗、数据转换、数据集成、数据转换、数据简化、数据选择、数据转换、数据选择、数据转换、数据转换采样目的：提高效率的训练模型、抽样方法简单随机抽样、系统采样、分层采样等，以提高效率为目标，进行采样，进行采样，以提高效率。 群采样(cluster sampling )渐进采样法(progressive sampling )预测采样法(predictive sampling )自适应采样法(adaptive sampling )、系统采样。 T11、T12、T13、T14、T15、T16、T17、T18、T19、

6、T20、T21、T22、T23、T24、T25、T26 T997、T998、T999、T1000、T1、T6、T11、T16、T21，和T13，T14，T15，T16，T17，T18，T19，T20，T21，T22，T23，T24，T25，T26，T27，T28 T99，T100，T601，T602，T603，T604，T605，T201 T221，T222，T223，T224，T225，T226，T227，T228，T229，T230，T231，t232，t300，高雄，集体取样(按地区)，台北T1，T6，T9，T10，T11，T19，T20 T34数据清理的主要目的是改进数据质量，提高数据

7、清理结果的质量和效果：缺少数据的处理噪音数据的处理修正不匹配的数据、缺少值的处理、缺少值产生的原因null值只有在缺少分类标签条的情况下才采用该方式，在各变量的缺少值的百分比变化大的情况下，性能低。 将所有变量的缺少值替换为相同的常量。 例如，换成“unknown”值得注意的是，可能会误以为在数据明亮时发现了有趣的特性。缺失值处理方法、“插值法”(imputation )将缺失值替换为一个以上的数值。 例如，利用平均值插值法、热板法(hot deck )、回归模型等，或者利用数据侦听技术从已有的数据预测缺失值。 采用专门人才经验法则：专门人才制定替代规则，按规则取缺失值的替代值。 进行磁卡插值

8、法、噪音数据的处理、数据的结构域分析(domain analysis )，确定数据值的有效性。 “噪波”(noise )是测量变量的随机错误或偏差。 使用不正确的测量工具、测量环境的差异、人为因素会导致无法控制的检验误差。 噪音数据处理方法通常采用平滑技术(smoothing )处理噪音数据：计算机与人工检验的结合：计算机与人工检验的方式，可以共同识别离群点(outlier )。 装箱：参照相邻的值平滑噪声数据值。 将数据分配给某些框，并参照框内相邻的数据值进行本地平滑。集群(clustering ) :离群点由集群检测，其中集群可分组相似值，并且集群集合之外的值可被认为是离群点。 回归：使用

9、回归函数平滑数据。不一致数据的处理、数据标准化，统一定义相同意义的数据值，对不同数据源统一数据类型，解决数据不一致的问题。 数据转换、将数据转换成适当格式的数据挖掘、数据转换技术、数据收集校正：收集和校正数据。 例如，可以修订每日销售数据。 通常，此步骤创建用于多维数据分析的数据立方。 数据转换技术，数据概括：通过概念层次将低级或原始数据转换为高级概念。 对变量进行分类、重组，将“城市”等类变量变换为“城市”或者“国家”，将年龄等数值变量分类到小二哥、中年、老年3个班。数据转换技术，规范化：将数据值转换为特定区间。 例如，从0到1之间，-1到1之间。 在使用基于距离的数据挖掘算法(如神经网络、

10、最近的距离分类或克拉星空卫视)进行分析的情况下，资料是预先标准化的，包括0和1之间的资料、资料转换技术、属性结构：给定属性结构和新属性(如，属性)。 将来自数据集成、多个数据源的数据合并到一致的数据存储老虎钳(如data warehouse )中。 集成的数据可以是数据库、数据立方或文件中的一个。数据集成问题、实体识别问题(entity identification ) :匹配不同数据源实体，不同数据库中的字段来自同一实体，用于指示和识别有木有。 可以在数据库或DW的数据库元数据中解析。 冗馀数据问题：同一变量重复出现，不同数据源中变量的名称不匹配。 数据不匹配问题：在同一实体不同的数据源中，

11、同一变量具有不同的数值。 也许，代表意义、度量或编码数据的意义差异是对数据集成的重大挑战，数据简化、在大量数据中进行数据挖掘需要花费时间的数据简化方法、数据聚合：数据的数据收集修正技术可以修正数据中现有字段的值，也可以修正数据字段。 比如把月薪变成年薪，按地区统一年生产量等。维简化：选择数据中的变量、缺少相关变量或保留不相关变量是有害的，通常使用“属性子定径套选择”(attribute subset selection )方法。 无关或冗长的变量可增加数据量，维度的简化可删除无关的变量以减少数据量，从而提高效率。 数据压缩：当预测：是否喜欢某个产品时，可应用数据查询密码或变换来消除电话号码，留

12、下年龄、性别和收入，从而得到原始数据的简化或压缩的指示。 数据压缩分为可逆压缩和不可逆压缩。 如果原始数据可以在不丢失任何信息的情况下以压缩数据重新建构，则使用的压缩数据技术不会受到损害，反之亦然。 相对常规的数据压缩方法有小波变换和主成分分析法，两者都属于非无损数据压缩方法。以及a & b；c . 尺主成分分析法PCA，一般学校的科目有语文、算数、自然、社会等。 各学生的成绩是各科成绩分别加起来的。 根据各科考试的内容，各科必须以加权比率来纠正分数的总平均值在一定程度上表现出综合意义。 在第I个考生的成绩中，我们能够使用那个加权分数，最有效的区别是p维度空间中的单位矢量(unit vector )，表示方向的概念即主成分(principal component )方向。 主成分分析法的目的不仅是寻找平均值，而是寻找最有洞察力的平均值。 从数学上讲，就是寻找使加权分数变异数最大化的方向。 主要成分是椭圆的长轴方向。 短轴的方向与长轴垂直，是第二个主要成分的方向。 如果是p2，则有第一、第二、和第p个主成分方向。 它们相互垂直。 在p4中，我们不能画画。 在资料本身中寻找对所有变异最有影响力的方向、第二有影响力的方向、等。当然，我们希望找到能够解释大部分数据变异的方向，得到降低原始数据维数的效果。 这就是主成分分析法。 主成分分析法模