决策树(文献翻译-节选).doc

本科毕业设计（论文）外文参考文献译文及原文 学 院 管理学院 专 业 信息管理与信息系统 年级班别 2008级（6）班 学 号 3108006406 学生姓名 张钟权 指导教师 胡凤 2012年5月目 录（一）外文文献译文14 决策树14.1 介绍14.2 决策和模式分类24.2.1 统计模式分类24.2.2使用逻辑相互关系34.3 决策域5 4.6决策树实例6（二）外文文献原文114 Decision Trees114.1 Introduction114.2 Decision-Making and Pattern Classification144.2.1 Statistical Pattern Classification144.2.2 Use of Logical Inter-relationships154.3 Decision Regions17 4.6 Decision Tree Examples19 （一）外文文献译文4 决策树4.1 介绍统计决策广泛应用于实验地球科学，它在环境科学中扮演着更重要的角色，由于环境系统随时间不断改变，需要根据观测系统和可能情况不断地矫正行动（采取不同的行动策略）。一组可能的矫正措施通常在一个决策环境中，称为决策集。一些物理属性（或变量）的观测值是潜在有用的，这也是可采取的矫正措施的一种情况。在系统中根据新的情况不断地矫正措施，目的是为了减少损失，或成本或为了最大利益。考虑到成本是一个负收益，对一个给定的决策问题，科学家和企业人员看法了一个综合单一标准成本最小。一个好的决策应该满足：一、综合成本最小，二、最优决策。获取和收集物理变量值的过程也被称为特征提取（特征变量）、变量测定，这些变量有时候也被称为特征、特征变量、测量。这些特征变量中的一些变量可能会对决策有影响，确定这些变量是一个挑战。它们可能是成本、风险或者是在收集这项变量过程中的其他损失。在另外一些情况下，获得测量结果的时间延迟也可能增加决策成本。这可能要承受某些损失，这是因为由于测量过程的时间延迟，一个矫正措施并不能被较早的执行，这些损失应当被计入综合成本中。因此，决策的过程中可能还包括决定是否收集某些测量。在一个决策系统中，所有变量的数学空间以及它们的成本是可以设想的（计算得到的）。与每一个综合变量值有关，做出一个决定的总括成本，包括每一个测量成本，是也是可以设想（得到）的。接着，对没一个特征测量的组合的最优决策也是可以设想（得到）的。这样的一个表示所有复杂变量之间相互关系的数学变量被称为“模型”。特征变量、成本、以及参数的测量被整合到一个单一的成本标准中。用来表示相互关系的其他数学数量和函数体现了模型的相关信息。不幸的是用精确地数学空间表示决策成本和最优决策图仅仅是一个设想、一个理想。通常情况下，恰恰是不确定性的数学量化相互关系才是我们所需要的。可能一些关系是确定性的，另外一些确实统计的。用先验的知识去精确量化统计关系本身可能是有限的（有问题的）。最后，即便是我们可以得到一个设想中的完美的表征相互关系的数学空间，它们的表示和计算最优决策可能需要令人可怕的数量的计算机内存和计算能力。人工智能建模和决策方法在很多情况下式有用的。它们在降低表示复杂度方面很有用。在某些情况下，它们通过决策过程动态的表示模型，而不是试图建立一个巨大的可能无法管理的静态的表示。它们对不确定关系的近似表示也很有用。总之，人工智能在降低计算（这些计算在计算最优决策时必需的）复杂度方面很有用。人工智能通过启发式方法能够得到几乎是最优的决策。决策树是一种人工智能方法，也是本章的主题。 根据一个模型开展工作目的是帮助我们决策。根据排位赛模型，区分不同的形容词像精确的（exact）、精准的（precise）、完整的（complete）和统计的（statistical），使它们有序。一个完整的模型解释了所有可能的相互关系。一个精确地模型（precise）明确的描述了相互关系，没有含糊之处。例如，语句“由于人的呼吸道敏感性，对人类而言，高臭氧水平的环境会导致相当大的不舒服”指定了一个关系。但它不是数学的精确描述，它使用了主观性的词语“高”和“相当的”。一个说明书可以说是精准的（precise），但这只是大约而不是精确（exact）。有些关系是统计的而不是确定的。完整的、精准的（precise）统计关系和正确的说明在下面的情况下与精确定义的确定的关系具有非常相似的意义。在统计关系的情况下，根据决策总体成本的统计平均值或期望值最小化，来获得最佳决策，而不是根据减少精确的整体成本。显然地，根据上面论述，在环境科学应用中，一个完整的精确的模型通常是不能构建的。即使我们愿意接受相似的但完整指定的模型，我们也可能不能及时得到。如果观测值的获取和决策是在有限资源的情况下做出的，时间也是一种资源，那么模型可能是部分指定或者参数不是非常的精确。气象就是这样的应用。气象现象是观察天气的事件。温度、压力、水蒸气等都是影响因素。这些物理量之间相互作用。这些物理量在三维空间和时间的四维空间上也是物理属性，它们对气象时间的发生有重要影响。此外，上述物理属性在预测未来一段时间内的气象时间非常有用。虽然预测的准确性有了极大提高，但总有进一步提高的空间。一系列物理属性及其组合的测定对正确认识（预测）各种重要事件是极其有用的。事实上，各种转换变量和转换组合的数量几乎是没有限制的，这一点可能会潜在地增加分类结果的准确性。而且，不同属性（和属性的组合）的不同转换也可能是必须的。因此，关于这一点的研究有很多（开放式的）。本章研究了一类分类（决策）算法。这些方法给予统计的不完整的逻辑相互关系构造模型。总的目的是发展和引导决策算法，即决策树。根据上面提到的理论，这种方法适用于很多实验地球科学领域。本章中的最后算法也被称为多级分类和多层分类。4.2 决策和模式分类4.2.1 统计模式分类 在统计模式分类最简单形式中，模式分类（Duda et al 2001）规定，一个给定的数据向量X被分配到几个已知的类别w1，wk中。数据向量X由m个测量结果组成：X=x(1),x(2),x(m) (4.1)如前所述，每个测量都是一个特征，它的值与数据向量X一致，都受模式类的影响。一个特征可能是重要的，或者序数的（其重要性通过在一个重要性序列体现），或者无价值的（少价值的）。一个具有重要价值的变量，用一段连续的实线表征其价值。一个具有序列的价值的变量，通过一个有序的数列，比如整数，体现其价值。一个没有价值或者具有很少价值的变量，用一个没有自然序列的有限序列表示其价值。一个无价值的例子就是某种现象的出现或者不出现，像材料样品中出现特别的污染物（这种现象几乎不可能出现）。在很多已经设计完成的分类应用中，我们知道类的先验概率Pi，分别对应类wi，我们也知道类的条件概率密度函数P(x|wi),对应每一个类wi和观察空间中所有的向量点X。我们根据最大化后验概率来分类观察数据。也就是说，如果求得的后验概率是wi（wi的后验概率最大），就把观察到的数据向量X划分到类wi.P wi|xPwj|x,对于每一个j（1,2，k） （4.2）根据概率论中的贝叶斯定理，一个类的后验概率可以表示为一个函数。这个函数由该类的先验概率函数和条件密度函数组成，如下所示：，j（1,2，k） （4.3）上式等号右侧的分母与j无关。因此，公式（4.2）的决定性因素简化为公式（4.3）的等号右侧分子的最大化，分子与所有的j有关。也就是说，如果满足下面的条件，数据向量X就属于类wi：P(x|wi)P(x|wj) ，j（1,2，k） （4.4）上述方法的决策取决于统计地表达所有数据变化情况的能力，包括含有所有测量数据的多维数据空间。4.2.2使用逻辑相互关系 纯粹统计方法构建数据模型进行决策是一种极端的方法，另一个极端是纯粹的逻辑相互关系。这种逻辑的相互关系可以通过不同类型的数据分析构建，而不是纯粹的统计模型。这些相互关系可能是完全确定的，也可能是近似确定的。在实践中，逻辑相互关系和数据统计分析常常被综合使用。如果逻辑相互关系能够保证在每次决策的实例中都是不错的，在使用中就可以认为它是完美的。相同的信息，如果对每一个测量组合都能产生最后的决策（而不是一个局部决策），那么这个信息就被认为是完整的。一个如此完整的完美的可用的逻辑相互关系，避免了统计方法的缺点。一个如此理想的情况在应用中是罕见的。在现实生活应用中，我们通常只有不完善不完整的模型信息。这就是（也是）常见的已知信息以及根据这些已知信息做出的决策，这些数据称为模式训练样本。实用的决策算法是在逻辑相互关系和统计训练样本的帮助下进行了最优设计的。下面用一个简单的虚拟例子说明此方法。一个病人因为类似流行感冒的症状，访问他的家庭医生。感冒的可能原因是上呼吸道感染或者病毒感染。虽然没有对病毒感染的治疗，但是在某些情况下，继发性病毒感染可能会在两种情况中的一种发生。有此类风险历史的患者应该与没有此类历史的患者区别对待。图4.1显示了一个可能的逻辑相互关系模型。医生会检查病人的发烧情况。对于三个可能的发烧（fever）水平（或者等价），采取的措施也是不同的。对于低发烧水平的病人，医生会检查的病历以确定他是否有感染的风险。如果病人处于危险中，医生就开处方药物消除感冒症状（图中决策C表示）。如果病人是高烧的情况，医生会开抗生素和感冒药物（图中A&C表示）。其他情况，医生不开任何药物。当然，如果病情在一两天内恶化，病人需要重返诊所。这是通过“wait”表示的。这是一个逻辑相互关系模型的例子。这个例子假设，医生有一个风险因素清单并且这些风险因素没有模糊性。然而，这种模型仍然是不完善的，因为这里没有详细说明如何去区分高烧和低烧。最终的决策算法需要一个阈值体温来判断高烧还是低烧。一个好的阈值可以通过研究图4.1 一个说明模型和统计训练的简单例子过去的很多有关体温变化对病人病情影响的例子来确定。这个阈值的确定也会受到过去不同体温下病人的不同处理方式的影响。过去病人的观测数据构成了统计训练样本。在上面的例子中，医生通过一系列的局部决策最后得到最终决策。在每一个阶段，对案例（上面的病人）的相关信息进行审查并预测进一步的措施。在每一阶段，都要从可能的行动中选择一个。这种决策方法称为决策树方法。相应的决策模式（方案）的图形表示称为决策树。 在一般的决策模式（方案）（包括决策树）中，对没一个测量特征组合的存在一个最优决策。因此，测量的数学空间被划分为不同的最优决策区域，这些区域称为决策域。相邻决策域的边界称为决策边界。4.3 决策域 像上面介绍的一样，决策算法在数据空间X中产生决策边界和决策域。也就是说，多维的数据空间被分成了许多小的区域，并对每个区域进行标示。很能有多个不相交的区域构成一个单独的类。下面是一个假设的例子。图4.2是一个有4个决策区域和两个测量，X和Y的例子。 图4.2 决策域的例子在这个例子中，X轴的值从0到24，Y轴的值从0到16。决策区域1在一个椭圆中，椭圆的长轴与X轴平行。该椭圆中心在（4,12），长半轴长度为6，短半轴长度为4。决策域4是一个圆心在（12,8），半径为4的圆。决策域3在图的右上方，下界为过点（12.16）和（24,8）的直线。其他区域为决策域2。与离散型变量一样，如果数据向量也有序列的或者无价值（很少价值）的特征量，特征量的测量空间将是连续的。在现实中，观察数据的类先验概率函数和类条件概率密度函数通常是不能准确得到的。接着根据有限样本训练数据集设计模式分类器。从数据样本训练集开始设计分类器有几种方法。通常情况下，我们可以从每个类中选择几个数据向量。一个标记样本集有k个类w1，wk 中的数据组成。wi类中的数据向量ni为：，j=1, and i=1，k （4.5）是来自类wi的第j个数据向量。在一些应用中，训练数据样本的相对数量完全可以用来表示先验概率。也就是说 （4.6） 可能是Pi的一个很好的判断。在一些其他应用中，我们可能会试图提供一个具有尽可能大的训练样本集。在这种情况下，来自不同类的数据样本的相对数量可能不会与类的先验概率相似。实际应用中，这种情况下的相对比例是已知的或由其他方法求得。例如，在特定的季节，我们知道中午的天气情况（无任何额外的信息）具有以下的概率：Psunny=0.75， （4.7）Prain=0.15， （4.8）Pcloudy=0.07， （4.9） Psnow=0.03， （4.10）然而在另外一些应用中，对所有的类假设一个相同的概率是合理的。每个类的数据集都可能被用来评估该类的条件概率函数的参数，这个参数是基于一个已知的或者假定的概率密度函数。一个概率密度函数的集合的例子就是用高斯概率函数集表示单一特征测量。平均值和方差的不同值对应于概率密度函数集的不同成员。密度函数的均值和方差与概率密度函数的参数一样是已知的。概率密度函数集中的其他成员可能除了均值和方差外，还有其他参数。例如，一个连续随即变量的联合概率分布可以用它可能取到极值（最大值、最小值）很方便的表示出来。在这种情况下，这些极值就是概率密度函数的参数。一个随即变量的概率密度函数是其概率分布函数的导数。后者也成为累积分分布函数。模式分类和决策的一个完全定义的统计模型使用概率密度（或分布）函数作为对象（或事件）的特征测量。这些对象或事件来自模式的每一个类。自然中一些类发生的类先验概率也是经常使用的。决策系统所需的所有的参数值对一个完整的详细说明也是必需的。这种使用概率密度函数集和对参数估值的方法来设计模式分离器的方法，被称为参数化方法。最终，分类算法为特征测量数据空间的每一个数据点分配一个类标签（将每个数据进行分类）。分类的规则是按照4.2部分公式4.4所表示的正确分类规则最大概率规则。类分类的结果将特征数据空间划分成不同的决策域。4.6决策树实例对于给定的决策域（如图4.2或4.3中的决策域），要实现模式分类算法需要按照一定的步骤。通常，对于一个给定的数据点（x，y），我们应该顺序确定选择点（x，y）的直线或者曲线的哪一边。如果我们有一个三维数据，那么这个几何空间可以分成两个相邻的区域，即面。如果我们有一个较高维的数据，通过数学公式将数据空间分成两个相邻的区域，这种区域我们成为超曲面。如果仔细一点地话，我们会发现在整个可能的数据测量区域并不总是需要确定在数据线（二维数据线）的那一侧。根据这个决策步骤，当前的决策线能够指导我们选择哪一条线到下一个决策点，直到做出最后的决策。这种算法相应的被称为多级分类模式。一般的多级分类器和决策树的区别是有些主观的。一般来说，在决策树中，测试功能的评价和在每一阶段进行的下一次行动的决策是简单的。举一个例子，从两个选择里面选取一个的决策行为。这就需要在每一步根据一线简单的变量参数进行门槛比较，这就是一个简单的多级分类器。这样的分类器同时也是二叉决策树。图4.11显示了另外一种模式的决策域。请注意，这种决策域的边界是直线段，并且平行于坐xy标轴的一条轴。同样地，整个矩形的长是24个单位，高是16个单位，以坐标轴底部的左角落为原点。横坐标和纵坐标线段的值是必要的，并在线段的外侧标识出，完整地表示了整个决策域。各区域的标签是数字1、2、3、4和5，标示在各决策域内。针对这种决策区域，我们可以用决策树的方法实现决策算法。而且，我们可以考虑使用二叉决策树。回想一下，在一个二叉决策树中，每一个决策点检查一个条件，结果是yes或者no，直到做出最终的决策。图4.2所示是一个二叉决策树，树的每一个边都是一个比较，x或y与对应的阀值比较。图4.11 矩形边界 第一阶段检查y是否小于7。如前面所约定，结点的左分支表示yes（真），右分支表示no（假）。显然，我们可以构造这样的决策树，在每一个特殊阶段的测试都可能产生一个可能的结果（两个或两个以上肯能个结果中的一个）。在这种情况下，决策树并不是一个二叉树，而是普通的树。图4.13显示了一个完成图4.11决策的决策算法的决策树。图4.12 二进制决策树图4.11的例子图4.13 一个非二进制决策树图4.11的例子在图4.13中，如果测试结点的结果只有两个，左分支表示true，右分支表示false答案。在某些条件下，多分支表明这个判断条件含有一个特殊的分支。我们也可以构造决策树，树中的测试可能会涉及到多个特征变量。一个有意思的例子如下：图4.3中的决策边界都是直线段，但是这些直线段既不平行于x轴也不平行于y轴。然而每一个直线由联立方程的变量x和y确定。方程的两边由两个可能的（相应的、不相等的）结果精确表示。因此，对于图4.3所示的决策区域，我们可以构造二叉树。树中的每一个测试都涉及两个变量x和y的线性组合。构造这样一个针对图4.3的决策域的决策树是一个综合练习，我们建议读者进行练习。决策边界并不要求一定是直线段，才能像决策树一样设施决策算法。当然，如果决策树的各个阶段的测试都非常复杂，使用决策树来实现决策将是值得怀疑的。让我们用图4.2所示决策域作为例子，通过决策树进行分类。椭圆的基本方程是（该椭圆的圆心为坐标面的原点，其主轴、次轴分别与x轴、y轴共线）： （4.13） 其中a是椭圆在x轴上的截距，y是椭圆在y轴上的截距。长轴，椭圆上两点之间距离最大且通过椭圆圆心，是2a；短轴，最短的距离，是2b。转移椭圆的中心，并用半长轴和半短轴取代例子中的a、b，我们有椭圆的公式如下： （4.14） 进行简化，我们得到椭圆的公式如下： （4.15） 椭圆所对应的区域标识为1，它是所有满足下面不等式的所有点（x，y）的集合： （4.16） 在上面不等式（4.16）中，u是一个复合变量，由初始数据测量x和y转换派生得到的。对于一个半径为r，圆心在原点的圆的公式为： (4.17) 在我们的例子中，转换圆心并令半径的长度为4个单位，我们有 （4.18） 简化为： （4.19） 该区域对应第4类，它是满足下面不等式的所有点（x，y）的集合： （4.20） 与前面的例子一样，v也是一个复合变量，是由初始数据测量x和y转换派生的。如果一个直线过两点（x1，y1），（x2，y2），那么它的方程可以表示如下： （4.21）在我们的例子中，将类3与其他类区分开的直线过点（12,16）、（24,8），那么这条直线的公式为： （4.22）化简得，直线的方程为：2x+3y-72=0 （4.23）类3 的区域是满足一下不等式的点集：w=2x+3y-720 (4.24)同理，w也是复合变量，由变量x和y衍生出来。有了这些准备，用决策树实现分类就简单了。图4.14所示的就是这样一棵决策树，树的各个阶段是简单的阀值比较，然而，与阀值进行比较的变量是来自椭圆和圆的非线性转换，以及直线的线性转换。 以上的例子说明了决策树的几个特点，以及它的结构和操作。所有的这些决策树根据三个给定不同决策域的例子构造的。因此，如果他们能够满足下面任一个条件，那么这些方法就是直接有效的。1. 我们知道决策域。2. 我们知道数据测量的类先验概率和类条件概率函数。在这种条件下，我们可以根据公式4.4所给出的最大后验概率决策模型精确地得到决策域。图4,14 二进制决策树图4.2的例子在许多实际应用中，我们需要根据不完整的物理系统数据、样本类型已知的训练数据、未分类的数据以及它们的组合设计模式分类器。在这种情况下，我们尝试设计出像决策树一样有效地分类器。也就是说，我们不再是实际决策边界，然后将它们转换成决策树（就像我们在前面的例子中所做的那样）；而是同时设计决策区域和相应的决策树，二者同时推进。（二）外文文献原文4 Decision Trees4.1 Introduction Statistical decision-making is widely used in experimental earth sciences.The topic plays an even more important role in Environmental Sciences due to the time varying nature of a system under observation and the possible necessity to take corrective actions. A set of possible corrective actions is usually available in a decision-making situation. Such a set is also known as the set of decisions. A number of observations of physical attributes (or variables) would also be poten- tially available. It is desirable for the corrective action selected in a situation to minimize the damage or cost, or maximize the benefit. Considering that a cost is a negative benefit, scientists and practitioners develop a composite single criterion that should be minimized, for a given decision-making problem. A best decision, one that minimizes the composite cost criterion, is also known as an optimal decision. The process of obtaining or collecting the values that the physical variables take in an event is also known by other names such as extracting features (or feature variables) and making measurements of the variables. The variables are also called by other names such as features, feature variables, and measurements. Among the many possible physical variables that might influence the decision, collecting some of them may pose challenges. There may be a cost, risk, or some other penalty associated with the process of col- lecting some of these variables. In some other cases, the time delay in obtaining the measurements may also add to the cost of decision-making. This may take the form of certain losses because a corrective action could not be implemented earlier due to the time delay in the measurement process. These costs should be included in the overall cost criterion.Therefore, the process of decision-making may also involve deciding whether or not to collect some of the measurements. A mathematical space of the entire set of variations in the variables and their costs can be imagined in such a decision-making situation.Associated with every combination of values of variables, the overall cost of assigning a decision, including any measurement costs, can be imagined. Following this, the optimal decision for each combination of feature measurements can also be imagined. Such a mathematical rep- resentation of inter-relationships between all the vari- ables involved is known as a “model.” The variables of feature measurements, the costs, the parameters used for combining the costs to a single criterion, and every other mathematical quantity and function used in the representation of inter-relationships are relevant aspects of the model. Unfortunately, a precise mathematical space of costs of decisions and hence the map of optimal deci- sions is merely hypothetical or ideal. Usually, there are uncertainties in exactly quantifying the mathemati- cal inter-relationships required for such a construction. Some of the relationships may be deterministic. Some others may be statistical. There may be limited a priori knowledge to precisely quantify the statistical relation- ships. Finally, even with an imagined perfect mathe- matical space of inter-relationships, their representation and evaluation of optimal decisions may require formidable amounts of computer memory space and computations. Artificial Intelligence approaches for modeling and decision-making are helpful in many such situations. They are useful in reducing the com- plexity of representations. In some cases, they dynami- cally develop the representations of the model through the course of decision-making,instead of attempting to build a possibly unmanageably large static repre- sentation. They are also useful for approximate repre- sentation of imprecise relationships. Finally, they are useful in reducing the complexity of the computation required to evaluate optimal decisions, through the use of heuristics to evaluate nearly optimal decisions. Decision Trees is one of the Artificial Intelligence approaches and is the subject of the present chapter. The purpose of working with a model is to help us in decision-making. In qualifying models, clarifi- cations between various adjectives such as exact, pre- cise, complete, and statistical are in order. A complete model accounts for all possible inter-relationships. A precise model specifies the inter-relationships without ambiguity. For example, the statement “high ambient Ozone levels cause considerable discomfort for people with respiratory sensitivity” specifies a relationship. But it is not mathematically precise due to the sub- jectivity of words such as “high,” and “considerable.” A specification may be precise, but only approximate, as opposed to being exact. Some relationships may be statistical,as opposed to being deterministic.Statistical relationships with complete, precise, and correct specifications are as good as similarly specified deter- ministic relationships in the following sense. In the case of statistical relationships, the statistical mean or the expected overall cost of the decision is minimized to obtain an optimal decision, as opposed to minimiz- ing the exact overall cost. Clearly, from the above arguments, a complete and exact model cannot usually be constructed in many Environmental Sciences applications. Even if a prac- titioner is willing to accept approximate but com- pletely specified models, they may not be available in a timely fashion for many applications. Models may be only partially specified or the parameters of the model may not be accurate if observations are made and decisions are required to be made with limited resources; time is one of the resources. Meteorology is such an application. Meteorological phenomena are observable weather events. These are influenced by temperature, pressure, and water vapor, among oth- ers. These physical variables interact with one another. time are also physical attributes and these contribute significantly to the occurrence of a meteorological event. Furthermore, the above physical attributes are very useful in predicting future meteorological events, within reasonable time frames. Although tremendous advances in research have increased the accuracy of forecasting, there is always room for improvement. Determination of ranges of various physical attributes and their combinations for accurate identifications of various important events is extremely useful. There is virtually no limit to the number of various trans- formations of variables and combinations of trans- formations that may potentially increase the accuracy of such classification. Moreover, different transforma- tions over different ranges of attributes (and their com- binations) may be required. Therefore, research on this topic is open-ended. The present chapter studies a class of approaches for classification (decision-making) algorithms. These methods integrate models based on partial informa- tion about logical inter-relationships with statistical representations. The overall objective is to develop guided decision-making algorithms called Decision Trees. The approach is applicable in many experi- mental areas of earth sciences for reasons mentioned above. The final algorithm in this class is also known by other names such as Multistage Classification and Hierarchical Classification.4.2 Decision-Making and Pattern Classification4.2.1 Statistical Pattern Classification In its simplest form, pattern classification (Duda et al.2001) requires that a given data vector x be assigned to one of several known categories, 1 , , k . The data vector variable x is composed of m measurements so thatx = x (1), x (2), , x (m). (4.1)As mentioned earlier, each measurement is also called a feature, whose value is influenced by the pattern class corresponding to the data vector x. Each feature may be cardinal, ordinal, or nominal valued. A cardinal val- ued variable takes values over continuous segments of a real line. An ordinal valued variable, over a countable set of ordered values, such as integers. A nominal valued variable takes values from a finite set in which the values in the set have no natural order. An example of a nominal variable is the presence or absence of a phenomenon, such as the presence or absence of a particular pollutant in a material sample. In many completely de