基于内容管理系统中内容分类实现方法的研究

1、    基于内容管理系统中内容分类实现方法的研究    孙剑摘要：随着信息量以爆炸般的速度在急剧增长，当前在信息管理方面所面临的最严峻的挑战不再是信息匾乏，而是缺少时间和精力来对如此众多的信息进行分析、归类与操作。本文探讨了在内容管理系统中内容分类的实现方法。关键词：内容管理系统 内容分类 方法0 引言随着信息量以爆炸般的速度在急剧增长，当前在信息管理方面所面临的最严峻的挑战不再是信息匾乏，而是缺少时间和精力来对如此众多的信息进行分析、归类与操作。因此内容的分类不仅有利于更快捷地实现内容的查询，而且有效的分类方法同样有助于对纷杂的信息进行组织与归类，有助

2、于人们缩小查询的范围，节省时间和精力。可见内容管理对内容分类的要求是十分必要的。现在分类的方法大体上分为人工分类、自动化分类以及人机结合的混和方法三种。显而易见，人工分类是最容易被想到的。但是这种方法显而易见的过多的依赖于个人，且成本太高。并且当内容量过大的时候，单单依靠手工方法进行分类也不太现实，很容易成为系统的瓶颈。因此，人们更加关注于自动化分类方法。现在主要应用的自动化分类方法主要有以下几种方法。1 自动化分类方法1.1 基于规则的分类方法：这种方法需要由对相关内容极为了解的专家创建与维护一套规则用于将某篇文档划分到某个类中。专家使用if-then的规则形式组织归类的相关概念。规则能够支

3、持复杂的操作，而且建立在规则之上的决策树也相当准确。规则衡量了一个给定的文档是否符合某个主题的判断标准。显然，建立这样一种规则并不容易，并且专家对相关内容知识的了解程度也相当重要。1.2 基于自然语言的学习算法：该方法利用神经网络的方法，通过分析文档的内容区分文档并将文档进行分类。由于这种方法具有较高的容错能力及语言独立的操作性等特点，正在成为一种相对稳定的分类方法。这种方法通过选择文档的表示方式或可能的格式，利用神经网络实现对内容的分类，可以被应用到文本文档或文本片断的分类中去。1.3 语义分析：这是以从文档中提取关键的概念作为分类与检索的基础。语义分析过程共分为两个阶段，第一个阶段的工作主

4、要集中于一系列的语言算法以及语言独立的统计技术的实现。当用户对系统中收集的信息进行查询时则触发该过程的第二阶段，系统可以根据用户的查询需求以及可视化的分类结构呈现给用户个性化的、相关的查询结果。1.4 模式匹配：这种方法是指寻找经常聚在一起的一组词或词组的过程。一个主题可能通过语义分析进行处理。其他的识别模式还包括词在文档当中的出现频率、词的位置、词与词之间的亲近程度以及相关词的聚类。模式匹配方法具有语言独立的特点。1.5 聚类分析：这是通过识别内容中的共性元素将内容划分为相似内容子集。每篇文档可以看作一些内容的合集，聚类本质上就是将每一袋中的相似内容聚为一组。以上每一种分类方法都有其自身的优

5、点与不足，没有哪一种单一的分类方法是十全十的。每种方法都有其适用的方面。所以，现在人们往往采用混合的分类方法。下面我们着重分析一种基于神经网络的分类方法。2 基于聚类分析的分类方法聚类分析是一种解决分类问题的探测性的数据分析方法。它的目标是把人、事务、事件等聚为组或类，每一类描述它的对象所属的类。该方法是通过建立一个对象间的相似性度量，使得类间的相似性尽量小，而类内的相似性尽量大，从而得到在某种判别准则之下的最佳分类，这种分类的结果未必使用简单的概念就可以描述的。换言之，其分类的标准并不是显而易见的。假设特征向量由n个特征参数x，x，x组成聚类分析按照一定的准则，将这些特征向量点划分为若干个群

6、。聚类也用于将一个内容的集合划分为子集，也就是类。每一类内的对象之间都比该类对象与属于其它类的对象之间具有更大的相似性。芬兰学者t.kohonen提出一种可以使得输入信号映射到低维空间，且保持相同特征的输入信号在空间上对应邻近区域的学习方式，称为kohonen自组织特征映射(self-organizing feature maps, sofm)也称kohonen自组织神经网络。kohonen自组织神经网络是一种前馈型网络。在这种类型的神经网络中各神经元接受前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入单元和计算单元，每一计算单元可有任意多个输入，但只有一个输出。前馈网络可分为不同

7、的层，第i层的输入只与第i-1层的输出相连，输入和输出节点与外界相连，而其它中间层则称为隐层。前馈型网络，由于kohonen自组织特征映射网络除了具备以下主要性能，因此采用kohonen自组织神经网络来实现内容的聚类。对输入数据有聚类作用，并可用聚类中心代表原输入，起到数据压缩作用。保持拓扑有序性，输入中特性相似的点映射后在空间上是邻近的。分布密度匹配，原数据中分布密的区域在映射图上对应较大的区域，分布稀的则对应的区域也较小。自组织网络采用没有指导的学习过程，不必给定应有的输出，训练数据只有输入而没有输出，网络只靠输入模式本身的特征，根据一定的判断标准自行修改单元连接的强度，使权矢量在输入向量

8、空间中的分布近似于样本的分布。这也就是为什么采用自组织神经网络来解决内容的分类问题的原因和依据，因为在对内容进行聚类前，可以分成什么样的类以及不同的内容归属的类别本来就是未知的。3 实现的步骤及方法在此研究一种利用智能技术得到内容的分类结构的方法。该方法通过人或统计工具对文本内容进行预处理，将文本内容以标准化的特征向量表示，然后利用kohonen自组织特征映射网络实现内容的自动聚类。现将对文本内容进行聚类的方法与步骤简单描述如下：3.1 用标准的矢量形式表示文本内容。要实现内容的自动聚类，首先要把待聚类的内容集用标准的矢量形式表示出来。由于给不同的文本内容建立关键字是可行的，而且关键字又是最易

9、于代表文本内容语义的，因此可以通过文本内容的关键字作为中间桥梁将内容表示成标准的矢量形式。用标准的矢量形式表示文本内容，这是利用神经网络实现内容的自动聚类的基础。3.2 选择样本文档。kohonen网络采用的是无监督学习算法，因此在通过该网络对内容进行聚类前需要选择样本内容作为训练集，使自组织网络学习如何对内容进行聚类。样本的选择应当具有代表性与广泛性。3.3 初始化网络的输入节点、输出节点以及连接权值。将以n个关键字或文本特征表示文本内容的n维矢量作为输入向量，同时生成含有m个输出节点的二维映射。3.4 将代表文本内容的特征向量输入到网络中。3.5 在输出节点中选择最佳匹配节点。计算输入节点与所有的输出节点权值的接近程度，选择距离最小，即输出节 点权值与输入值最接近的节点作为获胜节点。3.6 调整权值。调整获胜节点及其邻域的节点的权值，从而使这些输出节点的权值与输入值更接近。3.7 标注代表不同类的输出节点。不断重复以上过程，学习算法结束后，各输出节点的权值显示了聚类中心，将不同的类加以标注，以示区分。经过训练的网络可以用上述同样的方法对新的文本内容进行聚类。3.8 对分类结果中包含大量输入样本的类别，递归应用以上步骤，继续在大类下划分更小的类。经过以上过程便可以得到文本内容的分类结构，该分类结构可能是类与类之间相互独立的结构，也可