提出了一种基于概念格的天体光谱离群数据挖掘技术首先

1、天体光谱数据挖掘技术，太原科技大学计算机科学技术学院院长张继福2008年11月，一，摘要1)数据挖掘2)天体光谱数据挖掘3)主题的研究意义2，主要研究工作1)基于约束FP树的天体光谱数据关联分析2)基于概念格的天体光谱异常值数据挖掘，数据挖掘，定义主要任务：关联规则、分类、群集、异常数据等。典型的方法包括关联规则、决策树、神经网络、遗传算法、粗糙集、模糊集、概念格、统计分析等。天体光谱数据挖掘，我国正在建设大天球面积的多功能光纤光谱望远镜(LAMOST)，是国家的主要科学项目，也是世界上光谱取得率最高的望远镜。LAMOST观察到的频谱数据容量预计为4TB。迫切需要分析和识别如此庞大的光谱数据的

2、新的基于计算机的数据分析技术。天体光谱数据处理的主要内容：预处理(去噪、规格化等)、分类和识别、测量(红移等参数)。Seyfert 2光谱数据图(移向0)天体光谱是基于波长的电磁辐射，包含了天体的化学成分、天体的表面温度、直径、质量、亮度、天体的视觉运动和自转等重要的物理信息。天文学家和天体物理学家通过分析天体的光谱信息，不仅可以研究宇宙中物质的分布特性，还可以研究重大的科学问题，例如天体的形成和随时间的演变。主要方法交叉相关分析和主成分分析(PCA)、人工神经网络、小波变换、贝叶斯统计、SVM等。典型结果1)发现以前美洲的光谱类型和光谱线的基于贝叶斯统计的光谱分类方法：(2)牡蛎lati等采

3、用了用于恒星光谱子类型分类的双层BP神经网络方法；3)Ellis等使用交叉相关分析对光谱进行分类。(4)椎波等采用经过恒星光谱分类和识别的集；5)基于多米等主要成分分析的二维星特征空间快速光谱识别方法；6)柳仲电等提出了基于小波特征的m型星自动识别方法等。由于主题的研究意义在天文学界对宇宙的知识还很有限，LAMOST巡逻计划的重要任务是发现一些新的、特殊类型的天体，因此，利用数据挖掘技术从庞大的天体光谱数据中发现未知、特殊的天体和天体规律的方法是一个值得研究和探索的新应用领域。针对特定任务的数据挖掘是当前数据挖掘领域的发展趋势之一。以LAMOST项目为背景研究了天体光谱数据挖掘技术，不仅具有重

4、要的理论价值，而且直接应用于LAMOST，为国家的主要科学项目提供了技术支持。撤消、介绍和关联规则有效地描述了属性之间的关联，即数据集属性之间的关联。用关联规则说明天体光谱数据特性及其理化特性之间的存在、未知的相关性，具有合理、重要的应用价值。频繁模式集的生成是提高关联规则挖掘效率的关键。频繁的模式创建主要是两种类型的算法：Apriori和FP。Apriori算法的优点：具有更明确的想法，基于迭代统计数据生成修剪频率更高的集。缺点：在生成频繁模式的过程中，需要创建很多候选，多次遍历数据库，I/O成本太高，难以适应庞大的高维数据。FP算法的优点： (l)通过对FP树的递归访问生成频繁的模式集，只

5、需配置FP树和条件FP树，不需要生成候选集。(2)对于事务数据库，使用两次遍历，第L次遍历时经常使用一组L项，第二次遍历(FP树配置)可以减少对数据库的访问次数。缺点： FP树需要大量内存。FP树及其配置限制、第一谓词逻辑和背景知识数据挖掘是从宏观角度对积累的大量数据进行知识抽象的高级阶段，而且是高级智能活动，因此数据挖掘过程离不开背景知识的支持。关联规则挖掘过程也离不开背景知识的支持。关联规则挖掘的背景知识实际上是描述数据集的对象和属性之间、属性和属性之间的约束关系，因此，在关联规则挖掘中，可以使用主谓词逻辑描述背景知识。定义3-1 r是事务数据库中的关系表名实体变量，f是表示关系表-属性映

6、射的函数词，k是支持度(0k1)，则背景知识g可以由以下谓词公式组成，这些谓词公式通过逻辑运算符构成相应的公式：(1)interesting(f(r)(2)support(f(r)，K)interesting(f(r)(3)internesting，CFP-tree和配置定义3-4将G设置为背景知识，对于任意频繁模式树FP-tree，如果使用从根节点到叶节点的路径中所述的频繁模式P创建G(P)=True，则FP-tree称为约束频繁模式树CFP-tree。配置思路和方法：仅在数据库中的事务t满足由g组成的FP-Tree的情况下，才能包含用户兴趣约束频繁模式，并且可以两次扫描数据库以完成CFP-

7、tree配置。清理2-1将d作为事务数据库，min为最小支持，G为背景知识，配置的约束FP树为CFP-tree时，从CFP-tree提取的随机频繁模式P满足G(P)=true(约束频繁模式)清理2-2将d作为事务数据库，min为最小支持，G为背景知识，配置的约束FP树为CFP-tree，P为随机频繁模式，G(P)=true(约束频繁模式)，则P为CFP-true，清理2-3 CFP-tree是FP-tree的子集。清理2-4是T1T2，它将d设置为事务数据库、G1和G2的背景知识，G1G2、T1和T2分别是基于G1和G2配置的CFP-tree。(约束的单调)推断3-1将d设置为事务数据库，G1

8、，G2作为背景知识，T1，T2分别为基于G1，G2的CFP-tree，G1=G2为T1=T2。(约束的唯一性)，推断3-2是事务数据库d，G1是背景知识，TCFP是基于G1配置的CFP-tree，TFP是数据库d的FP-tree，G1=109时TCFP=TFP。清理3-5将d作为事务数据库，min作为最小支持，g作为背景知识，配置的约束FP树作为CFP-tree，g将事务数据库分为两部分。d=D1-D2，其中：T-D1，G(T)=True，T-D2，G(T)=False，对于D1，配置现有FP-tree，约束FP树构建算法描述和分析(参见P23-24)实验分析硬件：奔腾iv-2.0g CPU，

9、512M内存；软件：Windows XP操作系统DBMS为Oracle 9i；VC为编程语言；数据预处理：(8400 SDSS特定频谱数据)1)200波长，选定间隔为20，离散化为13个值；2)气温等间隔为3个值，7个等级的恒星温度离散为21个值。3)亮度、化学索引、微湍流等间隔离散为三个值。，表3-2约束FP树配置效率比较1 (|DB|=6000，单位：秒)，表3-3约束FP树配置效率比较2 (min=3%，单位：秒)，表3-其中I=a1，a2，an、S1、S2、S2、sm 32; Ai是I波长的离散特性属性，Sj的j的物理化学特性的离散特性。定义3-5 r是天体光谱数据库中的关系表名对象变

10、量，f是表示关系表和属性的映射的函数词，min是最小支持度(01)，则天体光谱知识g可以由以下谓词公式组成，这些谓词公式通过逻辑运算符构成相应的公式：(1)interesting(f(r)(2)support(f，min)interesting(f(r)(3)interested，定理3-6集s是表示天体光谱知识g的子句集，任意子句s/s是谓词Interesting (f(r)、support(f(r)、Interesting(min)、Interestinginteresting(f1(R1)support(F2(R1)，min)interested(F3(R1)interesting(f1

11、(R1)interesting如果将推理3-1 g设置为天体光谱知识，g将描述一组有趣的天体光谱模式，即天体光谱模式。频繁地提取天体光谱数据和关联规则挖掘CFP树：通过节点链创建项目标题表，以使每个项目指向树中的相应位置。提取过程从1频繁的模式开始，构建条件模式基础。然后构建条件CFP树，并从该树中重复提取。创建关联规则：对于任意频繁模式pl，其中p=P1P2，P1是天体光谱数据特征的非空白模式，P2是物理化学性质的非空白模式，并且(p1p 2/db)/(P1/db)8805；如果为min，则创建一个关联规则“p1p2”。体系结构和功能、运行结果和分析、返回、介绍、异常数据识别的主要方法：距离

12、方法、统计方法、本地密度方法和脱离模型方法等。大多数方法是从全局角度查看异常数据，在低维子空间中很难找到偏移数据，很难应用于高维数据。C.Agarwal等于2005年提出了基于子空间的高维离群数据识别算法，该算法使用遗传算法检索离群数据。C. Agarwal，p s . Yu . an effective and efficient algorithm for high-dimensional outlier detection，the international journal on very稀疏性系数最小的部分空间不能确定是否能找到，结果发现的异常值数据也不够准确。本文的实验也验证了这一点

13、。不能确认满足条件的异常值数据是否都被发现，识别结果的完整性是否得到保证。Willter提出的概念网格是支持数据分析和知识发现的有效工具。每个节点都是由外延和嵌套两部分组成的形式概念。通过Hasse图表，生动而简洁地体现了这些概念之间的一般化和专门化关系。具有知识表达的完整性、直觉性和简单性等特点。通过将概念格的每个概念语义视为子空间，将语义视为子空间中包含的对象，可以使用概念格节点描述子空间中的异常数据。对于基于概念网格的低维子空间异常值数据，稀疏性因子反映子空间中包含的数据对象数远小于预期值，但如果数据对象数远小于预期值，则可能是由于低维子空间中数据对象的过度稀疏性导致的，稀疏性因子无法准

14、确反映稀疏子空间中数据的偏差程度。因此，仅使用S(D)判断稀疏子空间不能保证结果的正确性。数学期望值表示子空间中对象的平均数量，获取使用乘积测量子空间密度的自定义设置系数。4-1定义的属性集为m，对象集为g，对于每个维与地块离散的随机数据集，DENSE是用户设置的密度系数，由密集属性集(pm)组成的缩减子空间d和a (ag)，a | dense * | g | * (1/) |对于定义4-2属性集为m、对象集为g、稀疏子空间d (pm)和对象集为a (ag)的任何数据集，如果减少属性集P1(P1 616om P)组成的减少子空间D1是密集子空间，则d是离群子空间，a中的数据对象称为离群数据，定义4-3集K=(G，M，I)任意形状背景，h=(a，b) l (g，M，I)，如果属性集B1同时满足以下两个条