【恒星光谱聚类分析原型系统分析5700字】

恒星光谱聚类分析原型系统分析目录TOC\o"1-3"\h\u7164恒星光谱聚类分析原型系统分析 ]提出了针对恒星光谱数据预处理模型。恒星光谱数据预处理模型如图1.2所示。图1.2中的折线图是恒星光谱数据在二维平面中的特征谱线，其横坐标表示恒星光谱数据的波长(Wavelength，单位：Å)，纵坐标表示流量（Flux，其中Flux（relative）表示原始数据；NormalizedFlux表示归一化后流量值）。图中不同层的含义和细节将在本节的其余部分给出。原始恒星光谱数据SNR筛选在LAMOST中原始恒星光谱数据的FITS文件中给出了U、G、R、I和Z波段的信噪比(S/Ns)。LAMOST是利用中心波长和带宽得到每个SDSS波段的波长范围，然后每个波段的信噪比(S/N)是这个波段中每个像素S/N的中值。对LAMOSTDR5数据集中的A、F、G类恒星G/R/I三个波段的信噪比进行统计分析结果图如下图1.3所示。观察图1.3可以发现五类原始恒星光谱数据具有信噪比缺失情况，且各类型恒星光谱数在G/R/I三个波段的信噪比在区间[0,10]的占比较大，此现象印证了原始光谱数据中存在一定数图1.2恒星光谱数据预处理模型图Fig.1.2Graphofstellarspectraldatapreprocessingmodel量的低质量数据。虽然LAMOSTDR5数据集提供了大量的已经分类的高质量的恒星光谱数据，但是仍有部分光谱数据质量较低。为了保证数据较强的真实性，在对恒星光谱数据进行特征提取前需要对LAMOSTDR5数据集中的原始数据进行信噪比筛选。（a）A类信噪比分布统计图（b）F类信噪比分布统计图（c）G类信噪比分布统计图图1.3恒星光谱数据信噪比分布统计图Fig.1.3StellarspectraldataSNRG/R/Idistributionstatistics恒星光谱数据的Wavelength截取依据对恒星光谱数据集进行数据挖掘时要保证每一条光谱数据都在同一维度，即要求每一条光谱数据的Wavelength值要统一，因为只有对不同类恒星光谱数据同维度的特征进行相同操作才不会因数据处理差异化而失去分析意义。此外，虽然已经对原始恒星光谱数据的信噪比进行筛选，但是经过数据提取发现有部分满足信噪比阈值的光谱数据仍存在数据值缺失且维度不统一的情况。为了避免其造成不良影响必须对每一条光谱数据的Wavelength值进一步处理。在LAMOSTDR5数据集恒星光谱原始数据FITS文件中的已经注明各条原始光谱数据Wavelength的步长值（在原始恒星光谱数据FITS文件中标签“CD1_1”来表示Wavelength的步长值，例如：CD1_1=0.0001/Log10dispersionperpixel）。通过比较发现FITS文件中的CD1_1均为0.0001，所以要达到数据维度统一的目的只要保证每条光谱的起始和终止的Wavelength值相同即可。通过大量数据分析将起始位置Wavelength设定为3700Å，终止位置Wavelength设定为9000Å。3700Å—9000Å波段基本已经包含了一条光谱的大部分信息，因此这样的筛选处理能保证各个恒星光谱数据维度统一的基础上不会造成原始光谱数据特征的二次丢失。删除噪声数据虽然前期在SNR筛选过程中已经删除掉大部分噪声光谱数据，但是由于原始恒星光谱数据所提供的SNRG/R/I是不同波段的中值，因此在经过以上步骤处理后的光谱数据仍保留了部分噪声数据。此类噪声数据对聚类结果影响较大，所以本章用LOF算法对光谱数据进行离群点检测分析，排除噪声数据的干扰。Flux归一化天体恒星光谱是恒星的识别码，它包含了被观测恒星的众多信息。由于宇宙中各个恒星的大小、温度、质量、元素成分、年龄和距离等物理化学特征存在一定的差异，所以不同类甚至同一类恒星光谱数据的Flux值的同一维度在取值范围上存在一定的差异。通过对光谱数据的Flux的最大值进行统计发现，一部分光谱数据的Flux最大值超过了20000，而有的光谱数据的最大值仅仅有100甚至更小。光谱因为自身特征和宇宙射线的干扰导致其特征太大或太小。为了避免不同类恒星光谱数据的Flux强度差异对实验结果造成影响，所以对满足条件的光谱数据的Flux进行Max-Min归一化处理，将其所有恒星光谱数据的Flux规约到[0,1]的范围内。在机器学习数据预处理中，我们常用的归一化方法有min-maxscaling和Z-scorestandardization两种。min-maxscaling由于其min和max都是取数据集的最小值和最大值，所以使用该方法归一化后数据容易出现断层，且受离群点数据影响比较大。Z-scorestandardization适用于服从正态分布的数据集，而本章要处理的数据是否满足其要求尚未确定。基于以上分析本章给出了针对单条光谱进行归一化的方法，其公式如（1.1）所示。公式（1.1）中的Fluxmin和Fluxmax代表每一条光谱的最小值和最大值，Flux表示被处理光谱的原始数据，Flux'代表该光谱归一化后的特征值。(1.1)Haar小波变换特征提取Haar小波变换分析有“数学显微镜”之称，是图形分析、信号降噪、特征提取和融合的理想工具。LAMOSTDR5数据集中的恒星光谱Flux是一种高维度的数值型数据，因此，对其进行特征提取或降维是解决聚类过程中算法时间和空间开销大的有效途径。本部分将经过上述处理的恒星光谱数据进行N次Haar小波变换，并通过阈值筛选法对数据筛选以达到既能保留原始恒星光谱数据的主要特征又能实现将光谱数据中所含有的少量噪声和次要特征剔除的目的。下面进一步介绍Haar小波变换的相关理论知识。定义1.1：为空间V的基函数则，存在一组实数使得等式成立，特殊情况，若满足公式（1.2）。(1.2)其中则称为空间V的标准正交基。定义1.2：设V1，V2是线性空间V的子空间，若,分解式是唯一的，则称这个和为直和，记为。推理1：若则使公式（1.3）成立。(1.3)定义分段函数如公式（1.4）所示。(1.4)设函数，经过伸缩平移变换得到,其中k=1,2,3,……，2j-1且函数的支撑集为（表示函数不为零的区间），称函数为尺度函数。定义分段函数如公式（1.5）所示。(1.5)公式（1.5）经过伸缩平移变换后得其中k=1,2,3,……，2j-1且函数的支撑集为（表示函数不为零的区间）称函数为小波函数。Vn表示[0,1/2n)，[1/2n,1/2n-1),……,[1-1/2n,1)等分区间上为常数的函数空间(2n个区间)，为其基函数；满足关系：，其中称为尺度空间，由尺度函数生成。定义线性空间且为Wj的正交基，则，即（其中）。设有2n个离散数据,用Vn基函数表示：，则(1.6)恒星光谱数据经过以上数据预处理后，由原来的几千维转换成几十维的数据，将大大减少聚类算法的运算时间，节省算法的空间开销。1.3.2聚类分析方法恒星光谱聚类是天文学研究的热点之一，随着多目标光谱仪的普及和大视场巡天的设计与运行，如何有效、准确地对已获取的海量高维光谱数据进行聚类变得越来越重要。本系统主要嵌入了两种经典的基于划分的聚类算法K-means和K-medoids，一种基于层次的聚类算法AGNES，一种基于密度的聚类算法DBSCAN以及本文第三章和第四章所提算法AWK、AAWC共六种方法对光谱数据进行聚类。1.4系统运行结果和测试分析系统测试是软件开发到应用的关键一步，是程序的本体同时也是软件开发研究的对象。有效的测试分析将有利于对软件做出合理的评价。在软件设计和开发过程中，软件测试和软件编码调试一样是一个贯穿始终的循环过程。只有在全部的软件测试工作顺利完成后，才可以将开发的软件交付给最终的用户使用，否则需要对软件进行升级优化。然而，软件测试并非简单的功能测试，它需要遵循相应的测试规则。如：输入操作最大限度的接近真实、测试用户为非开发人员以及功能模块构造合理性分析等。为验证原型系统的性能，本节从LAMOSTDR5中随机选取A、F和G三类各5000条光谱共15000条恒星光谱数据进行聚类实验测试。由于篇幅有限，下面仅给出了系统的部分模块运行界面和测试结果情况。导入数据界面如图1.4所示，该模块可以实现批量数据的导入，导入后界面将文件路径信息传递给控制层。确认提示窗口如子图（b）所示。（a）打开文件（b）确认提示窗口图1.4导入数据Fig.1.4Importdata数据导入完成后，需要对光谱数据进行预处理操作。图1.5为数据预处理功能模块的操作界面图。子图（a）展示了SNR筛选操作界面。界面中表单标签表示不同波段的光谱数据信噪比大小。如：SNRI_min表示I波段的信噪比最小值，SNRI_max表示I波段的信噪比最大值。通过用户输入来筛选符合要求的光谱数据。SNR应为大于等于0的值，因此当用户输入非法值时系统应该提示用户输入正确的值，错误提示窗口如子图（b）所示。子图（c）展示了统一维度操作界面，图（d）为输入为空提示窗口。子图(e)、（f）和（g）分别展示了剔除噪声数据、Flux归一化和Haar小波变换特征提取界面。（a）SNR参数输入界面（b）SNR输入错误提示窗口（c）统一维度操作界面（d）输入为空提示窗口（e）LOF参数输入界面（f）Flux归一化操作界面（g）Haar小波变换操作界面图1.5数据预处理Fig.1.5Datapreprocessing经过预处理后的数据可以进行聚类分析，此系统可以由用户自主选择已经嵌入的聚类算法进行分类，功能界面如图1.6所示。（a）聚类算法选择菜单（b）确认提示界面图1.6聚类算法选择Fig.1.6Clusteringalgorithmselection图1.7展示了聚类结果显示界面。子图（a）中的光谱名称为原始光谱数据的FITS文件名，备注一栏中“1”表示聚类划分正确，“0”表示聚类划分错误。子图（b）为聚类结果保存路径选择窗口，该功能模块可以将子图（a）中的聚类结果信息保存到用户指定的本地文件路径下，方便用户作进一步结果分析。子图（c）为保存成功提示窗口，该模块的设计主要是提高系统和用户的交互能力。（a）聚类结果输出界面（b）聚类结果保存路径选择窗口（c）成功保存聚类结果提示窗口图1.7聚类结果展示Fig.1.7Clusteringresultsdisplay图1.8展示了AAWC的聚类结果均值谱。图中的图像是根据公式(（4.11）对聚类结果同一簇中数据对象的同一纬度求平均再通过逆小波变换后绘制成的光谱图像，其中class标签表示聚类划分结果的分类标签，其