SDSS与IRAS间的表格交叉PPT课件

1、 曹晨曹晨 2005/11/25 威海威海 SDSS 与与 IRAS 间间 的表格交叉的表格交叉Outline天体源交叉方法及问题的提出天体源交叉方法及问题的提出SDSS 与与 IRAS 简介简介Likelihood Ratio 方法方法 利用机器学习方法进行交叉证认利用机器学习方法进行交叉证认应用到虚拟天文台应用到虚拟天文台 ?!天体源交叉证认天体源交叉证认天体源的交叉证认天体源的交叉证认 以源的位置以源的位置(e.g., RA & DEC)为主要参量，将存在不同为主要参量，将存在不同数据库中的不同波段或不同次观测的源联系起来。数据库中的不同波段或不同次观测的源联系起来。多波段天文学

2、时代到来多波段天文学时代到来 射电射电, ,亚毫米亚毫米, ,红外红外, ,光学光学, ,紫外紫外, ,X-ray, -ray交叉困难交叉困难 大数据量，高维，大数据量，高维， 存储结构（格式）复杂，不同存储结构（格式）复杂，不同波段源物理性质有区别波段源物理性质有区别 。天体源交叉方法天体源交叉方法交叉证认原理：交叉证认原理：设在两个星表中对应源的坐标 (RA &DEC) 分别为(1, 1), (2, 2) ，则它们之间的角距离d： d arccos (sin1sin2cos1cos2cos(12)通常情况下，在通常情况下，在d很小时：很小时： d2 (12)cos )2+(12)2

3、若两星表的误差半径为若两星表的误差半径为r1&r2，则角距离应满足：，则角距离应满足： d = 1011Lsun) from SDSS and IRAS FSC & PSC. 交叉证认！交叉证认！ Closest match ？ Adequate when the positional uncertainties are small所以对于误差半径较大的源表（如所以对于误差半径较大的源表（如IRAS），不很适用。），不很适用。 Likelihood Ratio methodOutline天体源交叉方法及问题的提出天体源交叉方法及问题的提出SDSS 与与 IRAS 简介简介Lik

4、elihood Ratio 方法方法 利用机器学习方法进行交叉证认利用机器学习方法进行交叉证认应用到虚拟天文台应用到虚拟天文台 ?!Sloan 数字巡天数字巡天 (SDSS)- Sloan Digital Sky Survey - 2.5-meter telescope located at Apache Point Observatory (APO) in Sunspot, New Mexico.- Data Release: EDR, DR1, DR2, DR3, DR4, (DRfinal).Imaging (ugriz): 6670 deg2, 180 million objects;

5、 Spectroscopy: 4783 deg2, 3800-9200, 849,920 spectra We use DR2 in previous work (Cao et al. 2005)IRAS 红外天文卫星红外天文卫星- InfraRed Astronomical Satellite - Lifetime:1983 (11 months)- Wavelength: 12, 25, 60 & 100 m- Area Coverage: All Sky ( 90%)- Science Products: Sky Survey Atlas；Faint Source Catalog

6、 (FSC)；Point Source Catalog (PSC) Sloan 与与 IRAS 间的表格交叉间的表格交叉 1) Cross the SDSS spectroscopic objects with IRAS 2 error ellipse main sample 2) Use Likelihood Ratio (LR) method to estimate samples reliability and for a subsample selectionOutline天体源交叉方法及问题的提出天体源交叉方法及问题的提出SDSS 与与 IRAS 简介简介Likelihood Rat

7、io 方法方法 利用机器学习方法进行交叉证认利用机器学习方法进行交叉证认应用到虚拟天文台应用到虚拟天文台 ?!- Compares the probability that the object is a match with the probability that it is a chance background object (Sutherland & Saunders, 1992) - Optical and Radio (Rutledge et al. 2002) - SDSS-DR2 and IRAS (Cao et al. 2005) - Optical and Spi

8、tzer MIPS (Surace et al. 2005) - Optical/radio and ISO 90&170um (Oyabu et al. 2005) Likelihood Ratio 方法方法Likelihood Ratio 方法方法* The cross-correlation probability between two observed sources:a, b terms the standard deviations of of each sourcesPositions, n(=mi) is the local surface density of ob

9、jects(galaxies) brighter than the candidate, and r is the normalizeddistance. The Q(=mi) is the multiplicative factor in thenumerator, and for simplicity we set Q = 1 in this work.Likelihood Ratio 方法方法* Calculate all the samples likelihood ratio values and choose a random sample to estimate its Reli

10、ability (Rlr=1-Nrandom/Nreal).* Compare the results with control sample (PSCz) for finding a more reliable subsample selecting criterion. (determine the Rlr criterion)Distribution of the Reliabilities (Cao et al. 2005)Rlr=0.98Subsample SelectionLR 方法的不足方法的不足Model Dependent !- Error distibution real

11、gaussian ?- Spectroscopic targets bias ?- Not only chance background objects ?- Other features important ?- How to combine the effects of different features ? 如何改进？效果如何评估？代价如何最小化？如何改进？效果如何评估？代价如何最小化？Outline天体源交叉方法及问题的提出天体源交叉方法及问题的提出SDSS 与与 IRAS 简介简介Likelihood Ratio 方法方法 利用机器学习方法进行交叉证认利用机器学习方法进行交叉证认应

12、用到虚拟天文台应用到虚拟天文台 ?!Support Vector Machine (SVM)- Supervised learning, classification (Zhang)- 2 classes : match (1) ; unmatch (-1)Learning from training sample Model Test (evaluation) cross-identification利用机器学习方法进行交叉证认利用机器学习方法进行交叉证认SVM简介简介9090年代中期在统计学习理论的基础上发展起来的一年代中期在统计学习理论的基础上发展起来的一种机器学习方法种机器学习方法 (

13、Boser,Guyon,Vapnik)适合有限样本适合有限样本( (小样本小样本) )问题问题在很大程度上解决了传统方法（如神经网络）中存在很大程度上解决了传统方法（如神经网络）中存在的问题，如模型选择、过学习、非线性、多维问在的问题，如模型选择、过学习、非线性、多维问题、局部极小点问题等题、局部极小点问题等统计学习理论和支持向量机被视为机器学习问题的统计学习理论和支持向量机被视为机器学习问题的一个基本框架，传统的方法都可以看作是一个基本框架，传统的方法都可以看作是SVMSVM方法的方法的一种实现一种实现有坚实的理论基础和严格的理论分析有坚实的理论基础和严格的理论分析HH2H1n目标：目标：找

14、到一个超平面找到一个超平面(最优分类面最优分类面)，使得它能够尽可能，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。距离分类面最远。 最优分类面最优分类面是指两类的分类空隙最大是指两类的分类空隙最大, 即每类距离超平面最近的样本到超平即每类距离超平面最近的样本到超平 面的距离之和最大。距离这个最面的距离之和最大。距离这个最 优分类面最近的样本被称为优分类面最近的样本被称为支持支持 向量向量。 分类面方程分类面方程SVM的基本思想0 x b w非线性分类面非线性分类面n非线性可分的数据样本在高维空间有可能转化为

15、线性可分。n在训练问题中，涉及到训练样本的数据计算只有两个样本向量点乘的形式n使用函数 ,将所有样本点映射到高为空间，则新的样本集为n设函数 内核函数内核函数 (Kernel function)nm:),().(),(11nnyxyx)()(),(2121xxxxK通常的内核函数通常的内核函数n线性内核线性内核n多项式内核多项式内核n径向基函数内核径向基函数内核(RBF)nS形内核形内核jijixxxxK),(qjijixxxxK 1)(),(|exp),(22jijixxxxK)(tanh(),(cxxxxKjijiApplying machine learning to catalog m

16、atching in astrophysics- Feature importance Which ? How many ? - Training sample What is a “fair” and “unbiased” sample ?- Kernel function - Evaluation (test)- Applying it to unmatched objects ? (Rohde et al. 2005, radio (HI) vs. optical)Applying SVM to catalog matching between SDSS and IRAS- Curren

17、t selected features - Training sample: subsample selected by LR method may be biased! Need to find other ways for training.- Kernel function: Linear, Poly(d=2,3), RBF( =1)- Soft margin (avoid overfitting): 0.1, 1, 10- SVMlight (Thorsten Joachims) Applying SVM to catalog matching between SDSS and IRAS Current Result (2-fold test, SVMlight)Outline天体源交叉方法及问题的提出天体源交叉方法及问题的提出SDSS 与与 IRAS 简介简介Likelihood Ratio 方法方法 利用机器学习方法进行交叉证认利用机器学习方法进行交叉证认应用到虚拟天文台应用到虚拟天文台 ?!Step1: 用户选择源表用户选择源表Step2: 选择交叉方式选择