（应用数学专业论文）因子分析和聚类分析在抽样调查数据中的应用.pdf

因子分析和聚类分析在抽样调查数据中的应用 刘罗曼o ( i 辽宁师范大学歙学幕蜢宁大连i t 6 0 2 9 l2 蓓i i j 师范学院戤学系辽宁鞍l i i1 1 4 0 0 5 ) 摘要：奉文首先利用因子分析方法研究六种元素之闻的相关性并得到因子得分，然后特因子得 分作为新变量，用聚类分析法时六块火山岩标本分类进而可以绅六种区域火山岩的元素含量的情况作 出较好的判断 关键词：因干分析；固子得分：聚类分析 o 引言 为了研究某火山岩地区地质情况，勘探队在该矿区采集了有金矿化的火山岩标本六 块，分别渊定六种元素q f a u c u s 的含量得到了珍贵的调查数据，我们对此进 行了统计分析方法研究。 首先研究六种元素之间的相关性。对上述调商数据进行r 型因子分析，借以研究 元素之间的相互关系。由相关性大小把元素分组，使得同组内的元素之间有较高相关性， 但不同组的元素之间相关性j 交低。这样每二组元素就可以代表一个基本结构或称为因子或 主成份，各因子给山众多元素的儿种基本结合关系，表示对问题起决定作圳的儿个基本因 素。 其次，根据上述因子得分变量对六块火山岩标本分类。由r 型因子分析得到因子得 分将其作为变量，进行聚类分析。分析结果使得同一类中的火山岩标本有较人的相似性， 不同类中的标本差异很大。 本文仅就六块火山岩标本的六种元素进行研究，效果较好，可以为该地区地质研究 提供参考。 1 因子分析应用 1 1 因子分析的数学模型 1 i ，l 原始数据和相关矩阵 设从所研究的地质对象中取定h 块标本，对每块标本测得m 个变最的观测值，得原始 数据矩阵： ；k 喃， i 矗。j 其中粉代表第f 块标本在第，个变量上的观测值( 卢，2 ，一ij = ，2 ，m ) 。 畸= 扛“，勘，砌u ；，2 ，m ) 代表第，个变最在 块标本上的观测值。以下 总是用样本向量西代替原来的第个随机变量从而研究m 个随机变精之间的关系。 一 如物一 陬忙 肛 将矩阵x 的y 0 标准化即 巧。警”1 ，2 ，州乩2 ， 其中；，2 吉喜屯，嘭= 去喜( 一x j ) 2 ( = 1 2 ，川) 标准化后得到数据矩阵 x = ( ) = ( i ，) 以下我们把标准化矩阵，记为x 即对标准化的变量进行研究，丁是变量西，h 之间的相关 系数弛= 吉喜勺= 二1x ， 以乩2 。耐令 j 卅、 ji ：土x x r 卅胛 月叫做这m 个变壤的相关阵，易证r 是对称的，半正定的。 i 1 2 因子分柝的数学模型 因子分析的基本问题是将原来m 个变量表示成若干个阅子的线性组合形式，即 ， x ，= 石+ “，( ，= l ，2 ，埘) 女t i 其中， ，勺( 扣l ，2 ，p ；j = 1 ，2 ，m ) 都是理论上待求f f 匀新变精即网子。正叫做公 因子，反映了备变冠的相芙信息at 叫做单函子，反映了相庶变屠肫特有信息。p 为公因 子数，p 比m 小得多。嘶称为公冈子载荷或因子载荷，坼为单 ：i l 子载荷。这里我们土要 研究公闪子载荷记a = ( ) 。 ，= ( 石，五，厶) = ( 石k ， r u l0 1 。= a g ( u ，) = l0 u m j 。， e = ( 日，) = 瓴) 2 一 厂l 肛 于是( 1 ) 的矩阵形式为x = f a + e u a 称为因子载荷矩阵。 1 1 3 因子分析基本定理 假设( 1 ) 中原始变量而u = ，2 ， m ) ，都是标准化变越且公因子之间， 即 r 吉委厶= 。 i 三。窆i = l 气= 。 弋：晚 舷： i1 二丘f ，= 0 打 ( 2 ) ，m ) 和待求因子五q ( 女2 i ，2 ，p ：j = i ，2 ， 单因子之间以及公因子与单因子之间都是不相关的， k = l ，2 ，p j ；l ，2 ，m i ，= l ，2 ，p ，p = l ，2 ，m t = l ，2 ，p jj = l ，2 ，m 矩阵形式为 去f 。f 二吉 ! c i ，= c 丢z z ，= ： = l 为p 阶单f f 7 ：阵 土占。占= ，。， 盯 i _ y e ：日 ” 为零矩阵。 因子分析基本定理： r ：三x 。x 仃 = 二( 朋+ e u ) ( f a + e u ) 甩 = 上( 朋) 刷+ t - ( f a ) e u + 三( e u ) 1 删+ i - ( e u ) 1 e u n nnn ：爿( 三f f ) a 十a ( ! f e ) u + u ( ! e 。f ) 爿+ 扩( 土e 。e ) u 九h以 = a l ? a 七a h u + u j h j a + u j l 瑚 ：a 。a u 。u 3 记r 。：彳彳划 r = r o + u 1 u ( 3 ) 式为因子分析基本定理。其中斤为相关阵，斤。为约相关阵。 1 1 4 因子分析模型中各个量的统计意义 1 ) 因子载荷矩阵爿中元索是公冈子与原始变量之间的相关系数即 1 二五x ，= a 打 ( 七= l ，2 移= j ，2 朋) 盯 2 ) 公因子方差和方差贡献 越h t - h 和 l ：i _ f 字“ o t n h 口1 亡 正 m ， 嘶口h n q q t l , 一 记彬：芝泸啦。，。戊称彬为第j 个变最公网子方筹。 = l 由于原始标准化变罱畸的方筹为1 ，即 1 = 去t x ，= 去( 砉口“正+ ”，q ) 。( 芝k = 1 五十“，q ) = 羔k = ln ：+ z 。；= j 2 + z ，j 所以哥的方著由两部分组成：( 1 ) 公因子方差碍- 它是全部公冈子对变母- 的总方荠所作 的贡献。( 2 ) 单冈子对葺的方筹提供的方差贡献”；。显然o 巧1 ， ；是! ，个公网子对 变量葺解释程度的一个变矗 ，留越人，说明刚这p 个公闪子解释这个变颦的样度越高。 考虑备变量公因子方著总和 4 霹 占厶 i i 西 。芦 。厶 | i 七厶h 。川 = 砖 。一 其中= ( 七= 1 , 2 ，p ) 叫做因子五豹方差贡献。它表示第女个闪子五在公因 = l 子总方差中所占有的分额，可f j 它来衡量该因子的重要程度。 3 ) 相关系数 由r o = a a = r u u 知而与而的相关系数 ：妻( f ，：l ，2 ，川f ) 女= f 即h 可以_ j 因子载荷矩阵对应的列内积表示山来，因此可以说a 包含了原始变媾的全部 信息。 1 2 求因子解 l f 2 l 主成份分析法 1 ) 概述 按主成份分析法得到的因子解n q 主因子解。它是求其它网予解的基础，因此也叫初始 因子解，其解法准则如下：从相关矩阵r 出发，在所有可能的闪子中先求石及诸变母- 如 m 在它上面的载荷反= ( 吼，q 。) ，使其方差贡献s ? = 口；q = 日己为最人。然后仍从r 出发求五及口；馒方差贡献霹= a 2 a 2 = 西第二人，如此f 去，直到选出l 勺公闪于方 j ；i 差能解释原始变量大部分信息为止。 2 ) 主因子解求法 2 t 子l f x ：4 反映了田子计量和因子载荷之间的关系用矩阵形式可表示为 玎 黝= 在等式两端取第t 行得 tl 三一x = 口i 或唧= 二x l ( k = 1 , 2 ，p ) ( 4 ) 几n 这种求法的准! ! ! j f 是：在所有可供选择的因子，中取方差贡献最人的因子五作为第一主因子 再与五不相关的所有因子中。取方差贡献最二k 的因子正作为第二主因子 对每个标准化变量，即满足条件 s 2 = a a = i 1 ，j x x j ， s 忑f ( 1 。x x ) 岳斗肌a x ( ，) 唔岳= ， 用l a g r a n g e 不定乘数法求解，条件极值( ) 的目标函数为庐= 1 了f 尤y 厂一2 i f 。厂 n 。r 由对向量函数的求导公式， 麻满足方程 等= 熹x x j ，一2 专，= o 即 上x r z ： z ( 5 ) 由上式可以看出 是矩阵三麟最人特征值 所对应的标准化特征向量，将( 5 ) 式两 边乘丢彳得砰= 砉i + 咒r i = 五t 即特征值等于二次刑的极值。 将( 5 ) 式两端同时乘二x 得 一1 j x j ) ( ) ( 1 氏：h x ? f j ” 即 ! 彳彳( 土鼻) ： ( ! + ) 由( 4 ) 上式变为 r a i = l ( 6 ) 这说明第一主因子五的载荷口乖i 方差贡献 满足方程( 6 ) 而且s 1 2 = 口b = 。 为求第二主因子正，我们求如下二次型条 ，| = 极值问题 ( s j2 。素j j 泓j ，_ m q x 。 = z i ! 厂。：0 刚l a g r a n g e 不定乘数法仿求石作法，可求得正满足如卜- 方抖： 三咒v 正= 以 其中如是矩阵土删的次人特征值，正是 2 所对应的标准化特征向最。上式两端同 乘去 ，得s ：2 = 丑：去z 2 五，郎此时二次型极值为 。弭将l 式两端同时乘以i n ：x ， r a 2 = 南口2 ， s ；= ：日2 = 如 仿此进行。f 去，可摊山第k 个公网子五利它相应的闪子载荷m 戍满足方程 x x f 户k k n r a = 丑吼 ( 七= 1 ，2 ，p ) ( 7 ) ( 8 ) 其中 是矩阵! 崩第个较人的特征值，按这种方法求出闻f 计嫩石，石和相应的 因子载荷， 以上是先求冈子计餐五，再求冈子载荷巩。但因去麒。的阶数“通常比r = j 的 阶数m 高得多，求解( 7 ) 的计算最过大所以一股可由( 8 ) 先求m ，再由公式 = 瓦i ( 。ix x 。 ) = 石lx ( 吉 ) 2 去朐t 求因子计量 ( 扛l ，2 ，p ) 。 3 ) 公因子数p 的确定方法 我们可以按下述儿个原则确定公因子数p f 1 】只取大于1 的特征值 【2 】找特征值变化的突变点 【3 】根据方差贡献的累计百分比选因子数p 1 2 2 芷交田子解 i ) 概述 在( 1 2 j ) 中，按备田子方羞贡献大小。依次提取鱼：不相关的p 个公闪子，这p 个公冈 子确定了p 维公p = i 子空间将，1 个变最简化成p 个公闪f ，相当下将各变母j j 它wj 在公 园子空间上的投影来代替，但主因子解往往不是最佳的网子解基丁冈子解的不唯一性， 我们在公因子空阈内对因子轴进行适当舶旋转，使所得新冈乎轴系与实际模型尽量劝台。 这就要求新因子载荷大部分接近0 ，少数接近l 或一l ，以保证每个变量只与少数闪子关系 密切，每个因子只与少数儿个变嚣关系密切。 2 ) 方差极大正交因子解 因子轴系正交旋转的目的是：寻求适当的止交变换矩阵l 使新冈子载荷矩阵口的结 构尽可能“简单”。所谓“简单”，即要求口中的每列( 或行) 仅有少数元素绝对值接近 于1 ，大部分元素接近t0 也就是要求口中每列( 或行) 元素按绝对值人小分布有尽可 能人的方差，按这种目的要求的止变因子解的求法不只一种，方差极人止交冈子解就是其 中一种。 要求口中每行元素的平方有尽可能火的方差，这就是方荠极大准则。 口中第1 行元素平方均值为 茫蒜畦脚一，p 平方的方若为 蠢= l 。智 、b 。2 一磊) 2 = ! n 妻j = l m = 。 p 行方差的总和为 目标是求使该式取得最人值的园子载荷b 。为了简单起见，对该式乘，1 2 ，得目标函 作变换得矩阵 。由于原始变精公闪予方筹不同，为了消除这种差别 8 髦 。川 ( 一2 ) 。川 ( ， 一舻 一 酷 。川 七厶n 一m = 露 ， ) 砖 。川 ( o 厶h k 。川 ，m 一一 一矿 数 保证了爿中备列元素平方和为1 。由一经过正交变换得矩阵b = ( 6 。) p 。则口+ 中各列元素 平方和为1 ，原方差极大准则就改为求中各行元素的平方的方差极人也就是把v 换成 由a + 山发按v 取极大值的原则求b 再求曰。这就是止规方著极人准则，具体做法如f ： 在第r ，g 因子所在的平面上旋转。角，其它因子轴不动，可以看出这样旋转仅使一 中第r ，g 两行变成口中第r ，g 两行其它行不变，闪此口中第r ，g 行第j 个元素可由 a 中第r ，g 行第，列元素经过如f 变换得到 阱咖s i n o 叭 i 口4 j u = 1 ，z ，一， 肌：2 钞寺 00 c o s 口 s i n0 i n0 c o s 口 - r 列 g 列 则口= w 。 m mmm = 霹一( b ，* 2 ) 2 + m 咭一( 昭) 2 - i，= i j = i = 1 9 r 行 g 行 、lij 习 一 坠吃 垒k 盟 堑 ，。，。l厂j 1 l ) 略 。川 ( 七厶胁 一 砖 。川亡厶捌 = 矿 。刊，10_0一”飞 = 踣 记 l i p f ( g ) 2 = m y ( 口：c o s 0 + 口：s i n 目) 4 - 【芝( 口：c 。s 疗+ s i n 臼) 2 r + 研兰 j 叫 = ij = l ( _ 西s i n 拶+ 口二c o s 8 ) | 【( 吲：豳口+ 艺。s p ) 2 】2 = 1 m = 0 求满足l ， 的解。 l 厶 o 从而求出口由口值可以求磁。将p 个冈子两两组合，按 上述方法完成一次 q 做完成一个循环，变换矩阵及j 习子载荷分别为； 乃= z 0 珈乃? ；研= i 一 相应的v 值取v ，然后再作f 一个循环，这样继续卜去，得到序列n ，乃，。 = 正1 1 i = r , v , a ，巧= 正口：= 五瓦巧一，ks ，( 咋j 是单调上升序列而且 由_ 】二( ) 中的每项都不超过i ，所以这个序列是有上界的，从而由数学分析理论知序列 ( n ) 必收敛，因此可以取足够小的正数e ，若进行到某一步，巧， e 成立，就停i e 循环，把乃近似地看成序列 圪) 的极限。 得到：b = 拍，7 。乃乃_ t t 这样算得帕曰器列元素的平方币i 都等于l ，为得到最终 的极大因子解b 需要对口中的第，列元素都乘以啊( ，= ，2 ：) ，即 j o 口 ： ： 1 3 计算结果分析 对某矿区六块有金矿化火山岩标本进行勘测，分别测定 种元素q f ，肼a uc u s 的含量数据见附表( 1 ) 。茸先进行数据处理，将数据标准化，见附表( 2 ) ，我们对此数据进 行因子分析，先埘主成份分析法提取公因子，再【f i 方著极人法旋转冈子轴得到一系列结 果如下： 1 ) 图l 为表现备成份特征值的碎石图 3 5 3 0 捌2 - 5 岿2 0 球1 5 1 0 o 5 0 0 12 34 5 6 主成分 图1 表现各成份特征值的碎石圉 分析碎石图可以看山p ；| 子l 与因子2 ，以及因子2 与冈子3 之间的特征值之羲值比较 大，而因子3 、4 、5 之问的特征值差值均比较小，而且只彳一因子l 与田子2 特征值大于1 ， 可以初步得出保留两个因子将能概括绝人部分信息。 2 ) 表2 是初始提取的因子载荷矩阵通过这个系数矩阵可以j ij 备原始变量写出因子表达式 因子1 = 0 8 4 1 x c u + 0 8 5 l x s + 0 3 2 0 x c r + 0 6 1 8 x n i + o 7 9 2 x g r + 0 8 8 1x a “ 1 1 、，l i 0 k m 0 、_，。；l o一 、l - 、 0 k 耵 o ，。，。，。 8 = 日 中其 列 = 日 有则 因子2 = d 4 8 0 x c u + o 3 8 1 x s + 0 8 0 3 x c r + 0 ，6 1 3 x n i + 0 6 0 8x s r 一0 4 4 3x a u 由表l 可以看出，用这两个因子代替六个原始变量，可以概括原变量所包含信息的8 8 。 主虞蕾辐关超辟静甓直幸奠转甚子t 瞢拗和 特鼍蕾可舟比忡百分比特证旨分把一计百分比 l3 3 1 9 3 1 2 硒3 1 23 3 1 95 5 - 3 1 2 驺3 1 2 2l 胤黯7 0 2 嗨0 1 4l 舰箍撇晴0 1 4 30 s 1 28 髓l 酆5 1 5 4o 1 8 93 1 5 1 钾6 5o 肿1 8 笛o 3 0 41 0 0 o o o 63 鹋e - 1 6b 1 3 l p l 5l 0 0 寰! 兰篓垫璺f 垫堡2 曼曼鼻操 主赢赞 12 & 0 8 4 l - 0 4 8 0 s0 8 5 x o ，3 8 l o0 3 2 00 8 0 3 ko 6 1 80 6 1 3 鼻0 7 9 20 6 0 8 0 8 8 t - 0 4 4 3 表2 对因子提取结果比较理想，但是要对两个因子命名比较团难每个因子中各原始 变量的系数没有明显的差别，因此为了对因子进行命名，可以进彳旋转，使系数向0 乖1 1 两极分化。 2 ) 表3 是旋转后因子载荷矩阵。图2 为旋转后因子载荷图。 毫! 苎蔓星垦f 塞! 堡2 曼曼鳖鼻 生成毋 l2 c i o 9 6 1 75 1 1 6 e - 0 2 8o 孵2o 1 4 0 g - 0 1 5 90 8 4 9 m 0 1 8 80 8 5 0 鼻0 70 9 4 0 a u 0 9 o 1 0 1 2 g f o o u n i s o 舌 1 ，oo 5o o0 5 主成份1 图2 旋转后主成份图 1 o 们 叫 仙 n 串毽州 由表3 可以看山，每个网子中备原始变量的系数都有了明显的两极分化。 从圈2 可以看：n 旋转后务成份的变量更加囊中了，闪子1 可以根血r 地解释a u ，c u ， s 的综台含量，而因子2 可以很好地解释d ，m ，毋的综合含餐。 3 ) 表4 是因子得分系数矩阵。 妻苎曼置墨熊一一 生麻毋 】2 0 3 4 50 0 6 9 0 3 2l一0 0 2 4 0 1 4 00 8 9 t o 0 1 20 3 6 3 o 0 3 3o 8 1 9 0 0 3 4 50 0 4 b 根据网子得分系数和原始变舒标准化可以计算每个观测姑的闶予得分，旋转斤例子得 分表达式为： 阅予i i = 0 3 4 5 c u + o 3 2 t s 一0 1 4 0 c ，一o 0 1 2 n i + o 0 3 3 s r + o 3 4 5 a u 因子2 i = 一o 0 6 9xc “一0 0 2 4 s + 0 3 9 7 x c r + 0 3 6 3 x n i + 0 3 9 0 x s r + 0 0 4 6 a u 因子得分结果见附表( 2 ) 中因子1 1 变量和凋子2 i 变量。 2 聚类分析应用 2 1 溉述 聚类就是把研究对象进行分类，根据研究对象不同可分为样本聚类也刮q 型聚类和 变量聚类也叫尺型聚类。 两类分析基本方法一致。 聚类分析有很多种方法，其巾最常j j 的娃谱系聚类法。所谓谱系聚类法就是根据自己 算山的分类对象问的相似性戏非相似性程度按一定原则将其分成不同的类，其结果用谱 系图形式表示。系统聚类法廷较为精细的谱系聚类法基乖步骤延： 1 首先认为各对象白成类 2 依两对象之间相似性，将最相似的两个对象聚成一类 3 计算新类与其余备类之闻相似性，将最相似的两个对象台成一类，一直重复这一过程， 直到所有对象合成一类为l e 2 2 计算结果分析 以囡子分析得到的因子得分变量因子l - i ，因子2 i 作为新的变鲑对大块矿体进行分 1 3 乱 。 口 肌 品 钆 类。 表5 分别为聚为两类、三类、四类的分类结果。 塞!曼塑! 堕：三曼：曼篓鲤量墨曼曼壁篓坚 难量爵樊鹿爿量三类疆舅量四囊 图3 图4 图5 分别为聚为两类、三炎、四类的因子得分幽( 据附表( 2 ) ) 。幽6 为聚类 冰柱图，图7 为聚类树状图，反映的结果都相同，聚成各类的结果一目了然。 下面以聚为三类加以说明： 由表5 可以看到，聚为二类时，第l 块，第5 块矿体同类第2 、3 、6 块矿体为同类， 而第4 块矿体单独一类。 再由幽4 可以看山第一类矿体在图中右f 角，说明筇一类矿体的第t 个冈子得分较 高，而第2 个因子得分较低第二类矿体在图中左上角说明它的第1 个冈子得分较低， 第2 个因子得分较高，第三类矿体在图中右上角说明它的两个网子得分都较高，网子卜i 表现出“，c u ，s 的综合含量，因子2 一i 表现出c ，m ，跏的综合含越 笫1 块，第5 块矿体里爿”，c h ，s 的含最丰富，而缺乏c ，f ，廿第2 、3 、6 块 矿体里a “，c u ，s 含量缺乏，而c ，f ，曲含最丰富，第4 块矿体里再类元素含揖都较 为丰富。 圈6 图7 显示了再种分类结果，可供不同的实际需要。 4 15 1 o 05 0 0 - 0 5 10 15 2 0 因子l l 圄3 聚为两类的困予得分图 - 2 0 - 5 - 1 0 - 05 0 0 0 5 1015 田子1 一l 母4 橐为三类的因子得分圈 因子l l i ，n 巾四 一，巾旺 i 晶巾匝 匿6 聚类冰桂圈 理测量 分类 46 3 251 1x x x x 2xx 3 4 xxxx x 5 x 距离参数0 5 观 测 量 图7 聚英树形图 2 02 5 6 鲢一茎篓鲤 序号 q ( ) s ( ) g ( ) ( )品( ) 。( ) 2 3 5 o ，7 9 o o o 2 1 7 i 1 0 3 ：3 0 3 2 5 27 0 3 4 5 3 2 舯 o 5 d 2 9 0 3 4 0 2 加 0 l 0 4 7 1 o ， 24 5 j 9 d 1 _ 4 0 2 4 5 1 9 5 60 7 93 i o3 3 02 叩0 6 5 6 0 鲢鲤塑堡丛 序号 c l ( 剐s ( 】口( )挑( )品( )凡( 】 7 竹 l 2 2 4 l l 2 3 5 a na p p l i c a t i o no ff a c t o ra n a l y s i sa n dc l u s t e ra n a l y s i si n s a m p i n gl n v e r t i g a t i o n ( jd e p a r t m e n to fm a t h e m a t i c s ，l i a o n i n gn o r m a lu n i v e r s i t y , d a l i a nl i a o i n g1 i6 0 2 9 ，c h i n a ) ( 2d e p a r t m e n to fm a t h e m t i c s ，a n s h a nn o r m a lu n i v