（概率论与数理统计专业论文）产品研发中产品属性的最优选择问题.pdf

论文摘要 在产品研发的过程中，有很多问题一直困扰着研究人员，比如：什么样的 产品是消费者喜欢的? 我们的产品和竞争对手的产品有什么不同? 哪些因素决 定着消费者对产品的偏好? 消费者的偏好有什么差别? 市场上有没有潜在的机 会? 我们的新产品应该怎样向消费者诉求等。尤其是当产品属性很多的时候，怎 样选择属性与对每个属性采取怎样的强度就显得尤为复杂和重要。 近三四十年来，随着感官评估技术的不断完善，西方先进国家的研究人员开 始尝试利用多元统计分析方法将感官描述性分析结果与消费者测试的数据结合 起来，来找到产品的最优属性组合。最为常用的方法就是一偏好图技术。 偏好图是一种可以将描述性分析的结果与消费者测试数据相结合的技术。它 分为两种：内部偏好图与外部偏好图。内部偏好图是先由消费者测试数据形成消 ， 费者偏好图，再加入感官评估数据。外部偏好图是先由感官评估数据作成感官图， 再加入消费者测试数据。两种偏好图都有各自的优缺点，如何选择合适的方法是 很多研究人员目前关心的问题。 本文将简要介绍感官评估的基本方法与偏好图技术的基本内容、+ 步骤。重点 阐述两种偏好图各自的理论与数据分析方法，给出用统计软件进行数据分析的实 例，并对各种方法得出的结果进行比较，对每种方法的不足进行阐述与改进。 关键词：产品研发产品属性偏好图感官评估消费者测试内部偏好图外部偏 好图主成分分析回归分析聚类分析偏最小二乘回归 a b s t r a c t t h e r ea r em a n yp r o b l e m st r o u b l i n gd e v e l o p m e n t p e o p l e i nt h ep r o c e s so f p r o d u c td e v e l o p m e n t f o re x a m p l e ：w h a tk i n do fp r o d u c td oc o n s u m e r sp r e f e r ? w h a t st h ed i f f e r e n c eb e t w e e no u ra n dc o m p e t i t o r sp r o d u c t ? w h a t st h ed r i v e ro f c o n s u m e r sp r e f e r e n c e ? w h a t st h ed i f f e r e n c eo fc o n s u m e r s p r e f e r e n c e ? i st h e r ea n y o p p o r t u n i t yi nm a r k e t ? h o wt oc l a i mo u rn e wp r o d u c tt oc o n s u m e r s i t sv e r y c o m p l e xa n di m p o r t a n tt os e l e c ta n dg i v er i g h ti n t e n s i t yt ot h ea t t r i b u t e ss e l e c t e d w h e nt h e r ea r et o om a n ya t t r i b u t e s f r o mr e c e n t3 0 sy e a r s ，w i t ht h ed e v e l o p m e n to fs e n s o r ye v a l u a t i o nm e t h o d ， r e s e a r c hp e o p l ef r o md e v e l o p e dc o u n t r yb e g a nt ou s em u l t i v a r i a t es t a t i s t i c a lm e t h o d t ol i n kd e s c r i p t i v ed a t aa n dc o n s u y n e rt e s td a t at oo p t i m i z et h ep r o d u c t sa t t r i b u t e s t h em o s tp o p u l a rt e c h n i q u ei sp r e f e r e n c em a p p i n g p r e f e r e n c em a p p i n gi sat e c h n i q u et ol i n kd e s c r i p t i v ed a t aa n dc o n s u m e rt e s t d a t a i th a s2t y p e sm a p p i n g ：i n t e r n a lp r e f e r e n c em a p p i n ga n de x t e r n a lp r e f e r e n c e m a p p i n g i n t e r n a lp r e f e r e n c em a p p i n gu s e sc o n s u m e rt e s td a t at op r o d u c ec o n s u m e r p r e f e r e n c em a p p i n gf i r s t ，t h e nd e s c r i p t i v ed a t aa d d e d w h i l ee x t e r n a lp r e f e r e n c e m a p p i n gu s e sd e s c r i p t i v ed a t at op r o d u c es e n s o r ym a p p i n gf i r s t ，t h e nc o n s u m e rt e s t d a t aa d d e d b o t ho ft h e mh a v ea d v a n t a g ea n dd i s a d v a n t a g e s h o wt os e l e c tt h ep r o p e r t e c h n i q u e si sw h a tt h er e s e a r c hp e o p l et h i n ko ff o rn o w t h i sa r t i c l ew i l lb r i e f l yi n t r o d u c et h em e t h o do fs e n s o r ye v a l u a t i o n 嬲w e l la s c o n t e n ta n dp r o c e s so fp r e f e r e n c em a p p i n gt e c h n i q u e i tw i l la l s o g i v ed e t a i l d e s c r i p t i o no ft h et h e o r ya n dd a t aa n a l y s i sm e t h o do ft h e2t y p e sp r e f e r e n c em a p p i n g t o g e t h e rw i t ht h ec a s e st oa n a l y z ed a t au s i n gs t a t i s t i c a ls o f t w a r e t h e r ea r em a n y p a g e sa n a l y z i n g t h ed i f f e r e n c eb e t w e e ne a c hm e t h o da n d i n t r o d u c i n g t h e i m p r o v e m e n tm a d et od e c r e a s et h ed r a w b a c ko ft h e s et e c h n i q u e s k e y w o r d s ：r & d a t t r i b u t e sp r e f e r e n c em a p p i n g s e n s o r ye v a l u a t i o n c o n s u m e rt e s ti n t e r n a lp r e f e r e n c em a p p i n ge x t e r n a lp r e f e r e n c em a p p i n g p r i n c i p a lc o m p o n e n t sa n a l y s i sr e g r e s s i o na n a l y s i s c l u s t e ra n a l y s i s p a r t i a ll e a s ts q u a r e sr e g r e s s i o n 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果据我所知，除文中已经注明引用的内容外，本论文 不包含其他个人已经发表或撰写过的研究成果。对本文的研究做出重 要贡献的个人和集体，均已在文中作了明确说明并表示谢意 、， 作者签名：至丝逸日期：童牡 学位论文授权使用声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版。有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校时书馆被查阅。有权将学位论文的内容编入有关数据库进 行检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在 解密后适用本规定。 学位论文作者签名：石，哆少爱 导师签名： 日期： 榷唬乏 ， 第一章绪论 第一节选题的背景及意义 在产品研发的过程中，有很多问题一直困扰着研究人员，比如：什么样的 产品是消费者喜欢的? 我们的产品和竞争对手的产品有什么不同? 哪些因素决 定着消费者对产品的偏好? 消费者的偏好有什么差别? 市场上有没有潜在的机 会? 我们的新产品应该怎样向消费者诉求等。尤其是当产品属性很多的时候，怎 样选择属性与对每个属性采取怎样的强度就显得尤为复杂和重要。 以食品行业为例，目前在中国，多数企业还是单纯凭借研究人员的经验来 开发产品的。另有部分企业引入了市场调查方法，进行消费者口味偏好调查和口 味测试来帮助产品开发。然而传统的单纯的消费者口味偏好调查通常采用访问员 问消费者答的形式，只能笼统地得到某个消费者所喜欢的大风味，例如是喜欢芝 士昧还是番茄味。然而，有时对组成某种特定的大风味所用的某些调味料不同， 实际得到的风味偏好就会有所不同。番茄味还是番茄味，但番茄味可以有很多种。 因此，这样的口味偏好调查的实际作用通常是非常有限的。另一方面，口味测试 只是针对研究人员开发出来的产品进行评价，并不能从源头上了解消费者的实际 口味偏好，因而在开发新产品前无法做到有的放矢地开发。同时，由于市场调查 的经费有限，口味测试所测试的产品数量势必有所限制，这也导致我们不可能每 次产品开发都进行涵盖各种口味的大规模的口味测试。 因此，如何找到一个有效的方法来了解消费者对产品的实际偏好方向，来 进行产品属性的选择，进而开发出满足消费者需要的产品是很多企业非常想解决 的问题。 第二节国内外研究现状 近三四十年来，随着感官评估( s e n s o r ye v a l u a t i o n ) 技术的不断完善，西 方先进国家的研究人员开始尝试利用多元统计分析方法将感官描述性分析结果 与消费者测试的数据结合起来，来找到产品的最优属性组合。最为常见的方法就 是一偏好图技术( p r e f e r e n c em a p p i n g ) 。自上世纪7 0 年代开始有人提出到现在， 该方法的理论研究在西方先进国家日趋成熟，国外的大型企业大多进行了这方面 的实践，并取得了良好的效果。在联合利华、达能等国际性大公司，都设有专门 的感官评估部门，偏好图技术已经成为感官评估部门的常规方法。 然而在国内，还几乎没有企业做过这方面的尝试。这主要是由于国内感官 评估学科的起步较晚，且极少有人进行这方面的理论研究，也没有任何中文研究 成果发表。近些年，国际性大公司纷纷进入中国，并在中国公司建立了感官评估 部门，使在这些跨国公司工作的研究人员了解了感官评估技术的内容与应用，掌 握了感官评估的基本方法。然而，对于偏好图这类感官评估的高级应用技术，还 只停留在知道的层面上，即便是某些大公司有这方面的实践，数据分析也是 由总部的研究人员或国外专门的研究机构进行。作为一项非常有用的技术，国内 从事感官评估的研究人员都迫切地想了解偏好图的理论和实践、分析方法。 第三节本文研究内容 本文将简要介绍感官评估的基本方法与偏好图技术的基本内容、步骤。重 点对两种偏好图：内部偏好图( i n t e r n a lp r e f e r e n c em a p p i n g ) 与外部偏好图 ( e x t e r n a lp r e f e r e n c em a p p i n g ) 进行比较，对两种方法各自的理论与数据分析 方法进行详细的阐述，给出用统计软件进行数据分析的实例，并对各种方法得出 的结果进行比较，对每种方法的不足进行阐述与改进。 2 第二章感官评估技术 第一节感官评估技术简介 感官评估是一门以人的感官所感受到的来得到、衡量、分析和解释某些材 料的属性的学科。人的感官分为五大类：视觉、味觉、触觉、嗅觉和听觉，感官 评估也就是以这五类感觉为基础的。感官评估作为一门新兴学科，是近半个世纪 随着现代生理学、心理学、统计学等多门学科的发展而逐步发展、成熟起来的， 是一门交叉的边缘学科。 感官评估技术是以一批经过特别训练的感觉非常好的感官评估小组成员 ( p a n e l l i s t ) 为评估主体的，这些评估者几乎可以像机器一样准确地描述一样 产品。感官评估可以回答以下一些问题： 1 人们是否能够感觉到某些东西( 如味道) 的存在? 如果能够感觉到某种 东西存在，那么它是什么? 程度怎样? 2 对一种产品的描述( 如描述一种饼干，可以从风味，脆度、颜色等方面) 3 产品间是否有差异? 4 如果产品间有差异，差异在那里? 程度是多少? 5 对产品的喜好接受程度如何? 感官评估主要分为三类：差异测试( d i f f e r e n tt e s t ) 、描述性分析 ( d e s c r i p t i v ea n a l y s i s ) 和情感测试( a f f e c t i v et e s t ) 。差异测试可以用来回答 以上的问题3 ；描述性分析可以回答以上的问题l 、2 、4 ；情感测试可以回答以 上的问题5 。由于感官评估小组人数通常不多( 通常少于3 0 人) ，因此，在能够 进行消费者测试时，不建议用感官评估小组进行产品喜好接受程度测试。 感官评估技术在先进国家已被广泛应用于食品、日化等行业来进行竞争产 品研究、产品改进、产品功效评定、质量控制等工作。在我国，感官评估正逐渐 被重视，除了大型跨国公司的中国分公司外，一些大型企业，如三鹿、家化等也 已经开始应用感官评估作为产品开发的一个重要工具。 第二节描述性分析方法 感官评估技术中最核心的也是应用最广的是描述性分析。描述性分析根据 小组成员被训练的方式不同与程度不同有不同的方法。最主要的有：s p e c t r u m 和q d a ( q u a n t i t a t i v ed e s c r i p t i v ea n a l y s i s ) 。 s p e c t r u m 是最复杂的方法，由于食品风味的多样性，它主要被应用于食品 行业。经过训练的评估小组成员可以分辨出多达几十种风味，并能够依照各种风 味的不同强度给出1 - 1 5 之间的恰当分数。得到诸如一种方便面调味包里有大蒜 3 味几分、胡椒味几分等这样的结果。但s p e c t r u m 对于小组成员的培训是要花费 相当长时间的，经常要一年以上，因而，多数公司采用q d a 方法。 q d a 方法仅就消费者比较容易分辨、认为比较重要且研发人员也比较重视的 产品属性进行培训，小组成员仅就这些属性进行评估，这就比s p e c t r u m 节省了 很多的培训时间与评估时间。因而，q d a 方法的应用最为普遍。相对于s p e c t r u m 的1 5 分制，q d a 方法对于分制无限制，可以根据行业的实际情况而定。 需要指出的是，描述性分析只给出对于产品描述的客观结果，不含任何主 观偏好的测量。 q d a 方法的一般步骤是： ( 1 ) 进行消费者小组座谈会，了解消费者对该种产品所关注的属性。所有消费 者共同选出大家一致关注的属性，这种属性必须是可用程度衡量的，而不 是类似“干净、清香 这样的属性。 ( 2 ) 与研发人员共同讨论每个属性，选出研发人员可进行调整的重要的属性。 ( 3 ) 根据每个属性在市场上同类产品中的强度区间与实践经验制定测试用的 分制。 ( 4 ) 根据每个属性在市场上同类产品中的强度区间选择基准样品用作培训，通 常每个属性要选择2 到3 个基准样品，尽量涵盖高、中、低分区域。 ( 5 ) 用感官评估中差异测试的方法选择敏感的消费者作为评估小组成员。 ( 6 ) 对小组成员进行培训，使他们能够达到准确评估新产品的要求，并经常对 他们进行考试，以保证他们的评估结果的准确性。经过培训后的评估小组 成员可以随时进行产品评估。 本文将在第六章案例分析中给出用q d a 方法进行描述性分析的案例。 4 第三章偏好图技术 第一节偏好图技术概述 仍然以食品行业为例。在口味测试中，我们将开发的产品交给消费者品尝， 由消费者给出代表他们偏好程度的分数。通常我们会根据每个产品的平均分来选 择得分最高的产品。然而，对于具有复杂风味d 感的食品而言，即便是消费者 对某一产品给出同样的分数，也不一定代表两个人具有同样的口味。也许消费者 a 非常喜欢这个产品的甜味而有点不喜欢辣味，消费者b 非常喜欢这个产品的辣 味而有点不喜欢甜味。因而，口味测试只能作为选择最终产品的工具，而不能以 此作为判断消费者口味偏好的依据。 要了解消费者的真实口味偏好，就要结合感官描述性分析给出的组成产品 的各种风味i n 感等的描述( 或用可测量产品成份的仪器测出的数据。由于描述 性分析方法更为常用，本文也只用到这种方法给出的数据) ，与口味测试结果一 起来得出消费者对每种产品属性的偏好程度。偏好图就是这样一种技术，它看到 了消费者的深度区别，并进行深入的研究。同时，消费者的口味偏好千差万别， 但也是有一定的共性的，将消费者按照口味偏好分类，将有助于分析结果的解释 和应用。所以，偏好图经常会结合聚类分析技术给出更为实用的结论。 偏好图以两维图的形式给出消费者偏好和产品感官属性的关系。从偏好图 的结果中，我们可以： 找到决定消费者( 或某一类消费者) 偏好的主要产品属性 评估、比较特定的产品和竞争对手的产品 找到不同国家或地区消费者的偏好的差别 找到产品开发的潜在机会 找到新产品开发的方向，预测消费者对新产品的偏好程度 找到新产品诉求的方向 偏好图分为两种，分别是内部偏好图和外部偏好图。两种偏好图在原理、 分析方法、结果土都有很大的不同，但它们的实施步骤是一致的，对于数据的要 求也是一致的：即需要有消费者对每种产品进行偏好评分的数据与感官描述性分 析的数据。从分析步骤来看，两种偏好图的差别大致描述如下： 内部偏好图首先仅是由消费者测试的数据来形成消费者偏好图，再结合感 官描述性分析数据形成最终的内部偏好图。 外部偏好图先由描述性分析数据形成感官图，再结合消费者数据形成最终 的外部偏好图。 5 用图表表示如下： 内部偏好图 l 消费者数据 1 l i 消费者偏好图 感官数据土 i 内部偏好图 外部偏好图 感官数据 1 l 感官图 硝费，据上 外部偏好图 第二节实施步骤 偏好图技术实施的一般步骤如下： 对每一步骤的详细解释与注意事项： 1 ) 第一步要了解消费者对某种产品的关注属性，例如对于酸奶，消费者会 6 关注甜味、酸味、奶味等。做描述性分析时只要对消费者关注的属性和研发人员 关注的属性进行评估。这可以通过消费者小组座谈会来实现。另外，我们也要了 解消费者的使用习惯，比如喝酸奶的温度等，以便我们在进行消费者口味测试时 最大限度地模仿消费者平时的习惯，以达到最确切的结果。 2 ) 让经过培训的感官评估小组成员试用每种产品，给出每个产品的各属性 得分。之后用主成分分析( p c a - p r i n c i p a lc o m p o n e n t sa n a l y s i s ) 方法作出感官 图。 3 ) 将感官图中位置很近的产品去除。感官图中相近的产品表示它们的各种 感官属性相近，我们没必要在研究中加入两个差不多的产品。 4 ) 由于每个消费者都要试用所有的产品，所以消费者测试前要仔细进行试 验设计，均衡产品的先后顺序，以减少测试当中的偏差。 5 ) 当样本量比较大时，把所有代表消费者的向量或点都描绘到偏好图中很 难分辨，可以用聚类分析的方法先将消费者分类。 6 ) 用合适的模型将消费者数据和感官评估数据结合起来，作出偏好图。由 此找到消费者喜欢的属性组合，在此基础上开发产品。 7 第四章内部偏好图 第一节内部偏好图的概念与形式 内部偏好图( i n t e r n a lp r e f e r e n c em a p p i n g ) 有时( 特别是在美国) 也被叫 做多维偏好分析( m d p r e f m u l t i d i m e n s i o n a lp r e f e r e n c ea n a l y s i s ) 。之所以 叫做内部偏好图，是因为一开始它只是用消费者数据形成偏好图，而不结合任何 外部数据( 如感官描述性分析数据) 。但实际操作中，人们往往结合描述性分析 数据来看最终得到的偏好图，因此现在所指的内部偏好图通常包含描述性分析数 据。 图1 图1 是一个未添加外部数据的内部偏好图。其中字母标注的是产品，产品 之间的距离代表产品之间的相似程度，越近代表越相近。图中的每个向量代表一 位消费者的总体偏好，向量的方向反映这位消费者偏好的方向，向量的大小反映 偏好的程度。产品投影到每个向量上的点到原点的距离，代表这位消费者对这个 产品的偏好程度。我们可以看到，很多消费者喜欢f h s 、c f w 、q b e 等产品，还有 很多消费者喜欢s t d 、m t j 、t j r 等产品。显而易见，我们可以把消费者大致分成 这两大类。在很多复杂的情况中，我们可以应用聚类分析技术将消费者分类，第 六章案例分析中同样会给出应用聚类分析方法的步骤。 8 窖so一皇善e善冀叠2差 每个轴上标注的百分比代表这个维度所能解释的方差比例。通常我们都用 两维图来展示偏好图的结果。虽然看起来两维图能解释的总体方差似乎较少，但 我们知道，在众多的属性存在且每个属性之间也可能有线性关系的情况下，单独 考察每个属性与总体偏好程度的关系是不现实也是不可行的。产品开发人员不是 专业的统计人员，图表的形式对他们来说远比数字来得方便易读。 到目前为止，我们得到的只是消费者测试得到的信息。然而，我们的研发 人员更关心的是研究结果如何指导他们的产品开发。图2 给出了结合了感官描述 性分析数据的最终的内部偏好图的形式。 这里，我们将消费者分成了两类，这也使得图表变得清晰易读。图中除消 费者分类向量之外的每个向量代表一个产品属性。可以看到，第一类消费者比较 偏好的是奶味，辣味和细腻的口感，而第二类消费者比较偏好的是紧致、有颗粒、 有残留的口感。这样，我们的研发人员就可以有针对性地开发两种不同的产品来 满足不同类型的消费者的需要了。 图2 第二节数据分析的基本原理 内部偏好图的数据分析主要分为两步：第一步，用主成分分析的方法得到 消费者偏好图；第二步，用回归分析的方法将消费者数据与感官评估数据联系起 来得到最终的内部偏好图。 - 先作主成分分析。主成分分析的数学模型如下： 9 薹“氯秀互e6暑互董 其中 x i 2 i 一1 ，p 用数据矩阵x 的p 个向量( 即p 个指标向量) x 。，x ：，o mg ，x p 作线性组合( 即 综合指标向量) 为： 简写成只。a “x p - + a 2 fx 2 + + a x p i l ，p 上述方程组要求：口：+ 口丢+ + 口刍= l f 一1 ，p 且系数口 由下列原则决定： ( 1 ) e 与f ，( f j ，f ，j n1 ，p ) 不相关； ( 2 ) e 是x ，x ：，x 。的一切线性组合( 系数满足上述方程组) 中方差 最大的，r 是与e 不相关的x ，x ：，o oo x 。一切线性组合中方差最大 的，是与e ，e ，一。都不相关的x 。，x ：，x p 一切线性 组合中方差最大的。， 通过推导可得到：系数向量( a u ，a 2 ，a 硝) ，f - l ，p 恰好是x 的 协差阵的特征值所对应的特征向量。x ，x ：，x ，的主成分就是以x 的协差 阵的特征向量为系数的线性组合，它们互不相关，其方差为的特征根。由 1 0 、iliil，、 u 甜h 觐 ； 矗 砩k p + + h p v 锄 + + + t 氍k x 砘? 印野 于的特征根 a 2 o ，所以有：砌，e 砌，f 2 苫砌厂 o 。 在解决实际问题时，根据累计贡献率的大小取前k 个( 通常是2 或3 个) 主成分。 前七个主成分的累计贡献率定义为y 九y 九。 何箭 主成分分析能够有效地为数据降维，且降维后的变量相互独立，这为进行 其它分析( 如回归分析等) 提供了有利条件。 这里应用的主成分分析，可以是度量的( m e t r i c ) ，也可以是非度量的 ( n o n - m e t r i c ) 。度量的主成分分析是应用消费者评分的原始值进行主成分分析， 并假设消费者评分的每个分值间距离相等。非度量的主成分分析将消费者评分进 行单调变换，以使得提取的前几个主成分解释的方差最大化。变换后消费者评分 的分值间间隔不再相等，但排列次序不变。单调变换有不同的类型，可以根据实 际情况进行选择。变换通过迭代来实现，这在很多统计软件里都可以做到。 m s f u h e 啊。啊嘲m n o h 一睡口1 口明a i h d 耵a 啊j 崛啊峨n 暑f d r m 蠢np j q m u e ) t oo 啊a l n d 丽a r 啊舅d 鳅1 甩啊p d 嵋b 啾2 一7-1t- a v i 岫0 瞳a 州岫蛔 图3 图3 给出了对2 位消费者的评分进行m s p l i n e 变换的结果。可以看到，第 一位消费者的转换后的评分实际上是低于原来的评分的，说明这位消费者更偏向 不喜欢的方面；而第二位消费者的转换后的评分实际上是高于原来的评分的，说 明这位消费者更偏向喜欢的方面。在实际情况中，有时做这种变换对我们来说似 乎更为有意义。 不过一般情况下，我们经常做的是度量的主成分分析。将消费者对产品的 评分进行主成分分析，通常选取2 个主成分，计算出因子载荷与因子得分，以第 一和第二主成分为坐标轴作散点图即得到消费者偏好图。 作内部偏好图的第二步是回归分析。由于主成分分析所提取的主成分之间 各不相关，用主成分作为自变量避免了多重共线性的问题。通常用2 个主成分作 自变量，感官描述性分析的各属性作因变量作多重多元线性回归以得到提取的主 成分对每个产品属性的回归方程。多重多元线性回归的数学模型为： 暑口，量-al皇 8西i置t芒芦 设有朋个自变量_ ，z 2 ，o o op ，对应p 个因变量y l ，y ：，y p ，假定它们 之间有线性关系式： y l = 僻卜卢l l 工l + 卢2 lx 2 + + 肘l 毛+ 占l y 2 2 芦i d 2 + 屏2x l 十p 2 2 石2 + + m 2z m + f 2 y p 2p o p p t px l p 2 px 2 - 0 叩x m sp 其中岛( f 一0 ，1 ，朋；_ 一1 ，2 ，p ) 是未知参数，g ，( j 一1 ，2 ，p ) 是 随机误差项，它们不是相互独立的，通常假设它们服从正态分布即 ( f l ，2 ，p ) n p ( 0 ，) 其中= ( q ，) 为未知的协差阵。 统计问题就是从已知的m 个自变量，p 个因变量的疗组实测数据出发，求未 知常数；f 的估计值矽豇，并对误差占，作出估计和推断。 在实际情况中，如果我们只选择了前2 个主成分( 记为e 和最) 作消费者偏 好图，那么用这2 个主成分作自变量，感官评估的各属性为因变量作多重多元线 性回归将得到下列的一组回归方程： 属性1 = o l + 展，e + 卢2 l 疋 属性2 = 卢0 2 + 卢1 2 互+ 卢2 2e 属性p2 风p + 屈pe + 卢2 pe 在统计软件中用感官评估数据与产品的主成分因子得分算出回归系数，根 据回归系数相对2 个主成分的坐标将每个属性向量加入消费者偏好图中相应的 位置，即得到内部偏好图。在第六章中，将以实例给出用统计软件作内部偏好图 的详细过程。 第三节将消费者分类 在消费者测试样本量比较大时，将所有的消费者对应的向量( 或点) 都加到 偏好图中会显得非常杂乱且不易读，如果能够将消费者分成几类将非常有助于结 果的解释与应用。聚类分析可以达到这个目的。 聚类分析( c l u s t e ra n a l y s i s ) 是一种分类的方法，目的在于将相似的事物归 类。可以将变量分类，但更多的应用是将个体或样本分类，使同类中的事物相对 于某些变量来说是相同的、相似的或同质的；而类与类之间却有着显著的差异或 是异质的。 为了得到比较合理的分类，首先要采用适当的指标来定量地描述研究对象 1 2 ( 样本或变量，常用的是样本) 之间的联系的紧密程度。常用的指标为“距离” 和“相似系数 。假定研究对象均用所谓的“点”来表示。在聚类分析中，一般 的规则是将“距离 较小的点或“相似系数 较大点归为同一类，将“距离”较 大的点或“相似系数”较小的点归为不同的类。 分别用x 和y 表示s 空间中的两个点，如果是对变量聚类，那么x 和y 分别 表示两个变量，其维数s 就是样本量n ；如果是对样本聚类，则x 和y 分别表示 两个个体( 样本点) ，维数s 就是聚类变量的个数k 。 聚类方法分为两大类：谱系聚类法( h i e r a r c h i c a lc l u s t e r i n g ) 和非谱系 聚类法( n o n - h i e r a r c h i c a lc l u s t e r i n g ) 。谱系聚类法是一种其聚类过程可以用 所谓的谱系结构或树形结构来描绘的方法。具体又分为聚集法( a 9 9 1 0 m e r a t i v e c l u s t e r i n g ) 和分割法( d i v i s i v ec l u s t e r i n g ) 两种。聚集法是先将所有的研 究对象各自算作一类，将最靠近( 距离最小或相似系数最大) 的首先聚类；再将 这个类和其他类中最靠近的结合，直到所有对象都合并为一类。分割法正好相反。 谱系聚类常用于较小样本的情况，并常选用欧式距离( e u c l i d e a nd i s t a n c e ) 与 沃德法( w a r d sm e t h o d ) 。非谱系聚类法也叫做k 一均值聚类法( k m e a n s c l u s t e r i n g ) ，这种方法聚类比较快，适用于大量样本的情况，并常选用欧式距离 平方( e u c l i d e a nd i s t a n c e ) 与沃德法( w a r d sm e t h o d ) 。 在第六章中，将给出应用谱系聚类法中的聚集法进行聚类分析的实例。 1 3 第五章外部偏好图 第一节外部偏好图的概念与形式 在很多感官( 统计) 分析软件中，偏好图分析的程序p r e f , 帆p ，指的就是外 部偏好图( e x t e r n a lp r e f e r e n c em a p p i n g ) 。之所以叫做外部偏好图，是因为它 首先将外部数据( 如感官描述性分析数据) 进行主成分分析得到含有产品与产品 属性的感官图，然后再通过建模得到最终的外部偏好图。 p r l n c i f 编lc o m p o n e 卜丌弓a n a l y s l s 艮i s 9 do nb 删霸脚吖r m d r 酬o 鲫舶啭1 图4 图4 给出了感官图的一般样式，这是感官评估人员平时进行感官分析所得 到的一般结果。我们可以像主成分分析那样对产品之间、变量之间，产品与变量 之间的关系进行解释。从感官图中，可以知道每个产品的属性，产品间的差异， 各属性间的关系等。 下图给出了加入了消费者偏好的最终的外部偏好图最常见的形式，图中的加 号代表每位消费者的最偏好点，减号代表最不偏好点，由此可以得到消费者最偏 好( 或最不偏好) 的产品和产品的属性组合与属性强度。 1 4 毳n盖孟暮o i c l f 善k e 盯e r n a lp r e f e r e n c em 姨pi d e a lv e c t o r sa n dl d 队lp 0 l n t s s u p e r i m p o s e do ne x i s t i n gp r i n c i p 曩ic o m p o n e n t sm a p h 。i p 叫o o m p o n e , e1 嗍 图5 第二节数据分析的基本原理 外部偏好图的第一步是用感官描述性分析的数据作出感官图，这是通过主成 分分析实现的。将感官评估小组成员对各产品的各属性的平均打分作主成分分 析，取前2 个主成分作图即得到感官图。外部偏好图是以感官图为基础的，所以 外部偏好图可以进行新产品偏好程度的预测，只需将新产品进行感官描述性分析 就可以将新产品加入到外部偏好图中，进而预测它的偏好。 接下来，要将消费者评分加入感官图中。但在这之前，如果消费者数据样本 量比较大，我们通常也要先将消费者分类，否则较大的样本量在最终的偏好图中 出现会非常难以识别。之后，可以用回归分析来建模将消费者测试数据与感官评 估数据结合起来。当然，很多感官分析软件提供了专门的作外部偏好图的模块。 建模结果可以有4 种类型供选择：向量型、圆型、椭圆型与二次表面型。二 次表面型为模型的最高形式，其它三种模型是它的特例。完整的表达式为： 偏好得分= b o + 口f e + 以e 2 + c 玎鼻， z ，；1 , 2 其中b o 为常数，a ；、b i 、c 打为回归系数，e 为第f 个主成分。 ( 1 ) 向量型：当b ，= c 。= o 时，模型即为向量型 消费者偏好以向量的形式表现，消费者偏好程度随着向量的方向而增 加。这种模型的缺点是对于有些属性不能解释，如：硬度、咸度等，消 费者不可能因为越咸而越喜欢。 1 5 一莲芭，5p暑o，叠差 ( 2 ) 圆型：当轨相等，且c 订= o 时，模型即为圆型 这种模型具有最大或最小值点，即我们说的最偏好点或最不偏好点。各 产品到最偏好点或最不偏好点的距离是在不同的等高线上的。 ( 3 ) 椭圆型：当c ；，= o 时，模型即为椭圆型 这种模型的解释比较复杂。当玩具有相反的符号时，模型没有最大或最 小值点，而只有一个鞍点。 ( 4 ) 二次表面型：完整的模型即为二次表面型 这种模型考虑了e 与只的交互作用，模型的解释更加复杂，和椭圆型一 样，模型可能没有最大或最小值点，而只有一个鞍点。 显然二次表面型模型最为完整，但其结果解释起来比较复杂，尤其是对于非 统计专业的产品研发人员。因此，很多情况下，我们会只做到椭圆型或圆型模型。 含有外部偏好图模块的软件一般都允许选择想要得到的模型类型，我们可以根据 需要来选择不同的模型类型。 第三节模型的改进 在两种偏好图的分析中，我们都用了主成分分析加多元回归分析的做法，也 叫做主成分回归( p r i n c i p a lc o m p o n e n t sr e g r e s s i o n ) 。虽然这是一种很常规的 做法，但这种方法有它明显的不足：即提取主成分时只考虑了自变量的降维与多 重共线性问题，可能失去了对因变量的解释作用更大的成分，使提取的主成分并 不能很好地解释因变量，这时模型就会变得毫无意义。这里介绍一种新的模型偏 最小二乘回归( p a r t i a ll e a s ts q u a r e sr e g r e s s i o n ) ，它可以弥补主成分回归的 这种不足。 偏最小二乘回归是从应用领域提出的一种新型的多元数据分析方法。自六十 年代被提出到现在，它在理论和应用方面都已经得到迅速的发展。它主要适用于 多因变量对多自变量的线性回归建模，并可以有效地解决许多用普通多元线性回 归无法解决的问题。诸如：克服变量多重共线性在系统建模中的不良作用以及在 样本量小于变量个数的情况下进行回归建模等。 偏最小二乘回归与普通多元回归分析在思路上的主要区别是它在回归建模 过程中采用了信息综合与筛选技术。它不再直接考虑因变量集合与自变量集合的 回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量 ( 又称为成分) ，然后利用它们进行回归建模。 我们知道，在一般的多元线性回归模型中，根据最小二乘法有 它。x ( x x ) 。1 x y 是y 的一个很好的估计量。从这个公式容易看出，x x 必须 是可逆矩阵。所以当x 中的变量存在严重的多重共线性时，或者在x 中的样本 1 5 数与变量个数相比显然过少时，这个最小二乘估计量都会失效，并引发一系列应 用方面的困难。为解决这一问题，偏最小二乘回归采用成分提取的办法。偏最小 二乘回归的建模方法： 设有留个因变量y 。，y 2 ，y 口和p 个自变量工。，x 2 ，x p ，为了研究因变量 与自变量的统计关系，我们观测了忍个样本点，由此构成了自变量与因变量的数 据表x k l ，x 2 ，x p 】唧和y h il y l ，y 2 ，y g 】嗍。偏最小二乘回归分别在x 与y 中 提取出成分t 。和“，( 也就是说，t ，是而，z ：，x 。的线性组合，“，是 y ，y 2 ，y 口的线性组合) 。在提取这两个成分时，为了回归分析的需要，有下 列两个要求： 1 t ，和“，应尽可能大地提取它们各自原变量中的数据信息； 2 t ，和u ，的相关程度能够达到最大。 这两个要求表明t ，和u ，应尽可能好地代表数据表x 和y ，同时自变量的成 分t ，对因变量的成分“，的解释性又能达到最大。 在第一主成分t ，和“，被提取后，偏最小二乘回归分别实施自变量对t ，的回归 以及因变量对t ，的回归。如果回归方程已达到满意精度，则算法终止；否则将利 用自变量被t ，解释后的残余信息以及因变量被t ，解释后的残余信息进行第二轮 的成分提取。如此重复直到能达到一个满意精度为止。若最终对自变量提取了m 个主成分t ，o e o pt 。，偏最小二乘回归将通过实施y 。对t 。，t 。的回归，然后再表 达成y 。关于原变量而，z ：，x 。的回归方程，k 一1 ，2 ，o o e pq 。这里“，的作用已 经在提取t ，时用到，所以这样提取的主成分t 对因变量才有最大的解释能力。 正因如此，偏最小二乘回归具有优予主成分回归的特性，因而越来越多地 替代主成分回归在实践中被应用。在结果解释方面，我们知道，主成分分析的一 个最重要的应用，是当原p 维数据系统被降至二维时，可以在二维平面图上绘制 所有样本点的位置。由于这个降维过程可以使样本点间的相互位置改变最小，所 以，如果两个样本点在平面上的位置十分靠近，则说明它们在原p 维空间的位置 也十分接近。这就使在平面图上直观观察p 维空间样本点间的相似结构成为可 能。从偏最小二乘回归对成分提取的过程来看，t 。虽然并不是主成分分析中的主 成分，但它却带有很明显的主成分特征。例如t ，它是在能最大程度解释y 的同 时，又尽可能多地反映x 中的变异信息。所以，在偏最小二乘回归后，可以直接 利用成分t ，、t ，作t ，t ，平面图。同时，偏最小二乘回归也可以作各变量与t ，、t ： 的相关系数图：对x ，它的坐标位置是( ，( z ，t ) ，( x ，t ：) ) ，而y i 的坐标 位置则是( ，( y 。，t 。) ，( y 。，t ，) ) 。这样，就使得偏最小二乘回归完全能够适 应作外部偏好图的需要。 同时，由于在为外部偏好图建模时产品数量即为样本数，样本量通常很小， 1 7 有时甚至小于自变量( 即产品属性) 的个数，这时用偏最小二乘回归作外部偏好 图则更加恰当。 第六章中同样会给出用偏最小二乘回归作外部偏好图的实例。 1 8 第六章案例分析与结论 第一节获取数据 在这一章里，我们将通过案例给出作内部偏好图与外部偏好图的全过程， 并对结果进行比较。这里我们应用一个天然薯片的例子。天然薯片是指直接切片 烘烤的薯片，相对的复合薯片指的是将土豆打碎后重新压制成的薯片，天然薯片 对土豆的质量要求很高。 第一步，用q d a 方法作描述性分析。 首先，我们邀请了1 0 位消费者进行小组座谈会，讨论需要测试的产品属性。 在开始讨论时，请消费者把自己认为重要的产品属性列出来，之后大家对这些属 性逐个进行分析讨论，最终消费者就讨论结果达成一致：在口感方面，薯片的硬 度、粘度、脆度、易溶化度、细腻度、油腻度是消费者认为重要的属性；在风味 方面，土豆昧、甜味、咸味、焦味是重要的属性。与研发人员讨论后，认为可以 将这些属性作为测试属性。 通过对市场上所有产品的研究与研发人员的经验，我们选择用15 分制进行 描述性分析。同时，根据市