大型超市“购物篮”分析.doc

Fpg题 目 大型超市“购物篮”分析 摘 要本文根据顾客购买记录，通过“购物篮”分析，运用多种模型得出结果，并给出促销方案。问题一要求构建能表达多种商品关联程度数学模型。根据4717个顾客对999中商品购买记录，先用对数据进行预处理，将其转化为0-1模型，然后求出购买商品集合和购买商品集合，考虑到同时购买两种商品占购买人数频率，即相关性，存在购买人数少但相关性大缺陷。在改进模型中，因为存在购买商品数少但也会使相关性大情况，所以对两种情况进行综合考虑，得出最优模型：用求解0-1矩阵，求出两商品间关联系数较大前八位，有相关系数值在0-1范围之内，与所得模型函数范围一致，可知，该模型是准确可靠。问题二要求出有效方法来找出最频繁被购买商品记录，且越多越好。根据问题一所得0-1矩阵，将其代入 运用模型，先算出单项商品频繁项集，将支持度较小数据剔除后，最后选取被购买次数最多前18个商品，其中最畅销为368号商品。根据这18个畅销品，运用同样方法将其转化为两两商品组合，得到被同时购买次数200次以上商品；根据此算法依次迭代，得到同时购买3种商品和同时购买4种商品数据，更多商品被同时购买次数较少因此不予考虑，最后得出：两件商品被同时购买次数最高是368和529号；三件商品被同时购买次数最高是368、489和682；四件商品被同时购买次数最高是68、937、895和413。问题三要求给出方案使效益最大。根据问题一中0-1模型和问题二中模型，将得到购买次数最多商品信息和题中所给利润表相比较，将利润小数量多商品作为赠品和利润大数量多商品一同销售；将共同购买次数多且利润大两商品组合作为促销品进行销售，以进一步提高超市综合效益。关键词 0-1模型 模型 数据预处理 相关系数一、问题背景和重述1.1问题背景随着信息技术发展，通过分析大量历史数据来发现模式和利用规律数据挖掘技术应运而生，然而大多数商家并不是数据挖掘技术领域专家，如何使数据挖掘技术平民化，成为当代很多学者研究热点之一。购物篮分析是数据挖掘技术应用在零售业中一种有效方式，其目就是在顾客购买交易中分析能够同时购买一类产品或一组产品可能性，利于商品摆放，也利于提高促销活动效果。随着人们生活水平提高，特别是城市，基本物质生活已满足，人们有更高追求并呈现多样性，从企业角度看，了解和掌握顾客消费特征和规律，有利于提高企业利润，同时也能提高消费者满意度。本文以一个面向大型超市购物篮问题，构建数学模型。1.2问题重述作为超市经理，经常关心问题是顾客购物习惯。他们想知道：“什么商品组或集合顾客多半会在一次购物时同时购买？”。现在假设我们是某超市市场分析员，已经掌握了该超市近一个星期所有顾客购买物品清单和相应商品价格，需要给超市经理一个合理“购物篮”分析报告，并提供一个促销计划初步方案。问题1：题目中表格数据显示了该超市在一个星期内 4717 个顾客对 999 种商品购买记录，表格中每一行代表一个顾客购买记录，数字代表了其购买商品超市内部编号。建立一种数学模型，该模型能定量表达超市中多种商品间关联关系密切程度。问题2：根据在问题1中建立模型，寻找一种快速有效方法能从表格购买记录中分析出哪些商品是最频繁被同时购买。超市经理希望得到尽可能多商品被频繁同时购买信息，所以找到最频繁被同时购买商品数量越多越好。例如：如果商品1、商品2、商品3在 4717 个购物记录中同时出现了200次，则可以认为这三个商品同时频繁出现了200次，商品数量是3。问题3：题目给出了这999中商品对应利润，根据在问题1、问题2中建立模型，给出一种初步促销方案，使超市效益进一步增大。二、问题分析2.1问题一分析要求构建模型定量表达超市多种商品间关联关系密切程度，根据4717个顾客对999种商品购买记录，令表示第个顾客购买情况，当第个顾客购物篮里有第个商品，；没有购买，则。这就把复杂繁多数据化为了简单易求0-1模型。根据购买记录，求出购买商品顾客集合和购买商品顾客集合，两集合交集（同时购买）所代表人数与购买人数比值即为频率，此频率表示两商品相关程度，考虑到购买人数较少也会造成频率较大情况，对模型进行改进，将同时购买人数与至少买一种商品人数比值作为相关系数，转化后模型仍存在缺陷，购买次数较少时也会造成系数较大但不能反映商品相关性问题。综上两种考虑，将两个模型结合起来，得到最优模型，用此模型来定量表达商品间关联关系密切程度。由题目可知，此模型所得结果必定大于0小于1，为验证模型可靠性，本文运用对数据进行预处理，将数据转化为0-1矩阵后，再根据公式编程筛选出两商品相关系数较大前八位，由所得系数与函数大于0小于1性质相比，若符合，则模型是可靠；若不符合，则再求新定量模型。2.2问题二分析要求我们寻找一种快速有效方法从购买记录中找出被最频繁购买商品，并且被同时购买数量越多越好。根据问题一对数据进行0-1矩阵处理，并在中对数据进行求和以及排序处理，得到一次购买一次商品次数最多前18个商品。由于数量繁多，我们将从这18种商品中求出两件被同时购买以及三件、四件商品被同时购买信息。因此我们调出这18种商品0-1矩阵，并用编程得到两件商品同时被购买频数，并用算法原理提出支持度，用其来筛选得到众多数据，修改程序以得到三件商品、四件商品被同时购买数据。2.3问题三分析对于问题三，要求根据问题一和问题模型给出一种促销方案，促使效益进一步增大。首先我们定义为超市收益，商品数量为，商品利润为。则。我们考虑将数据中卖出数量多商品且利润大商品附赠以卖出商品数量多但是收益较小商品来进一步提高它们卖出数量以获得更大利润。而对于那些卖出数量以及能够获得利润都适中商品，根据问题二求得两件商品被同时购买数量将它们放在一起促销，这样也会获得较高利润。三、模型假设1、超市货源充足最大限度满足顾客需求；2、短时期内，商品销售情况保持不变；3、每位顾客购物行为都是理性，真实反映当地消费情况；4、假设两商品同时被购买次数大于200为高销量商品；5、假设商品收益只考虑销售所得收入，不考虑商品成本；四、符号说明和名词解释4.1符号说明第个消费者购物篮中第种商品购买中上品人集合超市收益购买商品人数被购买商品利润4.2名词解释1、布尔量：本题中所指是购买或未购买，购买时布尔量=1，未购买布尔量=0；五、模型建立与求解5.1模型准备5.1.1问题一模型准备由于本题是针对大型超市购物篮问题，数据繁多，且只考虑顾客购买记录，即买或不买，并以此研究商品间关联程度，因此本题先对所给数据进行预处理，将4717位顾客对999种商品购买转化为0-1模型，方便问题求解。首先以表示第个消费者某次购物行为，如果在消费者购物篮中发现了第种商品，则有，否则（同时表示第个消费者购买第种商品）。5.2问题一模型建立与求解5.2.1模型建立本题消费者购买只有两种情况，即购买或不购买，因此可以用到0-1模型。为表达超市中多种商品间密切关联程度，本题建立了定量模型。首先，用来描述第个消费者购物情况，表示第个消费者购买了第个商品，反之，表示未购买。因为是根据顾客对商品购买记录来求解，因此本文对购买某种商品顾客进行分类，设购买人集合为，购买人集合为，则表示同时购买商品和商品顾客。由此可将两种商品相关联程度表示为：此公式表示同时购买两种商品频率，频率越高，相关性越大，但若购买人数少，也会导致频率值较大，显然这样表达不能准确反映两商品间关联程度，因此对此模型还应进一步改进。对购买人数进行改进，考虑到有顾客在两种商品中至少购买一种情况，将化为，则两种商品相关联程度转化为：此公式表示两种商品都买情况占至少购买一种情况比值，即频率，也能反映两商品间关联程度，但其同第一个公式类似，存在购买商品次数少但导致频率较大，而不能反映两商品相关性缺陷，因此，综合两种情况，得到最优模型：表示两商品相关性，若较大，剔除购买次数较小情况，即可反映当消费者购买一种商品时，对另一种商品购买可能性很大，两种商品关联相关性密切。5.2.2模型求解对上述模型进行具体求解，其中表示同时购买商品和商品人数，公式为：表示两种商品中至少购买一种商品人数，其具体公式为：小于购买人数，同时小于至少购买一种商品人数，所以小与1。将题目中所给数据运用进行预处理，将其转化为0-1矩阵，由于数据过多，则将所得矩阵放在附录中，详见附录1。根据所得关联函数公式，用编程求出两商品间关联系数较大前八位，如下图所示：表 两商品间相关系数两个商品相关系数22839813237170.93748097437870.81820544856370.8127685559590.75496375328480.7230635844390.71727444769730.7047645从图中可知，228和398两种商品关联相关性最密切。同时有相关系数值在0-1范围之内，与所得模型函数范围一致，可知，该模型是准确可靠。5.3问题二模型建立与求解分析最频繁被同时购买商品，且越多越好。首先我们要找出单独一项商品被购买频数，根据频数较高单项商品集，通过筛选得出两种商品被同时购买频数，以此类推，层层迭代，找出多种商品被同时购买频数。算法使用频繁项集先验性质，通过逐层搜索迭代方法，先扫描数据库，再累积每个项计数，并收集满足最小支持度项，找出频繁项集集合，直到所求条件。因此本文运用算法，对此题作出分析并求出最佳结果。其具体算法过程如下：此算法体现出若是一个频繁项集,则每一个子集都是一个频繁项集。首先我们提出支持度概念，支持度是中包含和事务数与总事务数比值。可以利用支持度大小来筛选数据。设是同时购买项商品人员集合。先从999中商品中找出单项频繁项集，根据项频繁项集，找出下一频繁项集即，并算出其中支持度，将支持度较小元素删除，最终得到结果。5.3.1对单项商品购买要给出尽可能多商品被同时购买信息，由所给购买记录，可以先由简单单项商品开始，求出它们被购买次数。根据问题一所得预处理后附件1中购买记录，详见附录1，用对单项商品购买次数进行求和。由于题目只要求给出频繁被购买商品，频数较少予以剔除，因此经过排序后得到购买次数最多前十八个数据如下：表 前18个被购买次数最多商品商品号被购买次数368133882911035291089510960419943217935489886438851956841766830914825682819692814851798205782720758722757883744从表中我们可以看出368号商品被购买次数最多，851商品被购买次数相对较少，但这18种商品都可以作为最频繁购买商品被经理采用，来研究商品购物篮问题。5.3.2同时对两项商品购买上述18个单项商品被同时购买次数较为频繁，说明这18项商品最为畅销，以这18项商品为一个频繁项集，根据算法，构建0-1矩阵，对每一个商品都可以用一个布尔量来表示是否被购买，由于18种商品两两组合数据较多，且我们只需要被同时购买较频繁商品，本文以200次作为两商品同时被购买频数界限，大于200次，则表示两商品同时被购买次数频繁。找出这18个商品0-1矩阵，由于矩阵数量较大，这里不予详细列出，并用对数据进行编程筛选，筛选可以得到两商品被同时购买200以上次数数据：表：两件商品被同时购买次数表商品序号次数217368291217419210368419269368438222368486291368510260438489216419510200438510202217529242368529334419529202438529244489529213368682289489682220368692261529692257368766216217829217368829313419829237489829206510829212529829255682829201692829241766829204217914203368914259217956202368956211489956219根据以上表格，可以看出，368、529两商品被同时购买次数最多，两商品可以作为最畅销品放在一起出售。5.3.3同时对三项商品购买根据两件商品被同时购买程序，修改出三件商品被同时购买程序，筛选求得次数大于110三种商品被同时购买次数如下表所示：表：三件商品被同时购买表商品序号次数368489682124956538413122538413797115956538797114956413797114956413572114956413826112956538826111956797826111956797572111有上表可知，368、489、682三件商品被同时购买次数最多，956、797、572被同时购买次数相对较少，但每组商品被购买次数都大于100次，可看出这几种商品组合销量较好。5.3.4同时对四项商品购买同时，我们也可以修改出四件商品被同时购买程序，继续筛选出次数较大前五位表格如下所示表：四件商品被同时购买表商品序号次数368937895413725296828837248368829529692475294384707524748943875235447从上述表格中得出结论如下：1、两件商品被同时购买频数最高是368和529，总共被购买了313次；2、三件商品被同时购买频数最高是368、489和682，总共被购买了124次；3、四件商品被同时购买频数最高是368、937、895和413，总共被购买了72次。从不同商品同时被购买次数可以知道，随着商品种类增多，被同时购买次数逐渐减少，四种商品以后同时购买次数绝大数小于47，频数较少，因此不再详细讨论。从以上研究可以看出能够运用层层递进迭代算法，快速将大型超市繁多购物记录简化，从而找出多种商品同时被频繁购买信息，给销售经理简单明了顾客购物记录。5.4问题三模型建立与求解5.4.1模型建立超市效益有很大程度上体现在超市总收益上，因此用表示超市最终收益，设商品数量为，商品利润为。则：对于商品数量要求高且利润大商品，我们可以通过附赠以数量要求高且利润小商品；对于数量要求和利润要求都中等商品，可以考虑同时购买两种频率较高商品，将两者放在一起搞促。5.4.2考虑赠品关系一般将销售量较好且利润较大商品作为主要销售种类，对于那些数量需求多且利润较小商品，将其作为主销售品赠品，既能促进主商品销售，又能带动小商品销售，从而最大程度提高超市利润，而且在提高企业服务效益同时，大大满足了顾客需求，提高了顾客满意度。将题目所给利润表和在第二问求得数量表放在一起考虑，利润大且数量多商品（这里取单买数量排名前十位，利润大于270商品）为：表 利润大且数量多商品商品号利润数量368290.011338388033.4529285.041089310408.6417297.02943280089.9438274.78851233837.8692272.52814221831.3851297.02798237022从表中可得到368号商品总利润最大，其次为529号和417号商品，可以看出以这些商品为主要销售品，并将其集中摆放在比较显眼位置，方便顾客找到自己所需商品，也为超市留出更大空间。表 利润小但数量多商品商品号利润数量2175.20089354895.200888668224.349819利润小但数量多商品，相对于其他商品来说，它们总利润可能较小，但可以看出顾客对其需求却相当大。将其作为赠品促进其他商品销售，虽然是放弃了这部分商品利润，但它所带动商品销售份额所得利润远高于它们分别销售所得利润。利润大数量多商品因为能带来更大将数量要求以及利润要求，所以考虑从其中提取出商品以及他们赠品，可得到如下表表 商品及赠品商品赠品368217529489417682从表中我们可以看出，将368、529、417商品作为主要销售商品，将217、489、682商品分别作为赠品，既可以提高主要商品销售量，又可以吸引顾客，从长远看，此销售方式对总效益提高有极大帮助，同时我们建议将这三组商品摆放在显眼位置，更方便顾客购买。542再考虑促销关系由问题一可知，同时购买某种商品频数相同可知该种商品同另一商品相关性较大，在实际销售中，将两种关联性大商品放在一块儿，有利于提高商品销售量，从而提高综合效益。在第二问中，我们得到两种商品同时被购买次数，利用第二问求出数据，找出被同时购买次数较多商品，并去掉上述已促销商品，其余如下表所示：表 两商品同时购买利润及次数商品号利润商品序号利润共购买次数419297.0251099.994200438274.7851099.994202419297.02829188.7323751099.994829188.73212692272.52829188.7324176699.994829188.73204购买次数多并不一定收益高，若要求出能使综合收益达到最大商品组合，需要根据上表算出两商品组合后总利润最大情况。在考虑利润和共购买次数情况下，可以放一起促销以便提高最大效益是：表 同时促销两商品组合促销商品商品419829692829从表中可以看出，419和829两种商品，692和829两种商品被同时购买次数最多且利润最大，将这两种商品组合作为促销方案，既满足了顾客对两商品需求，又在销售一种商品同时，带动了另一商品销售。所以建议将419、829两商品放在一起销售，将692、829两种商品放在一起销售。六、模型检验6.1问题一检验要求出商品间关联密切程度，根据题目做出模型：为验证模型准确可靠性，本文用做出0-1矩阵后，求出相关系数较大前八种，由相关系数值都与模型函数值大于0小于1性质相符合，可知模型是可靠。七、模型评价和改进7.1模型评价7.1.1模型优点1、0-1模型将复杂繁多数据简单化，便于问题求解；2、多种定量模型相互比较，找出最能反映商品关联程度模型，有利于我们选择更好方案；3、算法从众多数据中分析出符合要求数据，并进一步深化，层层迭代，使问题简单化，得出合理结论。7.1.2模型缺点1、算法会产生大量候选及候选集，导致算法效率较低；2、没有考虑成本对总效益影响。7.2模型改进第二问中，使用只购买一件商品18个数据，相对于给出数据，虽具有代表性，但是结果没有那么准确。如果使用数据超过18个，将会使后面数据趋于多项化，这样一来数据便更加准确，给出建议也会更加合理。八、模型推广0-1模型具有广泛应用背景，比如经济管理中实际问题解必须满足逻辑条件和顺序要求等一些特殊约束条件，此时往往需要引出0-1变量来表达“是”与“非”。此外，线路设计，工厂选址，生产计划安排，旅行购物、背包问题、人员安排等人们所关心诸多问题都可以化为0-1模型求解。正是由于0-1模型具有深刻背景和广泛应用，所以研究它算法具有十分重要意义。模型使用逐层搜索迭代方法，该算法理解简单，计算容易，且是能够对多种规则进行挖掘。在电力企业决策应用中，将模型数据挖掘技术应用于企业管理决策，通过深入挖掘形成企业管理决策库，真正在企业管理过程中，特别是在更复杂经营环境中提供强大决策支持。九、参考文献1薛红 聂规划，基于关联规则分析“购物篮分析”模型研究，北京工商大学学报， 2008-7-18；2 孙细明 龚成芳 ，关联规则在购物篮分析中应用，计算机与数字工程，2008.06.20；3高勇，购物篮里“潜规则” 商界（评论），2009.3.15；4 谭浩强，C程序设计（第三版），北京:清华大学出版社，2005。 附录附录1（1）0-1矩阵:A=textread(C:UsersAdministratorDesktopdata.txt);B=zeros(4718,999);for i=1:4718 for j=1:73 if A