(5)基于随机森林的合肥城区商品房定价模型探索(安徽省统计局参加全国建模比赛作品).doc

基于随机森林的合肥市城区商品房定价模型探索安徽省统计局摘 要房地产定价方法是房地产经营过程中的核心与实务。如何定价既影响到房地产企业的销售和利润，也关系到消费者的切身利益。本文利用搜房网、365地产网及百度地图卫星遥感等互联网数据，以目前合肥市城区在售的全部楼盘为研究对象，选取环线、公交、地铁、物业、绿化等15个变量，涵盖区位交通、楼盘品质、周边配套、邻近环境等内容，通过对楼盘均价建立随机森林算法模型，试图找出影响定价的主要因素对其模拟，并结合探索性分析对楼盘分类，建立判别模型。此外，基于模型的拟合结果，结合聚类对奇异点楼盘进行分析。结果表明，随机森林方法稳健性较高，有助于在房地产定价应用中提供参考。关键词：房地产定价 随机森林 判别模型 互联网数据一、问题的提出房地产价格一直是大家关注的热点问题。为什么同一个城市，楼盘价格有高有低？为什么随着时间推移，有些楼盘价格持续看涨，有些却大幅促销?商品房作为老百姓的必需品，也是投资品，其价格的一涨一跌牵动着每一位消费者的心，也关系到社会的和谐和稳定。由于房地产资产规模较大，且具有较强的异质性、不易流动性、不可分割性，其交易信息与数据难以获得，致使对房地产资产的定价研究难度较大，房地产定价模型和方法的研究没有像房地产市场那样得到应有的重视和发展，国内外房地产定价的研究也不多，如何科学定价困扰了专家学者与业内人士。大多数房地产企业按照一般商品模式定价，然而，仅从开发成本角度考虑易导致定价偏低，有利于销售却未体现区位优势和投资潜力，过高的价格又会导致销售不佳。因此，房地产定价模型研究就成为房地产价格未来走势的重要工具。在当今大数据时代，互联网数据获取之便捷以及计算机应用的大量普及，让我们不禁思考，能否运用数据挖掘方法从从纷繁复杂的互联网数据中寻找到房地产定价的一般模式？二、相关研究综述在商品房定价时，定价人员必须考虑开发商成本，同时也要考虑一些相关因素，如楼层、建筑面积、区位、交通、物业管理等。传统的定价方法有：成本加利润法、市场价法和差别定价法。国内外学者以市场竞争、销售博弈、供求理论为基础，根据供需双方之间的市场博弈行为对房地产定价，以影响房地产价格的因素作用波动进行价格调节。2002年Leung B.Y.P，Hui E.C.M.以香港迪斯尼乐园为案例，把定价理论（OPT）运用到房地产定价的策略，阐述了这种定价策略方法的实际应用。2003年Francis K.Cheung，Shawn Ni和Alan Siu对于香港不稳定的房地产市场是否与基于消费者的资产定价模型相一致做出了分析。近年来，部分学者将神经网络、随机森林、支持向量机等新技术运用到房地产价格评估。2001年NguyenNghiep得出了人工神经网络方法对住宅价格预测效果好于多元线性回归的结论，2010年K.C.Lama，C.Y. Yua和C.K.Lama使用支持向量机预测房产价格，并与多元回归、神经网络等方法进行比较。在国内， 2007年惠彦涛使用Bp神经网络模型对影响住宅价格因素进行分析，张鑫使用支持向量机对杭州二手房价格进行评估， 2010年罗党、时亚楠基于灰色BP神经网络组合模型对郑州市商品房价格展开预测。现有研究表明，从数据本身出发的算法模型有很好的预测效果。三、研究设计（一）研究对象本文的研究对象为合肥市城区（瑶海区、庐阳区、包河区、蜀山区、政务区、高新区、经开区、新站区、滨湖新区）2014年在售的住宅用楼盘，产权为70年，包括多层、小高层和高层，不包括别墅。（二）变量选取从理论上看，对住宅价格评估主要有两方面，一是基于开发成本估价，包括土地出让金、建安工程费用、基础设施配套、广告宣传、税费等，二是基于楼盘的属性特征估价，包括区位交通、配套设施、周边环境、管理水平等，表现为消费者效用的满足程度。在现实生活中，住宅价格远远高于开发成本，特别在很多一、二线城市和省会城市，区位优势明显、周边配套齐全的楼盘可谓“寸土寸金”，楼盘所具备的“居住属性”才是价格的决定性因素。此外，从地租理论角度看，楼盘的“居住属性”与土地出让金成本密切相关。因此，在研究省会合肥市的楼盘定价时，我们认为楼盘的区位、配套、环境等属性能够完全解释价格的变化。目前，国内外对房地产价格评估的指标主要集中在楼盘品质、区位交通和周边环境三个方面，我们在这些研究的基础上，从指标对价格解释程度出发，并依据系统性、全面性、数据的可得性、可量化性等原则，选取了装修水平x1、环线位置x2、至城市中心乘车时间x3、距离邻近商圈距离x4、容积率x5、物业费标准x6、公共交通x7、绿化率x8、地铁规划x9、楼层情况x10、配套设施x11、商场数量x12、距公园湖山距离x13、区域环境得分x14、建筑面积x15等15项指标作为自变量。1区位交通类指标有4项，环线位置、至城市中心乘车时间描述了楼盘的地理位置，而公交和地铁作为城市主要出行工具，体现了居民出行的便捷程度。2楼盘品质是消费者关注的重点，共有6项。其中，容积率、绿化率关系到居住的舒适度，物业费标准与物业公司品牌密切相关，并受到部分对价格较敏感消费者的关注，精装或毛坯对定价影响明显。此外，部分消费者对楼层高度也具有偏好。3周边配套类有3项，距离商圈距离远近、周边商场的多少关系到购物的便捷与否，周边学校、医院、银行等设施则为居民提供了教育、医疗、理财等重要服务。4邻近环境类有2项，“距公园湖山距离”被定义为从小区到邻近的公园、湖、山的路程距离，同样决定了楼盘的综合品质，区域环境评分是对楼盘所在区域绿化、空气、卫生、噪音情况的综合评分。表1 “居住属性”变量列表居住属性选用变量区位交通环线位置、至城市中心乘车时间、公共交通、地铁规划楼盘品质装修水平、容积率、物业费标准、绿化率、楼层情况、建筑面积周边配套与邻近商圈距离、商场数量、配套设施邻近环境距公园湖山距离、区域环境得分（三）数据来源及预处理合肥市在售楼盘相关情况，包括均价、环线位置、公共交通、地铁规划等12项变量数据均取自搜房网、合肥365地产家居网和合肥家园网，共计156个样本数据。至城市中心乘车时间、与离邻近商圈距离、距公园湖山距离3项变量数据取自百度地图，区域环境评分是基于合肥市环保局监测数据的综合评分。需要说明的是：1楼盘均价为2014年7月份当月价格。部分楼盘因销售尾盘大幅调整价格，我们对这些楼盘价格作了相应修正，采用了该楼盘本年度主要销售时间内的定价。2地铁规划、装修水平为虚拟变量，具有地铁规划或精装修为1，否则为0。环线位置分为一环内、二环内和二环外三级，相应地赋值为1分、0.8分和0.6分。配套设施包括幼儿园、小学、初中、高中、医院、银行六个分项，具备一项得0.1分，最高为0.6分。3、我们以百度地图为工具，将合肥市传统意义上的市中心淮河路步行街作为终点坐标，查询各楼盘乘公交所花费的时间，记录为“至城市中心乘车时间”数据。选取包括环城公园、森林公园、植物园、蜀峰湾公园、大蜀山、天鹅湖等在内的多个公园、湖、山作为终点坐标，计算与附近楼盘间的距离，记录为“距公园湖山距离”数据。选取逍遥津、天鹅湖万达、明珠广场、双岗、滨湖世纪金源等多个重要商圈作为终点坐标，计算与附近楼盘间的距离，记录为“与邻近商圈距离”。4、我们根据合肥市环保局的监测数据，对各区域绿化、空气、卫生、噪音进行评分。其中，政务区为第一档，蜀山区、高新区和滨湖新区为第二档，经开区、庐阳区、包河区为第三档，瑶海区和新站区为第四档，分别赋值0.9分、0.8分、0.7分和0.6分。5、个别楼盘存在物业费标准、楼层数据缺失情况，对于后者，我们根据合肥房产开发的一般情况，将多层、小高层和高层分别按照6层、18层和30层进行补值。对于前者，我们将在运用随机森林的rfImpute函数进行插值处理。四、模型构建（一）数据探索性分析1变量基本情况使用R软件中的describe和summary函数对数据进行初步分析。summary()函数列出了因变量价格与7个自变量的基本情况，样本中合肥住宅价格最高的为15000元/平米，最低的为5100元/平米，平均价格为7978元/平米，中位数为7800元/平米。describe()函数列出了所有变量的平均值、中位数、四分位数等，并显示最低、最高共计10个离散值。从输出结果可知，X6（物业费标准）有5个缺失值。表2 探索性分析部分输出结果 y x1 x2 x3 Min. : 5100 Min. :0.00000 Min. :0.6000 Min. : 5.00 1st Qu.: 6938 1st Qu.:0.00000 1st Qu.:0.6000 1st Qu.: 40.00 Median : 7800 Median :0.00000 Median :0.6000 Median : 60.00 Mean : 7978 Mean :0.08333 Mean :0.6923 Mean : 59.44 3rd Qu.: 8686 3rd Qu.:0.00000 3rd Qu.:0.8000 3rd Qu.: 80.00 Max. :15000 Max. :1.00000 Max. :1.0000 Max. :120.00 x4 x5 x6 x7 Min. : 0.100 Min. :1.000 Min. :0.450 Min. : 1.000 1st Qu.: 1.800 1st Qu.:2.500 1st Qu.:1.200 1st Qu.: 3.000 Median : 3.150 Median :3.000 Median :1.400 Median : 4.000 Mean : 3.647 Mean :3.195 Mean :1.361 Mean : 4.929 3rd Qu.: 5.300 3rd Qu.:3.500 3rd Qu.:1.440 3rd Qu.: 7.000 Max. :12.500 Max. :9.500 Max. :3.980 Max. :17.000 x6nmissinguniqueMean0.050.10.250.50.750.90.951515401.3610.71.11.21.41.441.441.8752楼盘价格分布对合肥城区楼盘价格绘制密度直方图。以千元位分界线，合肥在售楼盘主要有10个价位水平，大部分价格在6000-10000元/平米区间内，数量达到136个。其中7000-8000元/平米的楼盘有44个，占全部在售楼盘的28.2%，万元以上楼盘有9个，6000元以下的有11个。对各价位水平分别绘制箱线图，结果显示，6000-7000价位的楼盘价格数据明显呈现右偏趋势，而7000-8000、8000-9000价位的楼盘价格数据呈现左偏趋势。图1 楼盘价格分布情况3变量相关性分析在R软件中加载rattle软件包和ellipse软件包，计算变量间相关系数并绘制相关图。图中，圆形的宽窄表示相关性的高低，圆形倾斜方向代表相关性的正负，可以清晰的看到，楼盘价格y与装修水平x1、环线位置x2、物业费标准x6、公共交通x7等变量呈较明显的正相关关系，与“至城市中心乘车时间”x3、“与邻近商圈距离”x4呈较明显的负相关关系，但与绿化率x8、地铁规划x9、楼层情况x10、配套设施x11、建筑面积x15等变量间关系不是很明显。自变量环线位置x2与“至城市中心乘车时间”x3为负相关，而与公共交通x7为正相关。图2 变量相关性分析（二）缺失值插补取自互联网的156个样本中，有5个缺少物业费标准数据，对缺失数据的处理方法有删除、均值插补、回归插补等多种方法。我们采用R软件randomForest包的rfImpute()函数对缺失值进行插值。rfImpute()函数是利用随机森林模型中的临近矩阵对将要进行模型建立的数据中存在的缺失值进行插值，经过多次迭代不断修正，得到最优的拟合值。使用的rfImpute()函数，对13个样本的缺失值进行插值，将结果代替缺失值，补充进原数据集中：表3 使用rfImpute()函数插值结果$czyx6379001.263782001.1219168001.21112194001518（三）随机森林模型建立传统的统计模型对数据有较严格的要求，必须满足一定的假定条件，且模型也以明确的形式表现出来。而机器学习方法抛弃了先作假设再估计参数的建模方式，完全从数据本身出发，探索内在的数量规律性。我们尝试使用随机森林方法构造楼盘价格与各项变量间的一般关系模型，该方法是一个包含多个决策树的分类器，其产生的决策树的样本和节点都是随机的，由N个树中选择最多的分类作为输出结果。随机森林可以用于分类和回归。当因变量y是分类变量时，是分类； 当因变量y 是连续变量时，是回归。自变量x 可以是多个连续变量和多个分类变量的混合。1回归模型（1）模型拟合对楼盘数据做随机森林回归，并采用五折交叉验证判断模型的精确度。由于随机森林方法对数据的量纲和单位并不敏感，所以并不需要进行标准化或归一化处理。为了评价模型的拟合及预测能力，本研究根据均方误差来做出评价。指标数字越小则说明模型的预测值与真实值之间差异越小，模型的预测能力越强。通过随机形成的5个训练集分别建立模型，对训练集和测试集分别得到5个标准化均方误差（NMSE），再得到平均NMSE，以评价模型预测精度。令为因变量均值，为由训练集建立的模型的预测值，则标准化均方误差NMSE定义为： 得到训练集的NMSE为0.1216，测试集NMSE为0.6497，与m-boosting、Bagging等其他分类器的精确度相比，随机森林预测精度最高。表4 随机森林及其他分类器五折交叉验证结果分类器训练集NMSE测试集NMSE随机森林0.12160.6497m-boosting0.34780.6499Bagging0.36040.6971用随机森林模型对合肥城区楼盘价格进行估计，拟合结果如图3所示，基本上能解释大部分楼盘价格，总体平均误差为370.4元/平米，若剔除掉价格高于10000元和低于6000元的楼盘，平均误差达到296.4元/平米，预测效果较好。而万元以上、6000元以下楼盘价格预测误差分别为1050.3元/平米和566.4元/平米。实际均价 预测价格图3 楼盘价格预测值与实际均价比较（2）解释变量重要性分析在随机森林生成的过程中，根据解释变量精确度和均方误差的平均递减决定了变量的重要性，参数值越大，则该变量越重要。表5显示，按照第一列从变量精确度平均递减评价，x4、x6、x5、x2、x14对楼盘价格y的影响较大，按照第二列从均方误差平均递减评价，x4、x6、x5、x13、x3影响较大。表5 自变量重要程度对比变量%IncMSE IncNodePurityx1装修水平7.83E-040.14806613x2环线位置2.08E-030.19311879x3至城市中心乘车时间1.15E-030.2244551x4与邻近商圈距离4.17E-030.53219955x5容积率2.19E-030.44039889x6物业费标准3.68E-030.50194252x7公共交通4.07E-040.16021722x8绿化率1.18E-040.20249182x9地铁规划4.37E-050.02622947x10楼层情况3.02E-040.13823423x11配套设施2.57E-050.05162192x12商场数量2.87E-050.07849277x13与公园、湖、山距离6.22E-040.23805549x14区域环境得分1.47E-030.19674532x15建筑面积5.87E-040.18956435基于随机森林模型及变量重要性判断，我们可以作出如下结论：第一，楼盘的居住属性变量能够较好地解释当地楼盘价格的变化，特别是对于6000-10000元内价格的楼盘有着较高的预测精度，但对万元以上和6000元以下预测精度较差。用楼盘价格y与x4、x5、x8、x13等几个对价格影响较大的自变量作聚类分类图，从图4中可清晰看到，万元以上高价楼盘分布较分散，个别奇异点与其他点相距较远，这些楼盘的定价与居住属性存在一定偏离。以部分楼盘为例，宝利丰广场与保利香槟国际价格相近，但“至城市中心乘车时间”分别为30分钟和70分钟，物业费标准分别为1.44元/平米和1.85元/平米，绿化率分别为30%和40%。从总体来看，高价楼盘的定价普遍高于预测价格。第二，对楼盘价格产生影响的居住属性中，“与邻近主要商圈距离”、“至城市中心乘车时间”、“容积率”、“物业费标准”、“与公园、湖、山距离”、“区域环境得分”等变量较重要，表明区位交通、楼盘品质和邻近环境是决定合肥市区在售楼盘定价的主要因素，因此，在实际工作中对模型进行外推预测的时候，要注意对这几个变量的预测精度进行控制。而配套设施和商场数量影响相对较小。图4 期望最大化聚类结果2判别模型（1）建立模型根据探索性分析，可依据价格将楼盘分为高档、中高档、普通、平价四类，建立随机森林判别模型。我们将6000元/平米以下的定义为“平价”，6000-8000元/平米的定义为“普通”，8000-10000元/平米的定义为“中高档”，万元以上的定义为“高档”。运用R软件将自变量y转化为对应的因子变量。R软件输出结果显示，平价为7个，高档为11个，普通为76个，中高档为62个。由新生成的数据集建立随机森林判别模型，从全部数据集中抽取100个样本作为训练集，默认构建500棵树的随机森林模型。混淆矩阵( confusion matrix)显示判别分析的错误率。判别结果表明，模型的总体预测误差为39%，模型将高档与平价类别中的11个样本全部判断错误，将普通类别中的37个样本预测正确，将11个样本错误地预测为中高档，将中高档类别中的24个样本预测正确，将17个样本错误地预测为普通。表6 判别随机森林模型预测结果Call: randomForest(formula = y ., data = as, importance = TRUE, proximity = TRUE,subset = samp) Type of random forest: classification Number of trees: 500No. of variables tried at each split: 3 OOB estimate of error rate: 39%Confusion matrix: 平价 高档 普通 中高档 class.error平价 0 0 5 0 1.0000000高档 0 0 0 6 1.0000000普通 0 0 37 11 0.2291667中高档 0 0 17 24 0.4146341（2）优化模型从模型输出结果看，模型精度较差，预测准确度不高，我们通过设定随机森林模型节点分支变量数与决策树数量的方法，尝试优化模型。首先，我们逐一增加节点分支变量建立模型，并计算基于训练数据的模型误判率均值，由输出结果可知，当决策树节点所选变量为8时，模型的误判率均值最低，为35.26%，而默认的节点变量数为3，并非最优参数选择。表7 随机森林模型节点分支变量数选择节点变量数误判率均值141.03%239.10%338.46%436.54%538.46%639.10%739.74%835.26%939.74%1039.10%1140.38%1239.10%1339.10%1440.38%1539.10%在确定节点变量数后，我们通过模型的可视化分析寻找模型的最优决策树数量。从图4中可以看到，当决策树数量大约为530的时候，模型误差达到最低，因此将模型决策树设定为530，节点变量数设为8，再次建立判别模型。与此前模型相比，模型预测误差由39%降到了35.26%，中高档、普通类别的预测误差分别由0.229和0.415下降到0.211和0.371，模型对高档类别的预测由全部错误优化为2个正确。优化后模型预测的准确度有了一定改进，但总体上精度仍然较低。图5 模型误差与决策树数量关系 表8 优化后模型预测结果Call: randomForest(formula = y ., data = as, mtry = 8, importance = TRUE,proximity = TRUE,ntree = 530) Type of random forest: classification Number of trees: 530No. of variables tried at each split: 8 OOB estimate of error rate: 35.26%Confusion matrix: 低档 高档 普通 中高档 class.error平价 0 0 7 0 1.0000000高档 0 2 0 9 0.8181818普通 0 0 60 16 0.2105263中高档 0 0 23 39 0.3709677绘制在二维度下各类别样本点的分布情况图，该图是在建立随机森林模型过程中所产生的临近矩阵经过标准化后的坐标图，可以清晰看到，该数据集的四个类别出现了较严重的交叉现象，这对我们建立判别模型带来了很大的困难，是模型精度不高的主要原因。图6 自变量在二维情况下各类别分布情况五、主要结论和研究展望本文创新点一是从搜房网、365地产网及百度地图卫星遥感互联网等取得第一手数据，并进行数据挖掘，相对于政府统计和调查数据，互联网数据获取更加丰富、便捷，更为贴近生活，时效性也更强，对解决社会实际问题更具优势。二是通过随机森林模型从回归和分类两个角度进行相互验证实际结果。三是结合实际的预测精度，通过多种模型模拟比较，选择随机森林模型对房地产定价进行模拟。四是利用随机森林进行判别分析时，尝试改变决策树节点数量不断优化结果，（一）主要结论1随机森林方法是一种树型分类器的组合算法。它的优点在于能高效的处理大数据集，而且预测精度较高。在有大量相关的解释变量情况下，不需要进行变量筛选工作，评估变量的重要性时，不需要考虑一般回归问题面临的多元共线性的问题。从模型运行结果分析可以看出，相比较m-boosting、Bagging其他分类器预测效果更好，具有一定的实际应用价值，如销售部门用于楼盘估价、政府和研究机构用于分析评价房地产市场等，还可以帮助消费者估计商品房正常的市场平均价格。2由于随机森林的抽样特性，其子模型之间相互独立，因此随机森林不会受到异常值和噪声的影响而出现过度拟合的情况，还能同时处理连续型变量和分类变量，模型预测稳健性较高。3从随机森林建模结果来看，用包含区位交通、楼盘品质、周边配套、邻近环境等内容的15个“居住属性”变量对主要价格区间（6000-10000元/平米）在售楼盘价格预测较好，这与从需求者角度出发的房地产定价理论相吻合，从数据关系上支持了“居住属性是房地产定价的重要因素”论点。4综合变量精确度和均方误差两个标准来看，对合肥城区楼盘定价影响最大的因素依次为：与邻近商圈距离x4、物业费标准x6、容积率x5、至城市中心乘车时间x3、环线位置x2、区域环境情况x14、与公园湖山距离x13，影响最小的三个因素分别是地铁规划x9、配套设施x11和商场数量x12。5随机模型在预测极端数据时误差较大，如对万元以上、6000元以下楼盘价格预测误差明显高于总体平均误差，对个别奇异点，如高档楼盘，实际价格高于预测价格，因此利用随机森林方法时，预测范围不要外推超过训练样本范围。在分类时，随机森林的特点是它的算法倾向于观测值较多的类别( 如普通、中高档记录较多，平价分类倾向于普通，高档分类倾向于中高档) 。6部分高价楼盘可能存在价格虚高的情况，除了模型缺陷本身以外，还有可能的原因，一是高价楼盘市场竞争相对较小，并非接近完全竞争市场；二是相对主要价格区间楼盘，高价楼盘的居住属性相对弱化，而投资属性更高；三是对外公布的均价未体现折扣等信息。（二）研究展望本文建立的模型尚有缺陷：一是可能遗漏了重要变量，如部分楼盘是否为单