【基于网络爬虫的二手房信息采集及分析系统设计10000字】

基于网络爬虫的二手房信息采集及分析系统设计摘要当下经济、科技都在飞速进步发展，房子成为了当下年轻人的刚需，对比新房来说，二手房的交易更为复杂。在众多网站之下，二手房源众多，单靠人工检索难以筛选出最佳的选择，而通过网络爬虫能够完成传统搜索引擎无法做的事情，做出二手房价格随区域、房型等变化的图表，告诉人们买二手房的最佳选择。本课题基于Python网络爬虫技术抓取链家网上所有苏州二手房的房源数据，建立MySQL数据库，清洗采集到的数据，然后将清洗后的数据导入数据库。对清洗后的数据进行可视化分析，探索隐藏在二手房房源数据背后的规律；从链家网的苏州二手房的单价和总价、区域、房型等方面，将这些房源大致分类，以对所有数据概括总结。为想买二手房的用户提供一项实用经济的服务。关键词：网络爬虫大数据可视化分析Python目录1.绪论 .绪论1.1研究目的与意义近年来，国内房地产发展迅速，与此同时，人们也开始越来越关注房价问题。2016年中央经济工作会议明确提出：“房子是用来住的，不是用来炒的”，但是如何来选择合适的房子一直是一大难题[1]。而如今房价逐步上涨，年轻人背负着很大的购房压力，购房对于很多年轻人也是一种刚需。为了少些购房首付压力和房贷压力，对于刚入社会的年轻人，往往会把目光转向二手房。但是二手房价格不仅跟它的单价、区域和面积有关，还受其他社会因素的影响。所以本课题旨在研究二手房房价跟这些因素的关系。而图像可以直观地将数据展示给人们看，帮助我们更为清晰地理解数据。借助图像将数据可视化不但增加了数据的灵活性，还可以清晰地了解那些可能被隐藏的数据模式，用户就可以快速获取隐藏在数据背后的信息。买房前，人们会在二手房交易网站上浏览二手房信息。然而，面对海量、大范围的网络数据，如何缩短网页的下载时间，如何分析大量的数据，找出有用的信息，就需要使用网络爬虫技术。本文通过网络爬虫程序对链家网上苏州二手房数据进行爬取，爬取的字段包括小区名称、所在区域、总价、单价、房屋户型、所在楼层、建筑面积等字段，爬取完后对采集到的数据进行清理。最后，通过对整理数据的直观分析，探讨了苏州市二手房建筑面积、区域、户型对二手房价格的影响。1.2研究现状随着互联网技术的不断发展，大数据越来越被广泛运用，各种新的技术层出不穷。此外，不断地进行更新和发展地也有数据可视化技术，它的应用范围和影响也在逐步的扩大。但是对于二手房信息来说，大多都是将其具体信息发布在网页上，任人们去挑选，大量的二手房房源在网页上对于需要买房的人来说却是比较难以抉择的。而对于二手房的信息采集及分析却不是很多，特别是搜集大量数据并进行可视化分析，对二手房交易背后的隐藏的规律进行探索少之又少。因此，有必要对二手房信息采集后进行可视化分析一下。1.3研究内容本文的主要研究内容是设计并实现一个二手房信息网站数据可视化分析平台，使用网络爬虫爬取二手房信息网站数据，对爬取下来的数据清洗、处理、分析，然后在前台将分析结果用图表的形式进行可视化展示[2]。在数据采集上使用了当下较为流行的Python语言来设计爬虫，其简洁的代码，良好的文本处理能力，使得相对于其他脚本语言而言在爬虫这一方面更加出色。其次，在解析方面，Python的BeautifulSoup库以其使用简单、方便而被广泛使用。在数据分析上，由于Pandas读取csv文件比起读取数据库的速度要来的更快，于是选择用Pandas读取csv文件的数据，然后对数据进行处理和分析。最后基于Django框架设计一个可视化分析平台，将分析结果在前台进行可视化展示。本课题的研究内容主要包括：（1）分析苏州二手房网站结构，确定哪些是分析所需要的字段，然后通过网络爬虫采集数据。（2）对于缺失、重复、不完整的数据进行清洗与处理，对于缺失的数据，将其补充完整，对于一些错误的数据，则进行纠正或者直接删除。（3）使用Django框架进行可视化数据分析，展示各类图表、热力图和词云，进行系统测试。1.4系统开发对社会的影响当前，经济和科技的发展日新月异，房子成为了当下年轻人的刚需，对比新房来说，二手房的交易更为复杂。改革开放以来，由于城市化进程加快，人口迁移等因素，房价大幅上涨。与此同时，互联网发展极为迅速，用户现在往往不用局限于线下中介公司，而是可以在网络上获取更多更全面的二手房信息，但其背后隐藏的规律却无法通过普通的二手房网站页面展现出来。然而，一个设计良好的网络爬虫可以通过采集大量的网站房源信息，并对爬取的数据进行处理和可视化分析，将二手房价格随地理位置、房产类型等变化做成图表，探索二手房房源背后隐藏的规律，帮助用户做出更好的决策[3]。本系统对购房决策的影响：本文通过网络爬虫采集了链家网上苏州二手房的部分数据，并将爬取到的数据进行清洗和处理，最后通过可视化分析从中提取出能帮助人们做出购房决策的有用信息，购房租房人员也可以据此掌控房屋市场动态，预测其趋势，进而做出合理选择。本系统对环境的影响：本系统是对互联网的应用，对环境没有任何影响，系统开发对环境不会产生污染。本系统对法规的影响：法律规定不可以窃取网站隐私信息，但是本系统爬取数据都来源于网页对所有用户可见的信息，并且只用于学习研究，不为商用，严格遵守法律法规。

2.相关技术2.1Python网络爬虫技术2.1.1RequestsRequests是一个Python的HTTP客户端库，是基于urllib编写的，使用的是Apache2Licensed开源协议的HTTP库[4-5]。与urllib相比，Requests更加方便，可以节省大量的工作，支持的HTTP特性有：Cookie持久性会话、保持活动和连接池、自动内容解码、国际域名和URL、浏览器式SSL验证、分块请求、线程安全、HTTP（S）代理支持、文件上传等。2.1.2BeautifulsoupBeautifulsoup是Python的一个高效的网页解析库，是用于解析、遍历和维护“标签树”的功能库，对应一个HTML/XML文档的全部内容，可以通过定位HTML标签来格式化和组织复杂的网络信息，用简单易用的Python对象为我们展现XML结构信息[6]。它支持不同的解析器，如HTML解析、HTML5解析、XML解析。Beautifulsoup可以自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。2.2Python数据分析与可视化技术2.2.1NumPyNumPy（NumericalPython）是Python的一种开源的数值计算扩展，它提供了许多高级的数值编程工具。这种工具可用来存储和处理大型矩阵，它通常是以表格的形式存在，表格里面的元素具有相同的类型，可以通过含正整数的元组索引到相应的元素，比Python自身的嵌套列表结构要高效的多，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库[7]。2.2.2PandasPandas是基于Numpy的一种工具，Pandas为Python带来了两种新的数据结构：PandasSeries与PandasDataFrame，通过这两种数据结构，就能够轻松直观地处理带标签数据和关系数据。Pandas的功能有：将不同的数据集合在一起、轻松处理NaN值、允许为行和列设定标签、与Numpy和Matplotlib集成、可以针对时间序列数据计算滚动统计学指标[8-10]。2.2.3MatplotlibMatplotlib是一个Python的2D绘图库，它可以在各种平台上以各种硬拷贝格式和交互式环境生成出具有出版品质的图形，Matplotlib使得绘画更加高效，几行代码就可以生成绘图，直方图，功率谱，柱状图，扇形图，散点图等[11-12]。为了使绘图更为简单直观，pyplot模块提供了类似于MATLAB的界面，特别是与IPython结合使用的时候。2.3高德地图开发者应用JSAPI高德地图API/SDK是一套为开发者提供的地图应用程序接口，包括静态地图、JavaScript、Andriod、iOS、Windows、Web服务等多种版本。提供了定位、位置搜索、地图、导航、地理编码及逆地理编码、周边检索、实时路况等丰富功能。2.4MySQLMySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的关系数据库管理系统应用软件之一。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL是开源数据库，速度快、体积小、总体拥有成本低，一般对于中小型网站的开发而言，都会选择MySQL作为网站数据库。2.5Django框架Django是由Python写成的一个开源的Web应用框架。Python的程序开发人员使用Django只需要编写很少的代码，一个正式网站所需要的大部分内容就可以完成了。Django本身基于MVC的框架模式，即Model（模型）+View（视图）+Controller（控制器）设计模式，MVC以一种插件式的、松耦合的方式连接在一起[13]。模型（M）用来编写程序的功能，负责业务对象和数据库的映射；视图（V）负责与用户的交互；控制器（C）负责转发请求，并对请求进行处理。MVC模式使后续对程序的修改和扩展简化，并且使程序某一部分的重复利用成为可能。MVC的优势有：开发快捷、部署方便、低耦合、维护成本低、可重用性高等。而Djangp加Python是快速开发、设计、部署网站的最佳组合。图2-1MVC模型Django的MTV模式和MVC本质上是一样的，Django的MTV模式即Model（模型）+Template（模板）+View（视图）。其中模型（M）用来编写程序应有的功能，负责业务对象与数据库的映射，模板（T）用来负责把页面展现给用户看，视图（V）用来负责业务逻辑，并在适当时候调用Model和Template。除了上面的三层以外，还需要一个URL分发器，用来将一个个URL的页面请求分发给不同的View处理，View再调用相应的Model和Template。图2-1MTV模型

3.系统分析与需求3.1系统需求概述在进行系统开发之前，有必要分析一下本系统各方面不同的需求。为了开发一个二手房信息采集及分析系统，首先要分析一下所爬取二手房网站的结构，确定要抓取的字段，然后对这些字段的数据进行爬取，将采集到的数据进行清洗和分析，最后在前台展示分析结果即图表和热力图（基于高德地图）。本章主要对二手房信息采集及分析系统的功能性需求进行了分析。系统的业务流程如图3-1所示：图3-1系统业务流程二手房信息采集及分析系统的主要用户群体为准备购买二手房的人和研究二手房房价与其他因素的关系的研究者，为他们的购房决策提供一些信息，用户无需登录，即可查看二手房的数据的可视化分析结果[14]。3.2系统的功能性需求3.2.1数据采集和存储需求在数据采集这一方面，我们需要网络爬虫进行抓取，为了针对性地使用网络爬虫在二手房网站上采集数据，首先要分析二手房网站的结构，确定需要爬取的字段。其次，为了防止爬虫被封而导致爬取数据失败，要了解它的反爬虫机制，根据网站的反爬虫机制，来制定相应的对策。这里可以使用代理IP，建立好IP代理池来进行访问。同时观察网站的Cookie格式并进行伪造。为了避免爬虫对同一地址的重复访问，URL地址可以标准化，并用IP地址或者域名的方式来表示，在URL的管理和调度上，要确保它的容错性，防止爬虫挂掉之后造成较大的损失[15]。将网页中的内容爬取下来之后，再根据具体的需求利用BeautifulSoup库来对页面进行解析，从而获得需要提取的具体数据，比如小区名称、所在区域、所在楼层、建筑面积、房屋户型等。最后将采集到的二手房数据信息保存在csv文件中，并写入数据库里。3.2.2数据预处理和分析需求由于二手房的数据信息是使用爬虫抓取的网页信息，而网页上的原始数据本身就可能出现缺失、重复、不完整等问题，所以有必要对采集到的数据进行清洗与处理。对于缺失的数据，将其补充完整，对于因为分隔符而导致错位的数据，可以纠正或者直接删除。初步清洗完二手房数据之后，需要分析结构化的文本，然后对二手房数据中关于价格和面积字段的数据信息进行处理，这部分内容多为数据和中文单位的结合，很明显，那些单位如“元”、“/平米”、“㎡”对数据分析是起阻碍作用的，这些字段纯数字更容易分析，因此需要去掉这些无用的单位。3.2.3数据可视化展示需求数据的可视化分析是二手房分析系统的重要功能，包括柱状图、折线图、扇形图、箱线图、散点图、热力图、词云。柱状图包括：苏州各区域二手房平均单价、苏州各区域二手房平均建筑面积、苏州各区域和平均面积的对比图、苏州二手房房屋朝向分布情况；折线图包括：苏州各区域二手房房源数量；扇形图包括：苏州二手房房屋户型占比情况、苏州二手房房屋装修占比情况、苏州二手房建筑类型占比情况；散点图包括：苏州二手房单价与建筑面积散点图、苏州二手房总价与建筑面积散点图；热力图包括：苏州二手房单价热力图。

4.系统设计4.1系统总体设计二手房信息采集及分析系统主要采用B/S的架构模式来进行设计，B/S（Browser/Server）模式分为浏览器端和服务端，用户通过浏览器访问Web服务器，从而实现对数据库中数据的远程访问。采用B/S架构模式来进行开发，不仅可以降低系统的开发和后期维护成本，而且用户只要有浏览器，就可以在线访问终端，对用户来说更加方便。系统模式架构如图4-1所示：图4-1系统模式架构图系统总体设计模块如图4-2所示：图4-2系统总体模块设计其中数据分析和可视化模块设计如图4-3所示：图4-3数据分析和可视化模块设计4.2数据采集和存储模块设计本模块通过网络爬虫程序抓取链家网上所有苏州二手房房源的数据，收集原始数据，作为整个数据分析的基础。本系统所选择爬取的二手房网站为链家网，其苏州二手房的搜索主页页面如下图4-4，从图中可以看出链家网在苏州的二手房房源的区域遍布在工业园区、吴中、姑苏、高新、相城、吴江、昆山和张家港。下面红色框是二手房房源的简单的基础信息和链接。图4-4链家苏州二手房首页二手房房源的具体信息的页面如图4-5、图4-6，观察页面信息，可知我们能采集到的数据项如下：1）基本信息：小区名称、所在区域、单价、总价。2）房屋属性：房屋户型、建筑面积、套内面积、房屋朝向、所在楼层、户型结构、建筑类型、建筑结构、装修情况、梯户比例、配备电梯。3）交易属性：挂牌时间、交易权属、上次交易、房屋用途、房屋年限、产权所属、抵押信息、房本备件。图4-5链家苏州二手房详情页面图4-6链家苏州二手房详情页面4.3数据清洗和处理模块设计由于网页的原始数据本身就可能存在数据缺失、重复、不完整等，因此不能直接分析提取到的数据，而是需要这些数据进行清洗与处理。对于一些错误的数据，将其修正，对所有数据字段的格式进行统一，将所有的零散数据统一为结构化数据。4.4数据分析和可视化模块设计二手房基本数据可视化分析的主要方面：区域、单价、总价、建筑面积。二手房数据使用Pandas进行分析，并用Matplotlib进行绘图，热力图调用高德地图开发应用API，图表类型包括柱状图、折线图、扇形图、箱线图、散点图、热力图、词云。

5.系统实现5.1开发环境及工具软件环境：Windows10，Python3.8，PyCharm2020Python库：matplotlib3.4.1，numpy1.20.2，requests2.25.1，jieba0.42.1，wordcloud1.8.1，pandas1.2.4数据库：MySQL开发构架：Django二手房网站数据采集和存储的实现爬虫，是整个系统的数据来源，从数据库中获取需要爬取的城市信息，使用Request库获取网页的内容，然后使用BeautifulSoup进行解析，从页面中抽取需要的内容，经过组织和筛选，写入csv文件中。csv文件爬取的内容如图5-1：图5-1csv文件中的二手房数据信息在爬虫中，如果爬虫程序运行过快，链家网的反爬虫机制会在采集到两、三千条数据时被触发，所有的请求会被重定向到链家的人机鉴定页面，从而会导致爬取数据失败，因此要为程序中为每次http请求构造header，并且每次变换http请求header信息头USER_AGENTS数据项的值，使得请求信息看起来像是来自不同浏览器发出的访问请求。除此之外，爬虫程序在每处理完一次http请求和响应后，要随机睡眠1-3秒，在每请求2500次后，程序睡眠20分钟，以用来控制程序的请求速度。代码实现如下：classHtmlDownloader():"""网页加载器"""def__init__(self):"""构造函数，初始化属性"""self.log=MyLog("html_downloader","logs")self.user_agent=["Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0","Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;InfoPath.2;.NET4.0C;.NET4.0E;.NETCLR2.0.50727;360SE)","Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)","Mozilla/5.0(WindowsNT5.1;zh-CN;rv:)Gecko/20100101Firefox/8.0","Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50","Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0)","Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11","Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;TencentTraveler4.0;.NETCLR2.0.50727)","Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/64.0.3282.186Safari/537.36"]defdownload(self,url):"""网页下载函数"""ifurlisNone:self.log.logger.error("页面下载：url为空!!!")returnNone#随机变换user-agentheaders={"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8","Accept-Encoding":"gzip,deflate,br","Accept-Language":"zh-CN,zh;q=0.9","Connection":"keep-alive","Cache-Control":"max-age=0","Host":"","User-Agent":random.choice(self.user_agent)}r=requests.get(url,headers=headers)ifr.status_code!=200:self.log.logger.error("页面下载：响应错误：%d"%r.status_code)returnNone("页面下载：成功!")print("页面下载：成功!")returnr.text5.3二手房网站数据清洗和处理的实现苏州二手房房源数据爬取完成够，需要对这些数据进行清洗，先去掉一些“脏”数据和无效数据，将一些错误数据修正，把所有数据字段的格式统一，将这些零散的数据规整成统一的结构化数据。主要需要清洗的数据部分如下：1）将杂乱的记录的数据项对齐2）清洗一些数据项格式3）缺失值处理清洗后的二手房数据如图5-2所示：图5-2清洗后二手房数据5.4数据分析与可视化功能的实现系统首页的设计实现使用了Bootstrap前端框架，首页较为简洁美观，用户无需登录就可以通过左侧导航选择不同的图表进行查看。首页页面如下图所示：图5-3二手房分析系统首页5.4.1苏州各区域房源数量折线图苏州各区域房源数量折线图（见图5-4）的横轴是苏州各区域名称，纵轴是房源数量（套）。从下图中，我们可以看到苏州工业园区的房源数量最多，而张家港的房源数量特别少，除了张家港，其他区域的二手房房源都超过了2500套。图5-4苏州各区域二手房房源数量5.4.2苏州各区域二手房平均单价柱状图苏州各区域二手房平均单价柱状图（见图5-5）的横轴是苏州各区域名称，纵轴是单价（元/平米）。从图中显而易见，二手房平均单价最高的区域是工业园区，已经超过了40000元/平米。苏州工业园区虽然不在市中心，但是由于和新加坡合作共建，近几年发展势头很好，教育资源配置优秀，且建立了众多商场和学区房，由此房价一路飙升，现在已经成了苏州最贵的区域。而姑苏区作为苏州市的市中心，文化源远流长，其均价也一直高升不下，而高新区作为后起之秀，加入苏州市区，其房价已经与姑苏区几乎持平了。两个县级市昆山、张家港由于其地理位置和资源配置的劣势，均价在苏州市中最低。从整体上来看，除去2个县级市苏州大市各个区域均价都已经超过了20000元/平米。这些都可以反映出近年来苏州市房价飙升的现象。2个县级市虽然相比房价已经很低了，但与前几年的房价相比，几乎是翻了一番。图5-5苏州各区域二手房平均单价柱状图5.4.3苏州各区域二手房单价和总价箱线图苏州各区域二手房单价箱线图（见图5-6）横轴是苏州各区域名称，纵轴是单价（元/平米）。虽然二手房平均单价是评价二手房的一个重要参考依据，但是平均值并不能有效的表现出整体的数据分布情况，尤其是数据中一些离散值的分布情况，需要借助箱线图来表现出来。从箱线中可以看出，工业园区的房源单价正常值分布不是太集中，大概有一半房源的单价都分布在3万-5万的区间内。除吴江区和张家港市外，其他区域的异常值都很多，这些区域的房源单价出现了这么多的异常值，与这些区域集中的教育和医疗资源有着不可分割的关系。而姑苏区、高新区和工业园区有很多单价超过5万的房源，工业园区最高单价甚至有超过10万的，单价上限远高于其他区域。综上所述，工业园区是苏州市二手房单价最高的区域。图5-6苏州各区域二手房单价箱线图苏州各区域二手房总价箱线图（见图5-7）横轴是苏州各区域名称，纵轴是单价（万元）。工业园区这个单价最高的区域，从二手房总价来看，它的总价还是非常的高，并且在1000万元以上的异常值也很多，这也说明了苏州工业园区的二手房价格偏高，就是500万元左右的二手房也分布在了正常值范围内。相比之下，苏州其他各区域二手房价格就低很多，大部分都集中在200-400万元之间。除了张家港市，其他区域的异常值特别多，特别是工业园区、吴中、姑苏和高新区。图5-7苏州各区域二手房总价箱线图5.4.4苏州二手房单价最高Top20苏州二手房单价最高Top20水平柱状图（见图5-8）横轴是单价（元/平米），纵轴是小区名字。从图中可以看出，苏州二手房单价排名前20的房源都已经超过8万，这个单价在全国范围内都是算很高的了，而且大部分都集中在工业园区，这也从侧面印证了上面箱线图中工业园区有这么多异常值存在的原因。图5-8苏州二手房单价最高Top205.4.5苏州二手房单价热力图苏州二手房单价热力图（见图5-9）的红色区域代表房源密集度高且单价高的区域。从图中可以看出四个密集度最高的区域是工业园区、高新区、吴中区、姑苏区。这四个区域距离苏州市正中心都比较近，交通方便，医疗、教育等资源集中，诸多因素导致了这几个区域的二手房源单价比较高。图5-9苏州二手房单价热力图页面5.4.6苏州各区域二手房平均单价和平均面积苏州各区域二手房平均单价和平均面积（见图5-10）横轴为区域名字，纵轴分别为单价（元/平米）和建筑面积（平米）。从两图对比中可以看出，张家港市的二手房平均单价虽然最低，但是平均建筑面积却是所有区域中最大的。姑苏、昆山的二手房平均建筑面积比较小，只有100平米左右，所有区域的二手房平均建筑面积均超过了100平米。图5-10苏州各区域二手房平均单价和平均面积5.4.7苏州二手房单价、总价与建筑面积散点图苏州二手房总价与建筑面积散点图（图5-11）横轴是建筑面积（平米），纵轴是总价（万元）。从图中可以看出，建筑面积和总价这两个变量呈正相关趋势。图中数据点分布比较集中，总价0-1500万元与建筑面积0-400平米这个区域内数据分布的尤其密集。图5-11苏州二手房总价与建筑面积散点图苏州二手房单价与建筑面积散点图（图5-12）横轴是建筑面积（平米），纵轴是单价（元/平米）。在图中可以看出建筑面积与单价的几乎没什么关系，样本中的数据点分布也同样比较集中，有较少离散值。但是大量单价高的房源的面积都集中在50-250平米，而建筑面积大于300平米的单价则基本在4万以下，这也说明了单价贵且面积还大的房源并不多。图5-12苏州二手房单价与建筑面积散点图5.4.8苏州二手房房屋户型占比情况从苏州二手房房屋户型饼状图（图5-13）中可以看出，3室2厅1厨2卫与3室2厅1厨1卫作为标准配置，一共占比接近一半，这也说明苏州人比较偏爱3室2厅。而其中2室2厅、2室1厅和4室1厅的房源也占比不少，其他房屋户型的房源占比就比较少了，图5-13苏州二手房房屋户型占比情况5.4.9苏州二手房房屋装修情况从苏州二手房房屋装修情况饼状图（图5-14）可以看出，61.2%的房源都有精装过，16.7%的房源也简装过了，只有21.7%的房源是毛坯房，可能是因为这些房源全部为二手房的原因，很多二手房已经进行精装过了。图5-14苏州二手房房屋装修情况饼状图5.4.10苏州二手房建筑类型占比情况从苏州二手房建筑类型饼状图（图5-15）中，可以看出74.1%的二手房建筑类型为板楼，现在房地产商喜欢开发的塔楼反而较少，这与苏州二手房建筑时间都比较久远相符。图5-15苏州二手房建筑类型占比情况5.4.11苏州二手房房屋朝向分布情况苏州二手房房屋朝向柱状图（图5-16）横轴为房屋朝向，纵轴为房源数量（套）。从图中我们可以看出，只有朝向比较多的只有少数几种类型，其余的都是非常少的，明显属于长尾分布类型（严重偏态）。这也符合我们的认知，即中国的房屋朝向大部分都是坐北朝南的。图5-16苏州二手房房屋朝向分布情况5.4.12苏州二手房词云苏州二手房词云（见图5-17）体现了这次样本中出现频率比较高的词汇，由于可以根据在苏州二手房房源信息中经常出现的高频词大概的了解整个数据文件中的基本内容。这些高频词如商品房、普通住宅、一梯两户、平层、板楼、精装等，都是跟苏州二手房密切相关的。图5-17苏州二手房词云

结语本文基于链家网的苏州二手房数据，结合可视化技术，设计开发了一个二手房数据可视化分析系统。首先从链家网爬取