我爱我家房产网站上海城市二手房数据采集与分析

湖南商务职业技术学院毕业设计

目录

1引言..........................................................1

1.1项目背景...............................................1

1.2开发环境与工具.........................................2

1.2.1Python简介.......................................2

1.2.2pycharm简介......................................2

1.2.3lxml简介.........................................3

1.2.4pandas简介.......................................3

1.2.5Matplotlib简介...................................3

2需求分析......................................................4

2.1可行性需求分析.........................................4

2.2采集目标功能分析......................................5

2.3关键技术分析...........................................6

2.3.1网络爬虫（Requests）..............................6

2.3.2数据预处理与分析（Pandas）........................6

2.3.3数据可视化（Matplotlib）..........................6

3数据采集......................................................7

3.1采集页面分析..........................................7

3.2字段分析..............................................9

3.3编程实现..............................................10

4数据清洗与处理...............................................14

4.1数据清洗..............................................14

4.2数据储存..............................................15

4.3代码实现..............................................17

5数据统计与分析...............................................18

5.1数据准备.............................................18

I

湖南商务职业技术学院毕业设计

5.2数据展示.............................................19

5.2.1依据房子价格分布统计.............................19

5.2.2依据房子户型统计................................20

5.2.3楼层布局统计.....................................21

5.2.4房子装修情况统计.................................22

5.2.5装修类型统计.....................................23

5.3综述.................................................25

6小结.........................................................25

参考文献.......................................................26

II

湖南商务职业技术学院毕业设计

我爱我家房产网站上海城市二手房数据采集与分析

1引言

随着互联网的迅速发展和普及，房地产行业也迎来了数字化转型的时代。在

这个数字化时代，房产数据的采集与分析变得尤为重要。它不仅能够为房产行业

的参与者提供决策支持，还可以为普通消费者提供更加精准的房产信息和指导。

在中国，房地产市场一直是备受关注的热点领域之一，特别是二手房市场更是呈

现出多样化、复杂化的特征。在这样的背景下，本项目以上海这一具有代表性的

大都市为研究对象，通过基于Python的数据采集与分析技术，对我爱我家房产

网站上的上海城市二手房数据进行深入挖掘与分析。

本项目旨在探讨基于Python编程语言的数据采集与分析技术在房产领域的

应用，以及其在提升房产市场信息透明度、改善消费者体验、辅助决策制定等方

面的作用。通过对上海城市二手房数据的采集与分析，我们将深入了解该市场的

价格趋势、地域分布、房型偏好等关键信息，为政府、房产从业者和普通消费者

提供有益的参考和指导。

本项目将首先介绍背景和意义，然后介绍相关的现状和国内外的动态，接着

详细阐述方法和数据采集与分析的过程，最后给出实验结果和结论。希望通过本

项目，能够为我国房地产行业的数字化转型和智能化发展提供一定的参考和借鉴。

1.1项目背景

随着中国经济的持续发展和城市化进程的加速推进，房地产市场作为国民经

济的重要支柱之一，扮演着举足轻重的角色。上海作为中国的经济中心和国际大

都市，其房地产市场更是备受关注，市场规模庞大，交易活跃度高。尤其是在城

市化进程中，二手房市场占据着重要位置，其交易量和价值更是不容小觑。

然而，传统的房地产信息获取渠道存在着信息不对称、信息滞后等问题，给

消费者和从业者带来了诸多不便。针对这一现状，随着互联网技术的飞速发展，

1

湖南商务职业技术学院毕业设计

越来越多的房产信息通过网络平台公开发布，其中以房产中介网站为主要渠道。

我爱我家房产网站作为国内知名的房产中介平台之一，汇聚了大量的二手房源信

息，成为了消费者和从业者获取房产信息的重要来源之一。

然而，这些海量的房产信息如何更加高效、准确地获取并进行分析，以帮助

市场参与者做出更加明智的决策，成为了摆在面前的课题。基于Python编程语

言的数据采集与分析技术，以其高效、灵活和强大的特点，成为了解决这一问题

的重要途径之一。

因此，本项目旨在利用Python编程语言，通过对我爱我家房产网站上海城

市二手房数据的采集与分析，深入挖掘房产市场的特征和规律，为消费者提供更

加全面、准确的房产信息，同时为从业者和政府部门提供科学的数据支持，促进

房地产市场的健康发展和规范运行。

1.2开发环境与工具

1.2.1Python简介

为项目的主要编程语言，Python提供了丰富的标准库和第三方库，能够满

足各种数据处理、分析和可视化的需求。

Python是一种高级编程语言，被广泛应用于各种领域，包括网络开发、数

据科学、人工智能等。它以简洁、易读的语法而闻名，拥有庞大的标准库和丰富

的第三方库，适用于多种开发任务。

1.2.2pycharm简介

PyCharm是由JetBrains公司开发的一款强大的集成开发环境（IDE），专

门用于Python开发。它提供了丰富的功能和工具，旨在帮助开发者提高编码效

率和代码质量。

智能代码编辑：PyCharm提供了智能代码编辑功能，包括代码自动补全、代

码导航、语法高亮、代码重构等，能够帮助开发者编写更加高效和优雅的代码。

强大的调试器：PyCharm集成了强大的调试器，支持在代码中设置断点、

单步执行、查看变量值等调试操作，帮助开发者快速定位和解决问题。

2

湖南商务职业技术学院毕业设计

1.2.3lxml简介

lxml是Python的一个强大而高效的XML和HTML处理库，它基于

libxml2和libxslt库，提供了简单而强大的API，用于解析、生成、查询和

修改XML和HTML文档。

快速的解析性能：lxml基于C语言实现，并利用libxml2库的高性能解

析引擎，因此具有非常快速的解析速度，能够处理大型XML和HTML文档。

lxml是Python中处理XML和HTML文档的首选库之一，它具有高性能、

简单易用的特点，能够满足开发者在解析、查询和修改XML和HTML文档时的

需求。

1.2.4pandas简介

Pandas是Python中用于数据分析和处理的强大库，它提供了高性能、易

于使用的数据结构和数据操作工具，能够帮助开发者轻松地处理和分析结构化数

据。

Pandas提供了丰富的数据操作工具，包括数据选取、过滤、排序、分组、

合并、重塑、透视等操作。这些操作能够帮助开发者快速、灵活地对数据进行处

理和分析。

Pandas是Python中用于数据分析和处理的重要工具之一，它提供了丰富

的数据结构和数据操作工具，能够帮助开发者高效地进行数据分析、清洗和探索，

是数据科学家和分析师的必备工具之一。

1.2.5Matplotlib简介

Matplotlib是Python中最常用的绘图库之一，用于创建高质量的静态图

表和可视化，它提供了丰富的绘图功能和灵活的绘图接口，适用于各种数据可视

化场景。

多种绘图类型：Matplotlib支持多种类型的绘图，包括折线图、散点图、

柱状图、饼图、箱线图、等高线图、3D图等，能够满足不同数据可视化需求。

灵活的绘图接口：Matplotlib提供了多种绘图接口，包括基于面向对象的

接口（Objectorientedinterface）和基于状态机的接口（Pyplotinterface）。

开发者可以根据自己的偏好和需求选择合适的接口来创建图表。

3

湖南商务职业技术学院毕业设计

2需求分析

需求分析是编写过程中至关重要的一步，它帮助确定项目的具体需求和功

能，为后续的设计和开发提供指导。针对基于Python的我爱我家房产网站上海

城市二手房数据采集与分析项目，需求分析包括以下几个方面：

2.1可行性需求分析

1.数据采集需求：

确定要采集的数据类型，包括二手房的价格、面积、地理位置、房型等信息。

确定数据来源，即我爱我家房产网站上的二手房信息。

确定数据采集的频率和时间范围，以确保数据的及时性和完整性。

2.数据分析需求：

确定要进行的数据分析任务，如价格趋势分析、地域分布分析、房型偏好分

析等。

确定分析结果的呈现方式，如图表、统计指标、数据报告等。

确定分析结果的可视化需求，如图表样式、颜色、标签等。

3.功能需求：

数据清洗功能：对采集到的数据进行清洗和预处理，包括处理缺失值、异常

值、重复值等。

数据分析功能：实现各种数据分析任务，如描述性统计、数据透视、相关性

分析等。

数据可视化功能：利用Matplotlib等工具实现数据可视化，生成各种类型

的图表和可视化结果。

4.性能需求：

数据采集性能：保证数据采集的高效性和稳定性，能够快速获取到所需的二

手房数据。

4

湖南商务职业技术学院毕业设计

数据分析性能：保证数据分析的高效性和准确性，能够快速生成各种类型的

分析结果。

通过对以上需求进行分析和整理，可以明确项目的目标和范围，为后续的设

计和开发提供指导。同时，需求分析也有助于与项目相关方沟通，确保项目的各

项需求得到充分理解和满足。

2.2采集目标功能分析

在基于Python的我爱我家房产网站上海城市二手房数据采集与分析项目中，

涉及到了多项关键技术，其中包括网络爬虫、数据预处理与分析以及数据可视化

等。

1.房源信息采集：通过爬虫技术从我爱我家房产网站上采集上海城市的二

手房源信息，包括房屋售价、户型、面积、楼层、小区名称等关键信息。

2.地理位置信息获取：提取二手房房源的地理位置信息，包括所在区域、

街道、地铁站等，以便后续分析和可视化展示。

3.房屋特征分析：对采集到的二手房源信息进行特征分析，包括房屋面积

分布、户型结构、楼层高度等，以了解市场供给特征。

4.价格趋势分析：分析二手房价格的变化趋势，包括近期价格波动、不同

区域价格差异、不同户型价格对比等，为购房者和投资者提供参考。

5.热门区域识别：识别出二手房交易活跃的热门区域，分析其特点和原因，

为购房者提供选房参考。

6.客户需求分析：通过对二手房房源信息的采集和分析，了解客户对房屋

面积、价格、地段等方面的需求，为房产市场定价和开发提供依据。

7.数据可视化展示：将采集到的数据进行可视化处理，生成图表、地图等

形式，直观展示二手房市场的数据分布和趋势，提供决策参考。

5

湖南商务职业技术学院毕业设计

2.3关键技术分析

2.3.1网络爬虫（Requests）

网络爬虫是获取网页数据的重要技术手段，我们将使用Python的

Requests库实现网络爬虫功能。Requests是一个简单而强大的HTTP库，能够

发送HTTP请求并处理HTTP响应，从而获取网页的原始数据。通过发送GET请

求，我们可以访问我爱我家房产网站上的二手房信息页面，并获取所需的数据。

2.3.2数据预处理与分析（Pandas）

获取到的网页数据通常是未经处理的原始文本，需要进行数据预处理与分析

才能进行后续的数据挖掘和分析工作。我们将使用Pandas库对采集到的二手房

数据进行预处理和分析。Pandas提供了丰富的数据结构和数据操作工具，能够

快速地处理和分析结构化数据。通过Pandas，我们可以清洗数据、处理缺失值、

进行数据透视等操作，为后续的数据分析做好准备。

2.3.3数据可视化（Matplotlib）

数据可视化是将数据以图形化的方式呈现出来，有助于发现数据之间的关系

和规律。我们将使用Matplotlib库实现数据可视化功能。Matplotlib是

Python中最常用的绘图库之一，能够绘制各种类型的静态图表和可视化，如折

线图、柱状图、散点图等。通过Matplotlib，我们可以将经过预处理和分析的

二手房数据可视化，展示价格趋势、地域分布等关键信息，帮助用户更直观地理

解数据，做出更明智的决策。

综上所述，网络爬虫、数据预处理与分析以及数据可视化是本项目中的关键

技术，它们共同构成了基于Python的我爱我家房产网站上海城市二手房数据采

集与分析的技术核心，为项目的顺利实施和数据分析提供了重要支持。

6

湖南商务职业技术学院毕业设计

3数据采集

3.1采集页面分析

我们首先通过谷歌浏览器搜索网页我爱我家,然后使用网络爬虫技术中的

Python的Requests库实现网络爬虫功能，在进入网站之后发送HTTP请求并

处理HTTP响应，获取我爱我家网站的相关数据，然后通过发送GET请求，访

问我们所需要的二手房相关数据，之后我们将使用Pandas库对采集到的二手房

数据进行预处理和分析，Pandas可以清洗数据、处理缺失值、进行数据透视等

操作，为后续的数据分析做好准备，接着就是最后一步，通过Matplotlib，我

们可以将经过预处理和分析的二手房数据可视化，展示价格趋势、地域分布等关

键信息，帮助用户更直观地理解数据，做出更明智的决策

在进入主页可以查看更多房源图如3-1采集页面图所述图

图3-1采集页面图所述

7

湖南商务职业技术学院毕业设计

在其中可以可以查看诸多二手房信息如图3-2采集信息图

图3-2采集信息图

在点击图片之后你可以理解图片中二手房的相关信息如图3-3采集详细

信息页面图

图3-3采集详细信息页面图

8

湖南商务职业技术学院毕业设计

3.2字段分析

采集它的'标题','标签','价格（万元）','户型','楼层','平方米','

装修情况','小区','区域','看房时间','附近地铁','二手房编号'等字段。

采集页面的内容通常可以在浏览器的开发者工具中查看网页源代码。以下是

采集过程的步骤：

1.打开目标网页：首先，在浏览器中打开我爱我家房产网站上的二手房信

息页面，找到想要采集的内容所在的页面。

2.打开开发者工具：在浏览器中按下F12键（或右键点击页面选择“检

查”），打开浏览器的开发者工具。通常情况下，你可以在开发者工具的

“Elements”（或者类似的选项）标签页中找到网页的源代码。

3.查看网页源代码：在开发者工具中，你可以查看网页的HTML结构和CSS

样式。使用开发者工具的选择器工具（通常是一个箭头图标），你可以在页面上

选择特定的元素，从而查看它们对应的HTML代码。

4.分析源代码结构：通过查看网页源代码，你可以分析页面的结构和布局，

确定所需数据所在的位置和对应的HTML元素。你可以通过查看元素的类名、ID、

标签名等特征，来定位到需要采集的内容。

5.提取数据：一旦确定了数据所在的位置，你可以使用Python的网络爬

虫库（如Requests）来发送HTTP请求，并获取页面的原始HTML内容。然后，

你可以使用解析库（如BeautifulSoup或lxml）来解析HTML内容，并提取出

所需的数据。

6.数据处理与存储：使用Pandas等库对采集到的数据进行处理和分析，

并将结果存储到合适的数据结构中（如DataFrame），以备后续分析和可视化使

用。

通过以上步骤，你可以完成对我爱我家房产网站上的二手房信息的采集，从

而为后续的数据分析和项目实施提供所需的数据支持。如图3-4开发者工具图

9

湖南商务职业技术学院毕业设计

图3-4开发者工具图

详细页的请求信息，发现是get请求，那么可以通过requests进行发现get

请求获取响应，如图3-5请求方式图

图3-5请求方式图

3.3编程实现

这段代码用于从我爱我家房产网站上爬取上海市的二手房信息，并将采集到的数

据保存到CSV文件中。逐步解释代码的各部分：

1.首先，脚本声明了文件编码和作者信息，以及该脚本的目的（采集我爱我家

房产网站上海城市二手房数据）。

10

湖南商务职业技术学院毕业设计

2.导入了所需的Python库，包括`csv`用于处理CSV文件、`os`用于操作

文件路径、`random`和`time`用于生成随机数和控制程序执行时间、

`requests`用于发送HTTP请求、`UserAgent`用于生成随机UserAgent、

`etree`用于解析HTML。如图3-6

图3-6HTML解析图

3.定义了一个名为`SecondHandHouse`的类，包含了初始化方法`__init__`

和三个功能方法`get_url_list`、`get_house_info`和`run`以及一个保存

数据的方法`save`。如下图

4.在`__init__`方法中初始化了HTTP请求头部，包括UserAgent和

Cookie信息。如图3-7

图3-7初始化创建图

5.`get_url_list`方法用于获取当前页面上的所有二手房信息的链接，并返回

链接列表。如图3-8

11

湖南商务职业技术学院毕业设计

图3-8信息链接图

6.`get_house_info`方法用于获取单个二手房信息页面的详细信息，包括标题、

标签、价格、户型、楼层、面积、装修情况、小区、区域、看房时间、附近地铁

等，并调用`save`方法保存数据。如图3-9

图3-9信息采集图

7.`run`方法是主方法，用于遍历多个页面，调用`get_url_list`和

`get_house_info`方法来采集数据。如图3-10

图3-10数据采集方法图

8.`save`方法用于将采集到的数据保存到CSV文件中，如果文件不存在则创

建新文件，如果文件已存在则追加数据。如图3-11

12

湖南商务职业技术学院毕业设计

图3-11数据保存图

9.最后，通过`if__name__=='__main__':`来执行主程序，创建

`SecondHandHouse`类的实例并调用`run`方法。如图3-12

图3-12主程序创建图

13

湖南商务职业技术学院毕业设计

最后通过代码的运行得到如图3-13运行结果图

图3-13运行结果图

4数据清洗与处理

4.1数据清洗

数据清洗是指对原始数据进行处理，以消除数据中的错误、不一致、缺失或

重复的部分，以便进行后续的分析和挖掘工作。这个过程包括以下步骤：

1.数据审查（DataInspection）：检查数据的整体结构和特征，了解数据

的规模、格式和质量。

14

湖南商务职业技术学院毕业设计

2.处理缺失值（HandlingMissingValues）：识别和处理数据中的缺失值，

可以通过填充、删除或插值等方式进行处理。

3.处理异常值（HandlingOutliers）：识别和处理数据中的异常值，可以

通过删除、转换或替换等方式进行处理。

4.解决重复数据（DealingwithDuplicates）：识别和处理数据中的重复

记录，确保每条记录的唯一性。

5.统一格式（StandardizingFormats）：将数据中的不一致格式进行统一，

例如日期、时间、单位等。

6.数据转换（DataTransformation）：对数据进行转换，使其适合后续的

分析和挖掘工作，例如数据归一化、标准化、离散化等。

数据清洗是数据分析和挖掘中至关重要的一步，它可以确保数据质量，提高后续

分析的准确性和可信度。如图4-1数据清洗结果图

图4-1数据清洗结果图

4.2数据储存

数据储存得方法有很多种,常见得可以直接用记事本格式储存（txt）,或者

直接用其他文件的形式储存csv、excel、json等,但是以上方法保存的数据体量

普遍都比较小。如果需要储存较大的数据信息就需要用到我们的数据库,数据库

15

湖南商务职业技术学院毕业设计

也分为关系型和非关系型数据库。关系型数据库比较典型的有MySQL和Oracle

等,非关系型数据库等以键值对形式储存数据的代表有Mongodb、Redis等。本次

项目我们用到的是csv、excel文件。如图4-2清洗结果保存图

图4-2清洗结果保存图

16

湖南商务职业技术学院毕业设计

4.3代码实现

使用drop_duplicates和dropna进行去重和去除空值如图4-3清洗代码图

图4-3清洗代码图

17

湖南商务职业技术学院毕业设计

清洗后的数据便于进行数据分析和统计模块。如图4-4清洗结果保存图

图4-4清洗结果保存图

5数据统计与分析

5.1数据准备

18

湖南商务职业技术学院毕业设计

数据准备是数据分析过程中至关重要的一步，它涉及将原始数据转换为适合

分析的格式和结构，以便进行后续的数据挖掘、建模或可视化等操作。下面是分

析前的数据准备图。如图5-1数据准备图

图5-1数据准备图

5.2数据展示

5.2.1依据房子价格分布统计

含义：该直方图显示了二手房价格的分布情况，横轴表示价格（万元），

纵轴表示频数（即在每个价格区间内的二手房数量）。

分析意义：通过观察直方图的形状和分布，你可以了解二手房价格的整体水

平、价格的集中区间以及是否存在异常值。例如，如果直方图呈现右偏分布，说

明大部分二手房价格较低，但可能存在少量高价房屋，二手房的数量还是浦东和

普陀比较多，而且这的二手房价格都是比较偏上的，其他地方的二手房数量大部

分也破百，主要集中的还是其中几个地方，比如浦东和普陀等地。

如图5-2价格分布直方图。

19

湖南商务职业技术学院毕业设计

图5-2价格分布直方图

5.2.2依据房子户型统计

含义：该饼图显示了不同户型的比例，每个扇形表示一个户型，饼图的大小

表示该户型在数据集中的比例。

分析意义：通过户型饼图，你可以了解二手房市场中各种户型的流行程度。如

果某种户型的扇形较大，说明该户型在市场中较为普遍，反之则表示相对稀少。

这有助于你确定市场上的主流户型，上海区域二手房的户型还是两室一厅占比比

较大，其他占比才刚刚超过二室一厅的占比量，此图证明二室一厅还是在上海比

较受欢迎，像其他户型两室两厅和三室一厅，这这两种户型，占比很小，不到

1/10。如图5-3户型饼图

20

湖南商务职业技术学院毕业设计

图5-3户型饼图

5.2.3楼层布局统计

含义：该箱线图展示了二手房楼层的分布情况，箱线图显示了楼层的中位

数、四分位数和异常值。

分析意义：通过观察箱线图，你可以了解二手房楼层的集中区间和分布范围。

例如，如果箱线图的箱体较为集中，说明大部分二手房的楼层相对集中，如果箱

线图的箱体分布较为分散，可能表示楼层分布较为广泛，所以从此图可以看出来，

大家对于二手房的楼层位置所期许的大部分都是相同的，极少数会有喜欢低楼层，

大部分都是喜欢高楼层和中楼层的。如图5-4楼层箱线图

21

湖南商务职业技术学院毕业设计

图5-4楼层箱线图

5.2.4房子装修情况统计

含义：该条形图显示了不同装修情况的数量，每个条形表示一种装修情况，

条形的高度表示该装修情况在数据集中的数量。

分析意义：通过装修情况条形图，可以了解市场上不同装修情况的分布情况。

如果某种装修情况的条形较高，说明该装修情况在市场中较为普遍，反之则表示

相对稀少。这有助于了解市场上的装修趋势，从此图可以看出来上海地区的二手

房装修情况大部分都是花费不算太贵的简装和精装，而另外两类毛坯和豪装，在

上海地区还算比较少数，占据比例不算太大，简装和精装的比例占比比其他两种

多的多，这说明大部分人还是对于房子的装修情况还是以简装和精装为主。如图

5-5装修情况计数条形图

22

湖南商务职业技术学院毕业设计

图5-5装修情况计数条形图

5.2.5装修类型统计

含义：该词云图显示了装修情况的词频分布，词云中的词语大小表示其在

数据集中的频率。

分析意义：通过装修情况词云图，可以直观地了解装修情况的分布情况，哪些装

修情况更为常见。词云图可以发现装修情况中的一些关键词，从而更好地理解市

场上的装修特点和偏好，从此图可以看出来，大家对于房屋内的布置，大部分都

是喜欢选择简装，让房子看起来比较简约，所以说装修很影响住户的日常心情，

大部分都是选择简装和精装，而毛坯和豪装这两类占比就比较少，这种属于小范

围爱好。如图5-6装修情况词云图

23

湖南商务职业技术学院毕业设计

图5-6装修情况词云图

通过分析这五个图表，可以全面了解二手房市场的价格分布、户型分布、楼

层分布、装修情况分布以及装修特点，从而更好地制定营销策略、了解市场需求

和制定定价策略。

24