二手房数据可视化分析系统

·ABSTRACTWiththerapiddevelopmentoftheInternetandbigdatatechnology,therealestateindustryisundergoingadigitaltransformation.Asanimportantpartoftherealestatemarket,thesecond-handhousingmarkethasaccumulatedalargeamountofdata.Thesedatacontainrichinformationandvalue,whichareofgreatsignificancetohomebuyers,sellers,realestateagentsandpolicymakers.However,thecurrentsecond-handhousingmarketlacksacompletesetofdataanalysisvisualizationsystem,unabletomakefulluseofthesedatatoprovidedecisionsupportformarketparticipants.ThispapercompletesthedevelopmentofFlaskframeworkforsecondarysourcevisualizationsystembasedonPythonplatform.Firstofall,thesecond-handhousingsourcedataofHOMELINKwasclimbedthroughcrawlertechnology,andthenthesecond-handhousingsystemanduserneedswereinvestigatedandanalyzed,establishingtheregistrationandloginmodule,userinformationqueryandmodificationmodule,second-handhousingsourceinformationretrievalmodule,visualizationmoduleandhousepricequerymodule.ThenthesystemadoptsMVCarchitecturetodesigntheplatformdatabase.Finally,Flasktechnology,MYSQLdatabaseandB/Sdevelopmentmodewereusedtodevelopthefinalsystemandcompletethesystemtest.ThroughtheEchartsframework,thevisualizationcontentofsecond-handhousingonHOMELINKincludessecond-handhousingfloor,housingorientation,area,housetype,averagehouseprice,districtandcountyTOPlist.Inadditiontothevisualanalysisofthefirst-tier,second-tierandnewfirst-tierareasaccordingtothecityclassification,thevisualanalysisofthepopularcitieswasalsodone.Bydesigningthehousingdatavisualizationsystem,thispaperanalyzesthepricetrendofthesecond-handhousingmarketandtheinfluencingfactorsonthehousingprice,soastoachieveusers'understandingofthesecond-handhousingmarketandhelphousingdeveloperstomakebetterdecisions.Keyword:Reptile;Python;Echarts;Flask;Datavisualization目录1绪论 1.1研究背景及意 1.2研究的背 1.3研究的意 2相关技术理论介绍 22.1前端相关技术 22.1.1Flask框架 22.1.2Bootstrap框架 22.2数据爬取存储相关技术 32.2.1爬虫 32.2.2Mysql数据库 32.3可视化相关技术 42.3.1Echarts框架 43数据集介绍 43.1二手房源数据 53.2用户数据 53.3数据存储 64房屋数据可视化系统需求分析和系统设计 74.1系统需求分析 74.1.1业务现状分析 74.1.2系统功能需求分析 84.1.3系统性能需求分析 94.2系统设计 105系统实现 115.1系统实现 11 5.1.1系统登录 125.1.2密码修改 135.1.3房源检索 145.1.3房屋数据可视化 166系统测试 196.1测试概述 196.2系统功能测试 296.2.1注册登录测试 296.2.2数据爬取测试 296.2.3系统功能测试 206.3系统性能测试 206.4系统测试结论 217总结 217.1总结 217.2展望 22参考文献 近年来，随着我国经济的不断发展和城市化进程的加快，二手房市场逐渐成为了一个热门行业。越来越多的人选择购买二手房，而且他们对房屋的质量和位置等方面的要求也越来越高。在这种情况下，对二手房市场数据进行分析和可视化已成为了一种必不可少的手段。二手房市场的发展不仅与经济影响密切相关。房地产市场与宏观经济紧密相关，二手房市场的研究有助于评估房地产对经济增长、就业、金融稳定等方面的影响。而且二手房市场的发展与国际经验密切相关。了解和分析国外发达国家和地区的二手房市场发展历程和现状，可以为中国的房地产市场发展提供借鉴和参考。更重要的是二手房市场的发展与居民财富和消费密切相关。房地产是中国居民财富的重要组成部分，二手房交易情况反映了居民财富的流动和消费行为的变化。总之，二手房数据分析研究的背景涉及多个方面，包括城市化进程、房地产政策、居民财富和消费、经济影响以及国际经验等。研究二手房数据对于理解房地产市场动态、制定政策、指导城市规划、挖掘投资机会等方面具有重要意义。随着互联网的发展，网络数据的爆炸式增长以及人们日益增长的信息需求，数据可视化成为了一种重要的方式来帮助人们理解和分析数据。在房地产市场中，房屋买卖是一个复杂而庞大的过程，需要考虑到各种因素，如房价、地理位置、房屋面积等。如何能够准确的分析这些房源数据成为把握二手房市场趋势的关键。对于二手房市场的分析和研究不仅有利于提高二手房信息服务水平，通过数据可视化系统，购房者可以更加方便地获取各地区的二手房信息，如房源位置、价格、户型等，从而提高他们的购房体验。同时，中介机构也可以通过系统获取市场动态和客户需求，及时调整服务策略，提升客户满意度。而且可以推动数据科学在房地产行业中的更广泛应用，也为其他行业提供了有益的参考和借鉴。综上，二手房数据研究对于市场参与者、政策制定者、城市规划者以及学术研究者都具有重要的实用价值和理论价值。所以通过这项研究，本文有望更好地分许和把握二手房市场需求，推动房地产产业进步。Flask是基于Werkzeug和Jinja2库构建的，它遵循了MVC（模型-视图-控制器）的设计模式。Flask的核心思想是保持简洁和易用，它提供了一些核心功能，但也允许开发者通过扩展来添加更多功能。Flask的特点如下:（1）使用简单：Flask设计简介，框架使用简单方便。开发者无需学习复杂的框架概念，只需了解几个核心概念即可开始开发。（2）轻量级灵活：Flask没有过多的依赖，它的核心功能非常精简。开发者可以根据需要选择适合自己项目的扩展，使得框架更加灵活。（3）易于扩展：Flask提供了丰富的扩展库，可以轻松集成常用的功能，如数据库访问、表单验证、身份认证等。开发者可以根据需求选择适合自己项目的扩展，快速实现功能。（4）模板引擎支持：Flask集成了Jinja2模板引擎，使得前后端分离更加方便。开发者可以通过模板引擎将逻辑和界面分离，提高代码的可维护性和可读性。综上所述，Flask是一个简单而灵活的PythonWeb框架，适用于快速开发小型至中型的Web应用。Bootstrap是由Twitter公司(全球最大的微博)的两名技术工程师研发的一个基于HTML、CSS、JavaScript的开源框架。该框架代码简洁、视觉优美，可用于快速、简单地构建基于PC及移动端设备的Web页面需求。2010年6月，Twitter内部的工程师为了解决前端开发任务中的协作统一问题。经历各种方案后，Bootstrap最终被确定下来，并于2011年8月发布。经过很长时间的迭代升级，由最初的CSS驱动项目发展成为内置很多JavaScript插件和图标的多功能Web前端的开源框架。Bootstrap最为重要的部分就是它的响应式布局，通过这种布局可以兼容PC端、PAD以及手机移动端的页面访问。爬虫技术是一种自动化获取互联网信息的技术，也称为网络爬虫、网络蜘蛛、网络机器人等。爬虫技术通过程序自动访问网络资源，并将有用的数据抓取下来，存储到本地或远程服务器中。爬虫技术可以自动获取大量的数据，极大地提高了数据获取的效率和准确性，同时也为人们提供了更多的数据分析和挖掘的可能性。爬虫的主要原理有如下：（1）URL管理器：爬虫程序首先需要有一个URL管理器，用来存储待爬取的URL列表，或已经爬取过的URL列表。URL管理器可以使用内存、数据库或者文件系统等方式进行存储。（2）网络请求：爬虫程序通过网络请求访问目标网站，获取网页内容。网络请求的方式通常有HTTP、HTTPS、FTP等协议。在请求过程中，可以设置一些请求头信息，如User-Agent等，以模拟浏览器请求，避免被目标网站识别为爬虫而被禁止。（3）网页解析：爬虫的过程中用bs4、lxml、josn等库等服务器响应后返回的内容做进一步处理，对其返回的各种数据提取其中有价值的数据，从而解析出我们需要的内容。（4）数据存储：爬虫程序将获取到的数据存储到本地或远程服务器中，常用的数据存储方式有文件系统、数据库等。此外，还可以使用分布式存储技术，将数据分散到多个节点中存储，以提高存储的可扩展性和可靠性。MySQLMySQL数据库是瑞典的MySQLAB公司开发的一个可用于各种流行操作系统平台的关系数据库系统，它具有客户机/服务器体系结构的分布式数据库管理系统。MySQL完全适用于网络，用其建造的数据库可在因特网上的任何地方访问，因此，可以和网络上任何地方的任何人共享数据库。MySQL具有功能强、使用简单、管理方便、运行速度快、可靠性高、安全保密性强等优点。MySQL用C和C++编写，它可以工作在许多平台（Unix，Linux，Windows）上，提供了针对不同编程语言(C,C++,JAVA等)的API函数；使用核心线程实现多线程，能够很好的支持多CPU；提供事务和非事务的存储机制；快速的基于线程的内存分配系统；MySQL采用双重许可，用户可以在GNU许可条款下以免费软件或开放源码软件的方式使用MySQL软件，也可以从MySQLAB公司获得正式的商业许可。本文选择MySQL数据库的主要原因有以下几个首先MySQL数据库的速度很快，其执行速度和数据库加载速度号称是目前速度最快的数据库。其次容易使用，相比于其他的数据库，MySQL使用方法容易，较为简单。最后MYSQL的安装包很小巧，发行版本只有21M，本文安装完没有超过70M，使用起来非常方便。ECharts是一款开源的、基于web的、跨平台的支持快速创建交互式可视化的框架，它易于使用、拥有丰富的内置交互以及高性能。ECharts通过一套声明式的可视设计语言定制内置的图表类型，并且底层的流式架构和高性能的图形渲染器极大地提高了ECharts的扩展性和性能。在拥有高拓展性和性能的同时ECharts还有丰富的图标库，包括各种各样的图表。它的图标库有折线图（区域图）、柱状图（条状图）、散点图（气泡图）、K线图、饼图（环形图）、雷达图（填充雷达图）、和弦图、力导向布局图、地图、仪表盘、漏斗图、事件河流图等12类图表，同时提供标题，详情气泡、图例、值域、数据区域、时间轴、工具箱等7个可交互组件，支持多图表、组件的联动和混搭展现。综上所述，Echarts不仅功能强大，而且在拥有高性能的同时还有丰富的图标库，并且使用起来也是十分的简单方便，是当下众多可视化框架中极具竞争力的可视化框架之一。本文系统选取了链家网二手房源的以下信息进行爬取，包括、、房屋价格、建筑面积、行政区、总价、房屋朝向、所在楼层、该房源信息所在网址等信息。在房源数据爬虫程序中主要采用的是宽度优先遍历策略，首先将每一页上的所有二手房源记录的网址信息爬取，用list数据结构存储这些网址信息，该list相当于url管理器，接着从url列表中逐次取出每套二手房详细信息所在的网址，接着访问该网址，爬取其中所需的房源信息。3-1二手房数据hourse表关于用户数据的存储需要两个表一个是用户账号表Id自增有Username和Password两个字段用来存贮账号信息，同时根据账号为主键建立用户个人信息message表。表3-2用户数据user表UsernameInt64PasswordInt64表3-2用户信息message表3用户的个人信息4用户的地址用户的手机号本文将爬取到的二手房源数据保存到CSV文件中，同时对数据进行清洗和处理后放入到我们数据库中hourse表，因为本文爬取的数据量过大，通过编写自动生成sql的脚本将数据都添加到数据库中。同时创建用户登录表和用户个人信息表，并往其中添加数据。随着社会的飞速发展，人们的生活水平越来越高，房子的类型和数量也越来越多，各种各样的房型层出不穷，房子也是越来越多，如果看清这些二手房的趋势和如果找到相对便宜的二手房，在设计和实施房屋数据可视化系统时，需要综合考虑功能需求、技术实现、用户体验和法律法规等多方面因素，确保系统的实用性和合法性的前提下分析最大的二手房平台链家网的房屋数据并继续可视化展示。本文将从以下几个方面进行分析。近几年中国房地产行业面临寻多变化和挑战，特别是一线，新一线，二线城市，尽管很长一段时间房价政策上给了很大的支持，但是刺激的效果很有限，特别是一线城市，市场上热点城市数量逐渐减少即使是上海，杭州，深圳等这样的城市也出现了降温迹象。总的来说，2023年中国二手房市场在政策支持和市场环境的影响下有所回暖，但仍面临着一些挑战，如需求人口的下降和城市人口外迁导致的需求减少。同时，政府的政策调整和市场恢复进程将对二手房市场的发展产生重要影响。所以对二手房市场进行可视化分析显得越来越重要。明确系统具备的功能可以有效减少项目开发中发生功能变更的可能性，降低了开发的成本，减少了项目的风险。房屋数据可视化系统设计的目的就在于利用先进的数据分析和可视化技术，为用户提供一个高效、直观、可靠的数据分析平台，从而在激烈的市场竞争中获得优势。结合实际情况本文所需求的基本系统功能如下：（1）系统的安全性和数据的准确性：需要为系统设置登录以确保系统的安全性，同时严格确保账号密码的正确与否，确保系统安全。同时对数据的准确性进行严格要求包括用户的账号，个人信息，房源信息，登陆状态。确保用户用户名密码一致，个人信息与账号密码匹配，房源信息准确，对错误房源信息，不全的房源信息进行删除和补充，同时确认用户的登录和退出状态。（2）房源的信息查询：要求根据用户所选城市的具体要求，快速匹配查询，且查询结果准确，同时保证用户需求的房源信息能够导出。（3）清晰的可视化展示页面：根据用户的需求展示可视化界面确保可视化界面清晰与用户需求匹配的同时快速响应，用折线，柱形，雷达，三角等多种图形可视化、对价格，朝向，面积等多个维度分析尽量做到满足用户的可视化需求。同时要做到在用户点击的同时快速响应，在一定时间内给用户反馈。（4）良好的用户体验：系统可以自定义显示和隐藏结果，如房源有很多属性，查询结果受屏幕限制，不能显示所有信息，同时需要设置分页的功能以优化用户的体验。同时根据用户需求设置排序功能方便用户查找。良好的用户体验还需要系统的美观和系统性能要求等,所以本文在坚持以用户需求为核心的同时也要兼顾系统的性能需求以提升用户体验。本文的数据量在10W以上，这对系统性能有一定的要求，本文主要从3个方面进行考虑，首先是用户登录，用户注册和登录的响应速度要快，在用户提交了注册登录表单，后端要及时的进行验证，积极的给与响应。其次是系统的反应速度，因为数据量很大所以页面会有一定的反应延迟，要尽力的减少响应时间。同时系统进行性能要求包括数据抓取和处理速度、数据缓存和备份、数据库性能和稳定性等方面。系统应能够快速处理大量的房屋信息，同时在数据缓存和备份方面应提供可靠和高效的机制。针对数据库性能和稳定性，需要考虑合理设计数据库结构和索引，以及采取缓存机制和容灾备份机制等。最后就是可视化图表显示性能要求：可视化图表显示的性能要求包括响应速度、图表效果和数据交互性。在响应速度方面，系统需支持快速生成和渲染图表，并且保证在大数据规模下也具有较好的性能表现。房屋数据可视化系统的总体设计需要综合考虑系统的功能需求、技术选型、架构设计、安全性和用户体验等方面。以下是编写房屋数据可视化系统总体设计时可能包含的主要内容：系统框架设计本文的可视化系统在框架上分为六个层，分别为用户层、表现层、业务层、应用层、数据层和网络层。框架及架构选择本文已经将所有的二手房源信息清洗完打包放入系统的检索模块中一共是97654条二手房源信息，用户可以根据自己想要选择的地区进行检索，同时在右上角还包括了将房源信息导出的功能，可以导出为CSV或者EXCLE文件，同时为了提升用户的体验还设置了分页检索的功能如图5.5。该系统的可视化模块分为四个部分，首先按照一线，新一线，二线城市进行面积，楼层，朝向还有价格的分析，同时进行了折线，柱形和饼图的多图分析，并对相应的城市进行了房源分布，面积分布，楼层分布，房源价格的可视化分析。如图5.6-5.9。下面是部分城市的可视化分析图按城市分类对城市可视化分析包括行政区房源分布柱形图，房源面积分布矩形树图房源楼层分布漏斗图及房源价格分布雷达图如图6.1-6.2。最后对热门城市做了可视化分析，包括区县二手房均价图，价格分布直方图，均价TOP小区图，房源类型饼图及总价面积散点图如图6.3-6.7。系统测试是软件开发过程中的一个重要环节，它确保软件产品的质量、性能和可靠性达到预期标准。首先确保功能正确性：测试可以验证软件是否按照设计要求正确地执行了所有功能。通过模拟各种用户操作，测试人员可以发现功能性的缺陷，确保软件在实际使用中能够满足用户的需求。其次提升用户体验：测试可以发现界面设计和交互流程中的问题，确保用户界面直观易用，提升用户的操作体验，最后提高软件稳定性：通过压力测试、负载测试等，测试人员可以评估软件在高负荷下的表现，确保软件在各种条件下都能稳定运行。为确保系统的安全和可靠性需要对系统的登录测试，测试如下用户提交的表单为空是否提醒用户空值，用户提交的错误用户名/密码错误是否提醒正确，当用户正确匹配是否能够进入系统。测试结果如表6.1.3所示。表STYLEREF1\s6.1.3登录测试测试序号用例预期结果实际结果1空提示用户名不能为空提示用户名不为空2Lzy/123456提示用户名不存在提示用户名不存在3Lzy/154545提示密码错误提示密码错误4Lezhiyu本文的主要数据有二手房源数据和用户数据，本文对二手房源数据进行爬取测试，对爬取的数据做两个测试：是否能够爬取到和是否和网页数据一致。表STYLEREF1\s6.1.3数据采集测试序号用例预期结果实际结果1启动系统的爬虫数据库中产生二手房的相关数据成功爬取2比对数据库和网页数据数据一致数据一致本文的系统功能主要包括房源信息检索、房源信息显示分页、用户信息修改、房屋数据可视化、城市检索、房价检索。对其一一测试结果如图6.1.4所示。表STYLEREF1\s6.1.4系统统功能测试序号用例预期结果实际结果1房源检索功能根据结果显示相关房源信息显示正确2分页功能根据指示跳转分页跳转正确3密码修改功能修改数据库密码修改成功4房屋数据可视化功能各项图标显示正确显示正确5城市列举检索功能城市检索正确显示正确6房价检索功能跳转正确跳转正确本文的数据量是10W，这对系统的性能有一定要求，我们将对注册登录、检索速度、可视化图标响应速度、数据修改速度一一进行测试。表STYLEREF1\s6.2系统性能测试表序号用例预期结果实际结果1注册登录响应速度0.3s0.4s2检索速度0.5s0.6s3密码修改响应速度0.6s1s4房屋数据图标显示速度1s3s5城市列举检索速度1s1.7s6热门城市相应速度0.3s0.1s经过对二手房数据分析可视化系统进行的多项测试，测试结果如下：1.功能测试：系统提供的登陆注册功能完善给用户反馈正确，用户能够正确修改个人信息，检索，分页功能都能正常使用，导出文件信息内容和格式都正确，可视化图标显示正常。2.性能测试：系统在大数据量下各功能的反应延迟都达到了预期的时间，同时内存和服务器在长时间的维持下依旧表现良好、3.体验测试：系统的用户界面简介，各功能使用简单，用户能轻松地完成任务，系统的帮助和文档完善。总的来说，房数据可视化系统得到了较好的测试评价，基本上能够满足用户的基本需求，并且性能和功能稳定，能够为用户提供二手房市场的趋势为用户做出更好的决策提供帮助。本文结合二手房源市场的实际情况，对链家网的所有数据成功的进行了爬取，在清洗后成功收集了约10W条数据，同时将这些数据清洗后存储在数据库MYSQL中。并通过对二手房市场的需求分析基于Python众多框架实现了二手房数据可视化系统的开发。通过对Python众多框架开发的二手房数据可视化分析系统实现了众多功能，独立的登录账号，房源检索，可视化分析，房价查询等众多模块。同时界面清晰简介，可视化图标丰富包括有折线，饼图，柱形，雷达，漏斗等多图多维度分析，通过可视化分析，提高数据的交互性，使用户更直观清晰的把握二手房市场趋势，从而更有利于用户的决策。通过对二手房市场的用户需求和实际情况进行分析后，设计了清晰简介的界面和满足使用者的基本功能，同时通过对二手房源数据可视化平台的测试，在系统功能和性能方面都确保能够满足用户需求。本系统为研究和分析房地产市场提供了丰富的基础数据。揭示了房价走势、房源分布、户型结构等特征，为决策者和用户提供有益的参考。开发了房屋信息查询平台，提高了房屋信息的透明度和便捷性。为政府、企业和研究机构提供了有力的数据支持，推动了房地产市场的健康发展。本文设计与实现的二手房数据可视化分析系统基本实现但是还有很多工作值得开展和加强：1.数据方面：本文数据来源单一，希望通过合作获得多方数据，对更多的房源数据进行更多维度的深入研究，实现大数据可视化分析。2.系统方面：在维护系统功能的同时朝着优化用户体验的方向增加更多功能。3.可视化方面：引入机器学习的各种算法，实现更多可视化分析，对房价进行预测同时利用多表分析让用户更直观清晰的看到各种房价影响因素以及二手房市场的趋势变化。参考文献[1]索梦慧.住房价格影响因素分析——基于STATA的我国面板数据的实证研究[J].应用数学进展, 2022,11(4):1503-1511.[2]