【毕业设计】 大数据二手房数据爬取与分析可视化 -python 数据分析 可视化

【毕业设计】 大数据二手房数据爬取与分析可视化 -python 数据分析 可视化

1 课题背景

首先通过爬虫采集链家网上所有二手房的房源数据，并对采集到的数据进行清洗；然后，对清洗后的数据进行可视化分析，探索隐藏在大量数据背后的规律；最后，采用一个聚类算法对所有二手房数据进行聚类分析，并根据聚类分析的结果，将这些房源大致分类，以对所有数据的概括总结。通过上述分析，我们可以了解到目前市面上二手房各项基本特征及房源分布情况，帮助我们进行购房决策。

✍🏻作者简介：机器学习，深度学习，卷积神经网络处理，图像处理
🚀B站项目实战：https://space.bilibili.com/364224477
😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注+
🤵‍♂代做需求：@个人主页## 2 实现效果

整体数据文件词云

各区域二手房房源数量折线图

二手房房屋用途水平柱状图

二手房基本信息可视化分析

各区域二手房平均单价柱状图

各区域二手房单价和总价箱线图

二手房单价最高Top20

二手房单价和总价热力图

二手房单价热力图

二手房总价小于200万的分布图

二手房建筑面积分析

二手房建筑面积分布区间柱状图

二手房房屋属性可视化分析

二手房房屋户型占比情况

从二手房房屋户型饼状图中可以看出，2室1厅与2室2厅作为标准配置，一共占比接近一半。其中3室2厅和3室1厅的房源也占比不少，其他房屋户型的房源占比就比较少了。

二手房房屋装修情况

二手房房屋朝向分布情况

二手房建筑类型占比情况

3 数据采集

该部分通过网络爬虫程序抓取链家网上所有二手房的数据，收集原始数据，作为整个数据分析的基石。

链家网网站结构分析

链家网二手房主页界面如下图，主页上面红色方框位置显示目前二手房在售房源的各区域位置名称，中间红色方框位置显示了房源的总数量，下面红色方框显示了二手房房源信息缩略图，该红色方框区域包含了二手房房源页面的URL地址标签。图2下面红色方框显示了二手房主页上房源的页数。

链家网二手房主页截图上半部分：

二手房房源信息页面如下图。我们需要采集的目标数据就在该页面，包括基本信息、房屋属性和交易属性三大类。各类信息包括的数据项如下：

1）基本信息：小区名称、所在区域、总价、单价。

2）房屋属性：房屋户型、所在楼层、建筑面积、户型结构、套内面积、建筑类型、房屋朝向、建筑结构、装修情况、梯户比例、配备电梯、产权年限。

3）交易属性：挂牌时间、交易权属、上次交易、房屋用途、房屋年限、产权所属、抵押信息、房本备件。

网络爬虫程序关键问题说明

1）问题1：链家网二手房主页最多只显示100页的房源数据，所以在收集二手房房源信息页面URL地址时会收集不全，导致最后只能采集到部分数据。

解决措施：将所有二手房数据分区域地进行爬取，100页最多能够显示3000套房，该区域房源少于3000套时可以直接爬取，如果该区域房源超过3000套可以再分成更小的区域。