一、项目简介
本项目基于 Hadoop、Spark、DeepSeek-R1 构建一个高效的大数据民宿推荐系统,涵盖 数据爬取、存储、处理、分析、可视化、AI推荐 等完整流程,并提供 Hive可视化分析 及 大数据爬虫,适用于大数据方向的计算机毕业设计。
二、系统架构
1. 技术栈选型
模块 | 技术 | 作用 |
---|---|---|
数据采集 | Scrapy + Selenium | 爬取Airbnb等民宿数据 |
数据存储 | Hadoop HDFS + Hive | 存储与查询结构化数据 |
数据处理 | Spark + PySpark | 数据清洗与特征工程 |
推荐算法 | DeepSeek-R1 | LLM智能推荐 |
可视化分析</ |