活动介绍

python爬虫课设,爬取51job网站岗位基本信息,大学开展python数据获取与预处理的小伙伴们,可以直接拿来用

preview
共8个文件
py:3个
sql:1个
png:1个
需积分: 0 47 下载量 171 浏览量 更新于2023-01-09 7 收藏 3.63MB RAR 举报
该课题要求爬取目标网站:https://www.51job.com中,输入关键字后工作岗位的基本信息如岗位名字、岗位薪资、base地、福利、岗位要求、岗位需求公司、发布日期、公司所属行业、公司性质、招聘岗位简介、公司简介等,爬取过程中需要注意网页反爬机制。 (1)编写代码,模仿浏览器人为操作,通过关键字爬取人才网的职位信息; (2)将爬取到的网页信息进行信息预处理、清洗等。 (3)将处理完的数据存储在Mysql数据库中,数据库名为job,或者数据存储在名为job的Excel表格或名为job的记事本文件中。 (4)用数据可视化处理数据,生成岗位在地图上面的热力图、热门地区岗位薪资待遇柱状图、热门地区岗位招聘个数折线图以及以招聘地区出现次数的云图,从而反馈出岗位的热门地区以及薪资待遇。 (5)设计对抓取数据的备份还原机制,确保数据安全。
身份认证 购VIP最低享 7 折!
30元优惠券