爬取猎聘python_爬取猎聘大数据岗位相关信息--Python

好的，这里提供一个简单的爬取猎聘大数据岗位相关信息的Python代码，具体步骤如下： 1. 导入所需库：requests、bs4、pandas 2. 定义一个函数，用于爬取指定页面的数据，并将数据转换为DataFrame格式 3. 定义一个循环语句，用于爬取多个页面的数据 4. 将所有爬取到的数据合并为一个DataFrame，并保存为Excel文件 代码如下： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 定义一个函数，用于爬取指定页面的数据，并将数据转换为DataFrame格式 def get_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'lxml') job_list = soup.find_all('div', class_='job-info') data = [] for job in job_list: job_title = job.find('h3').text.strip() company = job.find('p', class_='company-name').text.strip() salary = job.find('span', class_='text-warning').text.strip() location = job.find('p', class_='area').text.strip() experience = job.find('p', class_='experience').text.strip() education = job.find('p', class_='education').text.strip() job_desc = job.find('p', class_='temptation').text.strip() data.append([job_title, company, salary, location, experience, education, job_desc]) df = pd.DataFrame(data, columns=['职位名称', '公司名称', '薪资', '工作地点', '工作经验', '教育程度', '职位描述']) return df # 定义一个循环语句，用于爬取多个页面的数据 result = pd.DataFrame() for i in range(1, 11): url = 'https://www.liepin.com/zhaopin/?key=大数据&d_sfrom=search_fp&headckid=8cfa3a6d7e4f2f4d&flushckid=1&d_pageSize=40&d_curPage={}'.format(i) df = get_data(url) result = pd.concat([result, df], ignore_index=True) # 将所有爬取到的数据合并为一个DataFrame，并保存为Excel文件 result.to_excel('大数据岗位.xlsx', index=False) print('数据已保存！') ``` 其中，for循环语句中的range(1, 11)表示爬取10页数据，可以根据需要进行修改。另外，最后一行代码将所有爬取到的数据保存为Excel文件，文件名为“大数据岗位.xlsx”，可以根据需要进行修改。