爬取有验证码的网站，（爬之前最好看一下君子协定）robots.txt,以人人网为例，每爬100条数据需要验证一次（需要自己购买一个验证码破解会员，不是很贵，我这里选择的是超级鹰），并实现了广度优先拓展

blog_1103

于 2018-10-15 17:52:52 发布

阅读量645

点赞数 2

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/qq_42393859/article/details/83062358

该博客介绍了一种使用Python爬取包含验证码的人人网页面的方法，通过广度优先搜索（BFS）策略进行网页遍历。博主在爬取过程中使用了requests和lxml库解析HTML，遇到验证码页面时，调用外部验证码识别服务（超级鹰）进行破解。爬虫每爬取100条数据后需要验证一次，并将数据存储到MySQL数据库中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/10/15 15:03
# @Author : zhangzhe 
# @File : day4_yanzhengma.py
# @Software: PyCharm
import requests
from lxml import etree
import chaojiying as cj
import MySQLdb as mdb
conn = mdb.connect(host='localhost', port=3306, user='root', password='123456', db='db131', charset='utf8')
cursor = conn.cursor()

# 广度优先
class BFS():
    def __init__(self, url):
        self.__visited_list = []  # 存放已经访问过的url
        self.__unvisited_list = [url]  # 存放未访问的url

    # 向未访问的列表中添加url
    def add_unvisited(self, url):
        # 判断新的url不存在于已经访问过的列表中，也不存在于未访问列表中
        if url not in self.__unvisited_list and url not in self.__visited_list and url.startswith('http'):
            self.__unvisited_list.append(url)

    # 向已访问的列表中添加url
    def add_visited(self, url):
        self.__visited_list.append(url)

    # 从未访问的列表中取出一个url，并从中删除
    def get_url_from_unvisited(self):
        print(self.__unvisited_list)
        # 取出最后添加的url
        return s