Python爬虫-基于深度优先策略的百度百科爬虫

最新推荐文章于 2023-11-01 10:44:43 发布

原创

最新推荐文章于 2023-11-01 10:44:43 发布 · 3.6k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #百度

本文介绍了使用Python实现基于深度优先策略的百度百科爬虫。深度优先策略会优先深入挖掘节点，直至达到指定深度。在爬取深度为2时，获取到相应数据。还提及尝试了深度为3的爬虫，由于数据量大，写作限制暂停，计划进一步研究广度优先爬虫。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度优先策略：优先往纵向挖掘深入，直到到达指定的深度或者该节点不存在邻接节点，才会访问第二条路。
广度优先策略：先访问完一个深度的所有节点，再访问更深一层的所有节点。

分析-01.jpg

简单的看：
深度优先爬虫路径：A-B-E-F-C-D
广度优先爬虫路径：A-B-C-D-E-F

import requests
import re
import time

exist_urls=[]
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36',
}
#定义一个用来获取页面所有符合条件的链接函数
def scrapypy(url):
    try:
        response=reque