Python3 爬虫动态设置User_agent

最新推荐文章于 2025-02-13 16:18:35 发布

__Songsong

最新推荐文章于 2025-02-13 16:18:35 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_45316122/article/details/102696713

python爬虫专栏收录该内容

25 篇文章

订阅专栏

本文介绍了一个使用Python实现的随机User-Agent生成器，通过从预设列表中选择不同的浏览器标识来伪装HTTP请求头，适用于爬虫项目的头部设置，增强网络抓取的隐蔽性和成功率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

整理于2020年10月下旬，献给不甘平凡的你

import random

def get_headers():
    useragent_list = [
        'Mozilla/5.0 (Windows NT 6.1; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
        'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
        'Mozilla/5.0 (Windows NT 6.1; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.9.2.1000 Chrome/39.0.2146.0 Safari/537.36',
        'Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/532.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/532.3',
        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5',
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'
    ]
    useragent = random.choice(useragent_list)
    header = {'User-Agent': useragent}
    return header
#需要封装的话，建议用上main(导入的时候不会执行)

Trick:fake-useragent这个包也能随机请求，但是老是不放心出问题，在这就不推荐了