python实现模拟浏览器访问网页

王骕

于 2015-03-14 18:16:15 发布

阅读量1.2w

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/u010258605/article/details/44261741

python 专栏收录该内容

18 篇文章

订阅专栏

本文详细介绍了使用Python的多线程技术实现并发爬虫的方法，包括利用urllib2库发送HTTP请求，设置User-Agent头伪装浏览器，以及通过锁机制同步线程间的变量，最终实现高效抓取大量网页数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：http://blog.csdn.net/boksic/article/details/16870453

import urllib2  
import timeit  
import thread   
import time  
i = 0  
x = 0
mylock = thread.allocate_lock()  
def test(no,r):  
    global i  
    url = 'http://blog.csdn.net/'  
    for j in range(1,r):  
        req=urllib2.Request(url)   
        req.add_header("User-Agent","Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)")   
        file = urllib2.urlopen(req)  
        print file.getcode();  
        mylock.acquire()  
        i+=1  
        mylock.release()      
        print i;  
        thread.exit_thread()  
def fast():  
		thread.start_new_thread(test,(1,50))  
		thread.start_new_thread(test,(2,50))   
		thread.start_new_thread(test,(3,50)) 
		thread.start_new_thread(test,(4,50)) 
		thread.start_new_thread(test,(5,50))
		thread.start_new_thread(test,(6,50))
		thread.start_new_thread(test,(7,50))
for x in range(1,150): 
	fast()  
	time.sleep(0.08)  
	x = x + 1