爬虫处理gzip压缩格式网站的方法

别None了

于 2021-11-12 12:15:43 发布

阅读量601

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记文章标签：爬虫

本文链接：https://blog.csdn.net/Leetengteng/article/details/121285562

笔记专栏收录该内容

6 篇文章

订阅专栏

本文介绍了使用Python的urllib2和zlib库抓取新浪新闻网站的内容，通过解压缩获取原始数据。重点在于网络数据抓取和基本的数据处理技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#coding:utf-8
import urllib2
import re
import zlib

url_address = 'http://www.sina.com.cn'
f = urllib2.urlopen(url_address)
buf = f.read()
buf = zlib.decompress(buf, 16+zlib.MAX_WBITS);
#buf = buf.replace("\n","")
print buf