利用python爬取小说

最新推荐文章于 2025-06-01 18:21:55 发布

DonLex

最新推荐文章于 2025-06-01 18:21:55 发布

阅读量1.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： python 有趣的python小项目文章标签：爬虫 python

本文链接：https://blog.csdn.net/stormdony/article/details/81870154

本文介绍了如何使用Python爬虫从笔趣阁网站下载小说，包括分析网站结构、获取章节链接和详细文本，解决了编码问题和超时重连，强调了支持正版阅读的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

很久没有写过爬虫了，今天刚好有同学问我能不能帮忙把一部小说爬下来，因为网上搜索下载小说，大部分都是一些虚假的链接，或需要注册网站的账号；并且直接在网站上看的话，广告也是满天飞。为了让他更加纯粹的享受小说，也为了炫耀一下Python大法。于是就诞生了这篇文章

步骤

观察网站结构
获取章节链接
获取详细文本

网站分析

在网上搜了一个看小说的网站：笔趣阁。搜索小说之后看到这样的网页：

章节链接页:

详细文本页:

获取章节链接

直接构造一个方法获取所有的章节链接，然后不要第一部分的最新章节，只保留正文卷的链接，避免重复

import requests
from bs4 import BeautifulSoup
import codecs
#超时设置
from requests.adapters import

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

DonLex

关注关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python爬取小说

zhangweiguo_717的博客

09-21

7746

Python爬取小说生成txt文档

python爬取小说

SunCherryDream的专栏

01-16

1372

想把顶点小说网上的一篇持续更新的小说下下来，就写了一个简单的爬虫，可以爬取爬取各个章节的内容，保存到txt文档中，支持持续更新保存。需要配置一些信息，设置文档保存路径，书名等。写着玩，可能不大规范。 # coding=utf-8 import requests from lxml import etree from urllib.parse import urljoin import re

参与评论您还未登录，请先登录后发表或查看评论

用Python爬取小说

LM813381916的博客

09-20

5090

Python爬取小说《北派盗墓笔记》，内容来自互联网

用python爬取小说，从一章到全部

热门推荐

FengF2017的博客

02-09

1万+

使用python爬虫爬取小说喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...

使用Python爬取小说

洋洋的博客

03-05

1万+

爬取网站：http://www.biqugecom.com/ 爬取方式：整站爬取，就是把该站所有的小说都爬下来。本次爬取涉及到的知识点有： Xpath 类的定义及使用 requests库的使用准备工作安装requests库： pip3 install requests 安装lxml库： pip3 install lxml 分析网站：得到每个分类的页面的链接只有...

利用Python爬取小说（附源码）

qq_41515916的博客

04-27

9126

Python爬取网络小说，不用再为了看小说没有会员而烦恼！

Python爬取小说网站的小说

05-05

通过以上步骤，你可以利用Python成功地爬取小说网站上的小说信息。但请记住，每个网站的结构不同，因此在实际操作时，需要根据具体情况进行调整。同时，随着网站更新，爬虫也需要定期维护以保持功能正常。

Python爬取小说源代码，Python实现小说自由

12-26

本项目名为"Python爬取小说源代码，Python实现小说自由"，旨在利用Python编程语言来自动化下载网络小说，实现无需在线阅读即可拥有全部章节内容的目标。通过这个项目，我们可以学习到以下几个关键的Python爬虫知识点...

python爬虫篇（项目案列讲解-爬取小说）

m0_65482549的博客

06-24

4438

学习一下思路：1.我们进入需要爬取到的小说界面，右键开发者工具，选中元素显示，然后找到需要爬取的小说章节模块在代码中的位置。将a标签中的文本内容复制，然后ctrl+u打开源代码 ctrl+f将刚刚的文本内容复制查找是否有这个模块。（比较爽的是，刚好这里有，可以不需要去查看网络请求和script代码了）那么我们现在可以可以来获取源代码了编码格式的查看方式。获取源代码之后，我们现在需要去解析一下这串源代码。

用python爬个小说

快乐时光

01-18

390

上下班，地铁间，用手机在各类小说网站看小说时，总会有莫名其妙的弹窗，是不是很烦恼。其实我们可以借助python写个小工具，将想看的小说爬下来。友情提醒：记得仔细看一下17年6月公布的网络安全法，个人隐私信息、版权信息、robots.txt协议等限定的信息不可以随便抓取哦。我们可以通过bp（浏览器F12也可以，不过不如bp直观）看一下输入目录页的url之后会看到什么信息该结果是一个json格式，其中字段chapterName代表章节名称，chapterId代表章节的id号，该id号...

用python爬取小说

u013013797的博客

02-03

241

从天籁上爬的,本来应该在加个多文本合成的.因为懒就没加.目前只是把每一章都保存为单独文本.想爬别的书就自己改链接.只要是在天籁里面的.理论上都可以爬. 运行删除并创建同书名的空文件夹,支持从哪里开始爬,自己改下标 import threading import time import os import re import requests from bs4 import BeautifulSoup import sys import importlib importlib.reload(sys)

使用python爬取小说（附python源码）

陌雨’的博客

02-23

8044

笔记

Python爬小说（简易版）

y_y_woxin的博客

12-08

749

需要用到requests，bs4 一个很简单的方法第一章url=https://www.zwdu.com/book/50553/22940129.html 最后一章url=https://www.zwdu.com/book/50553/23509728.html 新书。。。。这里找到编码和下一章的标签，代码直接就写出来了 # coding=gbk import requests from bs4 import BeautifulSoup url='https://www.zwdu.com/b

Python基础之爬取小说

绳锯木断，水滴石穿，专心写文，无问西东！！！

08-03

1074

近些年里，网络小说盛行，但是小说网站为了增加收益，在小说中增加了很多广告弹窗，令人烦不胜烦，那如何安静观看小说而不看广告呢？答案就是爬虫。本文主要以一个简单的小例子，简述如何通过爬虫来爬取小说，仅供学习分享使用，如有不足之处，还请指正。目标页面本文爬取的为【某横中文网】的一部小说【妙手小医仙】，已完结，共187章，信息如下：网址：http://book.abcde.com/showchapter/1102448.html 本次主要爬取小说章节信息，及每一章对应的正文信息。章节信息如下所示：