网络爬虫分类

YIXiu-xiaowu

于 2024-09-04 11:00:56 发布

阅读量660

点赞数 2

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/WuqianZhi_123/article/details/141887873

爬虫专栏收录该内容

6 篇文章

订阅专栏

爬虫可以分为：

1、通用爬虫

搜索引擎的主要组成，作用就是将互联网的上页面整体的爬取下来之后，保存到本地。

2、定向爬虫（聚焦爬虫）

网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息

我们编写的都是定向爬虫。

YIXiu-xiaowu

博客等级

码龄4年

96
原创

471
点赞

410
收藏

369
粉丝

关注

私信

分类专栏

GIT 2篇
socket 1篇
mongodb 4篇
python 19篇
redis 5篇
docker 4篇
macos
面试宝典 6篇
Django 5篇
mysql 6篇
爬虫 6篇
AI 5篇
大模型 5篇
向量数据库 1篇
机器学习 10篇
restful 1篇
java 1篇
asyncio 1篇
base64 1篇
Celery 1篇
Layui 3篇
springmvc 4篇

展开全部收起

上一篇：: MongoDB中limit、skip

下一篇：: python操作redis，建立连接、返回值的类型转换

最新评论

字符串的常用操作方法
CSDN-Ada助手: 不知道算法技能树是否可以帮到你：https://edu.csdn.net/skill/algorithm?utm_source=AI_act_algorithm
Celery定时
北风之神c: 总结的很全面，写得赞，博主用心了。 celery对目录层级文件名称格式要求太高，只适合规划新的项目，对不规则文件夹套用难度高。所以新手使用celery很仔细的建立文件夹名字、文件夹层级、python文件名字。所以网上的celery博客教程虽然很多，但是并不能学会使用，因为要运行起来需要以下6个方面都掌握好，博客文字很难表达清楚或者没有写全面以下6个方面。 celery消费任务不执行或者报错NotRegistered，与很多方面有关系，如果要别人排错，至少要发以下6方面的截图，因为与一下6点关系很大。 1)整个项目目录结构, 2）@task入参 ,3）celery的配置，4）celery的配置 include ,5）cmd命令行启动参数 --queues= 的值,6）用户在启动cmd命令行时候，用户所在的文件夹。在不规范的文件夹路径下，使用celery难度很高，一般教程都没教。 [项目文件夹目录格式不规范下的celery使用演示](https://github.com/ydf0509/celery_demo) 。此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c1.html ，从用法调用难度，用户所需代码量，超高并发性能，qps控频精确程度，支持的中间件类型，任务控制方式，稳定程度等20个方面全方位超过celery。发布性能提高1000%，消费性能提高2000%。 python万能分布式函数调度框架funboost支持python所有类型的并发模式和一切知名消息队列中间件，python函数加速器，只需要一行代码调度任意函数，框架包罗万象,万能编程功能宝典，一统编程思维，与业务不绑定，适用范围广。 pip install funboost
单元测试—CRUD方法
CSDN-Ada助手: 不知道 Java 技能树是否可以帮到你：https://edu.csdn.net/skill/java?utm_source=AI_act_java
单元测试—CRUD方法
CSDN-Ada助手: 推荐 Java 技能树：https://edu.csdn.net/skill/java?utm_source=AI_act_java