最近发现一个爬虫开源项目weixin_crawler

最近发现一个爬虫开源项目weixin_crawler

weixin_crawler

weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等实现的微信公众号文章爬虫，自带分析报告和全文检索功能，几百万的文档都能瞬间搜索。weixin_crawler设计的初衷是尽可能多、尽可能快地爬取微信公众的历史发文

https://github.com/itcjf/weixin_crawler

主要特点

1. 使用Python3编写
2. 爬虫框架为Scrapy并且实际用到了Scrapy的诸多特性，是深入学习Scrapy的不错开源项目
3. 利用Flask、Flask-socketio、Vue实现了高可用性的UI界面。功能强大实用，是新媒体运营等岗位不错的数据助手
4. 得益于Scrapy、MongoDB、Elasticsearch的使用，数据爬取、存储、索引均简单高效
5. 支持微信公众号的全部历史发文爬取
6. 支持微信公众号文章的阅读量、点赞量、赞赏量、评论量等数据的爬取
7. 自带面向单个公众号的数据分析报告
8. 利用Elasticsearch实现了全文检索，支持多种搜索和模式和排序模式，针对搜索结果提供了趋势分析图表
9. 支持对公众号进行分组，可利用分组数据限定搜索范围
10. 原创手机自动化操作方法，可实现爬虫无人监管
11. 反爬措施简单粗暴

使用到的主要工具

UI主界面

添加公众号爬取任务和已经爬取的公众号列表

公众号历史文章列表

如果大家有用过的或对爬虫，搜索引擎感兴趣，欢迎一起交流学习。

尾声 - 持续学习

好了，今天就到这儿吧，小伙伴们点赞、收藏、评论，一键三连走起呀，我们评论见，评论区告诉我还需要补哪些知识点哈 ~~ 🌹🌹🌹