爬虫-反爬

常见反爬方式

封IP

原理：网站运维人员会分析日志，若发现某个或某些IP在短时间内的访问量异常大，且请求间隔固定，则可能判断为爬虫行为，进而对这些IP进行封锁。
应对策略：爬虫开发者可以使用代理IP，每次请求更换不同的代理IP，或使用IP池来规避此类限制。

封User-Agent

原理：User-Agent是HTTP请求头中的一个字段，用于标识发出请求的客户端类型。许多爬虫程序在请求头中使用了默认的、明显的爬虫标识，如“python-requests/2.18.4”，网站可以据此识别并拒绝访问。
应对策略：爬虫开发者可以修改User-Agent，使其看起来像是普通浏览器的访问，或者使用User-Agent池，每次请求时从中随机选择一个。

封Cookie

原理：服务器通过校验请求头中的Cookie值来区分正常用户和爬虫程序。对于某些爬虫，它们可能不处理或响应Cookie，当某个Cookie的访问超过一定阈值时，服务器会对其进行封禁。
应对策略：爬虫开发者可以模拟登录过程，获取Cookie后携带Cookie进行后续请求，或者在爬虫中维护Session对象以保持登录状态。

动态页面加载与JavaScript渲染

原理：许多现代网站采用AJAX、JavaScript等技术动态加载页面内容，这些内容在初始的HTML文档中并不包含。由于编程语言没有内置JavaScript解释器和渲染引擎，因此爬虫难以直接获取这些动态内容。
应对策略：爬虫开发者可以使用浏览器自动化工具（如Selenium、Puppeteer等）来模拟浏览器行为，执行JavaScript代码，从而获取动态加载的内容。

验证码验证

原理：当某一用户访问次数过多后，网站会自动要求输入验证码（如数字、图形等）以继续访问。这是一种有效的反爬虫手段，因为爬虫通常无法自动识别或输入验证码。
应对策略：爬虫开发者可以使用OCR（光学字符识别）技术自动识别验证码，或者接入第三方打码平台来识别验证码。

robots.txt文件

原理：robots.txt文件是网站用来告诉搜索引擎哪些页面可以抓取，哪些不可以抓取的协议文件。虽然它主要面向搜索引擎，但一些网站也会用它来阻止爬虫。
应对策略：爬虫开发者在编写爬虫时，应首先检查目标网站的robots.txt文件，确保不访问被禁止的页面。虽然技术上可以绕过robots.txt的限制，但这样做可能违反网站的使用条款和法律法规，因此通常不建议这么做。