插件适用场景:
☆ 403CF盾的网站
☆ js函数加载的网站
☆ post请求的网站
☆ 需登录的网站
使用示例:
1. 基础设置
在采集规则的其他配置中,填写目标网站返回的错误码(如Cloudflare拦截通常为`403`)。
2. 规则编写
按常规方式配置采集规则(URL、字段提取等),但是源码需要按照插件所缓存的源码的格式,这个缓存的源码是 js渲染后的源码 。
3. 运行采集
启动任务后,工具会自动模拟浏览器访问,绕过直接HTTP请求的拦截,但高频率运行还是有拦截风险,可根据网站实际情况降低采集频率。