loyd3的博客

Pyppeteer的背后实际上有一个类似于Chrome的浏览器–Chromium。Pyppeteer是Puppeteer的Python版实现。

【代码】【python爬虫】设计自己的爬虫 4. 封装模拟浏览器 PlaywrightSimulate。

Selenium是一个自动化测试工具，利用它可以驱动浏览器完成特定操作，还可以获取浏览器当前呈现的页面的源代码，做到所见即所爬 对一些JavaScript动态渲染的页面来说，这种爬取方式非常有效使用Selenium驱动浏览器加载网页，可以直接拿到JavaScript渲染的结果。一般常用的的有Selenium， playwright, pyppeteer，考虑到他们的使用有许多相同之处，因此考虑把他们封装到一套api中。有些自动化工具可以获取浏览器当前呈现的页面的源代码，可以通过这种方式来进行爬取。

要注意的是初始化的时候要读取文件和写入文件的模式，如果模式不匹配会读取或写入的时候会报错。

mongodb, mysql和elasticsearch 功能较相似，所以打算用一套接口将它们封装起来。

通过requests.session().request 封装request方法考虑到请求HTTP/2.0同时封装httpx 来处理HTTP/2.0的请求。