知乎爬虫(nodeJs版本)

原创于 2023-03-01 08:56:23 发布 · 767 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #javascript #前端

这段代码演示了如何利用JavaScript库axios获取网页数据，并用cheerio解析HTML，提取出主要内容。它特别适用于网络爬虫和数据抓取场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注：

本代码仅作学习参考

const axios = require("axios");
let cheerio = require("cheerio");
const cookie = '知乎cookie'
const argvArr = process.argv;
console.log("收到参数:", argvArr[2])
console.log(argvArr[2]);


let headers = {
    cookie: cookie,
}
axios.get(argvArr[2], {
    headers
}).then(res => {
    const $ = cheerio.load(res.data);
    let content = $("#manuscript").text()
    if (content.length < 200) {
        content = $(".RichContent-inner").text();
    }
    var picName = content.replace(/[^\u4e00-\u9fa5]/gi, "");
    content = content.substring(content.indexOf(picName.substring(0, 1)), content.length)
    return content;
}).catch(err => {
    return -1;
})

(package.json)

{
  "name": "apicloud",
  "version": "1.0.0",
  "main": "app.js",
  "bin": {
    "recat": "./index.js"
  },
  "scripts": {
    "serve": "node index.js"
  },
  "dependencies": {
    "axios": "^1.3.3",
    "cheerio": "^1.0.0-rc.12"
  }
}

运行命令：

npm install

npm run serve http://知乎文章链接