热榜排行爬虫详解

作为一个爬虫必须摸不一样的鱼，平时大家怎么看热榜，今天爬一个热榜数据，咱就在ied中读热榜。还是一个乌龙事件听我细细道来。

1，话不多说，今天图也不看了直接进入主题，打开网站首页抓个包

2，可见接口中有两个参数，第二个参数盲猜是请求时候的时间戳，第一个参数有点长不像是正常的时间戳，多翻几页发现第一个参数也是一个时间戳只是后面加了三个000，咱们就去掉三个零（这里多请求了几页没有发现翻页的变化规律）

2.1，第二个参数转换发现就是请求时间没错

2.2，第一个参数转换瞬间我这充满智慧的大脑里出现了无数想法（这是随机的）（这是文章发布时间）（文章发布时间放到翻页怎么获取呢）（这是网站反爬生成一堆时间戳映射到page上做翻页）（这是通过算法和请求时间做比较生成对应的page进行翻页）（。。。）然后我就去了后台看看查一下这个参数名

只一眼，并带着对这种小网站的看不起，直接到response中一检索果然。小网站哪有什么高端反爬