用python3爬取失信人数据

最新推荐文章于 2024-10-08 06:45:00 发布

原创

最新推荐文章于 2024-10-08 06:45:00 发布 · 2.8k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文介绍了作者使用Python3进行爬虫实战，通过百家姓爬取失信人信息，虽然刚开始学习爬虫两天，但已实现初步功能，意识到还有很多知识需要学习和优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2018/10/10 20:21
# @Author  : zhangz
# @Site    :
# @File    : shixinren.py
# @Software: PyCharm
#coding=utf-8
import time
import requests
time1=time.time()
from lxml import etree
import json
import MySQLdb as mdb
#连接自己的数据库，当然数据想存到文件中可忽视这部分
conn = mdb.connect(host='localhost', port=3306, user='root', password='xxxxxx', db='dbname', charset='utf8')
cursor = conn.cursor()

# 查数据总数量
def listnum(iname=''):
    url='https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php?resource_id=6899&query=%E5%A4%B1%E4%BF%A1%E8%A2%AB%E6%89%A7%E8%A1%8C%E4%BA%BA%E5%90%8D%E5%8D%95&cardNum=&iname=%E7%89%9B&areaName='
    headers={
        'Referer': 'Referer: https://www.baidu.com/s?wd=%E5%A4%B1%E4%BF%A1%E4%BA%BA&rsv_spt=1&rsv_iqid=0xd609bc53000007a2&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=1&oq=%25E4%25BA%25BA%25E4%25BA