python 定时执行 爬虫 模块_python爬虫设置定时任务的三种方法

我们在使用python爬虫爬取任务时，遇到很痛进程是不同通时进行的，需要在一定时间进行，如果间隔时间很长，会浪费我们大量的时间，因此设置定时很有必要。本文介绍python爬虫设置定时任务的三种方法：1、使用while true循环挂起(最容易)；2、Timer模块(最简单的定时启动)；3、方法三：sched模块。

方法一：使用while true循环挂起(最容易)import os

import time

import sys

from datetime import datetime, timedelta

def One_Plan():

# 设置启动周期

Second_update_time = 24 * 60 * 60

# 当前时间

now_Time = datetime.now()

# 设置 任务启动时间

plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)

# 设置差值，-1 day, 21:48:53.246576，类似于这样

# time.sleep()需要传入int，所以下面使用.total_seconds()

# 主要用来计算差值，返回int，具体功能可以自行查阅相关资料

delta = plan_Time - now_Time

first_plan_Time = delta.total_seconds() % Second_update_time

print("距离第一次执行需要睡眠%d秒" % first_plan_Time)

return first_plan_Time

# while Ture代码块，挂起程序，睡眠时间结束后调用函数名进行执行

while True:

s1 = One_Plan()

time.sleep(s1)

# 下面这里是自己定义的函数，想跑代码的可以换成hellow world函数或者注释掉这行测试下

exe_file(D_list)

print("正在执行首次更新程序")

注意：一天执行多个任务并且一天需要执行多次。

如果爬虫程序需要在晚上12点和早上6点、9点，下午3点执行四次，并且需要同时执行4个爬虫，还需要考虑到网络是否稳定，如果程序挂掉该怎么处理等等因素。

方法二：Timer模块(最简单的定时启动)from datetime import datetime

from threading import Timer

import time

# 定时任务

def task():

print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def timedTask():

'''

第一个参数: 延迟多长时间执行任务(秒)

第二个参数: 要执行的函数

第三个参数: 调用函数的参数(tuple)

'''

Timer(5, task, ()).start()

while True:

timedTask()

time.sleep(5)

方法三：sched模块import schedule

import time

def hellow():

print('hellow')

def Timer():

schedule.every().day.at("09:00").do(hellow)

schedule.every().day.at("18:00").do(hellow)

while True:

schedule.run_pending()

time.sleep('需要睡眠的周期')

Timer()

以上就是python爬虫设置定时任务的三种方法，大家可以根据自己的需求选择合适的方法哟~更多python爬虫知识：python爬虫教程。