scrapy创建新项目注意事项

最新推荐文章于 2024-10-22 10:30:53 发布

Hi_Shook

最新推荐文章于 2024-10-22 10:30:53 发布

阅读量626

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/weixin_42575593/article/details/83182612

本文详细介绍了如何使用Scrapy框架从零开始搭建一个爬虫项目，包括创建项目、生成爬虫及基本目录结构解析等内容，是初学者快速上手Scrapy的理想教程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、在开始爬取之前，您必须创建一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

2、该命令将会创建包含下列内容的 tutorial 目录: tree

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.

3、

cd tutorial 之后先 scrapy genspider dmoz dmoz.org, 然后再scrapy crawl dmoz

注意目录路径为：

第一步的执行路径为.\Anaconda3\Scripts\tutorial

第二步的执行路径不变。

否则会报错执行不通。

之后就可以自主的编辑项目的spider和pipelines