Scrapy 创建项目
Scrapy 创建项目,在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial
如果所示:
其中remotespider是scrapy项目的名称,该命令将会创建包含下列内容的remotespider目录:
这些文件分别是:
-
scrapy.cfg: 项目的配置文件 -
remotespider/: 该项目的python模块。之后您将在此加入代码。 -
remotespider/items.py: 项目中的item文件. -
remotespider/pipelines.py: 项目中的pipelines文件. -
remotespider/settings.py: 项目的设置文件. -
remotespider/spiders/: 放置spider代码的目录.