Scrapy2.3中文文档 – 最优秀的Python网络爬虫库
-
Scrapy – 下载和处理文件和图像
Scrapy 可重复使用 item pipelines 用于下载附加到特定项目的文件（例如，当您 爬取 产品并希望在本地下载其图像时）。这些管道共享一些功能和结构（我们将……yiyan 2021年4月20日
-
Scrapy – 部署蜘蛛
本节描述了部署报废蜘蛛以定期运行它们的不同选项。在您的本地机器中运行 Scrapy 蜘蛛对于（早期）开发阶段非常方便，但是当您需要执行长时间运行的蜘蛛或……阿喜 2021年4月19日
-
Scrapy – AutoThrottle 扩展
这是一个扩展，基于Scrapy服务器和您正在爬行的网站的负载，自动限制爬行速度。 设计目标¶ 对站点更好，而不是使用默认的下载延迟为零 自动调整Scrapy到……无卤 2021年4月19日
-
Scrapy – 标杆管理
Scrapy提供了一个简单的基准测试套件，可以生成一个本地HTTP服务器并以最大可能的速度爬行。这个基准测试的目标是了解Scrapy在硬件中的表现，以便有一个共同的…… -
Scrapy – 作业：暂停和恢复爬行
有时，对于大型网站，暂停爬行并稍后恢复爬行是可取的。 Scrapy通过提供以下功能来支持此功能： 在磁盘上保持预定请求的计划程序 重复的筛选器，用于将访…… -
Scrapy – 协同程序
2.0 新版功能. 刮痧 partial support 对于 coroutine syntax . 支持的可调用项¶ 以下可调用项可以定义为使用 async def ，因此使用协同程序语法（例如。 a……喔28 2021年4月18日
-
Scrapy – asyncio
2.0 新版功能. 刮痧有部分支持 asyncio . 在你之后 install the asyncio reactor ，您可以使用 asyncio 和 asyncio -任何 coroutine . 警告 asyncio Scrapy……牛青 2021年4月18日
-
Scrapy – 体系结构概述
本文描述了Scrapy的体系结构及其组件如何交互。 概述¶ 下图显示了Scrapy架构及其组件的概述，以及系统内部发生的数据流的概要（以红色箭头显示）。下面提供…… -
Scrapy – 下载器中间件
下载器中间件是Scrapy请求/响应处理的钩子框架。这是一个轻，低层次的系统，全球范围内改变斯拉皮的请求和响应。 激活下载器中间件¶ 要激活下载器中间件组件……小杜 2021年4月17日
-
Scrapy – 蜘蛛中间件
Spider中间件是一个钩子框架，可以钩住Scrapy的Spider处理机制，在该机制中，您可以插入自定义功能来处理发送到的响应。 蜘蛛 用于处理和处理由spider生成的请…… -
Scrapy – 扩展
扩展框架提供了一种将您自己的自定义功能插入到Scrapy中的机制。 扩展只是在初始化扩展时，在scrapy启动时实例化的常规类。 扩展设置¶ 扩展使用 Scrapy sett…… -
Scrapy – 核心API
本节记录了Scrapy核心API，它是为扩展和中间件的开发人员设计的。 爬虫API¶ Scrapy API的主要入口点是 Crawler 对象，通过 from_crawler 类方法。这个对象提…… -
Scrapy – 信号
Scrapy广泛使用信号来通知某些事件何时发生。你可以在你的垃圾项目中捕捉到这些信号（使用 extension 例如）执行其他任务或扩展scrapy以添加框外未提供的功能……丹青 2021年4月16日
-
Scrapy – 条目导出器
一旦抓取了项目，您通常希望保留或导出这些项目，以便在其他应用程序中使用数据。这毕竟是抓取过程的全部目的。 为此，Scrapy为不同的输出格式（如XML、CSV或J……老王 2021年4月15日
-
Scrapy – 发行说明
刮痧2.3.0（2020-08-04）¶ 亮点： Feed exports 现在支持 Google Cloud Storage 作为存储后端 新的 FEED_EXPORT_BATCH_ITEM_COUNT 设置允许批量传递输出…… -
Scrapy – 为 Scrapy 贡献
重要 请仔细检查您是否正在阅读本文档的最新版本，网址为https://docs.scrapy.org/en/master/contributing.html 有很多方法可以为Scrapy做出贡献。 这里是其……田田 2021年4月15日
-
Scrapy – 版本控制和API稳定性
版本¶ Scrapy 版本号有3个数字：A.B.C A 是主要版本。这将很少改变，并将意味着非常大的变化。 B 是发行号。这将包括许多变化，包括可能破坏向后兼容性……