发布于 2015-09-04 07:05:20 | 355 次阅读 | 评论: 0 | 来源: 网络整理
Scrapy使用信号来通知事情发生。您可以在您的Scrapy项目中捕捉一些信号(使用
extension)来完成额外的工作或添加额外的功能，扩展Scrapy。
虽然信号提供了一些参数，不过处理函数不用接收所有的参数 -
信号分发机制(singal dispatching mechanism)仅仅提供处理器(handler)接受的参数。
您可以通过
信号(Signals) API 来连接(或发送您自己的)信号。
内置信号参考手册(Built-in signals reference)
以下给出Scrapy内置信号的列表及其意义。
engine_started
-
scrapy.signals.engine_started()
当Scrapy引擎启动爬取时发送该信号。
该信号支持返回deferreds。
注解
该信号可能会在信号 spider_opened 之后被发送，取决于spider的启动方式。
所以不要 依赖 该信号会比 spider-opened 更早被发送。
engine_stopped
-
scrapy.signals.engine_stopped()
当Scrapy引擎停止时发送该信号(例如，爬取结束)。
该信号支持返回deferreds。
item_scraped
-
scrapy.signals.item_scraped(item, response, spider)
当item被爬取，并通过所有
Item Pipeline 后(没有被丢弃(dropped)，发送该信号。
该信号支持返回deferreds。
| 参数: |
- item (
Item 对象) – 爬取到的item
- spider (
Spider 对象) – 爬取item的spider
- response (
Response 对象) – 提取item的response
|
|---|
item_dropped
-
scrapy.signals.item_dropped(item, exception, spider)
当item通过 Item Pipeline ，有些pipeline抛出
DropItem 异常，丢弃item时，该信号被发送。
该信号支持返回deferreds。
spider_closed
-
scrapy.signals.spider_closed(spider, reason)
当某个spider被关闭时，该信号被发送。该信号可以用来释放每个spider在
spider_opened 时占用的资源。
该信号支持返回deferreds。
| 参数: |
- spider (
Spider 对象) – 关闭的spider
- reason (str) – 描述spider被关闭的原因的字符串。如果spider是由于完成爬取而被关闭，则其为
'finished' 。否则，如果spider是被引擎的 close_spider 方法所关闭，则其为调用该方法时传入的
reason 参数(默认为 'cancelled')。如果引擎被关闭(例如，
输入Ctrl-C)，则其为 'shutdown' 。
|
|---|
spider_opened
-
scrapy.signals.spider_opened(spider)
当spider开始爬取时发送该信号。该信号一般用来分配spider的资源，不过其也能做任何事。
该信号支持返回deferreds。
| 参数: | spider (Spider 对象) – 开启的spider |
|---|
spider_idle
-
scrapy.signals.spider_idle(spider)
当spider进入空闲(idle)状态时该信号被发送。空闲意味着:
- requests正在等待被下载
- requests被调度
- items正在item pipeline中被处理
当该信号的所有处理器(handler)被调用后，如果spider仍然保持空闲状态，
引擎将会关闭该spider。当spider被关闭后， spider_closed 信号将被发送。
您可以，比如，在 spider_idle 处理器中调度某些请求来避免spider被关闭。
该信号 不支持 返回deferreds。
| 参数: | spider (Spider 对象) – 空闲的spider |
|---|
spider_error
-
scrapy.signals.spider_error(failure, response, spider)
当spider的回调函数产生错误时(例如，抛出异常)，该信号被发送。
request_scheduled
-
scrapy.signals.request_scheduled(request, spider)
当引擎调度一个 Request 对象用于下载时，该信号被发送。
该信号 不支持 返回deferreds。
| 参数: |
- request (
Request 对象) – 到达调度器的request
- spider (
Spider 对象) – 产生该request的spider
|
|---|
response_received
-
scrapy.signals.response_received(response, request, spider)
当引擎从downloader获取到一个新的 Response 时发送该信号。
该信号 不支持 返回deferreds。
| 参数: |
- response (
Response 对象) – 接收到的response
- request (
Request 对象) – 生成response的request
- spider (
Spider 对象) – response所对应的spider
|
|---|
response_downloaded
-
scrapy.signals.response_downloaded(response, request, spider)
当一个 HTTPResponse 被下载时，由downloader发送该信号。
该信号 不支持 返回deferreds。
| 参数: |
- response (
Response 对象) – 下载的response
- request (
Request 对象) – 生成response的request
- spider (
Spider 对象) – response所对应的spider
|
|---|