Feed exports

JSON¶

• FEED_FORMAT: json
• 使用的exporter: JsonItemExporter
• 大数据量情况下使用JSON请参见 这个警告

JSON lines¶

• FEED_FORMAT: jsonlines
• 使用的exporter: JsonLinesItemExporter

CSV¶

• FEED_FORMAT: csv
• 使用的exporter: CsvItemExporter

XML¶

• FEED_FORMAT: xml
• 使用的exporter: XmlItemExporter

Pickle¶

• FEED_FORMAT: pickle
• 使用的exporter: PickleItemExporter

Marshal¶

• FEED_FORMAT: marshal
• 使用的exporter: MarshalItemExporter

本地文件系统¶

将feed存储在本地系统。

• URI scheme: file
• URI样例: file:///tmp/export.csv
• 需要的外部依赖库: none

注意: (只有)存储在本地文件系统时，您可以指定一个绝对路径 /tmp/export.csv 并忽略协议(scheme)。不过这仅仅只能在Unix系统中工作。

FTP¶

将feed存储在FTP服务器。

• URI scheme: ftp
• URI样例: ftp://user:pass@ftp.example.com/path/to/export.csv
• 需要的外部依赖库: none

S3¶

将feed存储在 Amazon S3 。

• URI scheme: s3
• URI样例:
  • s3://mybucket/path/to/export.csv
  • s3://aws_key:aws_secret@mybucket/path/to/export.csv
• 需要的外部依赖库: boto

您可以通过在URI中传递user/pass来完成AWS认证，或者也可以通过下列的设置来完成:

• AWS_ACCESS_KEY_ID
• AWS_SECRET_ACCESS_KEY

标准输出¶

feed输出到Scrapy进程的标准输出。

• URI scheme: stdout
• URI样例: stdout:
• 需要的外部依赖库: none

FEED_URI¶

Default: None

输出feed的URI。支持的URI协议请参见 存储端(Storage backends) 。

为了启用feed输出，该设定是必须的。

FEED_FORMAT¶

输出feed的序列化格式。可用的值请参见 序列化方式(Serialization formats) 。

FEED_STORE_EMPTY¶

Default: False

是否输出空feed(没有item的feed)。

FEED_STORAGES¶

Default:: {}

包含项目支持的额外feed存储端的字典。 字典的键(key)是URI协议(scheme)，值是存储类(storage class)的路径。

FEED_STORAGES_BASE¶

Default:

{
    '': 'scrapy.contrib.feedexport.FileFeedStorage',
    'file': 'scrapy.contrib.feedexport.FileFeedStorage',
    'stdout': 'scrapy.contrib.feedexport.StdoutFeedStorage',
    's3': 'scrapy.contrib.feedexport.S3FeedStorage',
    'ftp': 'scrapy.contrib.feedexport.FTPFeedStorage',
}

包含Scrapy内置支持的feed存储端的字典。

FEED_EXPORTERS¶

Default:: {}

包含项目支持的额外输出器(exporter)的字典。 该字典的键(key)是URI协议(scheme)，值是 Item输出器(exporter) 类的路径。

FEED_EXPORTERS_BASE¶

Default:

FEED_EXPORTERS_BASE = {
    'json': 'scrapy.contrib.exporter.JsonItemExporter',
    'jsonlines': 'scrapy.contrib.exporter.JsonLinesItemExporter',
    'csv': 'scrapy.contrib.exporter.CsvItemExporter',
    'xml': 'scrapy.contrib.exporter.XmlItemExporter',
    'marshal': 'scrapy.contrib.exporter.MarshalItemExporter',
}

包含Scrapy内置支持的feed输出器(exporter)的字典。