这是一个关于scrapy的问题.
在数据库中存储项目时,为什么通过管道而不是Feed导出机制实现常规？
Feed Exports – Output your scraped data using different formats and storages
One of the most frequently required features when implementing
scrapers is being able to store the scraped data properly
Item Pipeline – Post-process and store your scraped data
Typical use for item pipelines are… storing the scraped item in a database
有什么区别,两者之间的利弊,以及(为什么)管道更合适？
谢谢
TL; DR：
FeedExport用于将项目导出为文件.它完全不适合数据库存储.
Feed导出是scrapy.extensions.Feedexport中scrapy的扩展.通过这种方式,就像scrapy中的其他扩展一样,它通过寄存器回调函数实现到一些scrapy信号(open_spider,close_spider和item_scraped),以便它可以采取必要的步骤来存储项目.
当open_spider时,FeedExporter(实际的扩展类)初始化Feed存储和项目导出器.具体步骤涉及获取类似文件的对象,该对象通常是FeedStroage中的临时文件并将其传递给ItemExporter.当item_scraped时,FeedExporter只是将预初始化的ItemExporter对象调用为export_item.当close_spider,FeedExporter在前一个FeedStorage对象上调用store方法将文件写入文件系统,上传到远程FTP服务器,上传到S3存储等.
内置的项目导出器和存储器集合在一起.但正如您可能从上面的文本中看到的那样,FeedExporter在设计上与文件存储紧密结合.使用数据库时,存储项目的常用方法是在数据被删除时将其插入数据库(或者可能需要一些缓冲区).
因此,使用数据库存储的正确方法似乎是编写自己的FeedExporter.你可以通过寄存器回调scrapy信号来实现它.但是没有必要,使用项目管道更简单,并且不需要了解这些实现细节.