创建自己的管道

Created: November-22, 2018

使用 scrapy startproject myproject 创建 scrapy 项目时，你会发现已有一个 pipelines.py 文件可用于创建自己的管道。在此文件中创建管道不是强制性的，但这是一种很好的做法。我们将解释如何使用 pipelines.py 文件创建管道：

pipelines.py

class MyPipeline(object):
    def process_item(self, item, spider):
        # process your `item` here
        return item

现在要启用它，你需要指定它将在你的设置中使用。转到你的 settings.py 文件并搜索（或添加）ITEM_PIPELINES 变量。使用管道类的路径及其优先于其他管道的路径更新它：

ITEM_PIPELINES = {
    'myproject.pipelines.MyPipeline': 300,
}

现在，你的蜘蛛返回的每个项目都将通过此管道。