Dois-je créer pipeline pour sauvegarder des fichiers avec scrapy?

Oui et non[1]. Si vous récupérez un pdf, il sera stocké en mémoire, mais si les fichiers PDF ne sont pas assez grands pour remplir votre mémoire disponible, il est donc ok.

Vous pourriez enregistrer le pdf dans l'araignée rappel:

def parse_listing(self, response):
    # ... extract pdf urls
    for url in pdf_urls:
        yield Request(url, callback=self.save_pdf)

def save_pdf(self, response):
    path = self.get_path(response.url)
    with open(path, "wb") as f:
        f.write(response.body)

Si vous choisissez de le faire dans un pipeline:

# in the spider
def parse_pdf(self, response):
    i = MyItem()
    i['body'] = response.body
    i['url'] = response.url
    # you can add more metadata to the item
    return i

# in your pipeline
def process_item(self, item, spider):
    path = self.get_path(item['url'])
    with open(path, "wb") as f:
        f.write(item['body'])
    # remove body and add path as reference
    del item['body']
    item['path'] = path
    # let item be processed by other pipelines. ie. db store
    return item

[1] une autre approche pourrait être de ne stocker que les urls des fichiers PDF et d'utiliser un autre processus pour récupérer les documents sans les mettre en mémoire tampon. (par exemple,wget)