Comment utiliser CrawlSpider de scrapy pour cliquez sur un lien avec javascript onclick?

je veux scrapy pour analyser les pages où aller sur le lien suivant ressemble à ceci:

<a href="#" onclick="return gotoPage('2');"> Next </a>

scrapy être en mesure d'interpréter le code javascript?

livehttpheaders extension, j'ai découvert qu'en cliquant sur Suivant génère un POST avec un énorme morceau de "déchets" de départ comme ceci:

encoded_session_hidden_map=H4sIAAAAAAAAALWZXWwj1RXHJ9n

je suis en train de construire mon araignée sur le CrawlSpider classe, mais je ne peux pas vraiment comprendre comment le code,BaseSpider j'ai utilisé le parse() méthode pour traiter de la première URL, ce qui arrive à être un formulaire de connexion, où j'ai fait un POST avec:

def logon(self, response):
    login_form_data={ 'email': 'user@example.com', 'password': 'mypass22', 'action': 'sign-in' }
    return [FormRequest.from_response(response, formnumber=0, formdata=login_form_data, callback=self.submit_next)]

et puis j'ai défini submit_next() pour dire quoi faire ensuite. Je ne comprends pas comment dire à CrawlSpider quelle méthode utiliser sur la première URL?

toutes les requêtes de mon crawling, sauf la première, sont des requêtes POST. Ils alternent deux types de requêtes: coller des données, et cliquer "Suivant" pour aller à la page suivante.