preguntar acerca de web-scraping

Je travaille sur une application qui gratte les données d'un site web et je me demandais comment je devrais aller pour obtenir les données. Plus précisément, j'ai besoin de données contenues dans un certain nombre de balises div qui utilisent une cl …

Je veux pouvoir sélectionner / mettre en surbrillance un élément sur la page et trouver son sélecteur comme ceci: Div.firstRow div.priceAvail > div > div.PriceCompare>div.BodyS Je sais que vous pouvez voir la sélection en bas après …

J'essaie de réaliser un grattage Web à travers un IntentService d'arrière-plan qui gratte périodiquement un site Web sans afficher une vue sur le téléphone des utilisateurs. Comme je dois appeler du javascript sur la page chargée, Je ne peux pas …

Cette question a déjà une réponse ici: l'analyse du fichier XML obtient UnicodeEncodeError (ElementTree) / ValueError (lxml) 2 réponses J'essaie d'utiliser …

ci-dessous sont des variables déclarées pour 3 requêtes que j'implémente dans Mes macros. J'ai énuméré les bibliothèques qu'ils utilisent et leurs liaisons tardives dans les commentaires: Dim XMLHTTP As New MSXML2.XMLHTTP 'Microsoft XML, v6.0 'Set X …

Traceback (most recent call last): File "C:Python27img_google3.py", line 37, in <module> dataInfo = data['results'] TypeError: 'NoneType' object has no attribute '__getitem__' Que faire ?????? ... …

nous avons utilisé Scrapyd service pour un certain temps jusqu'à maintenant. Il fournit une belle enveloppe autour d'un projet raclé et ses araignées laissant pour contrôler les araignées via une API HTTP: Scrapyd est un service pour exécuter de …

j'essaie de faire du webcraping via le sélénium. Ma question est très simple: Comment trouver un lien et ensuite comment cliquer dessus? Par exemple: ce qui suit est le code HTML que je suis en train de web-gratter: <td bgcolor="#E7EFF9"> …

j'ai passé une journée sur la recherche d'une bibliothèque qui peut être utilisée pour accomplir le suivant: extraire le contenu complet d'une page Web comme en arrière-plan sans rendre le résultat à une vue. la lib doit supporter les pages qui déc …

je veux scrapy pour analyser les pages où aller sur le lien suivant ressemble à ceci: <a href="#" onclick="return gotoPage('2');"> Next </a> scrapy être en mesure d'interpréter le code javascript? livehttpheaders extension, j'ai décou …