preguntar acerca de web-scraping

11
réponses

Analyse HTML Java [fermé]

Je travaille sur une application qui gratte les données d'un site web et je me demandais comment je devrais aller pour obtenir les données. Plus précisément, j'ai besoin de données contenues dans un certain nombre de balises div qui utilisent une cl …
demandé sur 1970-01-01 00:33:28
5
réponses

Comment puis-je obtenir le sélecteur CSS dans Chrome?

Je veux pouvoir sélectionner / mettre en surbrillance un élément sur la page et trouver son sélecteur comme ceci: Div.firstRow div.priceAvail > div > div.PriceCompare>div.BodyS Je sais que vous pouvez voir la sélection en bas après …
demandé sur 1970-01-01 00:33:30
8
réponses

Android: utilisation de WebView en dehors d’un contexte D’activité

J'essaie de réaliser un grattage Web à travers un IntentService d'arrière-plan qui gratte périodiquement un site Web sans afficher une vue sur le téléphone des utilisateurs. Comme je dois appeler du javascript sur la page chargée, Je ne peux pas …
demandé sur 1970-01-01 00:33:33
1
réponses

Le raclage HTML à l’aide de lxml et de requêtes donne une erreur unicode [dupliquer]

Cette question a déjà une réponse ici: l'analyse du fichier XML obtient UnicodeEncodeError (ElementTree) / ValueError (lxml) 2 réponses J'essaie d'utiliser …
demandé sur 1970-01-01 00:33:34
2
réponses

VBA-XMLHTTP et WinHttp request speed

ci-dessous sont des variables déclarées pour 3 requêtes que j'implémente dans Mes macros. J'ai énuméré les bibliothèques qu'ils utilisent et leurs liaisons tardives dans les commentaires: Dim XMLHTTP As New MSXML2.XMLHTTP 'Microsoft XML, v6.0 'Set X …
demandé sur 1970-01-01 00:33:37
7
réponses

Python-télécharger des Images de google Image search?

Traceback (most recent call last): File "C:Python27img_google3.py", line 37, in <module> dataInfo = data['results'] TypeError: 'NoneType' object has no attribute '__getitem__' Que faire ?????? ... …
demandé sur 1970-01-01 00:33:33
1
réponses

ScrapyRT vs Scrapyd

nous avons utilisé Scrapyd service pour un certain temps jusqu'à maintenant. Il fournit une belle enveloppe autour d'un projet raclé et ses araignées laissant pour contrôler les araignées via une API HTTP: Scrapyd est un service pour exécuter de …
demandé sur 1970-01-01 00:33:36
4
réponses

cliquer sur un lien via selenium en python

j'essaie de faire du webcraping via le sélénium. Ma question est très simple: Comment trouver un lien et ensuite comment cliquer dessus? Par exemple: ce qui suit est le code HTML que je suis en train de web-gratter: <td bgcolor="#E7EFF9"> …
demandé sur 1970-01-01 00:33:33
1
réponses

Android Web Scraping avec un navigateur sans tête

j'ai passé une journée sur la recherche d'une bibliothèque qui peut être utilisée pour accomplir le suivant: extraire le contenu complet d'une page Web comme en arrière-plan sans rendre le résultat à une vue. la lib doit supporter les pages qui déc …
demandé sur 1970-01-01 00:33:33
2
réponses

Comment utiliser CrawlSpider de scrapy pour cliquez sur un lien avec javascript onclick?

je veux scrapy pour analyser les pages où aller sur le lien suivant ressemble à ceci: <a href="#" onclick="return gotoPage('2');"> Next </a> scrapy être en mesure d'interpréter le code javascript? livehttpheaders extension, j'ai décou …
demandé sur 1970-01-01 00:33:30