preguntar acerca de screen-scraping

Cette question a déjà une réponse ici: Comment analysez-vous et traitez-vous HTML / XML en PHP? 29 réponses J'ai fait du raclage html en PHP en utilisant de …

j'ai essayé de contourner l'agent-utilisateur de mon crawlspider en ajoutant une ligne supplémentaire au projet fichier de configuration. Voici le code: [settings] default = myproject.settings USER_AGENT = "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleW …

j'ai des pages Web HTML que j'utilise avec xpath. etree.tostring d'un certain noeud me donne cette chaîne: <script> <!-- function escramble_758(){ var a,b,c a='+1 ' b='84-' a+='425-' b+='7450' c='9' document.write(a+c+b) } esc …

Est-il un moyen de contourner la suite? httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt est le seul moyen de contacter le propriétaire du site (barnesandnoble.com je construis un site qui leur apporterait plus de ventes, J …

je cherche à automatiser certaines interactions web, notamment le téléchargement périodique de fichiers à partir d'un site Web sécurisé. Cela implique essentiellement d'entrer mon nom d'utilisateur / mot de passe et de naviguer à L'URL appropriée. …

j'ai joué avec l'idée d'utiliser un screen-scraper simple en utilisant jQuery et je me demande si ce qui suit est possible. j'ai une page HTML simple et je fais une tentative (si cela est possible) pour saisir le contenu de tous les éléments de la …

je suis tout nouveau à Tor et je pense que plusieurs Tors devraient être considérés. Les tors multiples que j'ai mentionnés ici ne sont pas seulement des instances multiples, mais aussi en utilisant des ports proxy différents pour chacun, comme ce qu …

j'utilise Nokogiri et open-uri pour saisir le contenu de la balise titre sur une page Web, mais j'ai des problèmes avec les caractères accentués. Quelle est la meilleure façon de gérer ça? Voilà ce que je fais: require 'open-uri' require 'no …

Existe-t-il un moyen simple en R pour extraire seulement les éléments de texte d'une page HTML? je pense que c'est connu comme 'screen scraping' mais je n'en ai aucune expérience, j'ai juste besoin d'un moyen simple d'extraire le texte que v …

Le Problème j'utilise un outil au travail qui me permet de faire des requêtes et de récupérer des tables D'information HTML. Je n'ai pas de type de retour la fin de l'accès. beaucoup de ces informations seraient beaucoup plus utiles …