Le contenu de la Page est chargé avec javascript et Jsoup ne le voit pas

résolu dans mon affaire avec com.codeborne.phantomjsdriver REMARQUE: il est groovy code.

pom.xml

        <dependency>
          <groupId>com.codeborne</groupId>
          <artifactId>phantomjsdriver</artifactId>
          <version> <here goes last version> </version>
        </dependency>

PhantomJsUtils.groovy

import org.jsoup.Jsoup
import org.jsoup.nodes.Document
import org.openqa.selenium.WebDriver
import org.openqa.selenium.phantomjs.PhantomJSDriver

class PhantomJsUtils {
    private static String filePath = 'data/temp/';

    public static Document renderPage(String filePath) {
        System.setProperty("phantomjs.binary.path", 'libs/phantomjs') // path to bin file. NOTE: platform dependent
        WebDriver ghostDriver = new PhantomJSDriver();
        try {
            ghostDriver.get(filePath);
            return Jsoup.parse(ghostDriver.getPageSource());
        } finally {
            ghostDriver.quit();
        }
    }

    public static Document renderPage(Document doc) {
        String tmpFileName = "$filePath${Calendar.getInstance().timeInMillis}.html";
        FileUtils.writeToFile(tmpFileName, doc.toString());
        return renderPage(tmpFileName);
    }
}

Classeinproject.groovy

Document doc = PhantomJsUtils.renderPage(Jsoup.parse(yourSource))

vous devez comprendre ce qui se passe:

• lorsque vous interrogez une page d'un site web, que vous utilisiez Jsoup ou votre navigateur, ce qui vous est renvoyé est du HTML. Jsoup est capable d'analyser.
• cependant, la plupart des sites web incluent Javascript dans ce HTML, ou lié à partir de ce HTML, qui remplira la page de contenu. Votre navigateur est capable d'exécuter le Javascript, et ainsi peupler la page. Jsoup ne l'est pas.

la façon de comprendre ceci est la suivante : l'analyse du code HTML est facile. L'exécution du code Javascript et la mise à jour du code HTML correspondant est beaucoup plus complexe, et est le travail d'un navigateur.

, Voici quelques solutions pour ce genre de problèmes:

1. si vous pouvez trouver quels sont les appels Ajax que le code Javascript fait, c'est-à-dire charger le contenu, vous pourriez être en mesure d'utiliser l'URL de ces appels avec Jsoup. Pour ce faire, utilisez les Outils de Développeur de votre navigateur. Mais ce n'est pas garanti:

   • il se pourrait que l'url est dynamique et dépend de ce qui est sur la page
   • si le contenu n'est pas public, des cookies seront impliqués, et il ne suffit pas de consulter L'URL de la ressource

2. dans ces cas, vous devrez "simuler" le travail d'un navigateur. Heureusement, de tels outils existent. Celui que je connais, et que je recommande, est PhantomJS . Il fonctionne avec Javascript, et vous aurez besoin de le lancer à partir de Java en démarrant un nouveau processus. Si vous voulez vous en tenir à Java, ce post liste quelques alternatives Java.

j'ai fait il y a un "chemin"! C'est peut-être plus une solution de contournement qu'une solution de rechange... Le code ci-dessous vérifie à la fois l'attribut meta "REFRESH" et les redirections javascript... Si l'un d'eux existe, la variable RedirectedUrl est définie. Si vous connaissez votre cible... Ensuite, vous pouvez récupérer la page cible et aller sur...

    String RedirectedUrl=null;
    Elements meta = page.select("html head meta");
    if (meta.attr("http-equiv").contains("REFRESH")) {
        RedirectedUrl = meta.attr("content").split("=")[1];
    } else {
        if (page.toString().contains("window.location.href")) {
            meta = page.select("script");
            for (Element script:meta) {
                String s = script.data();
                if (!s.isEmpty() && s.startsWith("window.location.href")) {
                    int start = s.indexOf("=");
                    int end = s.indexOf(";");
                    if (start>0 && end >start) {
                        s = s.substring(start+1,end);
                        s =s.replace("'", "").replace("\"", "");        
                        RedirectedUrl = s.trim();
                        break;
                    }
                }
            }
        }
    }

... now retrieve the redirected page again...

y a-t-il un moyen d'obtenir aussi du contenu généré par javascript lors de l'analyse de page avec Jsoup?

je vais deviner non, en pensant à combien cela serait difficile, sans construire un interpréteur javascript complet en Java.

, Essayez:

Document Doc = Jsoup.connect(url)
    .header("Accept-Encoding", "gzip, deflate")
    .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0")
    .maxBodySize(0)
    .timeout(600000)
    .get();