Quels sont les avantages et les inconvénients des principaux analyseurs Java HTML? [fermé]

général

presque tous les analyseurs HTML connus implémentent le W3C DOM API (partie de L'API JAXP, API Java pour le traitement XML) et vous donne un org.w3c.dom.Document back qui est prêt pour une utilisation directe par L'API JAXP. Les principales différences se trouvent généralement dans les caractéristiques de l'analyseur en question. La plupart des parseurs sont, dans une certaine mesure, indulgents et indulgents avec le HTML non bien formé ("tagsoup"), comme JTidy , NekoHTML , TagSoup et HtmlCleaner . Vous utilisez habituellement ce genre de parsers HTML pour "ranger" la source HTML (par exemple remplacer le code HTML valide <br> par un code XML valide <br /> ), de sorte que vous pouvez la parcourir "de la manière habituelle" en utilisant le DOM W3C et L'API JAXP.

les seuls qui sautent sont HtmlUnit et Jsoup .

HtmlUnit

HtmlUnit fournit une API complètement propre qui vous donne la possibilité d'agir comme un webbrowser programmatique. C'est-à-dire: entrez les valeurs du formulaire, cliquez sur les éléments, invoquez JavaScript,etc. C'est bien plus qu'un simple analyseur HTML. Il s'agit d'un véritable outil de test de l'unité "GUI-less webbrowser" et de L'unité HTML.

Jsoup

Jsoup fournit également un complètement propre API. Il vous donne la possibilité de sélectionner des éléments en utilisant jQuery -comme CSS selectors et fournit une API slick pour traverser L'arbre de DOM HTML pour obtenir les éléments d'intérêt.

en particulier la traversée de L'arbre des DOM HTML est la force majeure de Jsoup. Ceux qui ont travaillé avec org.w3c.dom.Document savent à quel point c'est douloureux de traverser le DOM en utilisant le verbose NodeList et Node Api. Vrai, XPath ça rend la vie plus facile, mais c'est quand même une autre courbe d'apprentissage et ça peut finir par être encore verbeux.

voici un exemple qui utilise un DOM parser W3C simple comme JTidy en combinaison avec XPath pour extraire le premier paragraphe de votre question et les noms de tous les answerers (j'utilise XPath car sans lui, le code nécessaire pour recueillir les informations de autrement l'intérêt grandirait 10 fois plus grand, sans écrire utilitaire / méthodes d'aide).

String url = "/q/what-are-the-pros-and-cons-of-the-leading-java-html-parsers-closed-9784/";
Document document = new Tidy().parseDOM(new URL(url).openStream(), null);
XPath xpath = XPathFactory.newInstance().newXPath();

Node question = (Node) xpath.compile("//*[@id='question']//*[contains(@class,'post-text')]//p[1]").evaluate(document, XPathConstants.NODE);
System.out.println("Question: " + question.getFirstChild().getNodeValue());

NodeList answerers = (NodeList) xpath.compile("//*[@id='answers']//*[contains(@class,'user-details')]//a[1]").evaluate(document, XPathConstants.NODESET);
for (int i = 0; i < answerers.getLength(); i++) {
    System.out.println("Answerer: " + answerers.item(i).getFirstChild().getNodeValue());
}

et voici un exemple comment faire exactement la même chose avec Jsoup:

String url = "/q/what-are-the-pros-and-cons-of-the-leading-java-html-parsers-closed-9784/";
Document document = Jsoup.connect(url).get();

Element question = document.select("#question .post-text p").first();
System.out.println("Question: " + question.text());

Elements answerers = document.select("#answers .user-details a");
for (Element answerer : answerers) {
    System.out.println("Answerer: " + answerer.text());
}

voyez-vous la différence? Ce n'est pas seulement moins de code, mais Jsoup est aussi relativement facile à saisir si vous avez déjà une expérience modérée avec les sélecteurs CSS (par exemple en développant des sites Web et/ou en utilisant jQuery).

résumé

les avantages et les inconvénients de chacun devraient être suffisamment clairs maintenant. Si vous voulez simplement utiliser L'API JAXP standard pour la parcourir, optez pour le premier groupe de parsers mentionné. Il ya assez beaucoup d'entre eux. Lequel choisir dépend des fonctionnalités qu'il offre (comment est HTML nettoyage facile pour vous? y a-t-il des écouteurs/intercepteurs et des nettoyeurs spécifiques aux étiquettes?) et la robustesse de la bibliothèque (quelle est la fréquence de mise à jour/maintenance/fixe?). Si vous aimez unité tester le HTML, puis HtmlUnit est la voie à suivre. Si vous aimez extraire des données spécifiques du HTML (qui est plus que souvent l'exigence du monde réel), alors Jsoup est la voie à suivre.