Grattage De La Toile Avec Haskell

http://hackage.haskell.org/package/shpider

Shpider est une bibliothèque d'automatisation web pour Haskell. Il vous permet de rapidement écrire les chenilles, et pour les cas simples ( comme les liens suivants ), même sans la lecture de la source de la page.

il a des caractéristiques utiles telles que la rotation liens relatifs d'une page vers liens absolus, options pour autoriser transactions uniquement sur un domaine donné, et l'option de téléchargement html document.

Il fournit également une belle syntaxe pour le remplissage de formulaires.

un exemple:

 runShpider $ do
      download "http://apage.com"
      theForm : _ <- getFormsByAction "http://anotherpage.com"
      sendForm $ fillOutForm theForm $ pairs $ do
            "occupation" =: "unemployed Haskell programmer"
            "location" =: "mother's house"

(Édition en 2018 -- shpider est obsolète, ces jours-ci https://hackage.haskell.org/package/scalpel pourrait être un bon remplaçant)

bien que je sois encore pour l'instant un débutant à Haskell, j'ai la ferme opinion que L'analyse HTML en 2012 doit être faite en utilisant des sélecteurs CSS, et il semble que les bibliothèques recommandées jusqu'à présent n'utilisent pas ce principe.

une possibilité est HandsomeSoup, qui est construit sur le dessus de HXT:

http://egonschiele.github.com/HandsomeSoup /

http://codingtales.com/2012/04/25/scraping-html-with-handsomesoup-in-haskell

cette page sur HXT, sur laquelle repose HandsomeSoup, sera également utile (vous aurez besoin de getText ou de deep getText):

http://adit.io/posts/2012-04-14-working_with_HTML_in_haskell.html

mais un autre choix est dom-selector:

http://hackage.haskell.org/package/dom-selector

c'est en ce moment alpha et son entretien à long terme pourrait être un problème. L'avantage de dom-selector est que je ne pouvais pas faire fonctionner les caractères unicode avec HandsomeSoup. Ils ont travaillé avec dom-selector.

cette question est liée à: est-il possible d'utiliser du texte ou ByteString sur HXT à Haskell?

dom-sélecteur est basé sur html-conduit et xml-conduit, pour lequel la maintenance semble assurée.

EDIT: note mon nouvelle réponse sur l'objectif de l'analyse. J'ai laissé cette réponse car elle est encore bonne en elle-même, mais je préfère maintenant personnellement utiliser l'autre approche.

j'ai déjà écrit une autre réponse à cette question, suggérant l'analyse basée sur les sélecteurs CSS, mais cette réponse est maintenant d'un an et demi, et de nos jours je pense que les lentilles pourraient être une meilleure approche à haskell. En effet, vous obtenez quelque chose comme type-safe compilé des sélecteurs.

Voir cette discussion reddit pour un couple d'options dans cette veine. Si le lien disparaît, je copie les liens directs:

• taggy-lens
• hexpat-lens
• xml-lens , qui apparemment peut être utilisé avec html-conduit

Je n'ai encore utilisé aucun de ceux-là, mais si je devais écrire un nouveau code parsing HTML aujourd'hui, je serais certainement aller avec une approche basée sur l'objectif.