Quelles sont les alternatives maintenant que L'API de recherche Google a été dépréciée? [fermé]
L'API de recherche Google Web a été dépréciée et remplacée par L'API de recherche personnalisée (voir http://code.google.com/apis/websearch / ).
je voulais chercher sur tout le web, mais il semble qu'avec la nouvelle API, seuls les sites personnalisés peuvent être recherchés.
y a-t-il un moyen de faire une recherche programmatique sur l'ensemble du web? J'ai pu interroger L'ancienne API en utilisant JSON à partir d'un programme Java.
10 réponses
, Vous pouvez leur envoyer de travers comme un navigateur, puis parser le html, c'est ce que j'ai toujours fait, même pour des choses comme Youtube.
Oui, Google Custom Search a maintenant remplacé l'ancienne API de recherche, mais vous peut toujours utiliser Google Custom Search pour rechercher le web entier , bien que les étapes ne sont pas évidentes à partir de la recherche de configuration personnalisée.
pour créer un moteur de recherche Google personnalisé qui recherche sur l'ensemble du web:
- de la page D'accueil de Google Custom Search ( http://www.google.com/cse / ), cliquez sur Créer un moteur de recherche personnalisé.
- Tapez un nom et une description pour votre moteur de recherche.
- sous définir votre moteur de recherche, dans les Sites de la zone de recherche, entrer au moins une URL valide (pour l'instant, il suffit de mettre www.anyurl.com pour passer cet écran. Plus sur cela plus tard ).
- sélectionnez l'édition CSE que vous voulez et acceptez les conditions de Service, puis cliquez sur Suivant. Sélectionnez l'option layout vous souhaitez, puis cliquez sur Suivant.
- cliquez sur l'un des liens dans la section prochaines étapes pour vous rendre à votre panneau de configuration.
- dans le menu de gauche, sous Panneau de configuration, cliquez Basics.
- dans la section préférences de recherche, sélectionnez Rechercher le web entier, mais mettez l'accent sur les sites inclus.
- Cliquez Sur Enregistrer Les Modifications.
- dans le menu de gauche, sous Panneau de configuration, cliquez sur Sites.
- supprimer le site que vous avez saisi pendant le processus de configuration initiale.
maintenant, votre moteur de recherche personnalisé va chercher sur tout le web.
Prix
- Google Recherche Personnalisée vous donne 100 requêtes par jour.
- après cela vous payez 5 $PAR 1000 requêtes.
- il y a un maximum de 10.000 requêtes par jour.
Source: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
- la qualité de recherche est beaucoup plus faible que la recherche Google normale (pas de synonymes, "intelligence", etc.)
- il semble que Google envisage même de fermer complètement ce service.
Google Custom Search (comme préconisé dans les réponses les mieux notées) fonctionne bien, mais est très coûteux, par rapport à ses concurrents (ci-dessous) ou par rapport à d'autres API Google. Il a un petit niveau gratuit (100 requêtes/jour) et un prix très élevé de 5 $PAR 1000 requête.
ils offrent la possibilité de mettre à niveau à la recherche de Site, qui a un peu de meilleurs prix, mais qui est destiné à la recherche d'un site (votre propre), il est donc vraiment quelque chose de tout à fait différent - pas une mise à niveau.
Les principales alternatives semblent être:
Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Qui a un niveau libre de 5000q / mois, et les prix à partir de 5 requête par penny, et aucune limite dure.
mise à jour: fin 2016 cette API a été arrêtée en faveur de son homologue Azure "Cognitive Services Bing Search API":
https://azure.microsoft.com/en-us/services/cognitive-services/search /
voir ici pour une grille de prix, qui commence à 3$US/m pour 1 000 transactions. Sauf si je rate quelque chose, c'est assez cher.
Yahoo BOSS Search API
Mise à jour: a été discontinué le 31 mars 2016.
http://developer.yahoo.com/boss/search/
Avec des prix à partir d'environ 12 requêtes / penny pour des recherches Web complètes.
Et certains je n'ai pas entendu parler avant:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.entireweb.com/search_api/implementation/
[supprimé - comme indiqué ci-après]
Il y a un peu de discussion de certains de ces ce tant de poster .
[est fermé pour être hors-sujet et est maintenant disparu]
Voici une option en bas du Panneau de contrôle de recherche personnalisé: "Sites à rechercher" , vous pouvez choisir "rechercher le web entier, mais mettre l'accent sur les sites inclus"
je viens de tomber sur ceci de Common Crawl.
Pourrait être la réponse que nous cherchons tous!!
il y a une note en haut du docs :
Note: l'API de recherche Web de Google a été officiellement abandonnée depuis 1 novembre 2010. Il continuera à travailler selon notre Politique de dépréciation , mais le nombre de requêtes que vous pourriez faire par jour sera limité. Par conséquent, nous vous encourageons à passer à la nouvelle Custom Search API .
le Politique de dépréciation dit qu'ils vont continuer à faire fonctionner L'API pendant 3 ans. Donc, si vous avez déjà une application qui utilise l'ancienne API, vous n'avez pas de se précipiter pour changer les choses tout de suite. Si vous écrivez une nouvelle application, utilisez L'API de recherche personnalisée . Voir ma réponse ici pour savoir comment faire cela en Python, mais l'idée est la même pour n'importe quelle langue.
il y a une API Java libre appelée JFreeWebSearch qui utilise le Faroo déjà mentionné: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
vous pouvez créer "partout" moteur de recherche personnalisé à droite de la page D'accueil de recherche personnalisée de Google ( http://www.google.com/cse / ). Vous devez simplement cliquer sur "Avancé", lors de l'ajout de nouveau moteur. Là vous pouvez fournir Schema.org type de site. ' Thing ' est le type le plus générique, qui couvre tout le web.
Gigablast offre une API de recherche Web bon marché: http://www.gigablast.com/searchfeed.html