Si vous avez utilisé ou envisagé d’utiliser l’API Mozscape pour récupérer des données de métriques de liens, nous avons quelque chose d’unique à partager – une toute nouvelle version bêta d’une API beaucoup plus rapide et plus robuste. Cette version bêta ne compte actuellement que quelques testeurs (et nous en recherchons davantage), mais jusqu’à présent, nous constatons des résultats remarquables.
Carin, qui gère l’équipe Big Data ici chez Moz, m’a aidé à partager l’histoire avec moi la semaine dernière :
-
L’API actuelle n’est pas en mesure de prendre en charge le cas d’utilisation de tout le monde ! Certaines personnes ont besoin de passer beaucoup d’appels en très peu de temps – notre API ne peut actuellement pas prendre en charge plus de 10 requêtes/seconde (même pour les utilisateurs payants). D’autres ont une longue liste d’URL dont ils souhaitent mettre à jour les métriques à chaque nouvelle version d’index – notre API actuelle ne prend pas très bien en charge le traitement par lots et expirera avec des tailles de lot supérieures à 50 URL.
-
La version bêta a apporté de sérieuses améliorations de performances avec un débit d’URL unique et peut gérer 200 requêtes/seconde – l’API bêta voit une amélioration du débit de 400 %, bien que les temps de réponse soient toujours les mêmes
-
Pour répondre aux besoins des utilisateurs de traitement par lots, nous avons développé un nouveau modèle de traitement par lots – traitement par lots en ligne (disponible dans l’API bêta) et traitement par lots hors ligne (bientôt disponible sur l’API bêta)
-
Regroupement en ligne : le nombre maximal de résultats que nous pouvons traiter dans un POST sans délai d’attente de S3. Cela a été amélioré de 50 URL à 500 URL en une seule requête groupée
-
Traitement par lots hors ligne (toujours en développement) : pour les tailles de lot supérieures à 500 URL, le traitement par lots hors ligne traitera toute la liste (probablement jusqu’à une certaine limite non encore décidée) et renverra un lien CSV téléchargeable vers S3 où toutes les données seront disponibles. . Comme cela est encore en développement, le SLA sur le traitement par lots hors ligne n’est pas clair, mais cette fonctionnalité sera également disponible pour les tests bêta dès qu’elle sera terminée !
-
L’API de Mozscape est assez importante aujourd’hui – nous avons traité 154 352 249 (154 millions) requêtes au cours des 10 premiers jours d’août et renvoyé 1 186 736 774 (1,2 milliard) de lignes de données de métriques de liens.
Vous pouvez toujours vous inscrire gratuitement ou essayer notre API payante, mais si vous avez une demande sérieuse pour un volume élevé ou de gros lots de données de liens, nous serions ravis de vous avoir dans la version bêta de la nouvelle API. Contactez simplement Andrew Dumont – andrew@seomoz.org – et il vous installera !
