L’index Mozscape de novembre est en ligne !

C’est encore une fois – l’index Mozscape de novembre est maintenant disponible ! Découvrez les données Mozscape qui sont maintenant fraîches dans Ouvrir l’explorateur de sitela Mozbar, Campagnes PROet le API Mozscape.

L’index Mozscape de novembre est lancé quelques jours plus tard que prévu. Une erreur de calcul dans la quantité de données d’exploration initialement incluses et le fait que nos robots d’exploration sont extrêmement efficace, a conduit notre première tentative d’indexation ce mois-ci à environ deux fois la taille de notre objectif de 77 milliards d’URL. Si nous n’avions pas fait cette erreur de calcul, nous aurions pu atteindre notre date de sortie initiale du 11/5, mais le redémarrage de l’index a fait glisser notre date de sortie de quelques jours.

Un autre problème que nous avons rencontré ce mois-ci a été le traitement de 76 milliards d’URL. Cela a pris un peu plus de temps que notre précédent index d’octobre, qui ne comptait que 55 milliards d’URL. Cela est devenu flagrant lors d’une étape spécifique de notre traitement d’index. Périodiquement tout au long du traitement, nous vérifions les fichiers qui ont été traités afin de pouvoir revenir en arrière si quelque chose de catastrophique se produit (une panne de machine, une corruption de fichier, etc.). Avec l’indice plus élevé ce mois-ci, ces étapes de contrôle prenaient sensiblement plus de temps ; dans certains cas, il a fallu des jours pour contrôler certaines des étapes les plus importantes. Grâce aux ingénieurs de génie de l’équipe de Mozscape, Martin et Brandon ont pu proposer une solution qui a considérablement réduit le temps passé aux points de contrôle. Avec la mise à jour du logiciel de traitement par Martin, le temps passé dans certaines de ces étapes est passé de quelques jours à quelques minutes ! Une fois de plus, faire un pas en arrière a fait avancer l’équipe Mozscape de deux pas en avant.

L’équipe Mozscape continue de faire des progrès significatifs dans la finalisation de notre solution de cloud privé en Virginie. Nous sommes sur la bonne voie pour avoir des indices produits à la fois dans le cloud AWS et dans notre propre cloud privé d’ici la fin de l’année. Après un index de test réussi, le premier index Mozscape est maintenant en cours, exécuté dans notre propre cloud privé. C’est une réalisation passionnante pour l’équipe Mozscape !

Voici les métriques de ce dernier index :

• 76 734 608 461 (76 milliards) URL

• 776 343 422 (776 millions) Sous-domaines

• 134 499 372 (134 millions) domaines racine

• 878 838 592 381 (878 milliards) Liens

• Suivi vs non-suivi

  • 2,69 % de tous les liens trouvés n’ont pas été suivis

  • 56,69% ​​des liens non suivis sont internes

  • 43,31% sont externes

• Rel Canonical – 13,65 % de toutes les pages utilisent désormais une balise rel=canonical

• La page moyenne contient 71 liens

  • 61,28 liens internes en moyenne

  • 10,13 liens externes en moyenne

Et les corrélations suivantes avec les résultats de recherche américains de Google :

• Autorité de la page – 0,36

• Autorité de domaine – 0.19

• MozRank – 0,24

• Liaison des domaines racine – 0.30

• Nombre total de liens – 0,25

• Liens externes – 0.29

Cet histogramme montre la date de crawl et l’actualité des résultats dans cet index :

Les données les plus récentes de cet indice dateront du 16 octobre (lorsque le traitement a commencé) et une bonne partie des données de liaison seront de fin septembre à mi-octobre. Cet indice reflétera les données de liens qui remontent à environ la mi-septembre, mais la majorité de cet indice sera les premières semaines d’octobre. Au fur et à mesure que nous améliorons la durée de traitement d’un index, cette fraîcheur continuera de s’améliorer !

Une autre annonce passionnante est notre nouvelle galerie d’applications qui a été lancée il y a quelques semaines. Découvrez tous les excellents outils que nos utilisateurs créent en plus de nos données Mozscape. Si vous avez un outil gratuit que vous aimeriez voir ajouté à cette page, soumettez une demande pour qu’il soit ajouté à la galerie – nous aimerions en entendre parler !

Comme toujours, nous aimerions avoir vos commentaires. J’espère avoir de vos nouvelles dans les commentaires, où l’équipe Big Data lira et répondra comme d’habitude.

PS N’oubliez pas que si vous êtes curieux de savoir quand Mozscape est mis à jour, vous pouvez consulter le calendrier ici. Nous maintenons également une liste des mises à jour d’index précédentes avec des mesures ici.