Quelle était la gravité du bogue de désindexation de Google ?

Le vendredi 5 avril, après que de nombreux propriétaires de sites Web et SEO ont signalé que des pages n’étaient plus classées, Google a confirmé un bogue qui provoquait la désindexation des pages :

MozCast a montré une augmentation des températures sur plusieurs jours, y compris un pic de 105 ° le 6 avril. Alors que la désindexation entraînerait naturellement un flux de classement, car les pages tombaient temporairement hors des classements puis réapparaissaient, les outils de surveillance SERP ne sont pas conçus pour séparer les différents causes de flux.

Peut-on isoler le flux de désindexation ?

Les propres outils de Google peuvent nous aider à vérifier si une page est indexée, mais le faire à grande échelle est difficile, et une fois qu’un événement est passé, nous n’avons plus un bon accès aux données historiques. Et si nous pouvions isoler un ensemble d’URL, cependant, dont nous pourrions raisonnablement nous attendre à ce qu’elles soient stables dans le temps ? Pourrions-nous utiliser cet ensemble pour détecter des modèles inhabituels ?

Au cours du mois de février, l’ensemble de suivi quotidien MozCast 10K comptait 149 043 URL uniques classées sur la première page. J’ai réduit cela à un sous-ensemble d’URL avec les propriétés suivantes :

1. Ils sont apparus sur la première page tous les jours en février (28 fois au total)
2. La requête ne comportait pas de liens annexes (c’est-à-dire aucune intention dominante claire)
3. L’URL classée à la position #5 ou mieux

Étant donné que MozCast ne suit que la première page, je voulais réduire le bruit d’une URL “tombant” de, disons, la position #9 à #11. En utilisant ces qualificatifs, il me restait un ensemble de 23 237 URL “stables”. Alors, comment ces URL se sont-elles comportées au fil du temps ?

Voici les données historiques du 28 février 2019 au 10 avril. Ce graphique représente le pourcentage des 23 237 URL stables apparues dans les SERP de MozCast :

Étant donné que toutes les URL de l’ensemble étaient stables tout au long du mois de février, nous nous attendons à ce que 100 % d’entre elles apparaissent le 28 février (ce que le graphique confirme). Le changement au fil du temps n’est pas dramatique, mais ce que nous voyons est une baisse constante des URL (un phénomène naturel de modification des SERP au fil du temps), avec une baisse distincte le vendredi 5 avril, une reprise, puis une baisse similaire le dimanche 7 avril.

Pourriez-vous zoomer pour nous les vieux?

Venant de passer aux contacts multifocaux, je ressens votre douleur. Zoomons un peu sur cet axe Y (je voulais d’abord vous montrer la vérité sans fard) et ajoutons une ligne de tendance. Voici ce graphique agrandi :

La ligne de tendance est en violet. Le départ de la tendance des 5 et 7 avril est assez facile à voir dans la version agrandie. La baisse d’un jour sur l’autre du 5 avril était de 4,0 %, suivie d’une reprise, puis d’une deuxième baisse très similaire de 4,4 %.

Notez que cette métrique a très peu bougé pendant le flux d’algorithmes de mars, y compris la mise à jour “core” de mars. Nous ne pouvons pas prouver de manière définitive que la suppression d’URL stable représente proprement la désindexation, mais elle ne semble pas être beaucoup affectée par les mises à jour typiques de l’algorithme Google.

Qu’en est-il de l’intention dominante ?

J’ai délibérément supprimé les requêtes avec des liens annexes étendus de l’analyse, car celles-ci sont fortement corrélées à l’intention dominante. J’ai émis l’hypothèse que l’intention dominante pourrait masquer certains des effets, car Google est fortement investi dans la recherche de sites spécifiques pour ces requêtes. Voici la même analyse uniquement pour les requêtes avec des liens annexes étendus (cela a donné un ensemble plus petit de 5 064 URL stables) :

À part des variations mineures, le modèle des URL à intention dominante semble être très similaire à l’analyse précédente. Il semble que l’impact de la désindexation ait été généralisé.

Était-ce aléatoire ou systématique ?

Il est difficile de déterminer si ce bogue était aléatoire, affectant tous les sites à peu près de la même manière, ou était systématique d’une manière ou d’une autre. Il est possible que limiter notre analyse aux URL “stables” fausse les résultats. D’un autre côté, essayer de mesurer l’instabilité d’URL intrinsèquement instables est un peu absurde. Je dois également noter que l’ensemble de données MozCast est biaisé vers les termes dits “de tête”. Il ne contient pas beaucoup de requêtes dans la très longue traîne, y compris des questions en langage naturel.

Une question à laquelle nous pouvons répondre est de savoir si les grands sites ont été impactés par le bogue. Le graphique ci-dessous isole nos “Big 3” dans MozCast : Wikipedia, Amazon et Facebook. Cela nous a réduits à 2 454 URL stables. Malheureusement, plus nous plongeons profondément, plus l’ensemble de données devient petit :

À la même échelle agrandie de 90 à 100 %, vous pouvez voir que l’impact a été plus faible que sur toutes les URL stables, mais il y a toujours une paire claire de baisses du 5 et du 7 avril. Il ne semble pas que ces méga-sites étaient à l’abri.

En regardant les données au jour le jour du 4 au 5 avril, il semble que les pertes aient été largement réparties dans de nombreux domaines. Parmi les domaines qui avaient 10 URL stables ou plus le 4 avril, environ la moitié ont vu une perte d’URL de classement. Les seuls domaines qui ont subi une perte de 100 % au jour le jour étaient ceux qui avaient 3 URL stables ou moins dans notre ensemble de données. Il ne ressort pas de nos données que la désindexation visait systématiquement des sites spécifiques.

Est-ce fini, et quelle est la prochaine ?

Comme le dit l’une de mes citations de films préférées : “Il n’y a pas de fin heureuse car rien ne se termine jamais.” Pour l’instant, les taux d’indexation semblent être revenus à la normale, et je soupçonne que le pire est passé, mais je ne peux pas prédire l’avenir. Si vous pensez que vos URL ont été désindexées, cela vaut la peine de les réindexer manuellement dans Google Search Console. Notez qu’il s’agit d’un processus assez fastidieux et qu’il y a des limites quotidiennes en place, alors concentrez-vous sur les pages critiques.

L’impact du bogue de désindexation semble être mesurable, bien que nous puissions discuter de la “grande” 4% est. Pour quelque chose d’aussi important que les sites qui sortent du classement de Google, 4 %, c’est beaucoup, mais l’impact à long terme pour la plupart des sites devrait être minime. Pour l’instant, nous ne pouvons pas faire grand-chose pour nous adapter — Google nous dit qu’il s’agissait d’un véritable bug et non d’un changement délibéré.