Le 4 mai, Google a annoncé qu’il déployait une nouvelle mise à jour de base. Le 7 mai, il est apparu que la poussière était en grande partie retombée. Voici une vue sur 11 jours de MozCast :
Nous avons mesuré une volatilité relativement élevée du 4 au 6 mai, avec un pic à 112,6° le 5 mai. Notez que la température moyenne sur 30 jours avant le 4 mai était historiquement très élevée (89,3°).
Comment cela se compare-t-il aux précédentes mises à jour de base ? Avec la mise en garde que les températures récentes ont été bien supérieures aux moyennes historiques, la mise à jour principale de mai 2020 était notre deuxième mise à jour principale la plus chaude à ce jour, juste en dessous de la mise à jour « Medic » d’août 2018.
Qui a “gagné” la mise à jour du noyau de mai ?
Il est courant de signaler les gagnants et les perdants après une mise à jour majeure (et je l’ai fait moi-même), mais depuis un certain temps maintenant, je crains que ces analyses ne capturent qu’une petite fenêtre de temps. Chaque fois que nous comparons deux points fixes dans le temps, nous ignorons la volatilité naturelle des classements de recherche et les différences inhérentes entre les mots clés.
Cette fois-ci, j’aimerais examiner attentivement les pièges. Je vais me concentrer sur les gagnants. Le tableau ci-dessous montre les gagnants d’un jour (5 mai) par classement total dans l’ensemble de suivi MozCast de 10 000 mots clés. J’ai seulement inclus les sous-domaines avec au moins 25 classements le 4 mai :
En mettant de côté les suspects statistiques habituels (la petite taille des échantillons pour certains mots-clés, les avantages et les inconvénients uniques de notre ensemble de données, etc.), quel est le problème avec cette analyse ? Bien sûr, il existe différentes façons de rapporter le “% de gain” (comme le changement absolu par rapport au pourcentage relatif), mais j’ai rapporté les chiffres absolus honnêtement et le changement relatif est exact.
Le problème est qu’en nous précipitant pour exécuter les chiffres après un jour, nous avons ignoré le fait que la plupart des mises à jour principales durent plusieurs jours (une tendance qui semblait se poursuivre pour la mise à jour principale de mai, comme en témoigne notre graphique initial). Nous n’avons pas non plus pris en compte les domaines dont les classements pourraient être historiquement volatils (mais nous en reparlerons dans un instant). Et si on comparait les données sur 1 jour et sur 2 jours ?
Quelle histoire racontons-nous ?
Le tableau ci-dessous ajoute le pourcentage relatif gagné sur 2 jours. J’ai conservé les mêmes 25 sous-domaines et je continuerai à les trier en fonction du pourcentage gagné sur 1 jour, par souci de cohérence :
Même en comparant simplement les deux premiers jours du déploiement, nous pouvons voir que l’histoire change considérablement. Le problème est : quelle histoire racontons-nous ? Souvent, nous ne regardons même pas des listes, mais des anecdotes basées sur nos propres clients ou des données de sélection. Considérez cette histoire :
S’il s’agissait de notre seule vue des données, nous conclurions probablement que la mise à jour s’est intensifiée au cours des deux jours, le deuxième jour gratifiant encore plus les sites. Nous pourrions même commencer à rédiger une histoire sur la croissance de la demande d’applications ou sur la récompense de certains sites d’actualités. Ces histoires pourraient avoir un grain de vérité, mais le fait est que nous n’avons aucune idée à partir de ces seules données.
Maintenant, choisissons trois points de données différents (tous parmi les 20 premiers):
De cette vue limitée, nous pourrions conclure que Google a décidé que la mise à jour de base s’était mal déroulée et l’a annulée le deuxième jour. On pourrait même conclure que certains sites d’actualités étaient pénalisés pour une raison quelconque. Cela raconte une histoire très différente de la première série d’anecdotes.
Il y a une histoire encore plus étrange enfouie dans les données de mai 2020. Considère ceci:
LinkedIn a montré une petite bosse (que nous ignorons généralement) le premier jour, puis a perdu 100 % de son classement le deuxième jour. Wow, cette mise à jour de base de mai a vraiment du punch ! Il s’avère que LinkedIn a peut-être accidentellement désindexé son site – ils ont récupéré le lendemain, et il semble que ce changement massif n’ait rien à voir avec la mise à jour de base. La simple vérité est que ces chiffres nous en disent très peu sur les raisons pour lesquelles un site a gagné ou perdu des classements.
Comment définissons-nous « normal » ?
Examinons de plus près les données de MarketWatch. Marketwatch a gagné 19 % dans les statistiques sur 1 jour, mais a perdu 2 % dans les chiffres sur 2 jours. Le problème ici est que nous ne savons pas à partir de ces chiffres à quoi ressemble le flux SERP normal de MarketWatch. Voici un graphique de sept jours avant et après le 4 mai (le début de la mise à jour principale) :
En regardant ne serait-ce qu’un petit peu de données historiques, nous pouvons voir que MarketWatch, comme la plupart des sites d’actualités, connaît une volatilité importante. Les “gains” du 5 mai ne sont dus qu’aux pertes du 4 mai. Il s’avère que la moyenne sur 7 jours après le 4 mai (45,7) n’est qu’une légère augmentation par rapport à la moyenne sur 7 jours avant le 4 mai (44,3), avec MarketWatch mesurant un modeste gain relatif de +3,2%.
Intéressons-nous maintenant à Google Play, qui s’est avéré clairement gagnant après deux jours :
Vous n’avez même pas besoin de faire le calcul pour repérer la différence ici. En comparant la moyenne sur 7 jours avant le 4 mai (232,9) à la moyenne sur 7 jours après (448,7), Google Play a connu un changement relatif spectaculaire de + 93 % après la mise à jour principale de mai.
Comment fonctionne cette comparaison avant/après de 7 jours avec l’incident LinkedIn ? Voici un graphique de l’avant/après avec des lignes pointillées ajoutées pour les deux moyennes :
Bien que cette approche aide certainement à compenser l’anomalie d’un jour, nous affichons toujours un changement avant/après de -16 %, ce qui n’est pas vraiment conforme à la réalité. Vous pouvez voir que six des sept jours après la mise à jour de base de mai étaient au-dessus de la moyenne sur 7 jours. Notez que LinkedIn a également une volatilité relativement faible sur l’historique à court terme.
Pourquoi suis-je en train de choisir un exemple extrême où ma nouvelle métrique est insuffisante ? Je veux qu’il soit parfaitement clair qu’aucune métrique ne peut jamais raconter toute l’histoire. Même si nous avons pris en compte la variance et effectué des tests statistiques, il nous manque encore beaucoup d’informations. Une différence claire avant/après ne nous dit pas ce qui s’est réellement passé, seulement qu’il y a eu un changement corrélé avec le moment de la mise à jour de base. Ce sont des informations utiles, mais cela demande encore une enquête plus approfondie avant de sauter à des conclusions radicales.
Dans l’ensemble, cependant, l’approche est certainement meilleure que les tranches d’une journée. L’utilisation de la comparaison moyenne avant-après sur 7 jours tient compte à la fois des données historiques et de sept jours complets après la mise à jour. Et si nous élargissions cette comparaison de périodes de 7 jours à un ensemble de données plus large ? Voici notre liste originale de “gagnants” avec les nouveaux numéros :
Évidemment, c’est beaucoup à digérer dans un tableau, mais nous pouvons commencer à voir où la métrique avant et après (la différence relative entre les moyennes sur 7 jours) montre une image différente, dans certains cas, que soit le 1- vue jour ou 2 jours. Allons-y et reconstruisons le top 20 en fonction de la variation en pourcentage avant et après :
Certains des grands acteurs sont les mêmes, mais nous avons également de nouveaux arrivants, y compris des sites qui semblaient avoir perdu leur visibilité le premier jour, mais qui ont accumulé des gains sur 2 et 7 jours.
Jetons un coup d’œil à Parents.com, notre grand gagnant original (le gagnant ? Le plus gagnant ?). Le premier jour a montré un gain massif de +100 % (doublement de la visibilité), mais les chiffres du deuxième jour étaient plus modestes, et les gains avant et après s’élevaient à un peu moins de la moitié du gain du premier jour. Voici les sept jours avant et après :
Il est facile de voir ici que le saut du premier jour était une anomalie à court terme, basée en partie sur une baisse le 4 mai. La comparaison des moyennes sur 7 jours semble se rapprocher beaucoup plus de la vérité. Ceci est un avertissement non seulement pour les trackers algo comme moi, mais aussi pour les référenceurs qui pourraient voir que +100% et se précipiter pour le dire à leur patron ou client. Ne laissez pas une bonne nouvelle se transformer en une promesse que vous ne pourrez pas tenir.
Pourquoi continuons-nous à faire cela ?
S’il semble que j’appelle l’industrie, notez que je suis carrément dans ma ligne de mire ici. Il y a une énorme pression pour publier des analyses tôt, non seulement parce que cela équivaut au trafic et aux liens (franchement, c’est le cas), mais parce que les propriétaires de sites et les référenceurs veulent vraiment des réponses. Comme je l’ai écrit récemment, je pense qu’il y a un énorme danger à surinterpréter les pertes à court terme et à réparer les mauvaises choses. Cependant, je pense qu’il y a aussi un réel danger à surestimer les gains à court terme et à s’attendre à ce que ces gains soient permanents. Cela peut conduire à des décisions tout aussi risquées.
C’est de la merde ? Non, je ne pense pas, mais je pense qu’il est très facile de descendre du trottoir et de tomber dans la boue après une tempête, et au moins nous devons attendre que le sol sèche. Ce n’est pas facile dans un monde de Twitter et de cycles d’actualités 24 heures sur 24, mais il est essentiel d’avoir une vue sur plusieurs jours, d’autant plus que de nombreuses mises à jour d’algorithmes importantes se déroulent sur de longues périodes.
Quels chiffres doit-on croire ? En un sens, tous, ou du moins tous ceux que nous pouvons vérifier de manière adéquate. Aucun indicateur ne pourra jamais brosser un tableau complet, et avant de vous précipiter pour célébrer votre présence sur une liste de gagnants, il est important de franchir cette étape suivante et de vraiment comprendre les tendances historiques et le contexte de toute victoire.
Qui veut des données gratuites ?
Compte tenu de la portée de l’analyse, je n’ai pas couvert les perdants de la mise à jour principale de mai 2020 dans cet article ni dépassé le Top 20, mais vous pouvez télécharger les données brutes ici. Si vous souhaitez le modifier, veuillez d’abord en faire une copie. Les gagnants et les perdants sont sur des onglets séparés, et cela couvre tous les domaines avec au moins 25 classements dans notre ensemble de données MozCast 10K le 4 mai (un peu plus de 400 domaines).
