5 façons de vous tromper lors de l’exécution de tests fractionnés SEO

Le split testing SEO est un concept relativement nouveau, mais il devient un outil essentiel pour tout SEO qui veut se dire data-driven. Les gens connaissent depuis longtemps les tests A/B dans le contexte de l’optimisation du taux de conversion (CRO), et l’application de ces concepts au référencement est une prochaine étape logique si vous voulez être sûr que ce sur quoi vous passez votre temps va en fait conduire à plus de trafic.

Chez Distilled, nous avons eu la chance de travailler avec notre propre outil de test SEO A/B, que nous utilisons pour tester les recommandations SEO depuis trois ans. Tout au long de cette période, nous avons pu affiner notre technique en termes de meilleure façon de configurer et de mesurer les tests fractionnés SEO.

Dans cet article, je vais décrire cinq erreurs dont nous avons été victimes au cours de trois années d’exécution de tests fractionnés SEO, et que nous voyons souvent d’autres commettre.

Qu’est-ce que le test SEO Split ?

Avant de plonger dans la façon dont cela est mal (et bien fait), cela vaut la peine de s’arrêter une minute pour expliquer ce qu’est réellement le test fractionné SEO.

Le test CRO est le point de comparaison évident. Dans un test CRO, vous comparez généralement une version de contrôle et une variante d’une page (ou d’un groupe de pages) pour voir laquelle est la plus performante en termes de conversion. Pour ce faire, affectez vos utilisateurs à différents compartiments et montrez à chaque compartiment une version différente du site Web.

Dans les tests fractionnés SEO, nous essayons de déterminer quelle version d’une page sera la plus performante en termes de trafic de recherche organique. Si nous devions adopter une approche de type CRO consistant à regrouper les utilisateurs, nous ne serions pas en mesure de tester l’effet, car il n’y a qu’une seule version de Googlebot, qui ne verrait qu’une seule version de la page.

Pour contourner ce problème, le fractionnement SEO teste les pages de compartiment à la place. Nous prenons une section d’un site Web dans laquelle toutes les pages suivent un modèle similaire (par exemple, les pages de produits sur un site Web de commerce électronique) et modifions la moitié des pages de cette section (pour tous les utilisateurs). De cette façon, nous pouvons mesurer l’impact du changement sur le trafic sur les pages de variantes, par rapport à une prévision basée sur les performances des pages de contrôle.

Pour plus de détails, vous pouvez lire le post de mon collègue Craig Bradford ici.

Erreurs courantes de test fractionné SEO

1. Ne pas laisser les tests fractionnés s’exécuter suffisamment longtemps

En tant que référenceurs, nous savons que cela peut prendre un certain temps pour que les changements que nous apportons prennent effet dans les classements. Lorsque nous exécutons un test fractionné SEO, cela est confirmé dans les données. Comme vous pouvez le voir dans le graphique ci-dessous, il faut une semaine ou deux pour que les pages de variantes (en noir) commencent à dépasser les prévisions basées sur les pages de contrôle (en bleu).

Il est tentant de paniquer après environ une semaine que notre test ne fasse pas de différence, et de l’annuler en tant que résultat neutre. Cependant, nous avons vu à maintes reprises que les choses changent souvent après une semaine ou deux, alors n’appelez pas trop tôt !

L’autre facteur à garder à l’esprit ici est que plus vous le laissez longtemps après cette période plate initiale, plus il est probable que vos résultats seront significatifs, vous aurez donc plus de certitude dans le résultat que vous trouverez.

Une note pour tous ceux qui lisent avec une formation CRO – j’imagine que vous criez sur votre écran qu’il n’est pas acceptable de laisser un test plus longtemps pour essayer d’atteindre une signification et que vous devez prédéterminer votre date de fin pour que les résultats soient être valide. Vous auriez raison pour un test CRO mesuré à l’aide de modèles statistiques standard. Dans le cas des tests fractionnés SEO, nous mesurons la signification à l’aide de méthodes statistiques bayésiennes, ce qui signifie qu’il est valide de continuer à exécuter un test jusqu’à ce qu’il atteigne la signification et que vous pouvez être confiant dans vos résultats à ce stade.

2. Tester des groupes de pages qui n’ont pas assez de trafic (ou qui sont dominées par un petit nombre de pages)

Les sites sur lesquels nous avons pu exécuter des tests fractionnés à l’aide de Distilled ODN ont énormément varié en termes de niveaux de trafic, tout comme les sections du site sur lesquelles nous avons tenté d’exécuter des tests fractionnés. Au cours de notre expérience avec les tests fractionnés SEO, nous avons généré une règle empirique : si une section de site de pages similaires ne reçoit pas au moins 1 000 sessions organiques par jour au total, il sera très difficile d’en mesurer amélioration de votre test fractionné. Si vous avez moins de trafic que cela vers les pages que vous testez, tout signal de résultat de test positif ou négatif serait dépassé par le niveau d’incertitude impliqué.

Au-delà de 1 000 sessions par jour, en général, plus vous avez de trafic, plus l’uplift que vous pouvez détecter est faible. Jusqu’à présent, la plus petite taille d’effet que nous ayons réussi à mesurer avec une confiance statistique est de quelques pour cent.

En plus d’avoir une bonne quantité de trafic dans la section de votre site, vous devez vous assurer que votre trafic est bien réparti sur un grand nombre de pages. Si plus de 50 % du trafic organique de la section du site se dirige vers trois ou quatre pages, cela signifie que votre test est vulnérable aux fluctuations des performances de ces pages qui n’ont rien à voir avec le test. Cela peut vous amener à conclure que le changement que vous testez a un effet alors qu’il est en fait influencé par un facteur non pertinent. En répartissant bien le trafic dans la section du site, vous vous assurez que ces fluctuations spécifiques à la page s’équilibreront et vous pouvez être plus sûr que tout effet que vous mesurez est authentique.

3. Regrouper les pages de manière arbitraire

Dans les tests CRO, la meilleure pratique consiste à affecter chaque utilisateur au hasard dans le groupe de contrôle et le groupe de variantes. Cela permet de s’assurer que les deux groupes sont essentiellement identiques, en raison du grand nombre d’utilisateurs qui ont tendance à être impliqués.

Dans un test fractionné SEO, nous devons appliquer plus de nuances à cette approche. Pour les sections de site avec un très grand nombre de pages, où le trafic est bien réparti entre elles, l’approche purement aléatoire peut bien conduire à un regroupement équitable, mais la plupart des sites Web ont des pages qui obtiennent plus de trafic et d’autres qui en obtiennent moins. En plus de cela, certaines pages peuvent avoir des tendances et des pics de trafic différents, surtout si elles servent un objectif saisonnier particulier.

Afin de s’assurer que les groupes de pages de contrôle et de variantes sont statistiquement similaires, nous les créons de manière à ce qu’ils aient :

• Niveaux de trafic total similaires
• Répartition similaire du trafic entre les pages en leur sein
• Tendances similaires du trafic au fil du temps
• Similitude dans une gamme d’autres mesures statistiques

4. Exécution de tests fractionnés SEO à l’aide de JavaScript

Pour de nombreux sites Web, il est très difficile d’apporter des modifications, et encore plus difficile de les tester. Une solution de contournement utilisée par de nombreux sites (et que j’ai recommandée dans le passé) consiste à déployer les modifications à l’aide d’un outil basé sur JavaScript, tel que Google Tag Manager.

Outre le fait que nous avons vu des pages qui s’appuient sur JavaScript fonctionner moins bien dans l’ensemble, un autre problème est que Google ne récupère pas systématiquement les modifications implémentées via JavaScript. Il ya deux raisons principales pour cela:

• Le processus d’exploration, d’indexation et de rendu des pages est un processus en plusieurs phases : une fois que Googlebot a découvert une page, il indexe d’abord le contenu dans le code HTML brut, puis il y a souvent un délai avant que tout contenu ou modification reposant sur JavaScript ne soit considéré.
• Même lorsque Googlebot a rendu la version JavaScript de la page, il a une coupure de cinq secondes après laquelle il arrête de traiter tout JavaScript. De nombreuses modifications JavaScript apportées aux pages Web, en particulier celles qui reposent sur des outils et des plug-ins tiers, prennent plus de cinq secondes, ce qui signifie que Google a cessé de prêter attention avant que les modifications n’aient eu la chance de prendre effet.

Cela peut entraîner des incohérences dans les tests. Par exemple, si vous modifiez le format de vos balises de titre à l’aide d’un plug-in JavaScript, il se peut que seul un petit nombre de vos variantes de pages aient ce changement repris par Google. Cela signifie que tout changement que vous pensez tester n’a aucune chance de démontrer un effet significatif.

5. Faire des pré/post tests au lieu de tests A/B

Lorsque les gens parlent familièrement de tests SEO, ils veulent souvent dire apporter une modification à une page individuelle (ou à l’ensemble d’un site) et voir si leur trafic ou leur classement s’améliorent. Il ne s’agit pas d’un test fractionné. Si vous faites juste un changement et que vous voyez ce qui se passe, votre analyse est vulnérable à tous les facteurs externes, y compris :

• Variations saisonnières
• Mises à jour de l’algorithme
• Activité concurrente
• Votre site gagne ou perd des backlinks
• Toute autre modification apportée à votre site pendant cette période

La seule façon de vraiment savoir si un changement a un effet est d’exécuter un test fractionné approprié – c’est la raison pour laquelle nous avons créé l’ODN en premier lieu. Afin de tenir compte des facteurs externes ci-dessus, il est essentiel d’utiliser un groupe de pages de contrôle à partir duquel vous pouvez modéliser les performances attendues des pages que vous modifiez et savoir avec certitude que votre modification est ce qui a un effet.

Et maintenant, à vous ! J’aimerais entendre ce que vous en pensez – quelles expériences avez-vous eu avec les tests fractionnés ? Et qu’as-tu appris ? Dites-le moi dans les commentaires ci-dessous !