Le LDA est remarquablement bien corrélé aux SERP, mais beaucoup moins que ce que je pensais ou prétendais. La corrélation attendue (telle que mesurée par le coefficient de corrélation de Spearman attendu sur notre ensemble de données) est de 0,17 au lieu de 0,32. J’ai trouvé une erreur dans le calcul qui a produit le score de 0,32.
0,17 est un bon chiffre, mais il est gênant d’avoir précédemment prétendu qu’il était de 0,32.
Quelques implications :
Les déclarations que j’ai faites au cours des deux dernières semaines dans le sens de “LDA est plus important (comme nous le mesurons, yada yada) que les autres moyens que nous avons trouvés pour évaluer le contenu de la page, et encore plus surprenant que n’importe quelle métrique de lien unique comme le nombre de liaison des domaines racine” sont incorrectes. Une déclaration corrigée serait “LDA est mieux corrélé (yada yada) que d’autres moyens de mesurer la pertinence du contenu de la page pour une requête que nous avons examinée, mais moins corrélé (yada) que plusieurs façons de compter les liens.”
La modélisation des sujets est encore une autre part prometteuse du gâteau, mais la part n’est pas aussi grande que je le pensais. Ou revendiqué.
Description un peu longue du bogue et des preuves qu’il y avait :
J’examinais l’écart entre le graphique de Russ Jones, qui montrait à peu près une relation linéaire entre le classement SERP et la somme des scores LDA, et le graphique de Sean Ferguson, qui montrait un énorme bond pour le score LDA moyen, mais le reste assez aléatoire. Russ Jones avait basé son graphique sur notre outil. Sean a basé son graphique sur la feuille de calcul. Après l’avoir examiné un peu, il était assez clair que la source de l’écart était que l’outil et la feuille de calcul étaient incohérents.
J’ai essayé de reproduire quelques résultats des requêtes dans la feuille de calcul à l’aide de l’outil. Après environ une douzaine, il était clair que la feuille de calcul (par rapport à l’outil) avait des scores systématiquement plus élevés pour le premier résultat et des scores systématiquement inférieurs pour les autres résultats. C’est ce qu’on appelle techniquement le ah merde moment.
J’ai examiné le code qui diffère pour la page Web et la feuille de calcul, et j’ai trouvé un bogue qui explique cela. Lors de la génération des scores pour la feuille de calcul, les sujets de la requête étaient en grande partie remplacés par des sujets pour le premier résultat. Cela a fait que le premier résultat a été noté trop haut et que les résultats ultérieurs ont été notés plus bas.
En excluant le premier résultat de chaque SERP, le bogue a en fait rendu les résultats moins corrélés dans la feuille de calcul, mais l’aide pour obtenir le premier résultat correct était suffisante pour augmenter considérablement la corrélation.
Quelques réflexions connexes :
- Lorsque je publierai des statistiques à l’avenir, je continuerai d’essayer de m’assurer que nous fournissons suffisamment de données pour vérifier (ou dans ce cas, montrer une faille avec) le calcul. Bien que j’aie trouvé le bogue, ce n’était qu’une question de temps avant que quelqu’un d’autre essaie de reproduire quelques-unes des requêtes dans l’outil et voie la différence. La publication de données est donc un bon moyen de s’assurer que les erreurs sont découvertes.
- Le coefficient de corrélation réel attendu, 0,17, est toujours, du moins pour nous chez SEOmoz, excitant. Mais le plus petit nombre est moins excitant, et c’est vraiment vraiment nul. J’ai d’abord signalé la valeur attendue pour le coefficient à 0,32.
- Certains ont affirmé qu’il y avait quelque chose d’invalide dans la mesure de la corrélation en rapportant la valeur attendue des coefficients de corrélation de Spearman pour les SERP. Ils ont encore tort. Deux torts ne font pas un droit. Mon erreur de programmation n’invalide aucun des arguments que j’ai avancés sur les mathématiques derrière la méthodologie.
- Les erreurs sont nulles. Je me sens merdique à ce sujet. Je suis particulièrement désolé pour tous ceux qui se sont vraiment enthousiasmés à propos de 0.32.
Voici une feuille de calcul corrigée et ci-dessous un tableau corrigé. À des fins historiques, je laisserai disponible la feuille de calcul incorrecte. Je vais modifier les deux articles précédents du blog LDA pour inclure des liens vers celui-ci.
