METTRE À JOUR: 07/09/2012 16h00 Pacifique
Nous avons résolu nos problèmes de service de classement-
-
Nous recueillons les classements d’aujourd’hui comme prévu.
-
L’outil de difficulté des mots clés est de nouveau opérationnel.
-
Nous remplissons complètement les données des 5 jours précédents (du dimanche au jeudi), mais il nous manquera les classements du vendredi 31 ou du samedi 1er. Les données d’aujourd’hui seront complètes d’ici la fin de la journée et le remblai sera terminé d’ici le lundi 10.
-
Rank Tracker n’est toujours pas fonctionnel, mais nous travaillons dur pour le réparer.
Au fait, nous recrutons, si vous ou quelqu’un que vous connaissez souhaitez aider à développer nos produits, écrivez-nous.
Au cours des 3 dernières semaines, vous avez peut-être remarqué une certaine instabilité avec nos outils de classement en raison de données manquantes et de messages d’erreur indiquant que certains outils ne sont pas disponibles. Vendredi, nous avons rencontré un problème totalement différent et sans rapport avec nos données de classement. Nous nous attendons à avoir un pronostic mis à jour pour ce problème d’ici demain, mais nous voulons vous informer sur ce qui s’est passé chez Mozplex pour causer ces problèmes en premier lieu. Pour être aussi transparent que possible sur ce qui s’est passé et sur la façon dont nous travaillons pour résoudre le problème, vous trouverez ci-dessous un résumé de ce qui a été impacté, du travail que nous avons fait pour remettre les choses en marche et de ce que nous ferons à l’avenir pour faire le système plus résilient.
Problèmes de base de données ? Ce qui donne?
Notre sous-système de données SERP (qui s’exécute sur la technologie de stockage distribué Riak) a eu quelques nœuds défaillants. Pour en savoir plus sur Riak, voici un article de blog que nous avons écrit lorsque nous avons fait le changement l’année dernière. Le sous-système est conçu pour gérer de telles défaillances ; cependant, nous n’avons pas géré l’échec correctement.
Lors du processus de réparation de notre stockage Riak, nous avons perturbé certaines de nos files d’attente pour le traitement des données SERP. Compte tenu de la croissance de Moz au cours des six derniers mois et du nombre de SERP traités dans le cluster Riak, Roger ne peut plus se remettre des pannes en temps opportun. Fin 2011, nous pouvions récupérer le système en 3 à 8 heures et être rattrapés sur le traitement des données en quelques jours. Cette fois-ci, il nous a fallu six jours pour rétablir le système et encore deux semaines pour rattraper les données manquantes et les états de données incohérents qui en résultaient.
Services impactés
Riak stocke nos données SERP (données de classement), donc tous les systèmes qui en dépendent ont été impactés. Les systèmes impactés comprennent :
-
Rapports personnalisés
-
Rapports sur la page
-
Classements historiques CSV
-
Classements
-
Rapports sur la difficulté des mots clés et l’analyse SERP complète
Travaux terminés pour remettre les choses en marche
Nos équipes de développement ont travaillé dur pour restaurer toutes les données manquantes et incohérentes après le dysfonctionnement de Riak. À un niveau élevé, voici ce que nous avons fait pour que le classement et toutes ses dépendances fonctionnent à nouveau :
-
Création de scripts pour réparer les différents états cassés des travaux
-
Ajout de plus de nœuds pour accélérer le traitement et aider en cas de pannes futures
-
Surveillance améliorée pour obtenir des informations sur les pannes et les goulots d’étranglement des performances
-
Amélioration des performances dans plusieurs domaines
Travail futur
Il a fallu 20 jours à l’équipe pour se remettre complètement des problèmes en cascade résultant du problème initial. Nous savons que ce délai est hautement inacceptable et nous nous excusons de ne pas pouvoir récupérer plus rapidement. Nous sommes maintenant en train de veiller à ce que les mêmes pannes ne se reproduisent pas à l’avenir et de réduire les temps d’arrêt au cas où quelque chose comme cela se reproduirait. Le travail a commencé sur plusieurs améliorations pour nous aider à atteindre nos objectifs, notamment :
-
Amélioration des contrôles de santé et de la surveillance des seuils des nœuds Riak et des dépendances des sous-systèmes
-
Ajouter plus de nœuds Riak
-
Renforcement de la surveillance et des alarmes de la file d’attente et de l’exécution des tâches
-
Créer une matrice de dépendance qui indique ce qui est impacté quand quelque chose tombe en panne
-
Amélioration de la tolérance aux pannes dans certaines parties du système
-
Fournir une capacité de service excédentaire supplémentaire
-
Créer une documentation sur les opérations du système pour faire face aux scénarios d’urgence et comment récupérer
Alors, quelle est l’ETA actuelle ?
Malheureusement, comme vous pouvez probablement le constater, nous avons beaucoup de travail à faire pour ramener le classement à 100 %. Nous n’avons pas encore d’ETA. Cependant, nous espérons avoir une date solide en place d’ici demain et mettrons à jour le message dès que nous le saurons. Encore une fois, nous nous excusons pour l’échec et les problèmes qu’il a causés. Nous mettons tout en œuvre pour que cela ne se reproduise plus !
Si vous avez besoin d’une alternative immédiate pour la vérification du classement, essayez d’utiliser le vérificateur de classement sur SEOBook.
Pour les mises à jour de statut sur ce problème, veuillez consulter notre page Classements sur le centre d’aide.
