Redirections 301 – Migration d’un nouveau site du développement vers le live

En tant qu’agence numérique, nous avons effectué de nombreux travaux de conception et de développement pour des clients du monde entier et avons rencontré de nombreux scénarios différents en cours de route. Cela implique généralement de créer un environnement de développement, de concevoir leur nouveau site Web et d’ajouter des redirections 301 à un fichier .htaccess pour s’assurer que les anciennes pages sont correctement redirigées vers de nouvelles pages lorsque leur nouveau site Web est mis en ligne.

Avec la plupart de nos clients, nous gérons leur site existant et leur nouveau site, nous faisons donc un effort conscient la plupart du temps pour nous assurer que les URL restent les mêmes, soit en dupliquant leur site en direct dans un environnement de développement et en créant le nouveau thème / site à partir de là comme base, ou cartographier les liens en cours de route.

Parfois, les clients souhaitent uniquement que les pages principales soient redirigées, ou uniquement les pages indexées dans la redirection Google. Cependant, certains clients veulent que chaque page soit redirigée par précaution, surtout si elles sont régulièrement postées sur des forums / blogs / e-mails où la page n’est pas nécessairement indexée, mais reçoit quand même du trafic.

Un de nos clients les plus récents a travaillé avec une autre agence et nous a approchés pour prendre en charge ce travail. Ils gèrent une boutique en ligne qui compte plus de 9000 produits en stock et sont en train de créer leur nouveau site Web à partir de rien depuis un certain temps. Au cours des derniers mois, nous avons établi une bonne relation avec le client et il nous a demandé de gérer la migration de son site de développement vers son site Web en direct.

Le client a fait un effort conscient pour essayer de conserver la même URL pour de nombreuses URL, mais n’était pas sûr du nombre d’URL différentes. Nous avions effectivement besoin de déterminer exactement quelles URL nécessitaient la mise en œuvre de redirections 301.

Comme ils avaient une si grande base de produits, il est important pour nous de nous assurer que tout est fait correctement et de nous assurer qu’aucune page ne reste avec des erreurs 404 causant beaucoup de problèmes pour eux à l’avenir.

J’ai commencé à faire des recherches sur Internet, à la fois sur le site Web de Google Webmaster et sur Moz pour voir si quelqu’un avait écrit un bon guide sur la migration de grands sites d’un environnement de développement vers un environnement en direct. Je n’ai rien trouvé qui le rende simple, j’ai donc mis en place le tutoriel suivant qui, je pense, est assez simple et devrait, espérons-le, aider les gens à l’avenir.

Malheureusement, il n’y a pas de moyen rapide d’effectuer ce travail. C’est un processus très lent, mais j’espère que ce guide vous aidera à accélérer le processus et à rassembler les liens en un seul endroit beaucoup plus rapidement. Le but de ce guide est d’aider les autres, mais aussi d’essayer d’affiner le didacticiel avec les commentaires qui, espérons-le, seront laissés en bas.

Je m’excuse d’avance si ce tutoriel confond quelqu’un. Il y a beaucoup de données à renommer / à réorganiser et à trouver et remplacer certains mots. Si quelque chose est déroutant, veuillez laisser un message en bas et je ferai de mon mieux pour l’expliquer plus clairement.

Respirez profondément et commençons !

Outils nécessaires

Pour mener à bien ce travail, nous devons utiliser les outils suivants :

• Intégrité pour Mac – Comme je suis un utilisateur de Mac (hourra !), vous pouvez parfois être limité par les outils de référencement disponibles. L’intégrité nous a permis d’explorer rapidement le site Web et de créer une liste de tous les liens sur le site Web de nos clients.

OU

• Xenu Link Sleuth – Si vous êtes un utilisateur de PC, je pense que Xenu Link Sleuth fera exactement le même travail que Integrity. Essentiellement, vous pouvez entrer une URL et explorer chaque page du site. Vous pouvez ensuite exporter les résultats et les filtrer à l’aide d’Excel pour supprimer toutes les pages dont vous n’avez pas besoin en masse.
• Microsoft Excel – Je n’ai jamais passé autant de temps dans Excel au fil des ans que cette semaine. C’est un outil absolument fantastique qui nous a permis de déterminer quelles URL n’étaient pas actuellement disponibles sur le site de développement, indiquant qu’elles avaient besoin de la mise en œuvre de redirections 301.

Où nous avons commencé…

En y pensant logiquement, nous avions besoin d’avoir une liste de toutes les URL du site en production et de toutes les URL du site de développement afin de savoir lesquelles n’existent pas sur le nouveau site. Intégrité pour Mac est une petite application qui vous permet d’explorer votre site Web pour chaque URL. Il vous permet de définir des paramètres et des règles de liste noire / liste blanche, ce qui est génial lorsque vous travaillez avec des magasins de commerce électronique tels que Magento.

Nous avons commencé à explorer le site web en direct avec les paramètres suivants :

Comme nous utilisons Magento, nous disions essentiellement à Integrity ne pas montrer us URLs contenant le mot ‘review’, ‘product_compare’, ‘productalert’, ‘cache’ dans l’URL. Lorsque nous l’avons exécuté à l’origine sans les paramètres de liste noire ajoutés, nous avons renvoyé plus de 35 000 liens.

Nous avons ensuite dit à Integrity d’ignorer les chaînes de requête, de ne pas vérifier les URL externes et d’ignorer les barres obliques finales.

À la fin du rapport, nous avions une liste de toutes les URL qui se trouvaient sur le site Web en direct. Simples !

Noter: Si vous ne savez pas quelles sont vos règles de liste noire, vous pouvez toujours lancer la recherche sans ajouter de règles et charger l’exportation complète dans Microsoft Excel. À partir de là, vous pouvez filtrer les informations à l’aide de filtres avancés et saisir des mots-clés tels que “product_compare”, puis supprimer les résultats en bloc. Lors de la première exploration d’un site Web, il n’est pas toujours évident de savoir quelles pages peuvent être extraites, ce qui pourrait être une meilleure option pour la plupart des gens.

Une fois que nous avons eu la liste des URL en direct, nous avons ouvert le fichier dans Excel, supprimé toutes les autres colonnes contenant des informations non pertinentes (Status, Appears On, Link Text), et effectué une commande de recherche et de remplacement (ctrl + f) sur l’URL pour remplacer l’URL en direct par l’URL du site de développement.

C’était aussi simple que de simplement remplacer:

http://www.votredomaine.com
avec
http://dev.votredomaine.com.

Une fois la commande rechercher et remplacer terminée, nous avions une liste d’URL de développement qui peuvent / peuvent ne pas exister sur le site de développement. Nous avons fait un ‘Enregistrer sous’ de ce fichier et l’avons appelé ‘liveurlsondevsite.csv’.

Étape 2 – Vérificateur de liens Scrapebox

Noter: J’avais besoin d’un PC pour cette section. Je n’ai jamais trouvé d’outil qui fonctionne pour Mac aussi bien que le vérificateur de liens Scrapebox fonctionne pour PC. Il y aura quelque chose de disponible, mais nous avons des systèmes Windows et Mac disponibles au bureau, donc ce n’était que préférence et facilité.

Une fois que nous avons eu un CSV contenant des liens qui peuvent/ne peuvent pas être sur notre site de développement, nous les avons copiés dans un fichier .txt et les avons chargés dans l’outil Scrapebox Link Checker (yourbacklinks.txt). Nous avons ensuite créé un deuxième fichier .txt contenant le texte “http://www.votredomaine.com” (enregistré sous le nom de vossites.txt) et l’avons ajouté dans la section “Vos sites” afin que scrapebox ait quelque chose à rechercher sur ces pages.

L’outil s’est ensuite assis là et a vérifié chaque lien un par un pour voir si la chaîne d’URL a été trouvée, introuvable ou erreur 404. En réalité, seules les pages qui renvoient une erreur 404 nous intéressent. En effet, si l’URL que vous avez saisie dans ‘vossites.txt’ était ‘trouvé’ ou ‘introuvable’, une page existait toujours sur cette URL. S’il affiche un 404, la page est en fait morte et nécessite la mise en place d’une redirection.

Nous avons ensuite exporté à la fois les “entrées trouvées” sous forme de fichier txt et les entrées “non trouvées” sous forme de fichier txt. Malheureusement, scrapebox ne vous permet pas d’exporter une liste de 404 pages, c’est là qu’Excel est utile.

Étape 3 – Excel

Noter: Cette section était la partie qui causait le plus de maux de tête. Je suis sûr qu’il y aura un moyen plus simple de réaliser cela, mais je dois souligner que je ne maîtrise pas Excel. Si quelqu’un a des suggestions sur la façon de rationaliser la formule suivante, veuillez la publier dans les commentaires.

À ce stade, nous avons une liste d’URL qui ont “trouvé” et “n’ont pas trouvé” une URL particulière sur la page. Nous n’avons cependant pas de liste des pages d’erreur 404 car il n’était pas possible de les exporter. Pour cette raison, nous devons exécuter un petit extrait de code dans Excel pour supprimer toutes les URL “trouvées et non trouvées” de la liste d’origine.

Ouvrez le ‘liveurlsondevsite.csv’ et assurez-vous que toutes les URL sont affichées dans la colonne A. Ici, vous devriez avoir toutes les URL qui pointent vers votre site de développement. Nous savons que bon nombre de ces URL seront cassées, donc à ce stade, nous essayons de supprimer tous les liens où une page en ligne a été trouvée.

Dans la colonne B, vous devez copier à la fois les listes d’URL “Found” et “Not Found” qui ont été exportées depuis scrapebox. Vous pouvez alors surligner l’ensemble de la colonne B seulement, et allez dans ‘Données > Supprimer les doublons’.

Dans la colonne C, nous pouvons alors ajouter la chaîne suivante :

=SI(OU(PAS(ESTERREUR(RECHERCHE(INDIRECT(“B2:B”&(COUNTA($B:$B))),$A2)))),””,$A2)

Lors de l’ajout du code ci-dessus, au lieu d’appuyer sur l’habituel “Entrée” lorsque vous tapez le code, vous devez appuyer sur :

• CTRL + MAJ + ENTRÉE (utilisateurs de PC)
• CMD + ENTRÉE (utilisateurs Mac)

Cela définira une formule matricielle dont vous pouvez dire qu’elle a fonctionné si elle enveloppe le code entre accolades comme celles-ci –> { }.

Merci à l’utilisateur ‘Peter L’ de Stacked Overflow pour ce morceau de code. J’ai passé beaucoup de temps à essayer de comprendre exactement comment faire cela sans succès.

Pointe: Cette section m’a pris beaucoup de temps à comprendre et j’ai continué à rencontrer des problèmes où les résultats ne s’affichaient pas. La formule ci-dessus utilise une recherche de type de correspondance d’expression et non une recherche de correspondance exacte. Dans ce cas, vous devez vous assurer que vous supprimez l’URL principale de la colonne A. Par exemple, si votre domaine est http://dev.votredomaine.com, vous devez vous assurer qu’il n’apparaît pas seul dans Colonne A (évidemment, chaque URL aura le préfixe http://dev.votredomaine.com mais il est important qu’elle n’apparaisse pas seule sans extensions). Toute personne connaissant Excel devrait être en mesure de corriger la formule et d’en faire une correspondance de chaîne exacte.

Une fois que vous avez compilé cette liste, vous pouvez trier la liste par ordre alphabétique pour supprimer tous les espaces vides qui apparaîtront.

À ce stade, vous disposez d’une liste d’URL qui ne fonctionneront pas sur le nouveau site Web une fois la boutique de développement transférée. Fondamentalement, ce sont des pages qui nécessitent la création de redirections 301 afin de s’assurer que lorsque le site échange, les gens ne consultent pas d’anciennes pages.

Création des redirections 301

Copiez cette nouvelle liste dans la colonne A d’un nouveau fichier Excel et attribuez-lui le titre “Ancienne URL”. À ce stade, vous devez exécuter à nouveau une commande de recherche et de remplacement et remplacer ‘http://dev.votredomaine.com’ par ‘http://www.votredomaine.com’.

Pointe: Pour vérifier que vous êtes sur les bonnes lignes, la liste de toutes les URL dans le fichier ci-dessus devrait fonctionner si le préfixe est l’URL en direct, mais échouer si le préfixe est l’URL de développement. Par exemple:

http://www.votredomaine.com/page1.html – devrait fonctionner

http://dev.votredomaine.com/page1.html – devrait 404

À ce stade, vous pouvez créer un en-tête dans la colonne B appelé “Nouvelle URL” et parcourir la liste manuellement pour trouver les URL vers lesquelles la page doit être redirigée. C’est un processus lent et malheureusement, il n’y a aucun moyen d’automatiser cela.

Une fois terminé, vous aurez deux colonnes, les anciennes URL de votre site Web (colonne A) et les nouvelles URL de votre site Web (colonne B).

Pour plus de sécurité, mettez en surbrillance toute la colonne B et exécutez à nouveau une commande Rechercher et remplacer et remplacez http://dev.votredomaine.com par http://www.votredomaine.com pour vous assurer qu’aucun de ces liens ne contient le URL de développement plus, cela sera bientôt par votre site Web en direct lorsque vous venez de transférer.

Nous pouvons alors commencer à créer le fichier pour votre .htaccess. Pour les besoins de ce tutoriel, je vais supposer que vous êtes sur un serveur basé sur Linux qui prend en charge .htaccess et la réécriture de mod. Si ce n’est pas le cas, je suggérerais de rechercher sur Google un moyen de créer des redirections 301 et de modifier les formules ci-dessous en conséquence.

Il existe un guide brillant sur Moz qui explique plus en détail les redirections 301. Cela peut être trouvé ici – https://moz.com/learn/seo/redirection – Je vais supposer que vous avez un peu de connaissances dans la modification des fichiers .htaccess et vous dire simplement comment créer les règles en masse.

Dans ce fichier Excel particulier, vous aurez maintenant les colonnes suivantes :

Colonne A – Ancienne URL

Colonne B – Nouvelle URL

Tout d’abord, nous devons supprimer l’URL du début de la colonne A. Mettez en surbrillance toute la colonne A et effectuez une commande de recherche et de remplacement pour trouver http://www.votredomaine.com avec (vide). Assurez-vous de ne pas supprimer le / à la fin du domaine.

À ce stade, la colonne A ne devrait contenir qu’une liste d’URL telles que :

/category/product-name.html

/category/product-name-two.html

/cmspage.html

etc…

Ne modifiez pas la colonne B, elle restera exactement la même qu’elle est actuellement. Celui-ci doit contenir l’URL complète.

Dans la colonne C, vous pouvez saisir le texte suivant :

RedirectMatch 301

La colonne D combinera alors les éléments suivants :

Colonne C + Colonne A + Colonne B

Pour ce faire, nous allons exécuter une formule simple qui est la suivante

=C1&” “&A1&” “&B1

Vous pouvez ensuite le copier tout au long de votre document jusqu’à la fin. Une fois cela fait, vous devriez avoir une liste de redirections .htaccess qui ressemble à ceci :

RedirectMatch 301 /category/product-name.html http://www.votredomaine.com/category-new/newproducturl.html

Une fois que vous avez terminé, il s’agit simplement de copier et coller toutes les lignes ci-dessus dans votre fichier .htaccess (testez-en un d’abord !), puis de gérer l’échange de votre développement réel vers le magasin en direct.

Des astuces:

• Gardez un œil sur votre compte Google Webmaster Tools, ils vous informeront de toutes les pages mortes qui apparaissent ou qui ont pu être manquées.
• Si vous déplacez votre nom de domaine actuel (par exemple : http://www.pinpointdesigns.co.uk vers http://www.votrenouveaudomaine.co.uk), indiquez à Google via votre compte d’outils pour les webmasters que vous transférez le domaine actuel. Nom. Ils peuvent ensuite mettre à jour leurs dossiers et gérer le changement avec vos 301.
• Testez tout en cours de route pour vous assurer que vous êtes sur la bonne voie. Lorsqu’il s’agit d’un grand nombre d’URL, il est facile de faire une erreur et de se retrouver sur la mauvaise voie. Testez vos 301, assurez-vous qu’ils fonctionnent et en cas de doute, explorez votre site Web dans son intégralité une fois les 301 en place pour vérifier qu’ils fonctionnent tous correctement.

J’espère que vous avez trouvé ce guide utile et j’ai hâte d’entendre tous vos commentaires ci-dessous !