Suivre ses logs en temps réel pour monitorer sa migration SEO

Nils Talibart est consultant SEO indépendant depuis 2012. Il accompagne des grands comptes (La Poste, Brico Dépôt, SeLoger) et des PME dans l'optimisation de leur visibilité.

Vous venez de procéder à une migration ou à une refonte de votre site web, ou vous avez mis en production des modifications majeures ? En tant que responsable SEO ou consultant SEO, vous avez tout naturellement effectué vos vérifications habituelles :

• Crawl de la nouvelle version de votre site pour vérifier que tous les éléments SEO sont bien en place et optimisés (title, meta description, balisage, maillage interne, etc.) et que vos pages ne renvoient pas d’erreurs 4XX ou 5XX
• Crawl de votre plan de redirection pour vous assurer que vos anciennes URL sont bien redirigées vers les nouvelles URL équivalentes

Vous avez si besoin créé les tickets nécessaires pour que les problèmes relevés soient corrigés dès que possible.

Et maintenant ? Vous vous apprêtez à attendre les premières données qui indiqueront si votre migration ou refonte est un succès : indicateurs de trafic naturel pour dégager une tendance, données Google Search Console (clics et impressions, prise en compte et indexation de vos nouvelles URL), évolution de l’indice de visibilité de votre outil SEO favori, etc.

Pourtant, sans présager du succès ou non de votre migration, il est possible dès la mise en ligne de celle-ci de remonter des premières données qui peuvent vous indiquer si vous êtes sur la bonne voie :

• Est-ce que vos utilisateurs et/ou les robots d’exploration des moteurs de recherche tombent sur des pages en erreur ?
• Est-ce que Googlebot va bien explorer vos nouvelles pages ? Prend bien en compte vos redirections ?

Ces données, ce sont celles de l’analyse de logs en temps réel. Les avoir en direct peut vous permettre de tout de suite corriger le tir si jamais votre migration prenait une mauvaise direction - sans attendre plusieurs jours la remontée des informations sur Google Search Console ou votre outil d’analytics. Découvrez comment en tirer parti, et mettre en place si besoin les corrections nécessaires, sans être dépendant de votre IT.

Qu’est-ce que l'analyse de logs ?

L'analyse de logs consiste à exploiter les fichiers journaux (log files) générés par votre serveur web. Concrètement, à chaque requête - qu'elle provienne d’un utilisateur ou d'un robot d’exploration comme Google -, une ligne est enregistrée. Cette ligne contient des informations comme l’URL demandée, le code réponse obtenu (200, 301, 404, etc.), la date et l'heure, l'user-agent, ou encore  l'adresse IP et le temps de réponse.

Les logs offrent ainsi une donnée brute, et vous montrent tout ce qui passe réellement par votre serveur, là où un outil comme Google Analytics propose une vision orientée utilisateur (sessions, conversions, etc.), avec des données potentiellement partielles (absence de consentement, mauvaise implémentation) et retraitées.

Pourquoi l'analyse des logs est importante en SEO

Monitorer l'exploration de son site par Googlebot et les crawlers IA

En SEO, analyser vos logs serveur est la seule façon de vérifier que Googlebot - le robot d'exploration de Google - explore bien les pages de votre site web, et plus concrètement :

• De s'assurer qu'il crawle bien toutes vos URLs (et lesquelles sont ignorées)
• De contrôler qu'il n'obtient pas de code réponse d’erreur (erreurs 404 ou 500 notamment)
• De vérifier la fréquence à laquelle il explore chacune de vos URL, les différentes sections de votre site ou vos différents templates de page

C’est bien sûr valable pour les robots d’exploration des autres moteurs de recherche (Bingbot pour Bing par exemple), mais aussi pour les crawlers IA (ChatGPT, Perplexity, Mistral, etc.). D’ailleurs, analyser vos logs est la seule manière fiable aujourd’hui pour identifier les pages de votre site qui ont servi de source dans les réponses des LLM.

Surveiller et optimiser son budget de crawl

L'analyse de logs est également importante en SEO pour s'assurer que son budget de crawl soit bien optimisé, en particulier pour les sites à forte volumétrie de pages. En effet, compte tenu du nombre considérable de pages en ligne sur internet, Google ne peut pas tout explorer ni tout indexer. Le budget de crawl fait donc référence au temps et aux ressources dont Google dispose pour explorer un site. Il est déterminé par : 

• La limite de la capacité d’exploration (crawl capacity limit), calculée par Google pour faire en sorte d’explorer votre site sans surcharger vos serveurs (nombre maximal de connexions simultanées parallèles, délai entre deux pages explorées)
• Le besoin d’exploration (crawl demand), qui varie en fonction de la taille de votre site, de sa fréquence de mise à jour, de la qualité de vos contenus, de leur pertinence, de la popularité de vos pages, etc.

Pour optimiser ce budget de crawl, votre rôle en tant que responsable SEO est d'orienter Googlebot vers les pages utiles de votre site, et d'éviter qu'il ne gaspille ses ressources à explorer des URL inutiles (contenu dupliqué, contenu sans importance, etc.). L'analyse de logs vous permet précisément de voir les URL explorées par Googlebot, et donc si votre budget d'exploration est bien optimisé.

Croiser les données logs / crawl

Enfin, croiser vos logs avec vos données de crawl vous permet d'obtenir un tas d’informations utiles pour votre SEO :

• Pages orphelines (explorées par Google mais non rattachées à la structure de votre site par le maillage interne)
• Taux d’exploration selon la profondeur des pages
• Taux d’exploration par section et/ou template de page
• Taux de pages actives et inactives par section et/ou template de page
• Écarts entre crawl et trafic naturel
• Etc.

Généralement, les données de logs sont analysées sur les 30 derniers jours, et comparées à un crawl récent sur la période.

Pourquoi utiliser l'analyse des logs en temps réel

Dans le cas de l'analyse des logs en temps réel, les données sont cette fois étudiées en direct - autrement dit, sur une plage de temps beaucoup plus courte (quelques minutes, voire quelques heures). On ne regarde pas ce qu'il s’est passé hier ou les jours précédents, mais ce qu’il se passe en ce moment même sur votre site.

Vous pouvez utiliser un outil comme redirection.io pour analyser vos logs de trafic en temps réel, avec un avantage : vous n'avez pas à importer vos fichiers de logs par FTP (File Transfer Protocol). Une fois redirection.io installé, l'outil enregistre tout votre trafic HTTP et le rend exploitable en direct.

L'analyse des logs en direct est particulièrement utile dans de nombreux cas :

• Lors de la migration ou la refonte d’un site web
• Lors de la mise en production d’un nouveau site, ou de nouvelles fonctionnalités sur un site
• Lors de la mise en ligne de nouveaux contenus

Dans le cas d'une migration en particulier, les données de logs en temps réel vous permettent ainsi :

• De vérifier que vos utilisateurs ou les robots d’exploration des moteurs de recherche n'accèdent pas à des URL en erreur 4XX ou 5XX - sauf à ce qu’il s'agisse de pages pour lesquelles vous avez volontairement renvoyé un code réponse 404 ou 410 par exemple
• De voir si Googlebot vient bien explorer vos nouvelles URLs et prend bien en compte vos redirections
• De vous assurer que d'anciennes URL n’ont pas été oubliées dans votre plan de redirection en monitorant le code réponse qu’elles renvoient

L'intérêt ? Réagir immédiatement en cas de problème identifié. En effet, là où il vous faudra attendre a minima plusieurs heures pour voir les premières données de clics et d'impressions remonter sur Google Search Console, et même plusieurs jours pour avoir des données sur vos URL explorées ou indexées, l'analyse de logs en direct vous permet de voir tout de suite remonter les premiers codes réponses en erreur. Et ainsi de mettre en place au plus tôt les correctifs nécessaires, de façon à minimiser l'impact sur votre trafic naturel et votre chiffre d’affaires.

Analyser ses logs en direct avec redirection.io

La fonctionnalité d’analyse de logs de trafic HTTP en temps réel de redirection.io répond parfaitement à ce besoin. De plus, les fonctionnalités de redirection.io vous permettent généralement de mettre en place les corrections nécessaires en cas de problème identifié, et ce de façon autonome, sans être dépendant de l'IT, puisque vous pouvez directement depuis l'interface :

• Mettre en place des redirections
• Modifier votre fichier robots.txt
• Renvoyer un code réponse 410 (par exemple) sur certaines URL
• Mettre en noindex certaines pages
• Etc.

Un atout non négligeable lorsque vous devez sinon attendre plusieurs semaines la prochaine mise en production qui embarquera le correctif des problèmes identifiés, et que votre trafic naturel commence en attendant à décliner…

Changement de domaine

Vous avez migré d’un domaine à un autre ? redirection.io vous permet :

• De mettre en place les redirections nécessaires sur votre ancien domaine
• De monitorer en direct leur bonne prise en compte, notamment par Googlebot
• De monitorer en temps réel le trafic et les codes réponses sur votre nouveau domaine - en particulier le crawl de Googlebot

Pour ces deux derniers points, il vous suffit pour cela d'aller sur l'interface, sur Logs > Logs list, puis de créer une vue filtrée sur chaque domaine (par exemple en filtrant sur l’hôte).

Dans le cas de l'ancien domaine, vous pouvez ensuite filtrer sur l'user-agent Googlebot pour vous assurer que ce dernier prenne bien compte vos redirections - si besoin en filtrant en plus sur le code réponse pour isoler les URL en 301 ou non.

Dans le cas du nouveau domaine, après avoir filtré sur l'hôte, vous pouvez aussi utiliser le filtre de code réponse pour exclure toutes les URL qui ne répondent pas en 200, vérifier toutes vos URL qui sont en erreur (et en redirection), et ainsi vous assurer que ce comportement est attendu.

Migration ou refonte

De la même façon, en cas de migration ou de refonte de votre site, vous pouvez créer plusieurs log views pour filtrer sur vos anciennes URL et vos nouvelles URL, et ainsi vous assurer en temps réel que certaines de vos URLs ne répondent pas en erreur, que Googlebot vient bien explorer vos nouvelles URLs, etc.

Vous pouvez par exemple filtrer sur vos nouvelles URL, puis sur celles qui répondent uniquement en 4XX ou 5XX, et grouper par URL de façon à prioriser celles les plus consultées (par vos utilisateurs et/ou par les robots d’exploration).

Vous pouvez alors réagir immédiatement pour corriger vos pages en erreur ou en cas d’autre problème identifié en créant en un clic une règle de redirection via l'interface de redirection.io.

Pratique pour identifier des pages qui auraient échappé à votre vigilance lors de la migration, et corriger le problème pour éviter toute perte de trafic naturel ou mauvaise expérience utilisateur. Le tout en toute autonomie, sans devoir attendre que le ticket créé auprès de votre IT soit traité.

Suivi du crawl de Googlebot

Vous venez de migrer votre site web, de faire une mise en production, ou de mettre en ligne de nouveaux contenus, et vous souhaitez voir comment Googlebot réagit aux changements effectués ? Rien de plus simple : en filtrant sur l'user-agent Googlebot, vous voyez en direct les pages explorées par le robot de Google.

Vous pouvez ainsi créer une log view dédiée et la sauvegarder, et vérifier si Googlebot vient explorer vos nouveaux contenus - sans attendre plusieurs jours l’actualisation des données Google Search Console.

De la même façon, vous pouvez de nouveau filtrer les données pour vous concentrer sur certaines sections (ou templates de page) de votre site, certains codes réponses, ou grouper par URL.

Monitoring de vos optimisations GEO

Vous optimisez vos contenus pour qu'ils soient cités dans les réponses des LLM comme ChatGPT ou Perplexity ? Vous souhaitez voir si vos dernières modifications ont été payantes ? Vos logs serveurs vous permettent d'identifier les URL de votre site qui ont servi de source à ces LLM, en filtrant en particulier sur les user-agents “user-triggered”, c'est-à-dire ceux qui viennent visiter une page en réponse à une action utilisateur.

Il s'agit, par exemple, de ChatGPT-User (pour ChatGPT), de Perplexity-User (pour Perplexity), de Claude-User (pour Claude) ou encore de MistralAI-User (pour Mistral AI).

Un filtre sur ces user-agents, combiné à un filtre sur les URLs, vous permet d’identifier si les contenus de votre choix (soit une page en particulier, soit une section du site - selon votre filtrage) que vous venez d’optimiser ou de mettre en ligne sont visités par ces crawlers "user-triggered", et donc s'ils servent de source à ChatGPT et autres LLM.

Détection d’incidents SEO ou techniques

Combiner logs de trafic en temps réel et notifications sur redirection.io vous permet aussi d'être alerté en cas d'incident ou d'anomalie de trafic. Il vous suffit en effet de créer la log view de votre choix, de la sauvegarder, puis de configurer une notification si jamais cette log view contient un certain nombre d'éléments sur la période de temps retenu (ou en cas de variation anormale).

Vous pouvez par exemple :

• Créer une log view en filtrant par code réponse sur les erreurs 500 pour être notifié si leur nombre explose
• Créer une log view avec des exemples d’URL à surveiller qui doivent répondre en 301 (redirections à monitorer), et être notifié si une de ces URL renvoie un code réponse autre
• Etc.

Cette fonctionnalité est particulièrement utile pour être averti d’un incident ou d’une anomalie sur le site, en lien ou non avec une mise en production.

Conclusion

Effectuer une migration ou mettre en ligne une refonte comporte toujours une part de risque pour votre SEO. Comment celle-ci va-t-elle être perçue par Google ? Comment va évoluer votre trafic naturel ?

Avec l'analyse de logs en temps réel, vous pouvez - dès la mise en production de votre migration ou refonte - monitorer en direct les codes réponses, voir comment Googlebot réagit aux changements effectués en regardant comment il crawle vos URL, etc. Et ainsi réagir pour éviter ou limiter la perte de trafic naturel, sans avoir à attendre que les données remontent sur vos outils habituels (Google Search Console en particulier).

Avec redirection.io, pas besoin d'importer vos logs via FTP. Une fois l'outil installé, tout votre trafic HTTP est enregistré et est consultable en temps réel. Surtout, vous pouvez directement depuis l'interface créer des règles pour corriger les problèmes éventuels. En toute autonomie, sans être dépendant de votre IT, et sans avoir à attendre plusieurs semaines que vos tickets de bug soient traités.