Utilisation des logs de trafic

L'une des fonctionnalités majeures de redirection.io est de collecter tous les journaux de trafic de votre site web et de les afficher en temps réel dans l'interface graphique du gestionnaire redirection.io.

Grâce à ces logs, il est assez facile de repérer les problèmes et de réagir en créant des règles de redirection. Nous ne développerons pas ici l'importance d'utiliser les logs de votre site web pour comprendre s'il fonctionne bien - vous pouvez en découvrir plus sur nos fonctionnalités de logging et pourquoi l'exploitation de vos journaux de trafic est une bonne idée !

L'explorateur de logs

Une fois connecté au manager, ouvrez un projet et accédez à l'écran des journaux en cliquant sur l'item de menu "Logs".

L'interface de l'explorateur de logs est divisée en trois parties principales :

• une frise chronologique, qui permet de "zoomer" sur une période spécifique ;
• la liste des logs elle-même. Cette liste est hautement configurable. Par exemple, vous pouvez personnaliser les colonnes affichées (en utilisant le bouton colonnes ), leur ordre, le sens de tri, etc. La liste affiche également le nombre total de requêtes correspondant aux filtres pendant la période sélectionnée ;
• la barre de filtres, qui permet de rechercher des entrées de log spécifiques.

Filtrer les logs

L'explorateur de logs fournit plusieurs filtres, qui permettent d'affiner la liste des requêtes affichées dans l'explorateur de logs. Les filtres suivants sont disponibles :

• filtres de requêtes : ces filtres sont basés sur les propriétés de la requête
  • Method : filtre basé sur la méthode HTTP utilisée pour la requête.
  • URL : filtre basé sur l'URL complète
  • Host : filtre basé sur l'hôte de la requête
  • Path : filtre basé sur le chemin de la requête. Ceci est utile pour afficher toutes les requêtes faites vers une section spécifique de votre site web, en ignorant les paramètres de requête. Par exemple, vous pouvez filtrer toutes les requêtes faites sur /products/ en utilisant le filtre de chemin avec la valeur /products/, ce qui affichera toutes les requêtes faites à des URL telles que /products/?category=shoes ou /products/item-123.
  • Paramètres de requête : indique si l'URL de la requête contient ou non des paramètres de requête.
• filtres client : ces filtres sont basés sur les propriétés du client ayant effectué la requête
  • User agent : filtre les requêtes en fonction du User-Agent spécifié.
  • User agent type : filtre sur la catégorie de User-Agent. Nous catégorisons les User-Agents sous 4 types : Clients de bureau, Clients mobiles, Moteurs de recherche, Outils et divers.
  • IP Address : filtre basé sur l'adresse IP du client ayant effectué la requête. Notez que la collecte des adresses IP doit être activée dans les paramètres de votre projet pour que ce filtre soit disponible.
  • Country : filtre basé sur le pays d'origine de la requête.
  • Client type : filtre basé sur le type de connexion du client ayant effectué la requête. Nous catégorisons les types de clients sous 4 types : cellulaire (2G/3G/4G/5G), résidentiel, professionnel et fournisseur d'hébergement.
  • Referrer : si le Referrer a été fourni dans la requête, ce filtre vous permet de rechercher vos logs en fonction de ce referrer.
  • Referrer Host : filtre basé sur l'hôte du Referrer.
• filtres de réponse : ces filtres sont basés sur les propriétés de la réponse
  • Status code : filtre les requêtes en fonction du code de statut de la réponse envoyée à l'utilisateur.
  • Redirection : si une redirection a été effectuée, filtre sur la valeur de la Location de la redirection.
  • Content-Type : comme redirection.io enregistre tout le trafic de votre site web, vous voudrez peut-être filtrer en fonction du Content-Type de la réponse, pour afficher uniquement les pages web (text/html), par exemple.
  • Duration : filtre basé sur la durée de la requête, c'est-à-dire le temps nécessaire pour traiter la requête et renvoyer une réponse au client.
• filtres techniques : ces filtres sont basés sur des informations techniques liées à redirection.io
  • Instance : permet de comprendre quelle instance d'agent redirection.io a enregistré cette requête/réponse.
  • Proxy : filtre basé sur le proxy qui a traité la requête.
  • Has rule : permet de filtrer les requêtes qui ont déclenché l'exécution d'une règle redirection.io.
  • Segment : ce filtre est disponible si des segments sont définis dans votre projet. Dans ce cas, ce filtre vous permet de filtrer les requêtes qui correspondent à un segment spécifique.

Filtres de requête

Plusieurs filtres s'appliquent à l'URL de la requête. Bien qu'ils puissent sembler redondants, chacun a ses propres cas d'utilisation :

• Le filtre URL permet de filtrer en fonction de l'URL complète, y compris le protocole, l'hôte, le chemin et les paramètres de requête. Ceci est utile lorsque vous souhaitez filtrer les requêtes faites à une URL spécifique, y compris les paramètres de requête dans un ordre spécifique.
• Le filtre Host permet de filtrer les requêtes basées uniquement sur l'hôte. Ceci est utile lorsque vous souhaitez filtrer les requêtes faites à un domaine ou un sous-domaine spécifique, quel que soit le chemin ou les paramètres de requête.
• Le filtre Path permet de filtrer les requêtes basées uniquement sur le chemin. Ceci est utile lorsque vous souhaitez filtrer les requêtes faites à une page spécifique de votre site web, quel que soit l'hôte ou les paramètres de requête.

Bien souvent, l'utilisation du filtre Path est le moyen le plus efficace de filtrer les requêtes faites à une section spécifique de votre site web, car il ignore les paramètres de requête (en particulier les paramètres de requête marketing) et se concentre uniquement sur le chemin.

Filtres de réponse

Le filtrage basé sur les propriétés de la réponse est un moyen très puissant d'analyser votre trafic, car il se concentre sur le résultat des requêtes, c'est-à-dire ce que les utilisateurs et les moteurs de recherche ont effectivement reçu.

Par exemple, vous pouvez utiliser le filtre Status code pour identifier rapidement toutes les erreurs 4xx et 5xx sur votre site web, ou pour vérifier quelles pages sont les plus accédées avec un statut de succès (2xx).

Vous pouvez également utiliser le filtre Content-Type pour vous concentrer sur des types de contenu spécifiques, tels que les pages HTML, les images ou les réponses d'API (application/json).

Le filtre Duration est également très utile pour identifier les requêtes lentes qui peuvent avoir un impact sur l'expérience utilisateur de votre site web. Vous pouvez filtrer les requêtes qui ont pris plus de temps qu'un seuil spécifique (par exemple, 2 secondes) pour identifier les problèmes de performance potentiels. Survoler les valeurs de durée dans la liste des logs fournit également des informations supplémentaires sur les différentes phases du traitement de la requête : "redirection.io duration" (temps pris par redirection.io pour analyser la requête) et "backend duration" (temps pris par votre serveur backend pour traiter la requête).

Combiner les filtres

Il est possible de combiner des filtres pour isoler les requêtes de manière efficace et précise. Par exemple, vous pouvez vérifier quelles erreurs 4xx Googlebot a trouvées au cours de la dernière journée, vérifier quelles pages sont les plus visitées avec un statut de succès sous le chemin /blog, etc.

Chaque filtre peut être utilisé de deux manières :

1. soit en sélectionnant une ou plusieurs valeurs spécifiques.
2. soit en définissant des conditions.

Notez le symbole de filtre rouge qui apparaît en haut à droite de chaque filtre lorsque celui-ci est activé : vous pouvez cliquer sur ce symbole de filtre pour désactiver ce filtre rapidement.

Utiliser les filtres efficacement nécessite de comprendre votre trafic et de savoir ce que vous recherchez. N'hésitez pas à expérimenter différentes combinaisons de filtres pour obtenir les informations dont vous avez besoin à partir de vos logs. Vous pouvez également charger des vues de logs prédéfinies qui incluent des combinaisons de filtres spécifiques pour vous aider à démarrer rapidement.

Rate-limiting, quota et durée de rétention des logs

Rate-limiting et quota des logs

Lorsque redirection.io est déployé sur un site web, la solution collecte tous les logs de trafic. Cependant, les données de trafic que nous sauvegardons sont soumises à une limite de quota qui dépend de votre plan : 10 000 lignes de log/jour pour le plan Free, 100 000 pour le Starter et 2 millions pour le Pro. Nous autorisons les pics temporaires, mais nous supprimerons des lignes de log si votre trafic dépasse constamment cette limite.

Lorsque votre projet génère plus de logs que ce qui lui est autorisé, nous comptabiliserons toujours les requêtes associées et permettrons de les afficher dans le graphique de trafic, mais nous ne stockerons pas leurs informations détaillées. Vous vous retrouverez avec un graphique de trafic gris :

Les données analytiques affichées sur le tableau de bord du projet sont calculées sur la base de toutes les requêtes enregistrées, même celles qui ne sont pas stockées en raison du dépassement de quota quotidien.

Si vous avez besoin d'une vue exhaustive de vos données de trafic, nous pouvons augmenter la limite de quota de log de votre projet. Veuillez nous contacter pour faire augmenter votre quota quotidien de logs.

Rétention des logs

Les logs stockés sont conservés pendant une période appelée période de "rétention des logs". La durée de rétention dépend du plan du projet :

• les logs pour les projets "Free" sont conservés pendant 1 jour, ce qui signifie que vous pouvez obtenir et inspecter vos journaux de trafic détaillés pendant une journée.
• les logs pour les projets "Starter" sont conservés pendant 1 semaine (7 jours).
• les logs pour les projets "Pro" sont conservés pendant 2 semaines (14 jours).

Les projets Starter et Pro peuvent cependant voir leur période de rétention des logs prolongée sur demande - généralement, les audits SEO recommandent d'analyser les logs sur une fenêtre de crawl complète des moteurs de recherche, qui peut s'étendre jusqu'à deux mois.

Nous permettons de prolonger la conservation des logs vers plusieurs durées :

• 2 semaines
• 4 semaines
• 8 semaines
• 12 semaines

Les administrateurs de projets Starter peuvent prolonger la période de rétention des logs pour leur projet directement dans le manager, sous la section de facturation du projet :

1. Rendez-vous dans la section "billing" de votre projet ;
2. Cliquez sur le bouton "Ajouter de la rétention de logs" et validez la mise à niveau de la rétention ;
3. L'écran de billing est mis à jour et la rétention des logs du projet est actualisée. Désormais, les nouveaux logs seront disponibles pour la durée définie.

Les administrateurs de projets Pro peuvent simplement contacter leur gestionnaire de compte dédié redirection.io pour discuter de l'extension de la rétention des logs. Nous serons heureux de vous aider !

Prix du quota et de la rétention des logs

Si votre projet a besoin d'un quota quotidien plus élevé, ou d'une rétention des logs plus longue, ou des deux, nous pouvons adapter les limites de votre plan de projet. Stocker plus de logs, ou pendant une période plus longue, est un supplément qui est facturé comme une option à votre plan d'abonnement :

• une rétention des logs plus longue peut être configurée pour tous les plans payants (Starter et Pro)
• un quota quotidien plus élevé peut être configuré pour les plans Pro.

Veuillez nous contacter pour faire modifier votre quota et votre rétention. Nous n'avons pas de liste de prix publique pour les logs supplémentaires, car elle diminue en fonction du nombre maximal de lignes de journal stockées dans votre projet à un moment donné. À titre indicatif, les prix mensuels pour les logs supplémentaires varient de 0,54 € à 1,25 € par million de lignes de journal stockées. Par exemple :

• 10 millions de logs quotidiens, stockés pendant 1 mois, coûtent environ 0,83 € par million de lignes de logs.
• 2 millions de logs quotidiens, stockés pendant 2 mois, sont facturés environ 1,07 € par million de lignes de logs.

Regrouper les logs

Il est également possible de compter les requêtes qui correspondent à des critères donnés, en utilisant la fonctionnalité "Group By". Il est possible de grouper les requêtes par :

• URL : ceci affichera les 100 premières URL qui correspondent aux filtres sélectionnés, ainsi que le nombre de fois où de telles requêtes se sont produites
• Méthode HTTP : voyez quelles méthodes HTTP ont été utilisées sur votre site web, et combien de fois
• Code de statut : voyez la distribution des codes de statut à travers les réponses envoyées par votre plateforme web
• User-Agent : voyez quels agents utilisateurs accèdent le plus à votre site web
• Instance et Proxy permettent de voir la distribution des requêtes traitées par vos agents et proxies redirection.io.

Comme pour les filtres, il est possible de regrouper les requêtes en utilisant plusieurs groupes. Par exemple, regrouper à la fois par Méthode HTTP et Code de statut montrera quelles paires (méthode / code de statut) sont les plus fréquentes.

Enregistrement des adresses IP

Par défaut, redirection.io n'enregistre pas les adresses IP des visiteurs. Cependant, cela peut être activé par les administrateurs d'un projet dans les paramètres du projet :

Une fois l'enregistrement des adresses IP activé, vous disposerez de plus de filtres dans l'écran des logs, avec la possibilité de géolocaliser les visiteurs. Les projets utilisant un plan "Pro" ont également accès à une carte de trafic :

Exporter les entrées de log de trafic

Une fois que vous avez affiné la liste des logs à l'aide de filtres, et organisé les colonnes affichées comme vous le souhaitez, vous pouvez exporter cette liste sous forme de fichier CSV en utilisant le bouton "exporter", situé en haut à droite de la liste des logs :

Nous ne fixons pas de limite sur la quantité de lignes de log qui peuvent être exportées de cette manière, vous pouvez donc utiliser des outils externes pour traiter et analyser les statistiques de trafic.

Validation des requêtes Googlebot

La catégorisation des agents utilisateurs et des noms de bots qui effectuent des requêtes sur votre plateforme web est basée sur l'en-tête HTTP User-Agent, qui est très souvent falsifiée. De nombreux bots, spiders, crawlers ou outils automatisés, par exemple, utilisent l'agent utilisateur Googlebot, afin d'éviter d'être bloqués, au lieu d'utiliser leur vrai nom.

Par défaut, nous validons rigoureusement les requêtes qui contiennent l'agent utilisateur "Googlebot" et classons ces requêtes en trois groupes :

• Googlebot : les requêtes qui sont réellement effectuées par Googlebot sont marquées avec l'agent utilisateur Googlebot
• Googlebot (autre) : les requêtes effectuées par les systèmes Google, mais pas par Googlebot, sont étiquetées Googlebot (autre). Il peut s'agir par exemple d'Adsense, Adsbot, Feedfetcher, etc. Google fournit une liste de ses robots
• Googlebot (incertain) : les requêtes effectuées sur votre site web et annoncées comme "Googlebot", mais non effectuées par Google, sont marquées comme provenant de Googlebot (unsure). C'est un euphémisme pratique pour éviter de marquer ces requêtes comme "fausses". Si vous recevez de nombreuses requêtes avec un tel agent utilisateur, il est possible qu'un crawler falsifie l'agent utilisateur Googlebot pour explorer votre site web.

Cette fonctionnalité de validation de Googlebot n'est pas conçue pour des raisons de sécurité, mais pour vous aider à analyser plus précisément comment Google explore votre site web, et à vous assurer qu'une analyse axée sur les requêtes effectuées par Googlebot est parfaitement précise, exhaustive et non "polluée" par d'autres requêtes de robots.

Log views

Bien que l'explorateur de logs de redirection.io soit réactif et offre de nombreuses options, il peut devenir fastidieux de répéter la même configuration de filtres pour obtenir un rapport spécifique. Par exemple, si votre routine hebdomadaire de surveillance de site web inclut la vérification des erreurs HTTP trouvées par les moteurs de recherche, vous pourriez en avoir un peu assez de configurer encore et encore les filtres "Code de statut" et "Type d'agent utilisateur".

Dans de tels cas, nous proposons la fonctionnalité de "log views" (littéralement, une "Vue de journaux"). Les log views sont un moyen de sauvegarder une configuration spécifique de colonnes, de filtres et de groupes et de pouvoir recharger cette configuration en un minimum de clics.

redirection.io propose par défaut plusieurs "log views" pré-définies qui répondent aux cas d'utilisation d'analyse courants, mais vous pouvez définir vos propres log views, qui seront enregistrées au niveau du projet afin que vous et vos collègues puissiez les utiliser.

Pour charger une log view existante :

1. Cliquez sur la petite roue dentée en haut à droite de la barre de filtres
2. puis, cliquez sur le bouton "Charger une autre vue".

Cela ouvre le panneau latéral des "log views", où vous pouvez voir toutes les vues disponibles.

Chaque log view contient plusieurs informations :

• le nom de la vue
• une description
• un graphique d'occurrences
• les propriétés de la vue (colonnes affichées, critères de tri, filtres, groupes, etc.)
• une barre de boutons d'actions, qui permet de :
  • sélectionner et charger la vue en utilisant le bouton de validation
  • marquer la vue comme "favorite" en utilisant le bouton étoile
  • les vues personnalisées, qui ont été créées spécifiquement dans votre projet, peuvent être modifiées et supprimées à l'aide des boutons appropriés.

Les vues marquées comme "favorites" sont affichées en haut de la liste, par ordre alphabétique. Elles peuvent également être chargées directement en survolant la roue dentée en haut de la barre de filtres.

Le panneau de détails d'une entrée de log

Lorsqu'aucun groupe n'est actif, les lignes de log peuvent être cliquées pour afficher tous les détails de la requête dans un panneau latéral dédié :

Ce panneau contient des raccourcis utiles :

• le bouton "ouvrir" permet d'ouvrir le lien dans une nouvelle fenêtre :
• le bouton "créer une règle" ouvre le formulaire de création de règle, avec l'"URL source" déjà remplie avec cette URL :
• passez la souris sur les propriétés du journal : cela permet d'activer un filtre sur cette valeur, pour afficher toutes les requêtes similaires :

Partage public des logs

Parfois, vous pouvez vouloir partager des logs avec un tiers, mais vous ne voulez pas lui donner accès à l'ensemble de votre projet redirection.io. Dans ce cas, vous pouvez utiliser la fonctionnalité de "partage public de logs", qui vous permet de rendre publique une vue spécifique de vos logs sur une période donnée.

Pour partager des logs :

1. allez dans la section "Journaux" de votre projet, puis cliquez sur le bouton "Partager" en haut à droite de la page.
2. Dans le panneau latéral qui s'ouvre, vous pouvez indiquer la raison pour laquelle vous partagez ces journaux, afin de les différencier de tout autre partage que vous pourriez effectuer.
3. Une fois le partage validé, vous obtiendrez un lien unique que vous pourrez partager avec la personne de votre choix.

Cette vue est en lecture seule, et la personne à qui vous partagez le lien ne pourra apporter aucune modification à votre projet redirection.io. Il n'est pas possible de modifier la période des logs partagés, de changer les filtres qui leur sont appliqués ou les colonnes affichées. En d'autres termes, les logs partagés sont affichés tels qu'ils étaient au moment du partage.

De plus, les logs partagés sont accessibles à toute personne possédant le lien, il est donc recommandé de ne pas partager de données sensibles de cette manière.

Les partages actifs de logs sont visibles sur la page "Logs partagés publiquement" de votre projet, où vous pouvez les consulter ou les supprimer à tout moment. Les partages sont automatiquement supprimés 7 jours après l'expiration de la période de partage.