Utilisation des logs de trafic

L'une des fonctionnalités majeures de redirection.io est de collecter tous les journaux de trafic de votre site web et de les afficher en temps réel dans l'interface graphique du gestionnaire redirection.io.

Grâce à ces logs, il est assez facile de repérer les problèmes et de réagir en créant des règles de redirection. Nous ne développerons pas ici l'importance d'utiliser les logs de votre site web pour comprendre s'il fonctionne bien - vous pouvez en découvrir plus sur nos fonctionnalités de logging et pourquoi l'exploitation de vos journaux de trafic est une bonne idée !

L'explorateur de logs

Une fois connecté au manager, ouvrez un projet et accédez à l'écran des journaux en cliquant sur l'item de menu "Logs".

L'interface de l'explorateur de logs est divisée en trois parties principales :

• une frise chronologique, qui permet de "zoomer" sur une période spécifique ;
• la liste des logs elle-même. Cette liste est hautement configurable. Par exemple, vous pouvez personnaliser les colonnes affichées (en utilisant le bouton colonnes ), leur ordre, le sens de tri, etc. La liste affiche également le nombre total de requêtes correspondant aux filtres pendant la période sélectionnée ;
• la barre de filtres, qui permet de rechercher des entrées de log spécifiques.

Filtrer les logs

L'explorateur de logs propose plusieurs filtres, qui permettent d'affiner les requêtes traitées par votre site web. Les filtres suivants sont disponibles :

• Code de statut : filtre les requêtes en fonction du code de statut de la réponse envoyée à l'utilisateur.
• Méthode HTTP : filtre en fonction de la méthode HTTP utilisée pour la requête.
• URL : filtre en fonction de l'URL complète
• Redirection : si une redirection a été effectuée, filtre sur la valeur de la Location de la redirection
• Agent utilisateur : filtre les requêtes en fonction de l'agent utilisateur spécifié.
• Type d'agent utilisateur : filtre sur la catégorie d'agent utilisateur. Nous classons les agents utilisateurs en 4 types : "Desktop", "Mobile", "Moteurs de recherche" et "Outils et divers".
• Réferrer : si le referrer a été fourni dans la requête, ce filtre vous permet de rechercher vos logs en fonction de ce référent.
• Type de contenu : étant donné que redirection.io enregistre tout le trafic de votre site web, vous pouvez filtrer en fonction du Content-Type de la réponse, pour afficher uniquement les pages web (text/html), par exemple.
• Est-ce qu'une règle a été appliquée ? permet de filtrer les requêtes qui ont déclenché l'exécution d'une règle redirection.io.
• Instance et Proxy sont deux filtres techniques, qui permettent aux utilisateurs de comprendre quelles instances d'agent redirection.io ont enregistré cette requête / réponse.

Il est possible de combiner les filtres pour isoler efficacement et précisément les requêtes. Par exemple, vous pouvez vérifier quelles erreurs 4xx Googlebot a trouvées au cours de la dernière journée, vérifier quelles pages sont les plus consultées avec un statut de succès sous le chemin /blog, etc.

Chaque filtre peut être utilisé de deux manières :

1. soit en sélectionnant une ou plusieurs valeurs spécifiques.
2. soit en définissant des conditions.

Notez le symbole de filtre rouge qui apparaît en haut à droite de chaque filtre lorsque ce filtre est activé : vous pouvez cliquer sur ce symbole de filtre pour désactiver ce filtre rapidement.

Rate-limiting, quota et durée de rétention des logs

Rate-limiting et quota des logs

Lorsque redirection.io est déployé sur un site web, il collecte tous les logs de trafic. Cependant, les données de trafic que nous sauvegardons sont soumises à une limite de quota avec une limite souple de 2 millions de lignes de log par jour et par projet. Nous autorisons les pics temporaires, mais nous supprimerons des lignes de log si votre trafic dépasse constamment cette limite.

Lorsque votre projet génère plus de logs que ce qui lui est autorisé, nous comptabiliserons toujours les requêtes associées et permettrons de les afficher dans le graphique de trafic, mais nous ne stockerons pas leurs informations détaillées. Vous vous retrouverez avec un graphique de trafic gris :

Les données analytiques affichées sur le tableau de bord du projet sont calculées sur la base de toutes les requêtes enregistrées, même celles qui ne sont pas stockées en raison du dépassement de quota quotidien.

Si vous avez besoin d'une vue exhaustive de vos données de trafic, nous pouvons augmenter la limite de quota de log de votre projet. Veuillez nous contacter pour faire augmenter votre quota quotidien de logs.

Rétention des logs

Les logs stockés sont conservés pendant une période appelée période de "rétention des logs". La durée de rétention dépend du plan du projet :

• les logs pour les projets "Free" sont conservés pendant 1 jour, ce qui signifie que vous pouvez obtenir et inspecter vos journaux de trafic détaillés pendant une journée.
• les logs pour les projets "Starter" sont conservés pendant 1 semaine (7 jours).
• les logs pour les projets "Pro" sont conservés pendant 2 semaines (14 jours).

Les projets Starter et Pro peuvent cependant voir leur période de rétention des logs prolongée sur demande - généralement, les audits SEO recommandent d'analyser les logs sur une fenêtre de crawl complète des moteurs de recherche, qui peut s'étendre jusqu'à deux mois.

Nous permettons de prolonger la conservation des logs vers plusieurs durées :

• 2 semaines
• 4 semaines
• 8 semaines
• 12 semaines

Les administrateurs de projets Starter peuvent prolonger la période de rétention des logs pour leur projet directement dans le manager, sous la section de facturation du projet :

1. Rendez-vous dans la section "billing" de votre projet ;
2. Cliquez sur le bouton "Ajouter de la rétention de logs" et validez la mise à niveau de la rétention ;
3. L'écran de billing est mis à jour et la rétention des logs du projet est actualisée. Désormais, les nouveaux logs seront disponibles pour la durée définie.

Les administrateurs de projets Pro peuvent simplement contacter leur gestionnaire de compte dédié redirection.io pour discuter de l'extension de la rétention des logs. Nous serons heureux de vous aider !

Prix du quota et de la rétention des logs

Si votre projet a besoin d'un quota quotidien plus élevé, ou d'une rétention des logs plus longue, ou des deux, nous pouvons adapter les limites de votre plan de projet. Stocker plus de logs, ou pendant une période plus longue, est un supplément qui est facturé comme une option à votre plan d'abonnement :

• une rétention des logs plus longue peut être configurée pour tous les plans payants (Starter et Pro)
• un quota quotidien plus élevé peut être configuré pour les plans Pro.

Veuillez nous contacter pour faire modifier votre quota et votre rétention. Nous n'avons pas de liste de prix publique pour les logs supplémentaires, car elle diminue en fonction du nombre maximal de lignes de journal stockées dans votre projet à un moment donné. À titre indicatif, les prix mensuels pour les logs supplémentaires varient de 0,54 € à 1,25 € par million de lignes de journal stockées. Par exemple :

• 10 millions de logs quotidiens, stockés pendant 1 mois, coûtent environ 0,83 € par million de lignes de logs.
• 2 millions de logs quotidiens, stockés pendant 2 mois, sont facturés environ 1,07 € par million de lignes de logs.

Regrouper les logs

Il est également possible de compter les requêtes qui correspondent à des critères donnés, en utilisant la fonctionnalité "Group By". Il est possible de grouper les requêtes par :

• URL : ceci affichera les 100 premières URL qui correspondent aux filtres sélectionnés, ainsi que le nombre de fois où de telles requêtes se sont produites
• Méthode HTTP : voyez quelles méthodes HTTP ont été utilisées sur votre site web, et combien de fois
• Code de statut : voyez la distribution des codes de statut à travers les réponses envoyées par votre plateforme web
• User-Agent : voyez quels agents utilisateurs accèdent le plus à votre site web
• Instance et Proxy permettent de voir la distribution des requêtes traitées par vos agents et proxies redirection.io.

Comme pour les filtres, il est possible de regrouper les requêtes en utilisant plusieurs groupes. Par exemple, regrouper à la fois par Méthode HTTP et Code de statut montrera quelles paires (méthode / code de statut) sont les plus fréquentes.

Exporter les entrées de log de trafic

Une fois que vous avez affiné la liste des logs à l'aide de filtres, et organisé les colonnes affichées comme vous le souhaitez, vous pouvez exporter cette liste sous forme de fichier CSV en utilisant le bouton "exporter", situé en haut à droite de la liste des logs :

Nous ne fixons pas de limite sur la quantité de lignes de log qui peuvent être exportées de cette manière, vous pouvez donc utiliser des outils externes pour traiter et analyser les statistiques de trafic.

Validation des requêtes Googlebot

La catégorisation des agents utilisateurs et des noms de bots qui effectuent des requêtes sur votre plateforme web est basée sur l'en-tête HTTP User-Agent, qui est très souvent falsifiée. De nombreux bots, spiders, crawlers ou outils automatisés, par exemple, utilisent l'agent utilisateur Googlebot, afin d'éviter d'être bloqués, au lieu d'utiliser leur vrai nom.

Par défaut, nous validons rigoureusement les requêtes qui contiennent l'agent utilisateur "Googlebot" et classons ces requêtes en trois groupes :

• Googlebot : les requêtes qui sont réellement effectuées par Googlebot sont marquées avec l'agent utilisateur Googlebot
• Googlebot (autre) : les requêtes effectuées par les systèmes Google, mais pas par Googlebot, sont étiquetées Googlebot (autre). Il peut s'agir par exemple d'Adsense, Adsbot, Feedfetcher, etc. Google fournit une liste de ses robots
• Googlebot (incertain) : les requêtes effectuées sur votre site web et annoncées comme "Googlebot", mais non effectuées par Google, sont marquées comme provenant de Googlebot (unsure). C'est un euphémisme pratique pour éviter de marquer ces requêtes comme "fausses". Si vous recevez de nombreuses requêtes avec un tel agent utilisateur, il est possible qu'un crawler falsifie l'agent utilisateur Googlebot pour explorer votre site web.

Cette fonctionnalité de validation de Googlebot n'est pas conçue pour des raisons de sécurité, mais pour vous aider à analyser plus précisément comment Google explore votre site web, et à vous assurer qu'une analyse axée sur les requêtes effectuées par Googlebot est parfaitement précise, exhaustive et non "polluée" par d'autres requêtes de robots.

Log views

Bien que l'explorateur de logs de redirection.io soit réactif et offre de nombreuses options, il peut devenir fastidieux de répéter la même configuration de filtres pour obtenir un rapport spécifique. Par exemple, si votre routine hebdomadaire de surveillance de site web inclut la vérification des erreurs HTTP trouvées par les moteurs de recherche, vous pourriez en avoir un peu assez de configurer encore et encore les filtres "Code de statut" et "Type d'agent utilisateur".

Dans de tels cas, nous proposons la fonctionnalité de "log views" (littéralement, une "Vue de journaux"). Les log views sont un moyen de sauvegarder une configuration spécifique de colonnes, de filtres et de groupes et de pouvoir recharger cette configuration en un minimum de clics.

redirection.io propose par défaut plusieurs "log views" pré-définies qui répondent aux cas d'utilisation d'analyse courants, mais vous pouvez définir vos propres log views, qui seront enregistrées au niveau du projet afin que vous et vos collègues puissiez les utiliser.

Pour charger une log view existante :

1. Cliquez sur la petite roue dentée en haut à droite de la barre de filtres
2. puis, cliquez sur le bouton "Charger une autre vue".

Cela ouvre le panneau latéral des "log views", où vous pouvez voir toutes les vues disponibles.

Chaque log view contient plusieurs informations :

• le nom de la vue
• une description
• un graphique d'occurrences
• les propriétés de la vue (colonnes affichées, critères de tri, filtres, groupes, etc.)
• une barre de boutons d'actions, qui permet de :
  • sélectionner et charger la vue en utilisant le bouton de validation
  • marquer la vue comme "favorite" en utilisant le bouton étoile
  • les vues personnalisées, qui ont été créées spécifiquement dans votre projet, peuvent être modifiées et supprimées à l'aide des boutons appropriés.

Les vues marquées comme "favorites" sont affichées en haut de la liste, par ordre alphabétique. Elles peuvent également être chargées directement en survolant la roue dentée en haut de la barre de filtres.

Le panneau de détails d'une entrée de log

Lorsqu'aucun groupe n'est actif, les lignes de log peuvent être cliquées pour afficher tous les détails de la requête dans un panneau latéral dédié :

Ce panneau contient des raccourcis utiles :

• le bouton "ouvrir" permet d'ouvrir le lien dans une nouvelle fenêtre :
• le bouton "créer une règle" ouvre le formulaire de création de règle, avec l'"URL source" déjà remplie avec cette URL :
• passez la souris sur les propriétés du journal : cela permet d'activer un filtre sur cette valeur, pour afficher toutes les requêtes similaires :

Partage public des logs

Parfois, vous pouvez vouloir partager des logs avec un tiers, mais vous ne voulez pas lui donner accès à l'ensemble de votre projet redirection.io. Dans ce cas, vous pouvez utiliser la fonctionnalité de "partage public de logs", qui vous permet de rendre publique une vue spécifique de vos logs sur une période donnée.

Pour partager des logs :

1. allez dans la section "Journaux" de votre projet, puis cliquez sur le bouton "Partager" en haut à droite de la page.
2. Dans le panneau latéral qui s'ouvre, vous pouvez indiquer la raison pour laquelle vous partagez ces journaux, afin de les différencier de tout autre partage que vous pourriez effectuer.
3. Une fois le partage validé, vous obtiendrez un lien unique que vous pourrez partager avec la personne de votre choix.

Cette vue est en lecture seule, et la personne à qui vous partagez le lien ne pourra apporter aucune modification à votre projet redirection.io. Il n'est pas possible de modifier la période des logs partagés, de changer les filtres qui leur sont appliqués ou les colonnes affichées. En d'autres termes, les logs partagés sont affichés tels qu'ils étaient au moment du partage.

De plus, les logs partagés sont accessibles à toute personne possédant le lien, il est donc recommandé de ne pas partager de données sensibles de cette manière.

Les partages actifs de logs sont visibles sur la page "Logs partagés publiquement" de votre projet, où vous pouvez les consulter ou les supprimer à tout moment. Les partages sont automatiquement supprimés 7 jours après l'expiration de la période de partage.