Boucle de retroaction Archives - DeliverNow

Gmail : Feedback Loop et page postmaster, configuration et prise en main étape par étape

Depuis de nombreuses années, Google avec Gmail est à la pointe de l’innovation avec son webmail. Là où le géant de Mountain View s’est surtout distingué de la concurrence, c’est au niveau de la qualité de son traitement du spam, mais aussi des innovations successives au niveau ergonomie (Labels, catégorisation des emails avec les onglets, bouton de désinscription dans l’interface, …).

Sur un autre plan, celui des professionnels de la délivrabilité et des annonceurs, comparé à d’autres webmails (et surtout à Hotmail de Microsoft), les outils sont longtemps restés pauvres. Pas de boucle de rétroaction (feedback loop), pas d’information sur la réputation, … Mais depuis un peu plus d’un an, la situation a radicalement changée.

Testé depuis fin 2013 chez certains routeurs et annoncé (mais toujours en beta et sur invitation) au MAAWG en février 2014, le feedback loop de Gmail a depuis quelques semaines été ouvert à l’ensemble des annonceurs via son tout nouveau site « Postmaster ».

À l’instar d’autres plateformes du même genre, postmaster.google.com offre la possibilité aux expéditeurs d’email de recevoir des informations techniques et de réputation concernant leurs envois. Dans cet article, nous allons tenter de décrire étape par étape comment configurer et prendre en main ces nouveaux outils.

Préalable : SPF, DKIM et ReverseDNS

Cela n’est pas à proprement parler un besoin spécifique aux Google Postmaster Tools, mais il est impératif que vos emails soient correctement configurés au niveau authentification et identification. C’est indispensable, sinon Google risque de ne pas prendre vos emails en compte pour générer les données disponibles dans l’interface Postmaster. Cela veut dire :

  • Que vous ayez un enregistrement SPF valide et référençant l’ensemble des IPs émettant vos emails;
  • Que vos emails soient correctement signés DKIM avec un nom de domaine que vous maîtrisez (accès au serveur DNS) ;
  • Que vos IPs aient un ReverseDNS (enregistrement PTR) valide, utilisant de préférence un domaine utilisé dans vos signatures DKIM.

Ajouter un domaine à l’interface Postmaster

Afin d’ajouter un domaine il faudra vous connecter à postmaster.google.com et cliquer sur le bouton « + » situé en bas à droite de l’écran. L’écran suivant apparaîtra :

image001

Entrez le nom de domaine que vous désirez configurer et appuyez sur suivant. Sur l’écran suivant, Google vous affichera un enregistrement TXT que vous devrez aller renseigner au niveau de votre serveur DNS.

image002

La mise à jour de certains serveur DNS peut prendre jusqu’à 24h, il se peut que vous deviez attendre avant d’avoir accès et de pouvoir cliquer sur le bouton « Verify » (vous pouvez évidemment quitter l’écran et revenir plus tard).

Si vous utilisez plusieurs sous-domaines pour vos différents programmes email marketing, vous pouvez évidemment ajouter chacun d’eux ainsi que le domaine principal. Cela vous permettra de vérifier les performances de vos différents domaines d’une part, et d’en avoir une vue synthétisée via le domaine principal.

Note : Ces opérations d’ajout d’enregistrements TXT dans vos DNS sont à répéter pour chaque utilisateur Google désirant avoir accès aux stats. Si vous êtes nombreux à avoir besoin d’un accès et/ou que vous possédez de nombreux sous-domaines, il est souvent plus efficace de créer un compte Google dédié auquel l’ensemble de vos collaborateurs pourront se connecter.

Configurer vos emails afin d’alimenter la boucle de rétroaction

La configuration de votre feeback loop Gmail se fait indépendamment de la configuration de votre interface Postmaster. Afin que vos données remontent dans ce dernier, c’est au niveau de l’en-tête de vos emails que vous aurez une intervention à réaliser.

Il faut donc ajouter une ligne « Feedback-ID: » dans vos en-tête d’email. Ce feedback-id est constitué de 3 champs variables (et optionnels) séparés par « : » et d’un SenderID qui devra être stable à travers l’ensemble de vos envois. Le SenderID doit faire entre 5 et 15 caractères.

Par exemple :
Feedback-ID : VarA:VarB:VarC:MyBrand

Les champs variables peuvent être utilisés afin de catégoriser vos envois :

  • Nom d’un programme marketing
  • Type d’envoi (newsletter, notification, transactionnel)
  • Segment de la base de donnée

Dans l’interface Postmaster, vous pourrez ainsi suivre les taux de plainte pour chaque variable lorsque ceux-ci sont inhabituels.

Voici quelques exemples utilisés par des annonceurs connus :

  • LinkedIn – Feedback-ID: accept_invite_04:linkedin
  • Twitter – Feedback-ID: 0040162518f58f41d1f0:15491f3b2ee48656f8e7fb2fac:none:twitterESP
  • Amazon.com : Feedback-ID: 1.eu-west-1.kjoQSiqb8G+7lWWiDVsxjM2m0ynYd4I6yEFlfoox6aY=:AmazonSES

Note : L’objectif de Gmail n’est pas de vous fournir l’identité des plaignants sur vos campagnes mais un indicateur afin de détecter les campagnes, programmes, … problématiques. Si vous tentez d’introduire de l’identification du plaignant de le Feedback-ID, Google risque de purement et simplement vous couper l’accès à ces infos.

Google n’aide pas les spammeurs

Avant d’aller plus loin et de vous détailler les différentes fonctionnalités de la plateforme Postmaster, il est important de signaler que Google ne désire pas aider les spammeurs. Les différentes données présentes dans l’outil sont proposées uniquement aux expéditeurs ayant de bons scores de réputation et respectant les bonnes pratiques édictées Gmail : https://support.google.com/mail/answer/81126

Les différents tableaux de bord disponibles

Taux de spam

C’est un des indicateurs les plus importants que vous propose l’outil Postmaster de Gmail. Vous aurez l’occasion, par nom de domaine ou sous-domaine, de réaliser un suivi du pourcentage de plaintes spam jour par jour.

image003

Réputation des IPs

La réputation des IPs sur Gmail s’exprime sur 4 niveaux différents : Bad, Low, Medium et High.

image005

En cliquant sur une zone de couleur dans le graph (par exemple ici la zone orange de « Medium » du 31 août), vous verrez apparaître la liste des IPs concernées par ce niveau de réputation.

Réputation des domaines

Comme pour la réputation des IPs, les domaines sont classés en 4 catégories : Bad, Low, Medium et High.

image007

Feedback Loop

Si vous avez correctement configuré vos Feedback-Ids, vous devriez avoir des données dans ce dashboard. Pour rappel, l’objectif est de segmenter vos différents programmes email afin de pouvoir facilement détecter les sources de plaintes par rapport à vos pratiques marketing. Par exemple, en utilisant un identifiant de source d’acquisition de vos adresses, vous serez rapidement capable de détecter vos partenaires d’acquisition générant de nombreuses plaintes.

Authentification

Ce graph vous présent le pourcentage d’emails ayant validé les différentes technologies d’authentification :

  • SPF : Pourcentage des emails ayant validé SPF sur le domaine en question par rapport à l’ensemble des emails envoyés pour ce domaine.
  • DKIM : Pourcentage des emails ayant validé DKIM sur le domaine en question par rapport à l’ensemble des emails envoyés pour ce domaine qui possèdent une signature DKIM.
  • DMARC : Pourcentage d’emails ayant passé l’alignement DMARC par rapport aux emails ayant validé SPF et DKIM sur le domaine.

image010

Chiffrement

Il s’agit du pourcentage d’emails en entrée et en sortie utilisant le chiffrement TLS.

image011

Erreurs de livraison

Ce graph montre le pourcentage de trafic ayant été rejeté temporairement ou définitivement à l’entrée des serveurs SMTP de Gmail. Ce tableau peut être extrêmement intéressant lorsque vous réalisez une phase de warmup ou lorsque vous êtes victime d’un incident technique.

image013

Migration du feedback loop de Yahoo! le 29 juin

yahoo-emailCe mardi, l’ensemble des utilisateurs du feedback loop de Yahoo! ont reçu un email les avertissant de la migration prochaine (le 29 juin) de l’infrastructure. Celle-ci repose depuis début 2009 sur une solution de Return Path et sera désormais géré directement par Yahoo!.

Dans son email aux utilisateurs de son feedback loop, Yahoo! propose de sauvegarder les informations existantes contenues dans la plateforme Return Path : Domaines configurés, sélecteurs, adresse des feedbacks, adresses de confirmation.

Pour autant, le service ne devrait pas s’arrêter et si vous recevez actuellement des rapports de plainte spam de la part de Yahoo!, vous devriez continuer à les recevoir dans le même format et à la même adresse.

Une autre question que nous pouvons nous poser, et qui n’a actuellement pas de réponse, Yahoo! va-t-il rester dans le programme de certification proposé par Return Path ? DeliverNow vous tiendra évidemment informé si nous recevons une réponse à cette question.

Pour plus d’informations sur le feedback loop de Yahoo!, rendez-vous sur postmaster.yahoo.com

Laposte.net intègre la boucle de rétroaction de plaintes de Signal Spam

logo-lapostenetTout comme Orange et SFR il y a un peu plus d’un an, c’est maintenant au tour de Laposte.net d’intégrer la boucle de rétroaction de plaintes agrégée opérée par Signal Spam.

Pour rappel cette boucle de rétroaction permet aux membres de Signal Spam de recevoir chaque jour un fichier contenant le volume de plaintes généré chaque jour pour une adresse IP. Ce fichier prend la forme d’un document au format CSV contenant plusieurs colonnes : la date, le nom de la source (SFR, Orange, Laposte), l’adresse IP concernée et le nombre de plaintes reçues.

Beaucoup d’évolutions chez Laposte.net ces derniers mois

Ces derniers mois, nous avons eu l’occasion d’observer de très nombreuses évolutions du côté de Laposte.net. La première, et sans doute la plus important, est l’évolution dans les règles de filtrage utilisées. Tout comme SFR, Laposte.net exploite les technologies de Vaderetro et tout comme SFR (voir notre article à ce sujet), les filtres sont plus restrictifs depuis quelques semaines. On voit notamment que le taux de plainte est mieux pris en compte.

Une autre évolution de Laposte.net est la migration vers un nouveau gestionnaire pour leur interface de webmail. Tout comme chez Free, c’est Zimbra qui est utilisé, ce qui change significativement l’expérience utilisateur.

Enfin, on pourra noter que Laposte.net est le premier opérateur français de webmail à intégrer DMARC dans ses enregistrements DNS. Pour l’instant, la « policy » est à « none », c’est-à-dire que Laposte.net n’impose pas encore de rejet des emails envoyés en son nom. L’opérateur est probablement dans une phase d’observation avant de passer à un réglage plus restrictif comme l’ont fait avant lui AOL ou Yahoo!.

Note : Les informations de la boucle de rétroaction sont disponibles uniquement pour les membres de Signal Spam. Pour plus d’informations sur l’adhésion, rendez-vous ici.

Le nombre de spamtraps Orange par adressse IP disponible via SignalSpam

Orange_logoDepuis ce mois de février, il est possible de recevoir le nombre de spamtraps Orange touchés par adresse IP et par jour. Après la mise en place de la boucle de rétroaction en septembre, il s’agit d’un nouvel effort conjoint entre Signal Spam et Orange afin de fournir plus de données aux expéditeurs d’email.

Qu’est-ce qu’un spamtrap ?

Un spamtrap est une adresse email utilisée par les FAI et les organisations de lutte contre le spam afin de détecter les mauvais expéditeurs et les spammeurs. Il en existe deux sortes.

Les spamtraps recyclés ou spamtraps d’inactifs

Il s’agit d’adresses emails qui ont été créées par de vrais utilisateurs. Elles ont été actives pendant un certain temps et ont ensuite été fermées par le FAI ou le webmail. Après leur fermeture, ces adresses ont renvoyé pendant un certain temps un code d’erreur SMTP indiquant clairement que l’adresse était invalide. Ensuite, ces adresses sont réactivées et utilisées comme spamtrap.

Les FAI et webmails considèrent qu’il est du devoir d’un expéditeur d’email de nettoyer régulièrement sa base de donnée. L’utilisation de spamtraps recyclés est donc un bon moyen de détecter les expéditeurs qui ne traitent pas correctement les réponses SMTP pour désactiver les adresses invalides.

Les « vrais » spamtraps

À la différence des spamtraps recyclés, ces adresses email n’ont jamais été communiquées à quiconque. Ce sont des adresses qui ont été créées de toute pièce afin de détecter les spammeurs. Ces adresses peuvent avoir été créées sur de grands FAI ou webmails, mais il peut aussi s’agir d’adresses sur des noms de domaine exclusivement destinés à recueillir le spam. Pensez par exemple à des robots/spammeurs qui pourraient générer toutes les adresses info@ et contact@ de tous les noms de domaine existant, ceux-ci seront détectés par ces spamtraps.

Pourquoi Orange désire partager cette information ?

Dans le cas de l’information remontée par Orange, on parle exclusivement de la catégorie des spamtraps “recyclés”. Par contre, il n’est évidemment pas question de pouvoir identifier les spamtraps en question.

L’objectif pour Orange est de donner une information aux routeurs membres de Signal Spam afin qu’ils puissent détecter les mauvais expéditeurs. En sachant combien de spamtraps Orange auront été touchés par une adresse IP, le routeur pourra réguler plus efficacement l’activité de ses clients.

feedbackloop_spamtraps_orange

En pratique, comment ça fonctionne ?

L’information sur le nombre de spamtraps Orange touchés par jour et par adresse IP est disponible dans le même fichier que la boucle de rétroaction de plaintes agrégées. Si vous recevez déjà les plaintes, il suffit de faire une demande à Signal Spam et une colonne supplémentaire sera ajoutée dans le fichier CSV de statistiques mise à disposition automatiquement .

Ces informations sont disponibles uniquement pour les membres de Signal Spam. Pour plus d’informations sur l’adhésion, rendez-vous ici.

Signal Spam : Après Orange, SFR lance sa boucle de rétroaction de plaintes agrégées

logo_SFREn septembre, nous vous annoncions sur ce blog la mise à disposition par Orange d’une boucle de rétroaction de plaintes agrégées. Depuis peu, SFR a décidé, toujours via Signal Spam, de donner lui aussi accès au nombre de plaintes générées par vos adresses IP.

À eux deux, SFR et Orange couvrent plus de la moitié du marché français des webmails. Cela veut donc dire que les expéditeurs d’emails et les plateformes de routage ont maintenant la possibilité d’avoir une vue étendue de la qualité de leur traffic email en France.

En ajoutant les informations disponibles via les boucles de rétroaction des principaux webmails américains (Outlook.com, Yahoo! et AOL), c’est même entre 50% et 80% du traffic email (selon la composition de vos listes email) qui peut être surveillé.

En pratique

Les informations disponibles dans la boucle de rétroaction de SFR sont exactement les mêmes que pour Orange, c’est à dire le nombre de plaintes générées par adresse IP et par jour. Ce que l’on ne sait pas assez, c’est que SFR ne gère pas uniquement le nom de domaine @sfr.fr, mais aussi les noms de domaine des différentes sociétés rachetées dans le passé (@neuf.fr, @9online.fr, …) et même les adresses de certains partenaires comme @fnac.net.

Au total, cette boucle de rétroaction regroupe donc les plaintes générées par onze noms de domaine différents, à savoir :
@sfr.fr, @neuf.fr, @9online.fr, @9business.fr, @cegetel.net, @club-internet.fr, @cario.fr, @guideo.fr, @mageos.com, @fnac.net et @waika9.com

feedbackloop_SFR_signal_spam

Pour profiter des boucles de rétroaction de SFR et d’Orange, n’hésitez pas à devenir membre de Signal Spam.

L’importance de connaître le nombre de plaintes générées par vos IP

L’objectif d’un opérateur de messagerie a toujours été de satisfaire ses clients. Aujourd’hui, le principal indicateur permettant de mesurer cette satisfaction reste le nombre de plaintes générées par une campagne ou par une adresses IP. Les plaintes sont donc l’indicateur qui va permettre à un webmail de décider de la qualité d’une adresse IP et de filtrer ou non le traffic provenant de celle-ci.

Du côté de l’expéditeur, le nombre de plaintes est aussi un bon indicateur puisqu’il permet de juger la satisfaction ou plutôt le mécontentement généré par les emails envoyés. Pour le routeur, ce sera aussi un moyen fiable afin de détecter les spammeurs présents sur sa plateforme.

Spécificités de SFR en matière de délivrabilité

En plus du taux de plainte, SFR utilise plusieurs techniques afin de filtrer les emails atteignant la boîte de messagerie de ses clients. La première, au niveau de la boîte aux lettre, est la technologie de filtrage développée par Vade Retro. Celle-ci est d’ailleurs utilisée par la plupart des FAI français. Dans le cadre de SFR, cela veut dire par exemple une classification automatique des emails entrant, les publicités sont alors visuellement identifiées. VadeRetro offre aussi aux utilisateurs de SFR la possibilité de se désinscrire définitivement, en plus du lien proposé par l’annonceur, avec un bouton présent dans l’interface du webmail de SFR.

Au niveau de sa passerelle email, SFR a développé une technologie de filtrage maison en partenariat avec Atos et utilise Spamhaus afin de bloquer préventivement les emails envoyés par des adresses IP référencées par cette liste noire.

Pour l’instant, SFR ne propose pas d’interface de Postmaster ou de procédure en cas d’incident de délivrabilité. Mais n’hésitez pas à contacter DeliverNow en cas de problème, nous aurons sans doute une solution à vous proposer.

Pour devenir partenaire de Signal Spam et bénéficier de ce service, faites votre demande ici :
https://www.signal-spam.fr/partenaires/devenir-partenaire

Orange lance sa boucle de rétroaction de plaintes agrégées avec Signal Spam

Orange_logoJusqu’à présent, aucun FAI français ne partageait automatiquement les informations concernant les plaintes spam générées par ses utilisateurs. Il fallait absolument passer par l’abuse desk de ceux-ci. Dès ce mois de septembre, la situation va changer. Orange a en effet décidé de collaborer avec Signal Spam afin de mettre en place une boucle de rétroaction automatisée (feedback loop).

Qu’est-ce qu’une boucle de rétroaction ?

Une boucle de rétroaction, ou feedback loop en anglais, est un procédé technique permettant aux expéditeurs d’email de recueillir les plaintes spam reçues par les webmails et FAI. Ces informations sont ensuite utilisées afin d’optimiser les paramètres de la délivrabilité et de réguler l’activité marketing des expéditeurs provoquant des volumes de plaintes importants.

Le premier accord du genre pour Signal Spam

Signal Spam fédère l’écosystème email Français depuis 2002. En tant que membre fondateur de la première heure, Orange démontre aujourd’hui sa volonté de coopération avec l’écosystème en envoyant des données de plaintes agrégés aux membres de Signal Spam.

DeliverNow, qui a contribué à la mise en oeuvre technique de cette boucle de rétroaction, salue cette initiative de coopération de l’écosystème email unique en France.

En pratique : la boucle de rétroaction de plaintes agrégée

Chaque jour, les membres de Signal Spam pourront récolter le nombre de plaintes agrégées pour leurs adresses IP (au format CSV). Seuls les membres de Signal Spam pourront donc recevoir les informations concernant les plaintes d’Orange.

Les informations contenues dans la boucle de rétroaction d’Orange :

  • La date
  • Le nom du fournisseur (en l’occurrence, Orange)
  • L’adresse IP concernée
  • Le nombre de plaintes reçues

feedbackloop_orange_signal_spam

Comme vous le savez peut-être, chez Orange, ce n’est pas le taux de plainte qui déclenche un éventuel blocage de vos campagnes, mais le volume total des plaintes reçues. Avec ce nouveau mécanisme, les expéditeurs d’emails utilisant une adresse IP dédiée pourront mesurer les plaintes générées par leurs campagnes afin de prendre les mesures adéquates.
Dans le cadre de son développement, Signal Spam mettra prochainement à disposition de ses membres des données de plaintes agrégés d’autres FAI Français. DeliverNow vous tiendra informé de ces prochaines évolutions.

À propos d’Orange : Orange est le principal fournisseur d’accès internet en France avec plus de 40% de parts de marché (Source: JDN). Orange est aussi le webmail le plus utilisé en France derrière Hotmail/Outlook.com.

À propos de Signal Spam : Signal Spam est une association regroupant les professionnels de l’emailing mais aussi certains acteurs institutionnels. Son but est de développer un réseau de confiance afin d’agir contre le spam.

Pour devenir partenaire de Signal Spam et bénéficier de ce service, faites votre demande ici :
https://www.signal-spam.fr/partenaires/devenir-partenaire

Filtrage du Spam, réputation et boucle de rétroaction

Le filtrage du Spam est, selon les ISP, conditionné par 2 choses : le contenu du message et la réputation de l’expéditeur, ou plus précisément la réputation de l’IP du serveur de mail qui émet la campagne.
Un expéditeur qui souhaite envoyer un message qui passe les filtres antispam de première génération, basé sur le contenu devra répondre négativement à la question : « Le message que j’envoie ressemble-t-il à un spam, et peut il est assimilé comme tel ? »

Attention, il ne suffira pas au message de ne pas contenir le mot Viagra, et le fait que vous soyez une des plus prestigieuse enseigne du CAC40 n’y changera rien : les règles sont les mêmes pour tout le monde.
Par exemple, on sait qu’envoyer un email qui contient seulement des images aura de grandes chances d’être filtré en boite spam.

En revanche, l’expéditeur qui souhaite passer les filtres basés sur la réputation devra faire attention à plus de choses. La réputation d’un expéditeur correspond à l’historique d’un certain nombre d’indicateurs sur la période précédant l’envoi.

Ces indicateurs sont, généralement, les suivants :

– Le blacklistage : l’IP expéditrice de la campagne est-elle blacklistée ?
StopCeci peut être discriminant selon l’importance de la blackliste sur laquelle se trouve votre IP. Un blacklistage correspond à un passif de l’IP en terme de réputation, le plus souvent cela correspond à l’envoi d’email sur des adresses SpamTrap (piège à spam ou HoneyPot).

Les adresses invalides : l’adresse IP qui expédie les messages a-t-elle pour habitude d’envoyer beaucoup de messages vers des destinataires qui n’existent plus ?
Un taux d’adresses invalides important rend une campagne suspecte auprès de l’ISP qui la reçoit.
Des filtrages dynamiques peuvent survenir si votre serveur envoie sur trop d’adresses email invalides.

Attention donc aux listes d’emails collectées depuis trop longtemps.
Ne cédez pas non plus à la tentation d’expédier à nouveau sur vos adresses NPAI, vous risquez d’être assimilé par un spammer et vous nuirez à votre réputation.

« Remove email addresses that bounce. Bounces are an indication that the mail could not be delivered because the user does not exist, no longer exists, or is unable to accept your email. List managers should remove addresses that generate bounces. »
Source : Postmaster de Yahoo!

Les plaintes : les emails envoyés par cette adresse IP génèrent-ils des plaintes auprès des internautes qui les reçoivent ? Autrement dit, les messages envoyés par ce serveur sont-ils désirés par les internautes qui les reçoivent ?

SpamBoutton Hotmail Comme je le disais dans un précédent billet, le spam a une définition légale mais il existe une réalité différente lorsqu’il s’agit de le filtrer.

Si les internautes se plaignent auprès de leur fournisseur de messagerie en cliquant sur le bouton « Signaler comme Spam »,Spam Boutton Yahoo! les FAI utilisent et mémorisent cette information pour filtrer les serveurs qui envoient des emails.

Certains d’entre eux, ont mis en place des boucles de rétroaction sur les plaignants, cela signifie qu’ils proposent aux expéditeurs de leur transmettre les plaignants afin de les supprimer des futurs envois.

Il existe aujourd’hui un certain nombre d’opérateurs qui propose cette fonctionnalité et elle semble se développer :

– AOL :
un des premier a l’avoir mis en place, valable pour les adresses @aol
http://postmaster.aol.com/fbl/index.html

– Microsoft – Junk E-Mail Reporting Program :
pour les adresses @hotmail , @msn, @live
http://postmaster.msn.com/Services.aspx#JMRPP

– Yahoo! :
le programme lancé en version Beta en fin d’année dernière et en stand by pour le moment.
http://help.yahoo.com/l/us/yahoo/mail/postmaster/postmaster-30.html

et de plus en plus d’ISP américains comme ComCast, Cox, USA.net , RoadRunner

La tendance du filtrage sur la réputation semble être la plus efficace et tend à se généraliser et il est aujourd’hui indispensable pour les expéditeurs de traiter ces plaintes pour avoir une bonne déliverabilité.