gmail Archives - DeliverNow

Gmail fait un pas de plus vers la généralisation de TLS

Gmail a toujours été à la pointe sur les questions d’authentification (SPF, DKIM, DMARC) et de cryptographie. Depuis la mise en place de Google Postmaster (lire notre article sur le sujet), il est par exemple possible de suivre le pourcentage d’email entrant et sortant de chez Gmail utilisant ou non TLS.

L’annonce qui a été faite par Google la semaine dernière concerne directement TLS. Pour rappel, TLS (Transport Layer Security) est le successeur de SSL (Secure Sockets Layer) et permet de garantir l’authenticité, la confidentialité et l’intégrité des données échangées sur les réseaux. Pour autant que deux serveurs emails puissent se parler dans ce langage, il est d’ailleurs possible d’utiliser cette technologie pour sécuriser les échanges d’email.

Des repères visuels pour les utilisateurs

Si Gmail supporte TLS depuis plusieurs années, la grande nouveauté vient du fait que la firme de Mountain View met maintenant en avant l’absence de cette technologie. En effet, lorsqu’un email arrive dans le webmail de Google sans avoir été chiffré par TLS, celui-ci présente un cadenas rouge à l’utilisateur.

cadenas

De la même manière, si un utilisateur est en train d’envoyer un email à un domaine ne supportant pas TLS, il sera averti par ce même cadenas rouge.

La volonté de booster l’utilisation du chiffrement TLS

En agissant de la sorte, Google veut clairement booster l’adoption de TLS pour l’ensemble des emails échangés. L’indication visuelle devrait inciter les annonceurs qui ne chiffrent pas encore leurs emails en sortie à le faire, par crainte d’une baisse de confiance de la part de leurs clients et prospects.

Continuer à mettre en avant l’authentification SPF et DKIM

L’autre changement mis en avant par Gmail est la modification de l’icône expéditeur lorsqu’il y a un problème avec l’authentification des emails (SPF et DKIM). Par contre, vu la sévérité de Gmail concernant les soucis d’authentification, nous risquons de rencontrer assez rarement cette icône en point d’interrogation, les emails mal authentifiés finissant rapidement en boîte spam.

auth

DeliverNow est en train de migrer tous ses clients vers TLS

Chez DeliverNow, nous avons pris acte de ces changements depuis plusieurs semaines et sommes en train de migrer nos clients PowerMTA afin que l’ensemble de leurs emails soient compatibles avec TLS. N’hésitez pas à nous contacter si vous désirez être accompagné sur le sujet.

Gmail : Feedback Loop et page postmaster, configuration et prise en main étape par étape

Depuis de nombreuses années, Google avec Gmail est à la pointe de l’innovation avec son webmail. Là où le géant de Mountain View s’est surtout distingué de la concurrence, c’est au niveau de la qualité de son traitement du spam, mais aussi des innovations successives au niveau ergonomie (Labels, catégorisation des emails avec les onglets, bouton de désinscription dans l’interface, …).

Sur un autre plan, celui des professionnels de la délivrabilité et des annonceurs, comparé à d’autres webmails (et surtout à Hotmail de Microsoft), les outils sont longtemps restés pauvres. Pas de boucle de rétroaction (feedback loop), pas d’information sur la réputation, … Mais depuis un peu plus d’un an, la situation a radicalement changée.

Testé depuis fin 2013 chez certains routeurs et annoncé (mais toujours en beta et sur invitation) au MAAWG en février 2014, le feedback loop de Gmail a depuis quelques semaines été ouvert à l’ensemble des annonceurs via son tout nouveau site « Postmaster ».

À l’instar d’autres plateformes du même genre, postmaster.google.com offre la possibilité aux expéditeurs d’email de recevoir des informations techniques et de réputation concernant leurs envois. Dans cet article, nous allons tenter de décrire étape par étape comment configurer et prendre en main ces nouveaux outils.

Préalable : SPF, DKIM et ReverseDNS

Cela n’est pas à proprement parler un besoin spécifique aux Google Postmaster Tools, mais il est impératif que vos emails soient correctement configurés au niveau authentification et identification. C’est indispensable, sinon Google risque de ne pas prendre vos emails en compte pour générer les données disponibles dans l’interface Postmaster. Cela veut dire :

  • Que vous ayez un enregistrement SPF valide et référençant l’ensemble des IPs émettant vos emails;
  • Que vos emails soient correctement signés DKIM avec un nom de domaine que vous maîtrisez (accès au serveur DNS) ;
  • Que vos IPs aient un ReverseDNS (enregistrement PTR) valide, utilisant de préférence un domaine utilisé dans vos signatures DKIM.

Ajouter un domaine à l’interface Postmaster

Afin d’ajouter un domaine il faudra vous connecter à postmaster.google.com et cliquer sur le bouton « + » situé en bas à droite de l’écran. L’écran suivant apparaîtra :

image001

Entrez le nom de domaine que vous désirez configurer et appuyez sur suivant. Sur l’écran suivant, Google vous affichera un enregistrement TXT que vous devrez aller renseigner au niveau de votre serveur DNS.

image002

La mise à jour de certains serveur DNS peut prendre jusqu’à 24h, il se peut que vous deviez attendre avant d’avoir accès et de pouvoir cliquer sur le bouton « Verify » (vous pouvez évidemment quitter l’écran et revenir plus tard).

Si vous utilisez plusieurs sous-domaines pour vos différents programmes email marketing, vous pouvez évidemment ajouter chacun d’eux ainsi que le domaine principal. Cela vous permettra de vérifier les performances de vos différents domaines d’une part, et d’en avoir une vue synthétisée via le domaine principal.

Note : Ces opérations d’ajout d’enregistrements TXT dans vos DNS sont à répéter pour chaque utilisateur Google désirant avoir accès aux stats. Si vous êtes nombreux à avoir besoin d’un accès et/ou que vous possédez de nombreux sous-domaines, il est souvent plus efficace de créer un compte Google dédié auquel l’ensemble de vos collaborateurs pourront se connecter.

Configurer vos emails afin d’alimenter la boucle de rétroaction

La configuration de votre feeback loop Gmail se fait indépendamment de la configuration de votre interface Postmaster. Afin que vos données remontent dans ce dernier, c’est au niveau de l’en-tête de vos emails que vous aurez une intervention à réaliser.

Il faut donc ajouter une ligne « Feedback-ID: » dans vos en-tête d’email. Ce feedback-id est constitué de 3 champs variables (et optionnels) séparés par « : » et d’un SenderID qui devra être stable à travers l’ensemble de vos envois. Le SenderID doit faire entre 5 et 15 caractères.

Par exemple :
Feedback-ID : VarA:VarB:VarC:MyBrand

Les champs variables peuvent être utilisés afin de catégoriser vos envois :

  • Nom d’un programme marketing
  • Type d’envoi (newsletter, notification, transactionnel)
  • Segment de la base de donnée

Dans l’interface Postmaster, vous pourrez ainsi suivre les taux de plainte pour chaque variable lorsque ceux-ci sont inhabituels.

Voici quelques exemples utilisés par des annonceurs connus :

  • LinkedIn – Feedback-ID: accept_invite_04:linkedin
  • Twitter – Feedback-ID: 0040162518f58f41d1f0:15491f3b2ee48656f8e7fb2fac:none:twitterESP
  • Amazon.com : Feedback-ID: 1.eu-west-1.kjoQSiqb8G+7lWWiDVsxjM2m0ynYd4I6yEFlfoox6aY=:AmazonSES

Note : L’objectif de Gmail n’est pas de vous fournir l’identité des plaignants sur vos campagnes mais un indicateur afin de détecter les campagnes, programmes, … problématiques. Si vous tentez d’introduire de l’identification du plaignant de le Feedback-ID, Google risque de purement et simplement vous couper l’accès à ces infos.

Google n’aide pas les spammeurs

Avant d’aller plus loin et de vous détailler les différentes fonctionnalités de la plateforme Postmaster, il est important de signaler que Google ne désire pas aider les spammeurs. Les différentes données présentes dans l’outil sont proposées uniquement aux expéditeurs ayant de bons scores de réputation et respectant les bonnes pratiques édictées Gmail : https://support.google.com/mail/answer/81126

Les différents tableaux de bord disponibles

Taux de spam

C’est un des indicateurs les plus importants que vous propose l’outil Postmaster de Gmail. Vous aurez l’occasion, par nom de domaine ou sous-domaine, de réaliser un suivi du pourcentage de plaintes spam jour par jour.

image003

Réputation des IPs

La réputation des IPs sur Gmail s’exprime sur 4 niveaux différents : Bad, Low, Medium et High.

image005

En cliquant sur une zone de couleur dans le graph (par exemple ici la zone orange de « Medium » du 31 août), vous verrez apparaître la liste des IPs concernées par ce niveau de réputation.

Réputation des domaines

Comme pour la réputation des IPs, les domaines sont classés en 4 catégories : Bad, Low, Medium et High.

image007

Feedback Loop

Si vous avez correctement configuré vos Feedback-Ids, vous devriez avoir des données dans ce dashboard. Pour rappel, l’objectif est de segmenter vos différents programmes email afin de pouvoir facilement détecter les sources de plaintes par rapport à vos pratiques marketing. Par exemple, en utilisant un identifiant de source d’acquisition de vos adresses, vous serez rapidement capable de détecter vos partenaires d’acquisition générant de nombreuses plaintes.

Authentification

Ce graph vous présent le pourcentage d’emails ayant validé les différentes technologies d’authentification :

  • SPF : Pourcentage des emails ayant validé SPF sur le domaine en question par rapport à l’ensemble des emails envoyés pour ce domaine.
  • DKIM : Pourcentage des emails ayant validé DKIM sur le domaine en question par rapport à l’ensemble des emails envoyés pour ce domaine qui possèdent une signature DKIM.
  • DMARC : Pourcentage d’emails ayant passé l’alignement DMARC par rapport aux emails ayant validé SPF et DKIM sur le domaine.

image010

Chiffrement

Il s’agit du pourcentage d’emails en entrée et en sortie utilisant le chiffrement TLS.

image011

Erreurs de livraison

Ce graph montre le pourcentage de trafic ayant été rejeté temporairement ou définitivement à l’entrée des serveurs SMTP de Gmail. Ce tableau peut être extrêmement intéressant lorsque vous réalisez une phase de warmup ou lorsque vous êtes victime d’un incident technique.

image013

Actualité de l’emailing et la délivrabilité

– Livre collectif sur la delivrabilité :

La commission emarketing du SNCD vient de publier un livre collectif sur la delivrabilité, j’ai participé à ce livre dans le cadre de ma fonction de responsable delivrabilité chez Cabestan en écrivant l’article sur les outils de mesure de la delivrabilité (Mailbox monitoring, E-mail Rendering et Test anti-spam).

Le livre collectif est téléchargeable gratuitement sur le site sur SNCD :
http://www.sncd.org//sncd/formulaire_livre_collectif.php

– Un exemple de report pour spam à tort:

Alors que 20% des internautes avouent utiliser le bouton de report pour spam pour se désinscrire, certains l’utilisent sans s’en rendre compte !
Voici la réponse étonnante d’un internaute suite au traitement d’une plainte pour spam par l’expéditeur du message.
(je précise que la plainte initiale a été émise auprès de SpamCop)

– Gmail prévoit de passer au HTML 5 :

A l’occasion du Usenix WebApps de Boston qui s’est tenu la semaine dernière, Google a annoncé que Gmail allait intégrer de nouvelles fonctionnalités liées au HTML 5 prochainement. Voilà qui va ouvrir des possibilités intéressantes aux expéditeurs. Lire le billet complet

– J’ai été interviewé par Jonathan Loriaux de Kunfluo :

Quel est le rôle d’un « Responsable Délivrabilité » ?
N’est-il pas vu comme un obstacle par les équipes marketing ?
Avez-vous réellement des contacts directs avec les gros ISP ?
Comment arrivez-vous à vulgariser des notions techniques ?
Quels sont les futurs défis de la delivrabilité ?

Cette interview a été faite en mars 2010 mais je n’avais relayé l’information que sur Twitter, voila qui est corrigé avec cette petite note.

Cliquez-ici pour lire l’interview sur Kunfluo :
http://www.kunfluo.com/2010/03/02/deliverability-manager-responsable-delivrabilite-jerome-gays-cabestan/

La réputation des expéditeurs chez un webmail

La semaine dernière, Tamara Gielsen a tweeté un document très intéressant rédigé par Bradley Taylor et publié à l’occasion de la conférence CEAS 2006 intulée : Sender Reputation in a Large Webmail Service. Le document est très utile pour comprendre comment fonctionne un système de filtrage basé sur la réputation chez un opérateur comme Gmail qui gère un volume de boîtes aux lettres conséquent et les différentes problématiques rencontrées pour authentifer les expéditeurs.

Le document décrit comment la mise en place d’un système basé sur la réputation a permis à Gmail d’être beaucoup plus efficace dans le filtrage du spam en prenant les décisions de filtrage en notant les expediteurs plutôt que les contenus envoyés.

Encore une fois, la définition du spam peut être différente et nuancée selon les pays et les lois : certains disent que le spam est un message non-sollicité, certains precisent que celui-ci doit être envoyé en masse, et enfin certains diront qu’il s’agit de message qu’ils ne veulent pas, même s’ ils y ont souscrit. Dans les cas d’une gestion des emails entrants automatisée, le postula du document étant une définition du spam comme étant des messages non-desirés par les internautes, utilisateurs finaux des services de messagerie à satisfaire.

Not everyone agrees what spam is, so there end up being many defnitions of it. Some will say it is any form of unsolicited mail. Some will say only unsolicited bulk mail. Or some will say it is any mail they didn’t want, even if they were subscribed. […] because the volume of our mail is high and anything manual would be too expensive. […]. Even detecting that something is bulk is difficult. […] The easiest definition for us to use is simply unwanted email.

Voici quelques points intéressants à retenir :

– Les systèmes de whitelistes et de blacklistes ne sont pas gérables par pour un webmail comme Gmail : les entrées dans la blackliste peuvent se faire automatiquement grâce à un réseau de spamtrap mais les sorties doivent être gérées manuellement. Pour la whiteliste le problème mentionné est que si Gmail proposait un système de whitelistage, tous les expéditeurs en masse appelleraient pour entrer dans la whiteliste en garantissant qu’ils sont tous de bons expéditeurs et Gmail ne pourrait pas vérifier ceci.

– Le système de réputation est un concept qui implique de scorer un expéditeur. Pour rattacher le score a une entité, la première chose à faire est de définir précisément une façon fiable d’identifier celui-ci. Gmail précise que l’identification de l’expéditeur par l’IP expéditrice a des limites : un même expéditeur n’a pas toujours la même adresse IP. Une IP n’est pas forcément dédiée à un même expéditeur et les problématiques de forward d’email ajoutent de la complexité à l’authentification.

– Gmail utilise le système best-guess SPF pour authentifier les expéditeurs qui n’utilisent pas le SPF. best-guest SPF étant un principe qui considère que le domaine est authentifié si l’IP expéditrice est sur la même range d’IP que l’IP de l’enregistrement A ou de l’enregistrement MX du domaine expéditeur.

– Un score est realisé en fonction de 4 indicateurs : email detecté automatiquement comme des spams, automatiquement comme des nonspam, manuellement comme des spams et manuellement comme des nonspam. Chaque score est rattaché à chacun des éléments authentifiant du message:  l’IP emettrice, le SPF, le DomainKey et la décision de filtrage est prise sur un score géneral.

– Le système de calcul de réputation n’utilise pas les remontées de tous les utilisateurs Gmail mais uniquement de ceux jugés comme remontant une information pertinente. Les reports utilisateurs utilisés sont limités à un report par heure.

– Il existe plusieurs systèmes de filtrage basé sur la reputation mais celui de Gmail est un des seul qui se base fortement sur le domaine plutôt que sur l’adresse IP. Je rappelle que ce document est daté de 2006, la situation a evolué depuis.

– Gmail est conscient que certains utilisateurs utilisent le boutton de « report pour spam » pour se désabonner et que ceci impact la réputation des expéditeurs. Pour éviter ceci, Gmail recommande aux expéditeurs de demander régulièrement à leurs membres une confirmation de leur abonnement. Notons que depuis, Gmail a integré la gestion du header List-unsubscribe qui permet une intégration de la procédure de désabonnement dans l’interface du webmail (avec ou sans report pour spam).

List-Unsubscribe : un standard pour gérer le désabonnement

unsubscribLa commande List-Unsubscribe est défini par la RFC 2369. Lors de l’envoi d’un email en SMTP, elle défini une commande à ajouter dans l’entête de celui-ci afin de spécifier les procédures de désabonnements au client de messagerie.

Il y a 2 façons d’implémenter cette procédure de désabonnement : soit en précisant une URL pour la désinscription, soit en précisant une adresse email.

Voici quelques exemples d’implémentation :

List-Unsubscribe: <mailto:list@host.com?subject=unsubscribe>
List-Unsubscribe: <mailto:list-manager@host.com?body=unsubscribe%20list>
List-Unsubscribe: <mailto:list-off@host.com>
List-Unsubscribe: <http://www.host.com/list.cgi?cmd=unsub&lst=list>,<mailto:list-request@host.com?subject=unsubscribe>

L’année dernière, Microsoft a implémenté cette fonctionnalité dans son webmail pour les adresses hotmail, msn et live et intègre le lien de désinscription dans son interface à partir du moment ou l’utilisateur demande l’affichage des images.

Cet été, c’est au tour de Gmail d’intégrer cette fonctionnalité dans son interface de messagerie.

Selon diverses études, les internautes utilisent le bouton de report pour spam pour se désabonner des emails qu’ils reçoivent, les formulaires de désabonnement classique n’inspirent plus confiance aux internautes.

D’autre part, les reports pour spam via le bouton prévu a cet effet sont aujourd’hui le principal facteur de la délivrabilité chez les principaux webmail (gmail, hotmail, yahoo, aol) en influant sur la réputation de l’expéditeur.

Il est donc important d’utiliser cette fonctionnalité afin de minimiser les reports pour spam qui aurait pour but une désinscription.

Blacklistage, Affiliation : la réputation des sites web change la donne

gmailLe 7 mai 2009, Google à mis à jour sa page d’aide aux expéditeurs d’emails vers gmail avec une information intéressante pour les annonceurs à propos des programmes d’affiliations.

En effet, Google indique que ces programmes attirent les spammeurs et que leur utilisation peut parfois apporter plus de mal que de bien à l’annonceur, sous entendu un blacklistage du propre domaine de celui-ci !

Google précise 2 choses  :

– Si une marque est associé à un programme envoyant du spam, cela pourra avoir un impact sur les routages de la marque, sous entendu même en fidélisation.
– Les marques sont responsables de l’utilisation de leur image par ces programmes.

Cliquez ici pour voir la recommandation de Gmail à propos des programmes d’affiliation.

Depuis le début de l’année, je suis de plus en plus amené à travailler sur des problèmes de délivrabilité lié à un blacklistage des URLs contenu dans les emails. En effet, la réputation des liens présents dans le message et de plus en plus importante pour la deliverabilité.
On a beau avoir une IP expéditrice qui a une bonne réputation, envoyer un email qui contient un lien blacklisté empechera le message d’être livré correctement sur les serveurs de mail protégés par SpamAssassin, par exemple.

Cliquez ici pour voir l’impact sur le score SpamAssassin d’un email contenant des URL blacklistées.

On notera qu’au dela d’un score de 3 points, le message est consideré comme suspect.

Alors annonceurs, attention de bien poser les bonnes questions avant d’associer votre marque à un programme d’affiliation ou à annoncer sur une liste d’email de mauvaise qualité car du coté de l’opérateur qui reçoit, vous êtes aussi responsable du spam.

Sur le même sujet :
Délivrabilité des emails : annonceur, prenez garde !

Lire les recommendations de gmail aux expediteurs d’emails :
http://mail.google.com/support/bin/answer.py?hl=en&answer=81126