Filtrage du spam Archives - DeliverNow

Alerte délivrabilité : Orange déploie un filtrage dynamique en fonction des plaintes spam

logo-orangeComme SFR il y a quelques semaines, il semble qu’Orange ait activé le filtrage dynamique des emails en fonction du volume de plainte généré. Cette fonctionnalité est en faite gérée par Vade Retro, solution anti-spam utilisée par les principaux FAI et webmails français, à savoir Orange, SFR, Free et Laposte.net.

De la même manière que les grands webmails populaires, les FAI français adoptent, grâce à la technologie Vade Retro, un filtrage du spam basé sur la réputation des expéditeurs dans le but de protéger leur infrastructure email.

Orange a donc activé cette fonctionnalité hier et il semble qu’elle affecte de nombreux expéditeurs d’email. Il est important de garder à l’esprit que le volume de plainte spam a une influence sur le filtrage des emails émanant d’une adresses IP spécifique, mais aussi d’un nom de domaine d’expédition (champ FROM:) et d’une campagne en particulier.

Ce dernier point est important. Il signifie que les FAI sont maintenant capables de reconnaître une campagne générant du mécontentement de la part des destinataires, quelques soit la plateforme de routage utilisée. Il ne sert donc à rien d’essayer de rediriger un trafic d’email filtré vers un autre routeur, celui-ci sera automatiquement reconnu et filtré de la même manière.

Pour l’instant, outre Orange et SFR, cette fonctionnalité a aussi été activée chez Laposte.net.

Alerte délivrabilité : SFR est en train de durcir son filtrage

logo_SFRCes derniers jours, via notre infrastructure de monitoring délivrabilité installée chez nos clients, nous avons constaté un durcissement des règles de filtrage à destination de SFR. Nous avons par exemple constaté un plus grand nombre de message « 550.5.7.1 Message Content rejected » après  la commande DATA lors du dialogue SMTP.

D’après nos observations, il semblerait que cette évolution se base sur une utilisation de ratios entre expéditeurs qualitatifs/non-qualitatifs par adresse IP. Dans un précédent article publié sur ce blog nous vous indiquions qu’SFR utilisait les taux de bounces et les taux de plaintes pour bloquer ou non une adresse IP, il semble donc que ce modèle soit en train d’évoluer. Les plaintes spam semblent en effet mieux prises en compte dans la décision de livrer un email en boîte spam ou en inbox. Toujours selon nos observations, le taux de plainte toléré reste dans la moyenne de ce qui est communément admis dans le métier.

Pour rappel, le seul moyen d’avoir accès au nombre de plaintes générées par IP chez SFR est de faire appel à la boucle de rétraction disponible via Signal Spam.

SFR évolue dans la même direction que les autres acteurs. Les flux d’emails à risque pour la délivrabilité doivent rester séparés d’autres flux plus stratégiques ou plus importants. Dans la pratique, cela veut dire isoler les adresses IP et les noms de domaines utilisés pour ces flux.

Il semble aussi que ces ratios ne soient pas encore totalement fixés, SFR est probablement en train d’ajuster les seuils utilisés. Nous vous en dirons plus lorsque nous aurons plus de précisions sur le sujet.

Pour rappel, voici la liste des noms de domaine concernés : @sfr.fr, @neuf.fr, @9online.fr, @9business.fr, @cegetel.net, @club-internet.fr, @cario.fr, @guideo.fr, @mageos.com, @fnac.net, @waika9.com.

Vade Retro : un fabricant antispam français innovant

Vade Retro est un fabriquant d’antispam qui occupe une part de marché importante en France en protégeant les boites emails d’une majorité d’opérateurs locaux dont notamment Orange, SFR, Free, laposte.net etc …

Selon les experts de Vade Retro, 95% du trafic emails est constitué de spams, et parmi les 5% restants, 41% sont des emails de nature commerciale.

Pour Vade Retro, il était important de répondre au besoin de séparation de la communication légitime personnelle des messages à caractères commerciaux, pour le plus grand bonheur des internautes français, submergés par les emails marketing.

Contrairement aux technologies américaines, la technologie Vade Retro n’est pas principalement basée sur le comportement de l’internaute pour filtrer les emails entrants (filtrage sur la réputation) mais plutôt sur une analyse très fine de l’empreinte des emails.

Pour ceci, Vade Retro propose à ses clients une technologie permettant de catégoriser les emails commerciaux en 3 catégories :

  • PCE : Professionnal Commercial Email :

Cette catégorie correspond aux emails envoyés par des expéditeurs identifiés et supposés respecter les bonnes pratiques de l’emailing, qu’ils soient routeurs (Emailvision, Mailperformance, Cabestan …) ou annonceurs expédiant eux-même leurs emails par leurs propres moyens. La reconnaissance de ces expéditeurs n’est pas basée sur l’IP émettrice ni sur le domaine émetteurs mais plutôt sur une signature structurelle du message composé de plusieurs éléments. Les emails catégorisés en PCE sont automatiquement dégradés en DCE si le volume de plaintes pour la campagne est trop important.

  • MCE : Micsellaneous Commercial Email :

Ici, il s’agit d’emails qui n’ont pas été identifiés comme PCE mais qui sont cependant des emails publicitaires.
Ces messages sont reconnus par le filtre heuristique de Vade Retro.

  • DCE : Dirty Commercial Email :

Cette catégorie regroupe les emails envoyés et qui ne tiennent généralement pas compte des bonnes pratiques de l’emailing, dont voici quelques critères : non présence de lien de désinscription, non respect des demandes de désinscription, non respect de l’optin, une volonté de furtivité (whois du domaine expéditeur anonyme), texte blanc sur fond blanc, un objet simulant une fausse conversation (Re: Re: Re: Fwd:) etc…

Il est parfois possible de connaitre la catégorisation d’un email en regardant l’entête de celui-ci après être passé par la technologie Vade Retro.

Ex pour SFR : X-sfr-mailing: MCE

Je précise que Vade Retro propose une technologie de catégorisation des emails, c’est au FAI ou au Webmail utilisateur de la technologie de définir le traitement à appliquer aux messages catégorisés par Vade Retro comme il l’entend, en fonction de sa politique de filtrage interne.

Cependant, la recommandation de Vade Retro aux utilisateurs de sa solution est de placer en boite spam les messages identifiés comme DCE, de séparer les emails détectés comme PCE et MCE dans un dossier dédié et de laisser en boite de réception les messages identifiés comme communication légitime.

En tant que professionnel de l’email depuis 12 ans, j’ai pu voir le marché de l’email marketing se dégrader fortement à cause d’acteurs de plus de plus nombreux ayant des pratiques de plus en plus mauvaises. Si l’on couple à cela l’absence totale de régulation du marché, on obtient un marché ou seuls les acteurs économiques influent sur celui-ci grâce à leurs innovations, que l’on soit du coté des expéditeurs ou de celui de ceux qui reçoivent les emails.

C’est dans ce sens que je tiens à saluer Vade Retro pour sa technologie innovante qui contribue à rendre les boites email des internautes plus propres en séparant les communications personnelles légitime de la publicité.

Cloudmark rachète Bizanga

Un nouveau rapprochement sur le marché du filtrage du spam la semaine dernière avec le rachat par Cloudmark de Bizanga.

Bien que déjà partenaire, cette acquisition stratégique pour Cloudmark va permettre à l’opérateur de compléter son offre de sécurité des boites aux lettres mail, de la gestion à la protection des messageries électronique contre toute les formes de menaces actuelle et à venir, comme par exemple le spam sur les réseaux sociaux (Cloudmark protège déjà MySpace).

Notons que Cloudmark annonce la protection d’1 milliards de boites mails parmi lesquelles 75% des ISP Américain (Cablevision, Comcast, Cox Communications, EarthLink) et Japonais (NEC Biglobe, NTT OCN). Une couverture cependant limitée en Europe avec les ISP Swisscom (suisse), Tele2 (suède), Thus (Angleterre) et XS4ALL plus connu sous le nom de KPN aux Pays-bas.

Lire le communiqué sur le site de Cloudmark

La réputation des expéditeurs chez un webmail

La semaine dernière, Tamara Gielsen a tweeté un document très intéressant rédigé par Bradley Taylor et publié à l’occasion de la conférence CEAS 2006 intulée : Sender Reputation in a Large Webmail Service. Le document est très utile pour comprendre comment fonctionne un système de filtrage basé sur la réputation chez un opérateur comme Gmail qui gère un volume de boîtes aux lettres conséquent et les différentes problématiques rencontrées pour authentifer les expéditeurs.

Le document décrit comment la mise en place d’un système basé sur la réputation a permis à Gmail d’être beaucoup plus efficace dans le filtrage du spam en prenant les décisions de filtrage en notant les expediteurs plutôt que les contenus envoyés.

Encore une fois, la définition du spam peut être différente et nuancée selon les pays et les lois : certains disent que le spam est un message non-sollicité, certains precisent que celui-ci doit être envoyé en masse, et enfin certains diront qu’il s’agit de message qu’ils ne veulent pas, même s’ ils y ont souscrit. Dans les cas d’une gestion des emails entrants automatisée, le postula du document étant une définition du spam comme étant des messages non-desirés par les internautes, utilisateurs finaux des services de messagerie à satisfaire.

Not everyone agrees what spam is, so there end up being many defnitions of it. Some will say it is any form of unsolicited mail. Some will say only unsolicited bulk mail. Or some will say it is any mail they didn’t want, even if they were subscribed. […] because the volume of our mail is high and anything manual would be too expensive. […]. Even detecting that something is bulk is difficult. […] The easiest definition for us to use is simply unwanted email.

Voici quelques points intéressants à retenir :

– Les systèmes de whitelistes et de blacklistes ne sont pas gérables par pour un webmail comme Gmail : les entrées dans la blackliste peuvent se faire automatiquement grâce à un réseau de spamtrap mais les sorties doivent être gérées manuellement. Pour la whiteliste le problème mentionné est que si Gmail proposait un système de whitelistage, tous les expéditeurs en masse appelleraient pour entrer dans la whiteliste en garantissant qu’ils sont tous de bons expéditeurs et Gmail ne pourrait pas vérifier ceci.

– Le système de réputation est un concept qui implique de scorer un expéditeur. Pour rattacher le score a une entité, la première chose à faire est de définir précisément une façon fiable d’identifier celui-ci. Gmail précise que l’identification de l’expéditeur par l’IP expéditrice a des limites : un même expéditeur n’a pas toujours la même adresse IP. Une IP n’est pas forcément dédiée à un même expéditeur et les problématiques de forward d’email ajoutent de la complexité à l’authentification.

– Gmail utilise le système best-guess SPF pour authentifier les expéditeurs qui n’utilisent pas le SPF. best-guest SPF étant un principe qui considère que le domaine est authentifié si l’IP expéditrice est sur la même range d’IP que l’IP de l’enregistrement A ou de l’enregistrement MX du domaine expéditeur.

– Un score est realisé en fonction de 4 indicateurs : email detecté automatiquement comme des spams, automatiquement comme des nonspam, manuellement comme des spams et manuellement comme des nonspam. Chaque score est rattaché à chacun des éléments authentifiant du message:  l’IP emettrice, le SPF, le DomainKey et la décision de filtrage est prise sur un score géneral.

– Le système de calcul de réputation n’utilise pas les remontées de tous les utilisateurs Gmail mais uniquement de ceux jugés comme remontant une information pertinente. Les reports utilisateurs utilisés sont limités à un report par heure.

– Il existe plusieurs systèmes de filtrage basé sur la reputation mais celui de Gmail est un des seul qui se base fortement sur le domaine plutôt que sur l’adresse IP. Je rappelle que ce document est daté de 2006, la situation a evolué depuis.

– Gmail est conscient que certains utilisateurs utilisent le boutton de « report pour spam » pour se désabonner et que ceci impact la réputation des expéditeurs. Pour éviter ceci, Gmail recommande aux expéditeurs de demander régulièrement à leurs membres une confirmation de leur abonnement. Notons que depuis, Gmail a integré la gestion du header List-unsubscribe qui permet une intégration de la procédure de désabonnement dans l’interface du webmail (avec ou sans report pour spam).

List-Unsubscribe : un standard pour gérer le désabonnement

unsubscribLa commande List-Unsubscribe est défini par la RFC 2369. Lors de l’envoi d’un email en SMTP, elle défini une commande à ajouter dans l’entête de celui-ci afin de spécifier les procédures de désabonnements au client de messagerie.

Il y a 2 façons d’implémenter cette procédure de désabonnement : soit en précisant une URL pour la désinscription, soit en précisant une adresse email.

Voici quelques exemples d’implémentation :

List-Unsubscribe: <mailto:list@host.com?subject=unsubscribe>
List-Unsubscribe: <mailto:list-manager@host.com?body=unsubscribe%20list>
List-Unsubscribe: <mailto:list-off@host.com>
List-Unsubscribe: <http://www.host.com/list.cgi?cmd=unsub&lst=list>,<mailto:list-request@host.com?subject=unsubscribe>

L’année dernière, Microsoft a implémenté cette fonctionnalité dans son webmail pour les adresses hotmail, msn et live et intègre le lien de désinscription dans son interface à partir du moment ou l’utilisateur demande l’affichage des images.

Cet été, c’est au tour de Gmail d’intégrer cette fonctionnalité dans son interface de messagerie.

Selon diverses études, les internautes utilisent le bouton de report pour spam pour se désabonner des emails qu’ils reçoivent, les formulaires de désabonnement classique n’inspirent plus confiance aux internautes.

D’autre part, les reports pour spam via le bouton prévu a cet effet sont aujourd’hui le principal facteur de la délivrabilité chez les principaux webmail (gmail, hotmail, yahoo, aol) en influant sur la réputation de l’expéditeur.

Il est donc important d’utiliser cette fonctionnalité afin de minimiser les reports pour spam qui aurait pour but une désinscription.

BorderWare : the reputation authority

borderware BorderWare Technologies est une société Canadienne spécialisée dans dans la sécurité web et email fondée  en 1994. Elle fabrique des boitiers de filtrage du spam basés sur la réputation pour équiper les entreprises.

BorderWare protège 2,5 milliards d’adresses emails dans le monde, principalement des sociétés de taille moyenne, parmi lesquelles on peut trouver l’opérateur Telus, des filiales du groupe Virgin, l’industriel énergétique Eaton, les brasseries anglaises greeneking et bien d’autres.

En fin d’année dernière BorderWare a lancé une plateforme web nommé ReputationAuthority permettant de connaitre la réputation des serveurs de mails. Les expéditeurs d’emails ont la possibilité de se créer un compte sur l’outil web afin de remettre à zéro une réputation et de paramétrer des alertes de franchissement de seuil des IP par emails.

Pour visiter le site de BorderWare :
http://www.borderware.com

Pour visiter le site de ReputationAuthority :
http://www.reputationauthority.org

Pourquoi router avec une IP dedié ?

Quand on souhaite envoyer régulièrement un certains nombre d’emails il est recommandé de le faire avec une IP dédié.

En effet un certains nombre d’ISP propose des whitelistages gratuitement si vos envoient n’excèdent pas un certain taux de plaintes et que vous êtes en IP dédié.

De plus, en expédiant via des adresses IP mutualisé, vous partagez votre réputation avec l’ensemble des autres expéditeurs de cette même IP. Si celle ci envoient du spam, vous serez blacklisté et vos emails n’arriveront pas à cause des autres utilisateurs de cette même IP !

Voir les recommandations du MAAWG de bonnes questions à poser et a vérifier avant de choisir un routeur

Voir les sender best practices AOL :
http://postmaster.aol.com/guidelines/bulksenderbp.html

Voir les best practices de Yahoo! :
http://help.yahoo.com/l/us/yahoo/mail/postmaster/postmaster-15.html

L’emailing peut vous rendre célèbre …

… des filtres AntiSpam !

Pour recruter des nouveaux membres et pour être visible sur l’internet, en 2005, l’UMP a lancé une grande campagne d’emailing.

On ne saura pas vraiment si c’est cette campagne qui a fait de Nicolas Sarkozy notre actuel président, mais elle a en tout cas réussi une chose :
Elle l’a rendu célèbre d’un des plus filtres anti-spam basé sur le contenu les plus répandu : SpamAssassin !

SpamAssassin est un projet OpenSource distribué en licence GPL qui est destiné à filtrer le spam. SpamAssassin équipe aujourd’hui 22 000 ISP partout dans le monde et est largement représenté dans les chaines de filtrage du Spam. SpamAssassin

En travaillant sur le contenu d’un email d’un client de Cabestan qui ne me semblait pas optimal, j’ai décidé de tester le message sur SpamAssassin grâce à l’outil SenderScore Monitor de ReturnPath.

Cette newsletter contenait le nom de notre cher président et quelle ne fut pas ma surprise de constater que son nom était détecté comme SpamWord par SpamAssassin avec un libelle très explicite, je cite :

N. Sarkozy utilise l’envoi en masse d’email de manière illicite pour sa campagne

ShootScreen 1ShootScreen 2

Quand on regarde en détail dans les fichiers de configuration SpamAssassin :

# French polititian who does spamming (and not opt-in as he claims)
body FR_SARKOZY /Nicolas Sarkozy/i
describe FR_SARKOZY N. Sarkozy utilise l’envoi en masse d’email de manière illicite pour sa campagne
score FR_SARKOZY 0.01

Effectivement, l’occurrence du nom Nicolas Sarkozy dans votre newsletter ne sera pas seul coupable lors d’un filtrage en boite Spam car son poids n’est pas élevé, mais il peut y contribuer !

Cette expérience ne fait que renforcer mon idée qu’il est aujourd’hui nécessaire pour un annonceur d’être bien accompagné pour se lancer dans l’EmailMarketing et qu’il faut faire très attention à bien sélectionner ces fichiers lors d’une opération de prospection par email.

Autres liens sur le sujet :

L’histoire du Spam UMP vu par L’atelier :
http://www.atelier.fr/e-marketing/recrutement,politique,ump,e-mailing,attaque,justice-30534-13.html

CNIL – Prospection électronique de l’UMP :
http://www.cnil.fr/index.php?id=1991

Précisions de la CNIL par rapport à l’utilisation des fichiers dans le cadre d’activités politiques :
http://www.cnil.fr/fileadmin/documents/La_CNIL/actualite/CNIL_reco_prospection_politique.pdf

Qu’est ce qu’un spam ?

Picto Spam Glasbergen

La semaine dernière, sur iMedia Connection Spencer Kollas à posté un article très intéressant intitulé : The new definition of spam sur lequelle je souhaiterais rebondir.

Qu’est ce qu’un spam aujourd’hui ?

Comme je le disais dans un précédent billet à propos des statistiques sur les plaintes, le spam a une définition légale alors que la réalité du côté des ISP et des internautes est bien différente.

En regardant les quelques statistiques sur les plaintes fournies par l’étude du MarketingSherpa ‘Email Marketing Benchmark Guide 2008’ , bien que 52% des internautes sondés indiquent signaler en spam les messages auxquels ils ne se sont jamais abonnés, 41% des répondant signalent en spam les messages qui ne les intéressent pas.

D’autre part, les principales victimes financières de ce fléau sont les ISP, les gens qui les reçoivent, les traitent et les filtrent pour lesquelles les coûts ne cessent d’augmenter.
Il faut aussi avoir en tête qu’ aujourd’hui et selon différents sources, entre 85% et 95% du traffic email mondial est constitué de spam et que pour un fournisseur de messagerie électronique, fournir un service de qualité signifie filtrer le spam correctement.

Il est intéressant de noter que le MAAWG ne parle plus de spam mais de messages identifié comme abusif.

Quelles conclusions tirer de tout cela ?

La notion de « permission explicite » imposée par la loi a été suffisamment détournée et l’internaute s’est vu abusé : permission explicite écrit en minuscule dans les CGV, dans les règlements du jeu concours en minuscule page 9, voire même jusqu’à la permission donnée au propriétaire d’échanger les adresses email avec ces partenaires (la crème de la crème).

Ces pratiques provoquent un emballement de la machine et l’internaute voit sa boite aux lettres toujours plus saturée d’emails arrivant du nouveau programme X ou de du nouveau partenaire Y dont la permission explicite fut donnée, certes, il fut un temps.

Les lois n’arrivant plus à contenir ces dérives tant les pratiques « border » se sont développées, le marché a du se réguler.

Et du coté d’une chaine de filtrage, on ne cherche pas à savoir si la personne est inscrite, pas inscrite, si la case était cochée ou non au moment de l’inscription, si la permission a suffisamment été explicite mais plutôt si les emails envoyés son réellement désirés par les internautes qui les reçoivent.

Bye bye email blasting, welcome real Email Marketing !