Es ist soweit: Ab sofort steht allen Teilnehmern unseres Beta-Programmes die neue Artfiles Antispam Lösung zur Verfügung. (Informationen zum Beta-Programm finden sie in der DCP Hilfe)
Ebenfalls in der DCP Hilfe finden sie natürlich auch eine Anleitung zur Einrichtung des neuen Spamfilters.
In diesem Artikel möchte ich ein wenig auf die technischen Hintergründe des Artfiles Antispam Systems eingehen – wie es bisher war, und wie es nun werden wird. Aber Achtung: es wird technisch!
Anmerkung: Basierend auf Feedback aus der Betaphase haben wir einige Änderungen zur ursprünglich hier vorgestellten Version vorgenommen. Diese Änderungen sind im Text hervorgehoben.
SpamAssassin
Erst geliebt, dann geschmäht: Als SpamAssassin vor gut 20 Jahren auf der Bildfläche erschien, gab es zum ersten Mal eine echte Waffe gegen die schon damals allgegenwärtigen unerwünschten Emails. Bis dahin blieb es jedem Nutzer selbst überlassen, seine Mailbox vom Spam zu säubern.
Heute undenkbar: anfang der 2000er Jahre war es noch durchaus üblich den Provider des Spamversenders anzuschreiben und auf das Fehlverhalten seiner User hinzuweisen.
Noch undenkbarer: manchmal hatte das damals sogar Erfolg!
Aber es war abzusehen, dass es mehr brauchte, um dem Problem Herr zu werden und SpamAssassin bot die entsprechenden Werkzeuge: Filterlisten, Erkennung von wiederkehrenden Mustern in URLs und Headern und sogar eine einfache statistische Analyse mit Bayes Filtern.
Leider konnte die Entwicklung des SpamAssassins aber mit der rasanten Ausbreitung des Spamproblems nicht Schritt halten, und so sind heute nicht nur die Erkennungsraten, sondern auch die Administration und das Monitoring nicht mehr Stand der Technik.
The (not exactly) new kid in town
Auftritt Rspamd: von Grund auf neu entwickelt und mit modernen Features wie REST-API, Webinterface und Lua-Skripting ausgestattet, tritt Rspamd an, auch der Spamflut des Jahres 2023 Herr zu werden. Wie SpamAssassin ist auch Rspamd ein lupenreines Opensource Projekt unter der Apache Lizenz.
Anders als der SpamAssassin, der als Filter bei der Mailzustellung eingebunden wird, arbeitet Rspamd aber direkt mit dem MX Server zusammen und kann so bereits im SMTP Dialog eingreifen und gegebenenfalls Mails zurückweisen.
Wesentlich weiterentwickelt im Gegensatz zum SpamAssassin sind auch das MIME-Handling und die statistische Analyse.
Vergleich SpamAssassin / Rspamd
Rspamd bei Artfiles
Rspamd scannt auf den Artfiles Maileingangsservern (MX) alle eingehenden Mails und fügt als Spam erkannten Nachrichten diverse Header hinzu:
X-AF-Spam-Report: Action: add_header
Symbol: RDNS_NONE(0.00)
Symbol: BAYES_SPAM(5.04)
Symbol: HAS_XOIP(0.00)
Symbol: R_DKIM_REJECT(1.00)
Symbol: NEURAL_SPAM(0.00)
Symbol: FROM_NEEDS_ENCODING(0.00)
Symbol: DATE_IN_FUTURE(4.00)
Symbol: RCVD_COUNT_THREE(0.00)
Symbol: TO_DN_ALL(0.00)
Symbol: DKIM_TRACE(0.00)
Symbol: RCVD_NO_TLS_LAST(0.10)
Symbol: TO_EQ_FROM(0.00)
Symbol: MIME_TRACE(0.00)
Symbol: SUBJECT_ENDS_QUESTION(0.00)
Symbol: ASN(0.00)
Symbol: ARC_NA(0.00)
Symbol: RBL_NIXSPAM(4.00)
Symbol: FROM_HAS_DN(0.00)
Symbol: TO_MATCH_ENVRCPT_ALL(0.00)
Symbol: R_BAD_CTE_7BIT(3.50)
Symbol: PREVIOUSLY_DELIVERED(0.00)
Symbol: DMARC_NA(0.00)
Symbol: CT_EXTRA_SEMI(0.40)
Symbol: RCPT_COUNT_ONE(0.00)
Symbol: RCVD_IN_DNSWL_NONE(0.00)
Symbol: MIME_HTML_ONLY(0.00)
Symbol: R_SPF_NA(0.00)
Symbol: HFILTER_HOSTNAME_UNKNOWN(2.50)
Message-ID: 3aWI9M3SIWDVOKpaia5J29op+gbMWC9H708EbDO77XDlHoPTWmGXZQkYm2vhZaRv-Bw@mail.gmail.com
X-AF-Spam-Score: 20.5
X-AF-Spam-Checked: Artfiles Antispam 0.5
Subject: Verlieren Sie bis zu 14 kg in einem Monat?Entscheidend ist vor allem der X-AF-Spam-Score. Dieser wird auf den IMAP Servern per Sieve ausgewertet und sorgt dann für die Umleitung einer als Spam erkannten Mail in den Junk bzw. Spam Ordner des jeweiligen Accounts.
Im DCP lassen sich wie schon beim SpamAssassin Schwellwerte für die Filterung einstellen:
min = 8
medium = 5
max = 3Mails, deren X-AF-Spam-Score über dem Schwellwert liegt, werden als Spam behandelt. max stellt also den aggresivsten Wert dar.
Update: Es stehen nur noch die Werte Standard (5) und Hoch (3) zur Auswahl.
Da alle Mails mit einem entsprechenden Score versehen werden, selbst, wenn für den Empfängeraccount kein Spamschutz aktiviert ist, können alle Spam Header auch in eigenen Sieve Skripten ausgewertet werden.
Um die Kompatibiliät mit den bisherigen Markierungen des SpamAssassin zu gewährleisten, gibt es im DCP zudem die Möglichkeit, per Option diese Markierungen auch für den Rspamd zu aktivieren. Dann sähe die entsprechende Nachricht so aus:
X-AF-Spam-Report: Action: add_header
Symbol: RDNS_NONE(0.00)
Symbol: BAYES_SPAM(5.04)
Symbol: HAS_XOIP(0.00)
Symbol: R_DKIM_REJECT(1.00)
Symbol: NEURAL_SPAM(0.00)
Symbol: FROM_NEEDS_ENCODING(0.00)
Symbol: DATE_IN_FUTURE(4.00)
Symbol: RCVD_COUNT_THREE(0.00)
Symbol: TO_DN_ALL(0.00)
Symbol: DKIM_TRACE(0.00)
Symbol: RCVD_NO_TLS_LAST(0.10)
Symbol: TO_EQ_FROM(0.00)
Symbol: MIME_TRACE(0.00)
Symbol: SUBJECT_ENDS_QUESTION(0.00)
Symbol: ASN(0.00)
Symbol: ARC_NA(0.00)
Symbol: RBL_NIXSPAM(4.00)
Symbol: FROM_HAS_DN(0.00)
Symbol: TO_MATCH_ENVRCPT_ALL(0.00)
Symbol: R_BAD_CTE_7BIT(3.50)
Symbol: PREVIOUSLY_DELIVERED(0.00)
Symbol: DMARC_NA(0.00)
Symbol: CT_EXTRA_SEMI(0.40)
Symbol: RCPT_COUNT_ONE(0.00)
Symbol: RCVD_IN_DNSWL_NONE(0.00)
Symbol: MIME_HTML_ONLY(0.00)
Symbol: R_SPF_NA(0.00)
Symbol: HFILTER_HOSTNAME_UNKNOWN(2.50)
Message-ID: 3aWI9M3SIWDVOKpaia5J29op+gbMWC9H708EbDO77XDlHoPTWmGXZQkYm2vhZaRv-Bw@mail.gmail.com
X-AF-Spam-Score: 20.5
X-AF-Spam-Checked: Artfiles Antispam 0.5
X-Spam-Flag: YES
X-Spam-Score: 20
Subject: *****SPAM***** Verlieren Sie bis zu 14 kg in einem Monat?So muss an bestehenden, clientseitigen Filtereinstellungen nichts geändert werden für den nahtlosen Umstieg auf Rspamd.
Der Kompatibilitätsmodus ist auch die richtige Wahl für Accounts, die noch per POP3 abgerufen werden, da POP3 Clients nicht kompatibel sind mit IMAP Ordnern wie Junk und Spam.
Schwarz – weiß
Auch Rspamd unterstützt selbstverständlich Black- und Whitelists. Deren Konfiguration ist allerdings etwas anders organisiert, als im SpamAssassin. Listen für einzelne Accounts können sie nun direkt im jeweiligen Account eingeben. Dort können sie auch festlegen, ob der jeweilige Account die für die gesamte Domain oder für ihren Artfiles Account als Ganzes konfigurierten Listen übernehmen soll.
Lernen, Lernen und nochmals Lernen
Die Präzision der Spamfilterung hängt nicht zuletzt von den Trainingsdaten ab, die den Statistikmodulen des Rspamd zur Verfügung stehen. Ab sofort können sie sich aktiv zunächst an der Reduzierung von False Positives, also Mails, die fälschlich als Spam klassifiziert wurden, beteiligen.
Wenn sie die entsprechende Option im DCP aktivieren, wird jede Mail, die sie aus ihrem Spamordner verschieben als Ham – also als Nicht-Spam – vom System gelernt.
Update: Es wird sowohl Spam (durch verschieben in den Spamordner) als auch Ham (durch verschieben aus dem Spamordner) gelernt.
Virenschutz
Im SpamAssassin war er noch ein separates System, nun ist der Virenscanner direkt im Rspamd integriert. Auch die Behandlung erkannter Viren ändert sich: Gab es bisher die Wahl zwischen Löschen und Verschieben der Virusmails, wird nun der Inhalt einer infizierten Mail entfernt, und die Mail dann entsprechend markiert normal zugestellt. Sie sieht dann etwa so aus:
Subject: [DCP Antivirus: Message content removed] Eicar Test Virus
Der Inhalt dieser Email wurde vom Virenscanner entfernt, da ein Virus erkannt wurde.
The content of this Mail was removed because the anti virus software detected a virus.So können Sie gefahrlos Absender und ursprüngliches Subject prüfen und den Absender gegebenenfalls sogar informieren.
Sie haben die Wahl!
Das vielleicht wichtigste zum Schluss: während der Beta-Phase bis ca. Ende Mai 2023 können sie jederzeit zwischen SpamAssassin und Rspamd wechseln und das System ausgiebig testen. Später werden wir für neu angelegte Accounts aussschließlich Rspamd unterstützen.
Eine Abkündigung des SpamAssassin für bestehende Accounts ist derzeit nicht vorgesehen, wir können das aber mittelfristig nicht ausschließen.
Vor allem aber empfehlen wir unbedingt den Umstieg auf Rspamd. Die Ergebnisse der Spamerkennung sind sehr viel besser als beim SpamAssassin – und wir wissen natürlich, dass viele unserer Kunden dringend auf eine solche Verbesserung gewartet haben.
