Ab sofort steht er allen Artfiles Kunden zur Verfügung: unser neuer Spamfilter auf Basis von Rspamd. Details zum Hintergrund und der Implementierung gibt es im Blogartikel zum Betatest.
Hier noch einmal die wichtigsten Features und Unterschiede zur bisherigen Lösung auf Basis von SpamAssassin (tldr am Ende des Artikels):
Verbesserte Erkennung
Rspamd nutzt im Gegensatz zu SpamAssassin ein breiteres Spektrum von Tests um Spam zu erkennen. Außerdem scannt Rspamd E-Mails direkt bei der Einlieferung und kann daher für seine Tests auf deutlich mehr Parameter zugreifen als der SpamAssassin, der erst bei der Zustellung ins Postfach aktiv wird.
Selbstlernend
Rspamd lernt automatisch Eigenschaften typischer Spam E-Mails. Außerdem können alle Artfiles Kunden zur Verbesserung der Erkennung E-Mails zum Lernen zur Verfügung stellen. Wie das geht, erläutern wir in einem Hilfeartikel.
Behandlung erkannter Spam Mails
Bisher war die Behandlung von erkannten Spam Mails Client-Sache. SpamAssassin markiert die E-Mails mit einem deutlich sichtbaren *****SPAM***** Tag im Betreff. Darauf kann der Benutzer dann selbst einen FIlter konfigurieren. Rspamd vereinfacht diesen Vorgang, in dem er erkannte Spam E-Mails direkt in den Spamordner verschiebt. Für POP3 Nutzer und alle, die bereits umfangreiche eigene Filter angelegt haben, steht auch ein Kompatibilitätsmodus zur Verfügung, der weiterhin das Spam-Tag in den Betreff schreibt.
Erweiterte Einstellungen
Sie können im DCP wie gehabt das Verhalten der Spamfilters Ihren Bedürfnissen anpassen. Wir empfehlen aber unbedingt, alle Einstellungen zunächst auf den Standardwerten zu belassen. Im Gegensatz zum SpamAssassin ist die Erkennungsleistung des Rspamd so gut, dass es in der Regel keiner Anpassungen bedarf.
Ausblick
Mittelfristig wird der Rspamd den SpamAssassin vollständig ablösen. In den nächsten Monaten werden wir aber beide Systeme noch parallel anbieten, um Ihnen die Möglichkeit zu geben, das neue System ausgiebig zu testen.
Tldr;
Wir bauen unseren Spamfilter um. Der neue Filter ist deutlich leistungsfähiger als der bisherige. Um den neuen Filter zu aktivieren einfach im DCP im E-Mailaccount auf Spamfilter – erweiterte Einstellungen klicken und die Variante umstellen auf Rspamd.
Es ist soweit: Ab sofort steht allen Teilnehmern unseres Beta-Programmes die neue Artfiles Antispam Lösung zur Verfügung. (Informationen zum Beta-Programm finden sie in der DCP Hilfe)
Ebenfalls in der DCP Hilfe finden sie natürlich auch eine Anleitung zur Einrichtung des neuen Spamfilters.
In diesem Artikel möchte ich ein wenig auf die technischen Hintergründe des Artfiles Antispam Systems eingehen – wie es bisher war, und wie es nun werden wird. Aber Achtung: es wird technisch!
Anmerkung: Basierend auf Feedback aus der Betaphase haben wir einige Änderungen zur ursprünglich hier vorgestellten Version vorgenommen. Diese Änderungen sind im Text hervorgehoben.
SpamAssassin
Erst geliebt, dann geschmäht: Als SpamAssassin vor gut 20 Jahren auf der Bildfläche erschien, gab es zum ersten Mal eine echte Waffe gegen die schon damals allgegenwärtigen unerwünschten Emails. Bis dahin blieb es jedem Nutzer selbst überlassen, seine Mailbox vom Spam zu säubern.
Heute undenkbar: anfang der 2000er Jahre war es noch durchaus üblich den Provider des Spamversenders anzuschreiben und auf das Fehlverhalten seiner User hinzuweisen.
Noch undenkbarer: manchmal hatte das damals sogar Erfolg!
Aber es war abzusehen, dass es mehr brauchte, um dem Problem Herr zu werden und SpamAssassin bot die entsprechenden Werkzeuge: Filterlisten, Erkennung von wiederkehrenden Mustern in URLs und Headern und sogar eine einfache statistische Analyse mit Bayes Filtern.
Leider konnte die Entwicklung des SpamAssassins aber mit der rasanten Ausbreitung des Spamproblems nicht Schritt halten, und so sind heute nicht nur die Erkennungsraten, sondern auch die Administration und das Monitoring nicht mehr Stand der Technik.
The (not exactly) new kid in town
Auftritt Rspamd: von Grund auf neu entwickelt und mit modernen Features wie REST-API, Webinterface und Lua-Skripting ausgestattet, tritt Rspamd an, auch der Spamflut des Jahres 2023 Herr zu werden. Wie SpamAssassin ist auch Rspamd ein lupenreines Opensource Projekt unter der Apache Lizenz.
Anders als der SpamAssassin, der als Filter bei der Mailzustellung eingebunden wird, arbeitet Rspamd aber direkt mit dem MX Server zusammen und kann so bereits im SMTP Dialog eingreifen und gegebenenfalls Mails zurückweisen.
Wesentlich weiterentwickelt im Gegensatz zum SpamAssassin sind auch das MIME-Handling und die statistische Analyse.
Entscheidend ist vor allem der X-AF-Spam-Score. Dieser wird auf den IMAP Servern per Sieve ausgewertet und sorgt dann für die Umleitung einer als Spam erkannten Mail in den Junk bzw. Spam Ordner des jeweiligen Accounts.
Im DCP lassen sich wie schon beim SpamAssassin Schwellwerte für die Filterung einstellen:
min = 8
medium = 5
max = 3
Mails, deren X-AF-Spam-Score über dem Schwellwert liegt, werden als Spam behandelt. max stellt also den aggresivsten Wert dar.
Update: Es stehen nur noch die Werte Standard (5) und Hoch (3) zur Auswahl.
Da alle Mails mit einem entsprechenden Score versehen werden, selbst, wenn für den Empfängeraccount kein Spamschutz aktiviert ist, können alle Spam Header auch in eigenen Sieve Skripten ausgewertet werden.
Um die Kompatibiliät mit den bisherigen Markierungen des SpamAssassin zu gewährleisten, gibt es im DCP zudem die Möglichkeit, per Option diese Markierungen auch für den Rspamd zu aktivieren. Dann sähe die entsprechende Nachricht so aus:
So muss an bestehenden, clientseitigen Filtereinstellungen nichts geändert werden für den nahtlosen Umstieg auf Rspamd.
Der Kompatibilitätsmodus ist auch die richtige Wahl für Accounts, die noch per POP3 abgerufen werden, da POP3 Clients nicht kompatibel sind mit IMAP Ordnern wie Junk und Spam.
Schwarz – weiß
Auch Rspamd unterstützt selbstverständlich Black- und Whitelists. Deren Konfiguration ist allerdings etwas anders organisiert, als im SpamAssassin. Listen für einzelne Accounts können sie nun direkt im jeweiligen Account eingeben. Dort können sie auch festlegen, ob der jeweilige Account die für die gesamte Domain oder für ihren Artfiles Account als Ganzes konfigurierten Listen übernehmen soll.
Lernen, Lernen und nochmals Lernen
Die Präzision der Spamfilterung hängt nicht zuletzt von den Trainingsdaten ab, die den Statistikmodulen des Rspamd zur Verfügung stehen. Ab sofort können sie sich aktiv zunächst an der Reduzierung von False Positives, also Mails, die fälschlich als Spam klassifiziert wurden, beteiligen.
Wenn sie die entsprechende Option im DCP aktivieren, wird jede Mail, die sie aus ihrem Spamordner verschieben als Ham – also als Nicht-Spam – vom System gelernt.
Update: Es wird sowohl Spam (durch verschieben in den Spamordner) als auch Ham (durch verschieben aus dem Spamordner) gelernt.
Virenschutz
Im SpamAssassin war er noch ein separates System, nun ist der Virenscanner direkt im Rspamd integriert. Auch die Behandlung erkannter Viren ändert sich: Gab es bisher die Wahl zwischen Löschen und Verschieben der Virusmails, wird nun der Inhalt einer infizierten Mail entfernt, und die Mail dann entsprechend markiert normal zugestellt. Sie sieht dann etwa so aus:
Subject: [DCP Antivirus: Message content removed] Eicar Test Virus
Der Inhalt dieser Email wurde vom Virenscanner entfernt, da ein Virus erkannt wurde.
The content of this Mail was removed because the anti virus software detected a virus.
So können Sie gefahrlos Absender und ursprüngliches Subject prüfen und den Absender gegebenenfalls sogar informieren.
Sie haben die Wahl!
Das vielleicht wichtigste zum Schluss: während der Beta-Phase bis ca. Ende Mai 2023 können sie jederzeit zwischen SpamAssassin und Rspamd wechseln und das System ausgiebig testen. Später werden wir für neu angelegte Accounts aussschließlich Rspamd unterstützen.
Eine Abkündigung des SpamAssassin für bestehende Accounts ist derzeit nicht vorgesehen, wir können das aber mittelfristig nicht ausschließen.
Vor allem aber empfehlen wir unbedingt den Umstieg auf Rspamd. Die Ergebnisse der Spamerkennung sind sehr viel besser als beim SpamAssassin – und wir wissen natürlich, dass viele unserer Kunden dringend auf eine solche Verbesserung gewartet haben.
da sind wir uns alle sicher einig: So schnell wie dieses Jahr ist noch kein anderes vorübergegangen. Vor allem das große Weltgeschehen hat uns natürlich alle beschäftigt, aber auch bei Artfiles war einiges los in 2022. Wie in jedem Jahr wollen wir zum Ausklang des Jahres davon berichten und wie immer auch einen kurzen Blick in die Zukunft werfen.
Doch zunächst einmal gibt es handfeste Neuigkeiten:
Mehr Webspace für Shared-Hosting Kunden!
Zum 15.12. dieses Jahres werden wir für alle Shared-Hosting Tarife, bis auf den Tarif „Private-Web tiny“ den verfügbaren Webspace massiv erhöhen.
Falls Sie zu den Glücklichen gehören, die ein Shared-Hosting Produkt bei uns gebucht haben, entnehmen Sie den betreffenden Wert bitte der Tabelle.
Bisher:
Ab dem 15.12.2022
Tarif
Webspace
Mailspace
Webspace
Mailspace
Private-Web medium
5 GB
10 GB
20 GB
20 GB
Private-Web large
15 GB
30 GB
60 GB
60 GB
Business-Web small
30 GB
60 GB
120 GB
120 GB
Business-Web large
50 GB
100 GB
200 GB
200 GB
Professional-Web
75 GB
150 GB
300 GB
300 GB
Und wo wir schon beim Webspace sind, dazu noch eine kleine Anmerkung:
Für uns ist es eigentlich eine Selbstverständlichkeit im Jahr 2022, aber die Mitbewerber-Umschau zeigt, dass es offenbar nicht so ist. Also erlauben wir uns nochmal herauszustellen:
Schneller NVMe-SSD Speicher ist im Artfiles Webhosting Standard, sowohl für den Webspace als auch für die Datenbanken. Das gilt vom kleinsten Private tiny Tarif bis zum Professional Web af.stack Server.
af.stack
Unser OpenStack Projekt wächst und gedeiht: Mehr als 40 Server mit über 1000 CPU Kernen und 400 TB Storage beherbergen neben Kundenprojekten mittlerweile auch einen Großteil unserer eigenen Server. Vor allem die Umstellung der managed Webserver schreitet mit großen Schritten voran und so hoffen wir dann 2023 endlich unsere letzten Xen-Server in den wohlverdienten Ruhestand schicken zu können.
Colo3 – Unser zweites Rechenzentrum
In unserem Newsletter vom letzten Jahr haben wir ziemlich großmündig angekündigt, dass das Jahr 2022 im Zeichen des Aufbaus unseres zweiten Rechenzentrums stehen wird. Doch leider hat uns hier die Weltwirtschaft und -politik einen gehörigen Strich durch die Rechnung gemacht. Extrem lange Lieferzeiten, hohe Preissteigerungen und nicht zuletzt auch der derzeit unberechenbare Energiemarkt haben dazu beigetragen, dass wir das Projekt erst einmal auf die lange Bank schieben mussten. Doch aufgeschoben ist nicht aufgehoben. Der Plan steht, wir haben sogar schon eine Location im Auge, und sobald es die wirtschaftliche Vernunft erlaubt, werden wir die Arbeit an diesem Herzensprojekt wieder aufnehmen.
Artfiles und die Vier-Tage-Woche
Ebenfalls im letzten Newsletter hatten wir angekündigt die Unternehmensarbeitszeit auf eine Vier-Tage-Woche umzustellen. Hier können wir Vollzug melden. Seit dem 01.04. befindet sich das gesamte Artfiles Team im Vier-Tage Modus. Bis auf die notwendige Besetzung im Support, der Technik und dem Vertrieb bleiben am Freitag alle Artfiles Mitarbeiter zu Hause. Die bisherigen Erfahrungen sind sehr positiv und so hoffen wir, 2023 dieses Experiment erfolgreich abschließen und als neues Arbeitszeitmodell fest übernehmen zu können.
Sonstiges
Auch in diesem Jahr verzichten wir wieder auf die Erstellung von Weihnachtskarten und -grafiken und geben das Geld lieber an karitative Organisationen weiter. Da uns das Hilfsprojekt Give Directly so gut gefällt, bekommt diese Organisation auch in diesem Jahr den Betrag von 1000,00 Euro direkt überwiesen. Give Directly ist eine Wohltätigkeitsorganisation, welche das Geld direkt auf die Mobiltelefone sehr armer Menschen sendet.
Und schon war es das damit erst einmal wieder von unserer Seite. Wie immer laden wir Sie herzlich ein, auch unser Facebook-, Instagram und Twitterangebot zu nutzen um sich über aktuelle Neuigkeiten zu informieren.
Wir wünschen Ihnen angenehme Feiertage und einen guten Rutsch in das neue Jahr. Das Artfiles Team
Wir haben unseren Dachboden entrümpelt und reichlich Hardware gefunden. Die muss jetzt weg. Aber bevor wir sie auf den Schrott geben, wollen wir versuchen, vielleicht doch noch das ein oder andere alte Schätzchen (naja) in gute Hände abzugeben.
Alles ist kostenlos und – soweit wir sagen können – voll funktionstüchtig. Eine Garantie dafür können wir aber natürlich nicht geben. Die Sachen stehen halt teilweise schon seit Jahren herum.
Wir haben anzubieten:
Ca 50 Dell M610 Blades samt Prozessoren (55x und 56x Intel Xeon) und RAM (überwiegend 4GB registered ECC) inkl. Raid und Netzwerk
Dazu mindestens 6 M1000e Bladecenter komplett mit Switches, Netzteilen, Lüftern, CMC etc.
Diverse Supermicro 1HE Rackserver (uuuralt)
Diverse Dell R710 etc.
HP 2848 Gigabit Switches (größtenteils mit lebenslanger HP Garantie)
und für die ganz harten Nostalgiker:
3 CISCO 7200 mit diversen Linecards
Alles wie gesagt funktionsfähig eingelagert aber ohne jede Gewähr. Abzuholen in unserem Rechenzentrum in der Wendenstraße in Hamburg.
Festplatten und SSDs sind grundsätzlich nicht dabei.
Wenn ihr also mal ein 2000 Watt Homelab aufbauen wollt, oder mal immer schon mal ausprobieren wolltet, was passiert, wenn man nicht einen sondern dreißig Spanning Tree Loops steckt, oder wenn ihr jemanden kennt, der so etwas irgendwie brauchen kann – gebt das gerne weiter oder schickt uns einfach bis 16.10. eine Mail an ab@artfiles.de.
Wir würden uns freuen, wenn wir noch ein paar unserer alten Arbeitspferde vor der Schrottpresse bewahren könnten.
im vergangenen Jahr hat sich wieder viel getan bei uns und wie immer möchten wir Ihnen mit unserem traditionellen Weihnachtsnewsletter einen Überblick über die wichtigsten Neuerungen aus den vergangenen 12 Monaten geben und bei der guten Gelegenheit auch gleich einen forschen Blick in die Zukunft wagen.
ISO-Zertifizierung des W408 Rechenzentrums
Viele Neuerungen und Änderungen finden bei einem Hoster und Rechenzentrumsanbieter ja stets eher „unter der Haube“ statt. Nicht so bei der Zertifizierung unseres W408 Rechenzentrums in der Wendenstraße in Hamburg: Seit Mai diesen Jahres sind wir nun ISO 27001 zertifiziert und das auf Hochglanz gewienerte Zertifikat kann im Eingangsbereich des Rechenzentrums besichtigt werden. Genauso hatten wir uns das vorgestellt.
Insgesamt hat die Prozedur zwar etwas länger gedauert als geplant, dafür sind wir mit dem Ergebnis nun aber umso zufriedener und nicht nur unser Sicherheitsbeauftragter David Saam freut sich, dass das Projekt (endlich) zum Abschluss gebracht wurde.
Professional Web Cloudserver ist tot – es lebe Professional-Web af.stack!
Seltsame Überschrift, aber so ist es: bereits im Februar haben wir unsere neue Cloud Plattform af.stack aus der ausgiebigen Testphase in den produktiven Betrieb entlassen. af.stack ist unsere eigenentwickelte Cloudlösung auf Basis von OpenStack. Über die vielen Vorteile dieser Lösung können Sie sich am besten direkt auf unserer Homepage informieren. af.stack ist eine mächtige und flexible Cloudlösung, die in der Anwendung aber so einfach ist wie ein virtueller Server.
Im November haben wir dann begonnen, die OpenStack-Technologie auch für unsere Webhosting Produkte zu nutzen. Als erstes mussten wir dafür den Tarif „Professional Web Cloudserver“ in seine verdiente Webhosting-Rente schicken. Im nächsten Schritt haben wir dann einen Managed Hosting-Tarif eingeführt, der vollständig in der OpenStack Umgebung realisiert wurde.
Mit dem neuen Tarif “Professional Web af.stack” ist es nun möglich, die vielen Vorteile des OpenStack Systems und alle Vorzüge eines gemanagten Webhosting-Tarifs zu genießen. Falls Sie sich hierfür interessieren, schauen Sie gern einmal auf unserer Homepage vorbei und sprechen Sie uns auf einen Testzugang an.
Neuerungen im DCP – ohne eigene Entwicklungsabteilung undenkbar
Seit unserer Gründung im Jahr 2000 leisten wir uns den „Luxus“ möglichst alle relevanten Applikationen im eigenen Haus von den eigenen Entwicklern erstellen zu lassen. Hierdurch ist es uns über die Jahre immer wieder möglich gewesen, Änderungen schnell und genau passend zu unseren und Ihren Bedürfnissen umzusetzen und neue Features zu entwickeln, die sonst niemand anbietet. Wie schon erwähnt, findet der überwiegende Teil der Optimierungen und Erweiterungen meist unterhalb des Radars statt und sorgt so für einen reibungslosen Betrieb. Aber natürlich gibt es auch Funktionen, die für Sie als Kunde direkt nutzbar sind und die dabei helfen sollen, Ihre Arbeit mit unseren Produkten noch einfacher und komfortabler zu machen. Hier einige Beispiele aus dem letzten Jahr:
Changelog
Auch kleinere Änderungen und Verbesserungen können zum Teil eine große Wirkung haben und die Dinge erleichtern. Damit Sie immer auf dem aktuellen Stand sind, welche Features neu hinzugekommen sind, oder welche Änderungen an der Webhostingplattform es gegeben hat, finden Sie seit einiger Zeit im DCP unter dem Menüpunkt „Ihr Account -> Changelog“ eine Liste der Änderungen.
Favoriten
Ebenfalls seit einigen Wochen finden Sie im DCP-Menü den Menüpunkt „Favoriten“. Sollten Sie eine Funktion im DCP oft nutzen, empfiehlt es sich diese als Favorit abzulegen. Dazu klicken Sie auf der jeweiligen Seite einfach auf den kleinen Stern in der oberen rechten Ecke. Alle so favorisierten DCP-Funktionen finden Sie dann in einer Liste unter „Favoriten“ wieder.
Suchfunktion und Archivierung für Tickets
Für alle, die den Überblick über Ihre Tickets verloren haben, gibt es jetzt die Möglichkeit, diese zu durchsuchen und nach Bedarf zu archivieren. Demnächst wird noch eine konfigurierbare Auto-Archivierung dazukommen.
2-Faktor Authentifizierung für DCP User und Wiederherstellungstoken
Nachdem das DCP für den Hauptnutzer schon lange die Möglichkeit bietet, per 2-Faktor Authentifizierung den Login zusätzlich abzusichern, gibt es diese Möglichkeit seit einiger Zeit auch für DCP User.
Außerdem können nun Wiederherstellungsschlüssel erzeugt werden, die bei Verlust des 2-Faktor-Gerätes das Zurücksetzen der Authentifizierung ermöglichen.
Wie Sie sehen, ist unsere Entwicklungsabteilung alles andere als untätig und die Entwicklung eigener Lösungen ist ein unverzichtbarer Bestandteil unserer Firmenphilosophie. Und weil uns so gut gefällt, was die Damen und Herren dort so treiben, haben wir das Softwaredepartment in den letzten 12 Monaten bereits durch einen weiteren Mitarbeiter verstärkt und zwei weitere werden im nächsten Jahr noch folgen.
Sie dürfen also weiter auf viele Neuerungen gespannt sein.
4-Tage-Woche
Hier kommt zur Abwechslung einmal eine besonders gute Nachricht für alle Artfiles Mitarbeiter*innen und solche, die es werden wollen: Bis zum 01.04.2022 werden wir unser Unternehmen zu einem 4-Tage-Woche Unternehmen umbauen. Das bedeutet für die meisten Mitarbeiter*innen: Freitag ist bei Artfiles frei.
Aber natürlich werden wir auch am Freitag unsere Webserver nicht ausschalten und auch die Rechenzentren werden weiter laufen wie bisher. Mit anderen Worten: Der Support, die Technische Betreuung unserer Systeme, sowie der Vertrieb bleibt weiterhin an 5 Tagen in der Woche für Sie zu den bekannten Zeiten besetzt.
Bei der Umstellung handelt es sich um ein Modellprojekt. Ab April geben wir dem Ganzen 18 Monate Zeit sich zu bewähren, dann wird entschieden, ob die 4-Tage-Woche fortgesetzt wird oder wir zur 5-Tage-Woche zurückkehren.
Große Pläne für das Jahr 2022
Einiges von dem, was wir ihm nächsten Jahr vorhaben, haben wir ja nun schon rausposaunt. Aber den größten Knaller haben wir uns natürlich für den Schluss aufgehoben: 2022 wird das Jahr der Artfiles Rechenzentrumserweiterung Colo 3!
Für Sie wird davon zunächst natürlich nicht viel sichtbar werden, aber Sie können uns glauben, dass schon der Gedanke an diesen Plan allen Artfiles Techniker*innen gleichzeitig die Freudesröte auf die Wangen, und den Angstschweiß auf die Stirn treibt. Wenn alles glatt läuft und uns die Corona-Lieferengpässe nicht den Zeitplan durcheinander bringen, werden wir zum Ende des nächsten Jahres unseren dritten Rechenzentrums-Abschnitt in Betrieb nehmen. Und wie auch schon beim Ausbau unserer bestehenden Colocation, werden wir auch diesmal wieder die oberste Priorität auf Zuverlässigkeit, Nachhaltigkeit und Energieeffizienz legen.
Wir freuen uns bereits sehr darauf dieses Projekt anzugehen und haben uns auch fest vorgenommen, die Fortschritte der Arbeiten öffentlich zu dokumentieren. Wie genau, wissen wir allerdings noch nicht. Wir halten Sie auf dem Laufenden!
Erreichbarkeit über die Feiertage
Am 24. und 31.12. ist unser Support in der Zeit von 9:00 bis 13 Uhr für Sie auch telefonisch oder per Chat erreichbar. An allen anderen Tagen stehen wir Ihnen zu den gewohnten Supportzeiten zur Verfügung.
Auch in diesem Jahr verzichten wir wieder auf die Erstellung von Weihnachtskarten und -grafiken und spenden von dem so gesparten Betrag von 1000,00 Euro an die Organisation Give Directly, einer Wohltätigkeitsorganisation, welche das Geld direkt auf die Mobiltelefone sehr armer Menschen sendet.
Das war es nun erst einmal von unserer Seite. Wie immer laden wir Sie herzlich ein, auch unser Facebook- und Twitterangebot zu nutzen um sich über aktuelle Neuigkeiten zu informieren.
Wir wünschen Ihnen angenehme Feiertage und einen guten Rutsch in das neue Jahr.
TL;DR: Wir bieten ihnen ab sofort eine vollwertige Openstack Compute / Blockstorage Lösung als Public Cloud mit Integration der wichtigsten Features ins DCP an.
Nach ziemlich genau 10 Jahren und weit über 2000 virtuellen Servern ist es Zeit, unsere selbstentwickelte Cloud in den wohlverdienten Ruhestand zu schicken.
Wie schon seit einiger Zeit abzusehen, ist die eigene Entwicklung einer Cloudplattform auf die Dauer nicht zu leisten. Zu schnell entwickelt sich die Technik und zu mächtig sind die Mitspieler.
Also haben wir uns bereits anfang 2019 entschlossen, auf eine offene Cloudlösung zu setzen und unsere Ressourcen darauf zu konzentrieren, diese perfekt in unsere komfortable und einfach zu bedienende DCP Architektur einzubinden.
Und so wurde AFstack geboren: die Flexibilität von OpenStack verbunden mit der einfachen Bedienung und perfekten Integration des DCPs.
Openstack
Mit OpenStack lässt sich eine Cloud rein aus Open Source Komponenten bauen. In Python programmiert verbindet es bekannte VM Software wie KVM und Xen mit Storage Technologien wie Ceph oder iSCSI-Filern. OpenVSwitch sorgt als SDN (Software Defined Networking) Lösung für moderne und flexible Netzwerkfunktionen.
Ursprünglich entwickelt 2010 von der NASA und Rackspace.com wird OpenStack (mittlerweile in Version 21) von einer weltweiten Community entwickelt und gepflegt.
OpenStack besteht aus diversen Komponenten, die jeweils einzelne Funktionalitäten eines virtuellen Datacenters abbilden: Nova (virtuelle Server), Cinder (Block Storage – “virtuelle Festplatten”), Swift (Objektstorage), Neutron (virtuelle Netzwerkkomponenten – Switches und Router). Dazu kommen viele Dienste, die die Verwaltung und Zusammenarbeit dieser Komponenten organisieren: Keystone (Authentifizierung – Identity Mamagement), Glance (Verwaltung von Betriebssystem Installationsimages) und Horizon (Weboberfläche).
Die Bedienung all dieser Komponenten erfolgt entweder über das Horizon Webinterface oder über eine REST-basierte API. Wie sich anhand der Beschreibung erahnen lässt, ist die Benutzung dieses komplexen Systems nicht ganz einfach. Und hier kommt unsere DCP Integration ins Spiel.
af.stack
So nennen wir unser Produkt, dass die nahezu unendlichen Konfigurationsmöglichkeiten von OpenStack mit der einfachen Bedienung und Benutzfreundlichkeit des DCPs verbindet. Während im DCP die wichtigsten Funktionen wie VMs anlegen und steuern, IP Adressen verwalten und Kosten kontrollieren zur Verfügung stehen, können parallel per OpenStack API diesen Servern erweiterte Funktionen zugeordnet werden.
So können sie zum Beispiel im DCP einfach einen neuen virtuellen Server anlegen, um ihm dann per Horizon Oberfläche z.B. weitere Netzwerkinterfaces oder auch zusätzliche virtuelle Festplatten zuordnen.
Oder sie nutzen die Automatisierungsfunktionen von OpenStack und kreieren so eigene Servervorlagen und steuern dann die so erzeugten Server aus dem DCP.
Im Laufe der kommenden Monate werden wir weitere Features ins DCP integrieren, die Ihnen die Verwaltung unserer Cloudplattform nnoch weiter erleichtern werden – wie immer mit besonderem Blick auf die Benutzerfreundlichkeit.
Wie jede Technik im Internet ist auch unser Mailsystem ständiger Veränderung und Anpassung an neue Entwicklungen unterworfen. Seit wir 2015 unser Mailsystem V3 in Betrieb genommen haben, hat sich viel getan, und so gibt es für uns auch im Frühjahr 2020 interessante Neuerungen zu verkünden – weitere werfen bereits ihre Schatten voraus.
Aber der Reihe nach:
E-Mail Backup & Restore
Bereits zum Jahresanfang angekündigt, wollen wir hier noch mal die Kernelemente des neuen Backupsystems vorstellen.
Unsere Mailstorage- und Abrufserver sind redundant ausgelegt und synchronisieren laufend ihren Datenbestand per DRBD auf ihren passiven Standby-Server. So ist sichergestellt, dass auch bei einem Hardwaredefekt die Ausfallzeit im Bereich weniger Minuten bleibt, und keine E-Mails verloren gehen können.
Der Standby-Server erzeugt alle zwei Stunden einen Snapshot des Datenbestandes, der dann vier Stunden vorgehalten wird. Dies dient zur Absicherung gegen eventuell manuell versehentlich gelöschte Daten.
Einmal täglich wird aus dem jeweils aktuellen Snapshot ein Offline Backup auf einen separaten Backup Server gezogen. Dieser Server speichert dann alle Daten jeweils 28 Tage lang. Die Backupserver stehen grundsätzlich physisch und logisch getrennt von den Mailservern, so dass Sie den Datenbestand auch gegen katastrophale Ereignisse wie Brand, Diebstahl oder Hackerangriffe absichern.
Im DCP können aus dem Offline Backup nun sowohl einzelne E-Mails als auch ganze Ordner und Accounts zum Restore ausgewählt werden. Diese werden dann vom Backupserver im Hintergrund eingespielt.
Im Unterschied zu den Lösungen anderer Anbieter sorgt das Artfiles Backupsystem dafür, dass wiederhergestellte Mails mit eventuell noch vorhandenen aktuellen Mails zusammengeführt werden. Dadurch bleiben auch die seit dem letzten Backup eingegangenen Mails erhalten und werden nicht überschrieben.
IMAPSync
Ab sofort ist es möglich, im DCP Mails zwischen verschiedenen IMAP Konten zu synchronisieren. Auf diese Weise können Sie beim Umzug Ihrer E-Mail-Konten von einem anderen Anbieter zu Artfiles bequem die E-Mails aus Ihrem alten Postfach zu Artfiles übertragen. Genauso wie beim E-Mail-Restore werden übertragene E-Mails mit bereits vorhandenen abgeglichen, so dass sich diese Funktion auch für das Zusammenführen von mehreren Accounts in einen einzelnen nutzen lässt.
Die Übertragung selbst findet transparent im Hintergrund statt, so dass sowohl Quell- als auch Zielaccount währenddessen uneingeschränkt nutzbar bleiben.
Informationen zur Nutzung der IMAPSync Funktion finden Sie ind er DCP Hilfe zum Thema.
Per Account Konfiguration
Ab sofort kann jeder E-Mail-Nutzer bei Artfiles seine E-Mail-Einstellungen selbst verwalten. Unter https://email.artfiles.de bzw. https://email.dcpserver.de steht ein Interface bereit, in dem je nach Berechtigungslevel alle Einstellungen, oder nur Autoresponder und Passwort geändert werden können. Der Berechtigungslevel kann im DCP Accountweit konfiguriert werden. Später wird im Rahmen weiterer Anpassungen im DCP auch eine feinere Kontrolle möglich sein.
Ausblick
Derzeit arbeiten unsere Entwickler an der Integration einer Lösung zur rechtssicheren E-Mail-Archivierung in unser Mailsystem bzw. ins DCP. Diese soll noch im zweiten Quartal 2020 online gehen. Außerdem überarbeiten wir derzeit das System unserer Mailausgangsserver, um auch in Zeiten immer aggressiver auftretender Spammer bzw. den Gegenmaßnahmen gegen diese einen zuverlässigen und sicheren Versand gewährleisten zu können. Auch diese Arbeiten sollen im zweiten Quartal abgeschlossen werden.
unsere neue Homepage wirft ihre Schatten voraus, und so können wir Ihnen heute einige Neuigkeiten präsentieren, die vorwiegend die Optik unserer Webdienste betreffen:
Unsere neue Supportseite
Optisch aufgefrischt und auf eine responsive Wiki-Plattform umgestellt, finden Sie ab sofort unter
alle Hilfeseiten zum DCP, wichtige technische Infos zu unseren Produkten und viele hilfreiche Anleitungen, mit deren Hilfe Sie das meiste aus Ihren Artfiles Accounts herausholen können.
Die alte Hilfe ist weiterhin in archivierter Form unter https://www.artfiles.de/support erreichbar, wird aber nicht mehr aktualisiert.
Das Artfiles Blog
Ebenfalls im neuen Design erstrahlt ab sofort unser Blog unter
Wir setzen weiterhin auf das bewährte WordPress und informieren in loser Folge über Neuerungen und interessante Aspekte rund um Webhosting und Internet Technik.
Ein neues DCP Theme
Ab sofort steht Ihnen im DCP unter “Einstellungen” das DCP Theme “2020 lite” zur Auswahl. Dieses modern-reduzierte Theme wird ab dem 17.3.2020 unser bisheriges “Classic” Theme als Default im DCP ablösen.
Ab diesem Zeitpunkt werden alle DCPs ohne ausgewähltes Theme automatisch auf “2020 lite” umgestellt. Selbstverständlich können Sie aber auch weiterhin das “Classic” Theme in Ihren DCP Einstellungen auswählen.
Webmail Update
Nicht nur optisch, sondern auch unter der Haube hat unser Webmail ein Upgrade erhalten. Ab sofort steht Roundcube 1.4 im responsiven Design bereit für den schnellen Mailabruf zwischendurch (oder als Ersatz für einen Mailclient).
Ab sofort steht Ihnen der Telefon- und Chatsupport bereits ab 8:00 statt ab 9:00 Uhr zur Verfügung.
Die neuen Supportzeiten sind demnach Montag bis Freitag von 8:00 bis 22:00 Uhr.
DE-CIX
Eher technischer Natur ist unsere letzte Ankündigung für heute: Nachdem Artfiles bereits seit dem letzten Jahr in Hamburg am größten deutschen Internet-Exchange Point DE-CIX vertreten ist, haben wir jetzt auch unser Peering in Frankfurt aufgenommen.
Die dort aufgeschaltete Bandbreite von 10 Gbit/s ist allerdings bereits fast schon wieder erreicht, so dass wir in den nächsten Wochen auf 20 Gbit/s erweitern werden.
Wir hoffen, dass Ihnen die Neuerungen gefallen, und freuen uns natürlich wie immer über Feedback, Kritik und Bug-Reports!
Es ist vollbracht. Knapp aber letztlich doch chancenlos haben wir das Rennen um das am schlimmsten aus dem Zeitplan gelaufene Projekt diesseits der Elbe gegen die Elbphilharmony verloren. Dort ist erst im Januar feierliche Eröffnung. Wir sind fertig:
Das Projekt Artfiles Mailsystem V3 ist abgeschlossen.
Die Idee für ein von Grund auf neu konzipiertes Mailsystem geht bereits zurück auf das Jahr 2007: Das von uns eingesetzte Qmail war zu diesem Zeitpunkt gerade zehn Jahre alt geworden und von halboffiziellen Patches und eigenen Anpassungen so überwuchert, dass eine Weiterentwicklung nicht mehr sinnvoll erschien.
So reifte der Entschluss, ein neues Mailsystem auf Basis von Exim zu entwickeln.
Mailsystem V2
Aber während einige Komponenten wie Mailein- und ausgangsserver leicht ausgetauscht werden konnten, erwiesen sich Mailzustellung und -abruf als erstaunlich hartnäckig.
Als größtes Problem zeigte sich wie erwartet unser Anspruch, die Umstellung praktisch ohne Beeinträchtigung der Benutzer durchzuführen. Bei schon damals mehr als einhunderttausend Mailboxen war es undenkbar, den Benutzern Änderungen aufzuzwingen.
Also haben wir viel experimentiert, implementiert und getestet, aber letztlich ließ sich keine zufriedenstellende Lösung finden. Und mangels größerer Probleme mit unserem alten Mailsystem gab es natürlich auch immer wieder Projekte, die das neue Mailsystem von der Spitze der Todo Liste verdrängt haben.
Zwischenzeitlich wurde dann mal das Webmail von Squirrelmail auf Roundcube aktualisiert und alte Storageserver durch neuere ersetzt. Auch für die Redundanz wurde viel investiert, aber der Kern des alten Mailsystems blieb bestehen.
Es muss etwas passieren
Das änderte sich erst im Frühjahr 2015: Vor allem die Courier IMAP Software begann uns ernsthafte Probleme zu machen. Viele neuere Mailprogramme unterstützten nun IMAP Erweiterungen, die Courier schlicht nicht beherrschte, und die auch nicht mehr nachzurüsten waren. Also musste gehandelt werden.
Als neue POP3 und IMAP Software wurde Dovecot auserkoren. Zusammen mit Amavis sollte Dovecot auch die Mailzustellung in die Postfächer übernehmen. Damit sollte dann gleich auch die Konfiguration der Mailboxen in die Datenbank verlegt werden. Bisher befand sie sich nur zum Teil dort und zum Teil in .qmail Dateien auf den Storage Servern.
Die Implementierung der geplanten Lösung erwies sich leider als etwas schwieriger als gedacht. Das lag vor allem an der etwas undurchsichtigen Struktur von Amavis und der mangelhaften Dokumentation. Letztlich konnte aber im Herbst 2015 eine funktionierende Plattform für Mailzustellung und Abruf in den Testbetrieb gehen.
Aus leidvoller Erfahrung mit defekten Raidcontrollern und “alle Jahre wieder” auftretenden Ausfällen von Storage Servern, entschieden wir uns für ein vollständig redundantes System für die Speicherung und den Abruf von Mails. Zunächst wurde es auf basis von Xen und Btrfs auf jeweils zwei per DRBD verbundenen Servern realisiert.
Leider zeigte sich jedoch relativ schnell, dass dieser doch recht komplexe Stack den harten Anforderungen des Livebetriebs nicht gewachsen war. Zudem erwies sich Btrfs als nicht ausgereift und sorgte mit vielen Problemen für reichlich graue Haare bei den Admins.
Also haben wir noch mal einen Gang zurück geschaltet und stattdessen auf Bewährtes gesetzt. Jetzt werden die Mails wieder in einem Ext4 Dateisystem gespeichert, das auf einem per LVM partitionierten DRBD aufsetzt. Es gibt keine Virtualisierung mehr, sondern “traditionelle” Hochverfügbarkeit.
Nachdem diese Lösung im Frühjahr endlich betriebsbereit war, ging es an die Umstellung der Mailboxen vom alten in das neue System. Dies nahm nochmals einige Wochen in Anspruch und war im Mai dann endlich abgeschlossen.
Fast fertig
Damit war das neue Mailsystem im Grunde komplett soweit es die Mailboxen betraf.
Ein letzter Querulant aber hörte nicht auf, der Umstellung Widerstand zu leisten: Die Mailinglisten. Diese werden bei uns sozusagen seit Anbeginn der Zeit mit Ezmlm betrieben und sind dadurch praktisch untrennbar mit Qmail verzahnt.
Also wurde der Plan gefasst, eine saubere, auf die reine Mailinglistenfunktion reduzierte Qmailinstallation zu schaffen. Wie nicht anders zu erwarten steckte auch hier der Teufel im Detail. Aber schließlich konnte am 23. August der neue Mailinglistenserver online und der letzte “alte” Qmail Server nach über 15 Jahren endlich offline gehen.
Status Quo
Eine Übersicht über den Mailzustellungsprozess gibt es hier: Artfiles Mail V3
Im Unterschied zu den dort skizzierten Plänen hat unser Mailsystem noch mal deutlich an Sicherheit und Verfügbarkeit gewonnen: es gibt jetzt eine redundante Speicherung sämtlicher Mails auf zwei Storage Servern, die sich in verschiedenen Brandabschnitten des Rechenzentrums befinden. Von diesem Redundanten Datenbestand werden alle drei Stunden Snapshots gezogen, die eine möglichst zeitnahe Wiederherstellung ermöglichen.
Zusätzlich werden vom jeweils aktuellsten Snapshot täglich die Daten auf ein drittes, unabhängiges System gesichert. Diese Sicherungen werden mindestens 28 Tage aufbewahrt.
Ausblick
Auch wenn nun ein Meilenstein erreicht ist, arbeiten wir selbstverständlich kontinuierlich weiter an der Verbesserung des Mailsystems. Als nächstes wollen wir den Benutzern die Möglichkeit geben, selbst Mails aus den backups wieder herzustellen. Derzeit muss das noch ein Administrator “zu Fuß” tun.
Außerdem möchten wir den Benutzern mehr Konfigurationsmöglichkeiten für Ihre jeweiligen Accounts geben, ohne dass sie dafür das DCP bemühen müssen.
Beides ist bereits in Arbeit, die Realisierung wird aber noch einige Zeit in Anspruch nehmen – voraussichtlich aber nicht wieder fast zehn Jahre…
Um ein Let’s Encrypt Zertifikat im DCP zu aktivieren, muss zunächst die Teilnahme am Beta Programm aktiviert werden.
Dies geschieht im Menü unter “Einstellungen”.
Sobald die Beta Features freigeschaltet sind, findet sich nach wenigen Minuten im “Domain”-Menü ein Eintrag “SSL”:
Ein Klick auf “Neu anlegen” öffnet die Konfigurationsansicht:
Hier können bis zu 5 Subdomains einer Domain mit einem SSL/TLS Zertifikat versehen werden.
Es können nur Subdomains konfiguriert werden, für die noch kein anderes Zertifikat eingerichtet ist.
Technischer Hintergrund:
Das DCP erstellt automatisch einen Certificate Signing Request und übermittelt diesen an Let’s Encrypt. Gleichzeitig wird der Webserver entsprechend konfiguriert, um den Validierungsrequest korrekt zu beantworten. Es handelt sich hier also um eine HTTP Validierung. Diese läuft völlig transparent zum normalen Betrieb des Webservers.
Der gesamte Validierungsprozess dauert etwa 15 Minuten, so dass nach spätestens 15 bis 20 Minuten die Zertifikate zur Verfügung stehen.
Beispielzertifikat:
Let’s Encrypt Zertifikate sind derzeit grundsätzlich 90 Tage gültig. Das DCP erneuert Zertifikate aber bereits nach 60 Tagen gemäß der Empfehlung von Let’s Encrypt. Auch dies läuft völlig transparent für Benutzer des Webservers ab.
Einige Hintergrundinformationen zu Let’s Encrypt haben wir noch mal in einem eigenen Artikel zusammengefasst: Let’s Encrypt (beta)
