Warum dir ein A/B-Test für Newsletter helfen kann

Wünschen können wir uns viel und ein Bauchgefühl ist sicher erst einmal kein schlechter Impuls. Doch unser Credo ist immer, dass du Daten brauchst, um eine gute Entscheidung zu treffen. Willst du also aktuell vielleicht dein E-Mail-Marketing optimieren, könnte ein A/B-Test für Newsletter die richtige Methode sein. Erfahre hier mehr dazu!

Was ist ein A/B-Test?

Der Begriff des A/B-Tests bzw. auch des Split-Testings geistert in der Welt des Online-Marketings schon länger herum. Dahinter verbirgt sich eine Methodik, mit der du zwei Versionen eines Systems anhand der Reaktion zweier Vergleichsgruppen bewerten kannst. Sie wird häufig im Bereich von Software-Entwicklung und Design angewendet und liefert wertvolle Erkenntnisse über die Kommunikation des Nutzers mit deinem Gerät, deiner Oberfläche usw.

Foto: © Leeloo Thefirst, Lizenz: Creative Commons CC0 1.0, Quelle: pexels.com

Der grobe Ablauf eines solchen Tests sieht wie folgt aus:

1. Ziel definieren (z.B. Steigerung der Conversions)
2. Hypothese formulieren (z.B. “ein roter Button mit der CtA ‘Hier kaufen’ steigert die Conversion-Rate”)
3. Erstellung der Testgruppen (Teilung der Nutzer:innen in zwei randomisierte Gruppen)
4. Produktion der beiden Testversionen (z.B. eine Landingpage, ein Newsletter, …)
5. Durchführung des Tests (hierzu wichtig: Start- und Endzeitpunkt festlegen, um statistische Signifikanz zu erreichen)
6. Auswertung (entweder der:die Analyst:in oder die Anwendung selbst ermitteln die erfolgreichere Variante, um diese zukünftig zu verwenden)

Der wohl wichtigste Punkt bei diesem Testverfahren ist die exakte Definition der Ziele. Diese sollten möglichst dem Konzept SMART entsprechen, das heißt:

• S-pezifisch
• M-essbar
• A-ttraktiv
• R-ealistisch
• T-erminiert

Ist das nicht der Fall, ist die Ausgangslage zu vage und es ist meist nicht sinnvoll, einen solchen Test anzustoßen. Bei unkonkreten Zielen können entweder keine signifikanten Ergebnisse erreicht oder im Anschluss nichts weiter damit angefangen werden, weil sie eigentlich unnötig waren. Da ein A/B-Test durchaus einiges an Ressourcen fressen kann, solltest du hier also unbedingt genügend Zeit in die Vorbereitung investieren!

Foto: © Markus Winkler, Lizenz: Creative Commons CC0 1.0, Quelle: unsplash.com

A/B-Test für Newsletter – was musst du beachten?

Es ist charakteristisch für einen Newsletter, dass er eine relativ kurze Zeitspanne hat, in der er relevant ist. Meist beträgt diese nur wenige Tage, denn nach spätestens einer Woche öffnet kaum noch eine Person ein solches Mailing. Entsprechend gilt es hier, besonders prägnant zu arbeiten.

Unsere Erfahrungen mit A/B-Tests bei Newslettern sind folgende:

• Empfänger:innen. Für ein möglichst aussagekräftiges Ergebnis ist eine vierstellige Personenanzahl ein besserer Ausgangspunkt. Wir führen aktuell Tests meist ab 5.000 Personen durch. Das ist allerdings kein definitiver Wert und muss immer individuell entschieden werden, auch in Abhängigkeit von der Zielsetzung.
• Messbarkeit. Setze dir keine Ziele, die nicht validierbar sind. Wenn du beispielsweise neben deinem Online-Shop noch ein stationäres Geschäft betreibst und im Newsletter ein bestimmtes Produkt auf beiden Kanälen pushen willst, ist das nicht ohne weiteres möglich. Denn nur mit weiteren Maßnahmen (z.B. ein Coupon für den Offline-Handel)  erhältst du messbare Variablen und auswertbare Datensätze.
• Testdauer. Da ein Newsletter oftmals nur wenige Tage über Relevanz verfügt, arbeiten wir meist mit einer Zeitspanne von 12 Stunden, in denen die Nutzer:innengruppen parallel mit beiden Versionen bespielt werden. Dies ist aber auch abhängig vom Anlass bzw. Inhalts (z.B. verliert eine Rabattaktion schneller an Wert als eine Information).

Brauchst du noch Tipps zum Newsletter-Erstellen? Dann lies hier mehr!

Foto: © Thirdman, Lizenz: Creative Commons CC0 1.0, Quelle: pexels.com

Welche Vor- und Nachteile gibt es bei einem A/B-Test für Newsletter

Warum solltest du als Online-Händler:in einen A/B-Test mit deinem Newsletter durchführen? Wie bereits erwähnt, ist der größte Nutzen, dass du dadurch Daten sammelst, die dich der Erfüllung deines Zieles (zum Beispiel mehr Verkäufe generieren) näher bringen können. Denn erst anhand dieses Wissens kannst du deinen Kanal stetig so verbessern, dass er auch zu deinen Nutzer:innen passt, ihn sozusagen perfekt würzen, damit sie sich ihn schmecken lassen. Im Umkehrschluss steigt durch solche Optimierungsmaßnahmen ebenso die Usability und somit die Zufriedenheit deiner Kundschaft.

Allerdings kann ein solcher A/B-Test genauso herausfordernd sein. Viele schrecken davor zurück, weil sich dahinter teils ein langwieriger Prozess verbirgt. Denn auch wenn der eigentliche Test im Universum Newsletter schnell durchgeführt ist, brauchst du vielleicht mehrere Anläufe, um deine Best Practice für deine Zielgruppe ausfindig zu machen. Das frisst natürlich gewisse Ressourcen.

Ein weiterer Punkt ist die Rolle deines Software-Anbieters. Viele unserer Kund:innen arbeiten mit externen Dienstleistern, um ihre Mailings zu versenden (z.B. Cleverreach, SendinBlue, etc.). Der Komfort, der damit einhergeht, hat allerdings manchmal bei Spezial-Funktionen wie einem A/B-Testing seine Kehrseite. Denn einige Services bieten nur sehr begrenzte Möglichkeiten dafür an. Willst du also gerade professionell an deinem E-Mail-Marketing arbeiten (lassen), solltest du auf diesen Aspekt bei der Wahl deiner Anwendung achten. Hast du bereits eine ansprechende Plattform gefunden, die dich aber in dieser Testmethode limitiert, kannst du sie mit etwas Mehr-Aufwand auch händisch umsetzen.

Foto: © Brett Jordan, Lizenz: Creative Commons CC0 1.0, Quelle: Unsplash.com

Welche Möglichkeiten kann ein A/B-Test für Newsletter bieten?

Neben solch übergeordneten Zielen wie beispielsweise mehr Verkäufe zu generieren, gibt es speziell für den Newsletter ganz konkrete Punkte, an denen man meistens ansetzt. Das sind:

• Öffnungsrate steigern
• Klickrate verbessern
• Conversions erzielen

Wie bzw. an welcher Stelle kannst du Hypothesen testen, die diesen Zielen beim Newsletter zuträglich wären? Die Öffnungsrate hängt eng mit dem ersten Eindruck im E-Mail-Postfach zusammen. Der Content wiederum beeinflusst die Klickrate und indirekt auch die Conversionrate, wobei diese erst außerhalb des Newsletters erzielt und somit nicht direkt durch ihn verändert wird. Darum konzentrieren wir uns jetzt auf die anderen beiden Bereiche.

Davor noch ein Hinweis: Voraussetzung ist, dass dein Newsletter technisch einwandfrei ist und nicht ggf. im Spam-Filter landet. Lies dazu sonst unseren Beitrag “Newsletter 101 – wie dein Mailing auch für den E-Mail-Client attraktiv wird”!

Die Übersicht kann beliebig ergänzt werden. Doch bedenke bei dieser Vielzahl an Möglichkeiten eines: Verändere immer nur einen Aspekt pro Testlauf. Performt ansonsten eine Version besser als die andere, kannst du keine Kausalität mehr herstellen, was jetzt den Unterschied gemacht hat. Dein A/B-Testing wäre somit umsonst gewesen.

So könnte ein A/B-Test für Newsletter ablaufen

Wir haben für verschiedene Kund:innen aktuell A/B-Tests laufen, um die Öffnungsrate zu steigern. Denn dies ist meist der erste Ansatzpunkt. Nur, wer den Content auch sieht, kann später klicken und hoffentlich Conversions erzeugen. Aus diesem Grund konzentrieren wir uns momentan auf das Erproben verschiedener Betreffzeilen. Wie dieser Prozess aussehen kann, wollen wir dir nun zum Abschluss einmal zeigen.

Foto: © Yogas Design, Lizenz: Creative Commons CC0 1.0, Quelle: Unsplash.com

Caps-Lock im Betreff als A/B-Test

Wir gingen wie folgt vor:

1. Zielsetzung: Steigerung der Öffnungsrate auf möglichst 25 % oder höher
2. Hypothese: “Eine Betreffzeile mit Caps-Lock-Anteil erzielt eine höhere Öffnung.”
3. Zielgruppe: Die gewöhnliche Empfänger:innengruppe wird durch unseren E-Mail-Dienstleister automatisch randomisiert zweigeteilt.
4. Erstellung: Wir erarbeiten zwei Betreff-Versionen, die sich nur darin unterscheiden, dass ein Teil in Caps-Lock formuliert ist, z.B.
   • Version A: EINFACH GENIAL: Entdecken Sie unsere Neuheiten!
   • Version B: Einfach genial: Entdecken Sie unsere Neuheiten!
5. Durchführung: Wir versenden mindestens 2–3-mal Newsletter mit der gleichen Hypothese, um saisonale Schwankungen ausschließen zu können. Der eigentliche Test dauert bei uns 12 Stunden.
6. Auswertung: Die Ergebnisse werden dokumentiert und gegenübergestellt. Daraus leiten sich dann Erkenntnisse für die zukünftigen Newsletter ab.

Im Falle der Hypothese zum Caps-Lock in der Betreffzeile gab es übrigens kein eineindeutiges Ergebnis. Weder innerhalb einer Gesamt-Empfänger:innengruppe, noch übergreifend auf alle Kund:innen. Wir erproben darum aktuell weitere Ansätze, beispielsweise ob eine Frage oder eine Aufforderung einen Unterschied macht.

Foto: © Campaign Creators, Lizenz: Creative Commons CC0 1.0, Quelle: unsplash.com

Ergebnisse eines A/B-Tests

Und dies ist abschließend der wohl wichtigste Hinweis für dich: Es ist ein Test und somit ist ein “Nein” auch ein Ergebnis. In unserem Falle haben wir gelernt, dass eine Phrase in Caps-Lock im Betreff bei unseren Kund:innen keine signifikante, dauerhafte Lösung darstellt, um die Öffnungsrate deutlich zu steigern.

Doch Achtung: Dies kann bei deinen Empfänger:innen bereits anders aussehen. Die Ergebnisse eines A/B-Tests für Newsletter sind immer absolut individuell, branchen- sowie zielgruppenabhängig und bringen nur selten einen wirklich großen Wow-Effekt. Meist entdeckst du eher minimale Unterschiede und Tendenzen. Sieh es als eine Art Spurensuche an, bei der du nach und nach ein neues Teil und am Ende den Weg zu deiner Best Practice findest.

Wünschst du dir Unterstützung bei dieser Jagd nach Erkenntnissen? Brauchst du neue Ansätze, wie du dein E-Mail-Marketing vielleicht verbessern könntest? Oder bist du unsicher, welches Ziel du mit deinem Newsletter am sinnvollsten verfolgen solltest? Dann nimm doch mit uns Kontakt auf. Wir beraten dich gerne!

Weiterführende Links
www.wikipedia.org/wiki/A/B-Test