So wird Engagement richtig gemessen

Im ersten Teil des Beitrags wurden die klassischen Basiskennzahlen für E-Mail-Engagement, Unschärfe bei den Messverfahren und die eingeschränkte Vergleichbarkeit verschiedener Benchmark-Reports besprochen.

Erweiterte klassische Engagement-Kennzahlen

Für eine umfassendere und detailliertere Analyse des User Engagements werden neben den 3 Kennzahlen seit Langem auch einige weitere Metriken verwendet. Die Kennzahlen und deren zusätzliche Insights:

Click-to-Open-Rate

(Anzahl der unique Klicks / Anzahl der unique opens) Diese Kennzahl zeigt an, welcher Anteil der geöffneten E-Mails auch geklickt wurde. Je höher die CtO-Rate, umso attraktiver war der Content. Je niedriger die CtO-Rate, umso weniger hat der Newsletter-Inhalt eingelöst, was die Betreffzeile versprochen hat. Auch diese Kennzahl ist unscharf, denn Klicker in der Textversion erhöhen die CtO-Rate, denn deren Klicks werden in der Regel alle mitgezählt, während deren Öffnungen nicht bekannt sind, da sie nicht gemessen werden können. Es ist leicht einzusehen, dass man für jeden unique Klicker in der Textversion auch eine vorherige Öffnung vorauszusetzen kann und diese Öffnung auch mitzählen sollte. Denn sonst kann es im Reporting zu der unlogischen Situation kommen, dass die Klickrate höher ist als die Öffnungsrate. Eine CtO-Rate von 100 Prozent signalisiert entweder 100 Prozent Klicks in der Textversion, oder dass das Pixel zur Messung der Öffnungsrate fehlte oder nicht funktionierte. Eine interessante Auswertung bietet zum Beispiel die Click-to-Open Rate nach Tageszeit. Wie man am folgenden Beispiel leicht sieht, werden bei dem untersuchten B2C-Newsletter gegen Mitternacht mehr als doppelt so viele der geöffneten E-Mails geklickt wie am Nachmittag. Diese Erkenntnis legt einen Versandzeitpunkt am späten Nachmittag oder Abend nahe, oder mindestens einen Split-Test zu Überprüfung der Hypothese.

Conversion Rate

(Anzahl der Käufe / Anzahl der Netto-Empfänger) Eine der zentralen Engagement-Kennzahlen im E-Commerce. Über geeignete Tracking-Pixel lassen sich die Klicks im Newsletter auf der Shopseite bis zur Kaufbestätigungsseite weiterverfolgen, von der die Umsätze automatisch in das E-Mail-Versandsystem zurückgespielt werden können. Über Cookies können auch spätere Käufe von Newsletter-Empfängern im Webshop registriert werden, ohne dass vorher ein Klick in einer E-Mail erfolgte. Erfolgt der Kauf zeitnah nach einem E-Mail-Versand, können die Umsätze dem Newsletter über ein Attributionsmodell zugerechnet werden.

Open Reach / Click Reach

(Anteil der Öffner bzw. Klicker am aktiven Adressbestand) Diese vom Branchenexperten Dela Quist leidenschaftlich vorgeschlagenen Kennzahlen beleuchten die Verteilung des E-Mail Engagements im Gesamtverteiler. Beträgt die durchschnittliche Öffnungsrate beispielsweise 20 Prozent, dann stellt sich die Frage, ob im Wesentlichen immer dieselben 20 Prozent der Empfänger öffnen bzw. klicken oder nicht. Ein Open Reach von 60 Prozent sagt in dem Fall aus, dass die 20 Prozent Öffner aus 60 Prozent des Verteilers stammen, demnach gibt es 40 Prozent Langzeit-Nichtreagierer.

Beschwerderaten

E-Mail-Beschwerden (Complaints) sind eine spezielle Form des negativen Engagements. Der Empfänger nutzt eine sogenannte Feedback-Loop-Funktion des Mailbox Providers (yahoo, aol, gmail, …), um sich über den Absender zu beschweren, in der Regel wegen Spam. Diese Beschwerde wird dann an den Versender übermittelt und in den Reportings der E-Mail-Versandtools angezeigt. Da nur wenige ISPs den Feedback-Loop-Mechanismus unterstützen, ist die Aussagekraft der Beschwerderaten eingeschränkt. Auf jeden Fall sind hohe Beschwerderaten aber ein starkes Indiz für schlechte Verteilerqualität oder problematische E-Mail-Inhalte. Damit können sie als ein Signal für bestehende Zustellprobleme oder zukünftige Zustellrisiken gewertet werden. Denn Mailbox Provider strafen Versender mit hohen Beschwerderaten konsequent ab, z.B. durch Einsortierung im Spamordner, Limitierung der Zustellmengen, Absenkung der Reputation des Versenders (Domain) oder den Versand-IPs bis hin zum Blockieren der Versand-IPs.

Projected Opening Rate (POR)

Diese Kennzahl beschreibt die genaueste Annäherung an die tatsächliche Öffnungsrate. Rabbit hat diese Kennzahl als Kombination von Öffnungsrate und Klicks in scheinbar nicht geöffneten Mails entwickelt und 2009 genauer untersucht. Die POR lag damals immer wieder einige Prozentpunkte höher als die offensichtliche Öffnungsrate und kann daher als akkuratere Rate herangezogen werden.

Lesedauer

Die Unschärfe bei der Messung der Öffnungsrate wurde bereits eingangs erwähnt – kurze Öffnungen und lange Öffnungen werden dabei nicht unterschieden. Zum besseren und tieferen Verständnis der Engagement-Form E-Mail-Öffnung wurde die Lesedauer als Metrik eingeführt. Der technische Aufwand zur Messung ist nicht ganz klein, beansprucht Bandbreite, und die Ergebnisse werden aufgrund der Komplexität meist kategorisiert: • Kurz betrachtet (< 2 Sek.) • Überflogen (2-8 Sek.) • Gelesen (> 8 Sek). Litmus als einer der Pioniere in der Lesedauer-Analyse hat herausgefunden, dass das E-Mail-Engagement in Form der Lesedauer zwischen 2011 und 2016 sogar gestiegen ist. Eine überraschende wie erfreuliche Botschaft, die sich mit dem nachhaltigen E-Mail-ROI deckt. Als konkrete Handlungsempfehlung bietet sich an, bei Empfängern mit höherer Lesedauer die E-Mail-Frequenz zu steigern.

Manuelle Antwortrate

Ein geringer Teil der E-Mail-Empfänger, meist unter 0,1 Prozent, drückt im E-Mail-Client den Antwort-Knopf und schickt eine Antwort-E-Mail. Auch das ist E-Mail-Engagement. Unter diesen Antworten finden sich sehr wertvolle Nachrichten, etwa Bestellungen, Fragen zu Produkten und Dienstleistungen, aber auch Beschwerden, Abmeldewünsche oder der Hinweis zur Änderung der E-Mail-Adresse. Die saubere technische Verarbeitung dieser manuellen Antworten durch das E-Mal-Versandsystem ist keine triviale Aufgabe, denn diese manuellen Antwortmails müssen aus diversen eingehenden E-Mails (Bounces, Spam, Abwesenheitsbenachrichtigungen, List Unsubscribes, Challenge Response, …) möglichst sauber aussortiert werden. Auch die Zuordnung zu einem konkreten Versand ist manchmal gar nicht oder nur schwer möglich, wenn der antwortende Empfänger die an ihn gesendete E-Mail löscht, oder an eine E-Mail-Adresse weiterleitet, die gar nicht im Verteiler vorkam. Letzteres ist besonders bei Abmeldewünschen immer knifflig.

Kombinierte Engagement-Analysen

Aus den klassischen Kennzahlen lassen sich über Filter und Kombination mit weiteren Daten oft sehr nützliche Erkenntnisse gewinnen. Diese Engagement-Analysen liefern dann keine eindimensionalen Kennzahlen mehr, sondern 2D- oder 3D-Reports. Einige Beispiele:

Responseverhalten nach Betreff-Merkmalen

Die Betreffzeile ist aus Empfängersicht ein wesentliches Kriterium für die Entscheidung, die E-Mail zu öffnen oder zu ignorieren. Dementsprechend wurden und werden Betreffzeilen regelmäßig analysiert. Neben syntaktischen Kriterien wie Länge, Satzbau, Wortarten, Wortwahl (z.B. kostenlos vs. gratis), Verwendung von emojis, Sonderzeichen, Großschreibung usw. werden zunehmend semantische Kriterien und Personalisierungen eine Rolle spielen, um in Zukunft mehr Response zu erzielen. Dafür müssen E-Mail-Versandsysteme in der Lage sein, nicht auf Ebene der Kampagne, sondern auf Ebene der Einzelempfänger zu tracken, welche Betreff-Merkmale beim Empfänger ein überdurchschnittliches Engagement mit der E-Mail auslösen.

Klickverteilung

Die räumliche 2D- oder 3D-Ansicht der Klickverteilung im Newsletter (siehe Abbildung ganz oben) zeigt anschaulich die Popularität der einzelnen Angebote, gibt aber auch Hinweise auf die generelle Klickhäufigkeit in den einzelnen Bereichen des Newsletters. Ebenso lässt sich auswerten, welcher Anteil der Klicks in der Textversion erfolgte, oder welcher Anteil der Klicks auf Bilder bzw. Textlinks erfolgte.

Zeitreihen und -intervalle

Bei diesen Reports wird das Engagement, meist E-Mail-Öffnungen, in Abhängigkeit im Zeitverlauf (Trends) oder in Abhängigkeit von Zeitintervallen (z.B. Wochentage oder Tageszeit) gemessen. Das folgende Kundenbeispiel zeigt die durchschnittlichen Responseraten in Abhängigkeit der Verweildauer der E-Mail-Adressen im Bestand. Dass neu generierte Adressen besser performen als ältere ist seit langem bekannt, das Diagramm zeigt die Stärke des Erosionseffektes.

Device-Nutzung

Erkenntnisse über die Verteilung der von den E-Mail-Empfängern eingesetzten Devices und E-Mail-Clients hilft dem Werbetreibenden nicht nur, seine Zielgruppe besser zu verstehen, sondern daraus lassen sich auch ganz praktische Handlungsempfehlungen ableiten, etwa zur Template-Optimierung oder zum Testumfang vor dem Versand. Mit Hilfe einer Auswertung der Häufigkeit genutzter E-Mail-Clients auf Domainebene, also z.B. für alle Adressen des Formats @firmenname.de, kann man leicht die in den verschiedenen Firmen als unternehmensweiter Standard definierten E-Mail-Clients bestimmen. Bei vielen Versendern vor allem im B2C-Segment ist der mobile E-Mail-Moment inzwischen erreicht – d.h. mehr als die Hälfte aller Öffnungen erfolgt auf mobilen Endgeräten. Sehr aufschlussreich ist auch die Analyse der Click-to-Open-Raten nach Device: E-Mails, die auf mobilen Endgeräten geöffnet werden, generieren oft nur halb so viele Klicks im Vergleich zu Laptops und Desktops, bei Conversions ist der Unterschied noch deutlicher. Die Klick-Erosion auf mobilen Devices ist eine riesige Herausforderung für die gesamte eCommerce-Branche. Ein Lösungsansatz dafür ist, auf Einzelempfängerebene, die Tracking-Permission vorausgesetzt, die Öffnungen pro Devicegruppe zu erfassen. Für jeden Empfänger müssen die Versandzeitpunkte individuell so berechnet werden, dass die E-Mails möglichst in Zeitintervallen mit hoher Nutzungswahrscheinlichkeit stationärer Endgeräte versendet werden. Das folgende Diagramm zeigt das E-Mail-Engagement des Autors nach Device-Gruppe für einen B2C-Newsletter aus dem Bekleidungssegment für die 168-Wochenstunden. Offenbar ist es besonders zielführend, ihm Dienstag oder Mittwoch mittags Newsletter zu senden.

Abmelderate nach Anzahl erhaltener Newsletter

Hochinteressant sind Analysen, die die Abmeldehäufigkeit in Abhängigkeit der Anzahl erhaltener Newsletter zeigen. Betrachtet man die reine Anzahl der E-Mails, dann ist das Ergebnis immer ähnlich. Die ersten zwei bis fünf Newsletter sind stark überproportional vertreten, der dritte Newsletter im Customer Lifecycle ist in der Regel der „gefährlichste“ von allen, weil er proportional die meisten Abmeldungen auslöst. Das ist den persönlichen Begegnungen nicht unähnlich, wo der erste Eindruck oft entscheidend ist für die Dauer und Qualität einer Beziehung. Diese Erkenntnis generiert natürlich auch sofort Ideen für geeignete Maßnahmen wie sehr gut gemachte Willkommens-Strecken. Ebenfalls hochspannend ist das Wissen über Verteilung der Abmeldegründe sowie deren Trends. Der dritte Teil des Beitrags beschäftigt sich mit neuen Ideen für Engagement-Metriken und -Reports.