AKTUELLE DEBATTE

Mailings testen - aber richtig.

Einschlägige Fundraising-Handbücher empfehlen, vor größeren Mailingaktionen zu testen, was das Zeug hält: Adresslisten, Gestaltung, Inhalt, Versandzeitpunkte – viele Parameter sollten geprüft werden. Ebenso ist es möglich, die Wirkung einzelner Faktoren im Verlauf einer Mailing-Aktion zu testen, quasi „am offenen Herzen zu operieren". Doch bei welcher Mindestadressenzahl kann man von statistischer Signifikanz reden? Und welche Methode sollte unter welchen Bedingungen zum Einsatz kommen? Und vor allem: Wie wird ein solcher Test korrekt gestaltet und ausgewertet?

Wonach sich die Auswahl des Testverfahrens richtet

Wollte man alle hypothetischen Zusammenhänge im Vorfeld testen, so wäre man bei einem einzigen Mailing wohl einige Monate beschäftigt. Von daher ist es ratsam, die Merkmale in den Vordergrund zu stellen, die aus organisationsinterner Sicht von hoher Bedeutung sind. Dr. Matthias Lehmann, seit über drei Jahren bei PETA Deutschland für den Bereich Dialogmarketing verantwortlich, hat ein Navigationssystem für den „Test-Dschungel" entwickelt. Er empfiehlt zuallererst, noch bevor man zur Auswahl des geeigneten Testverfahrens schreitet, eine Analyse der Bedürfnisse der Organisation vorzunehmen: was will man über die Spender herausfinden? Was kann später wirklich umgesetzt werden?

Es gibt viele Kriterien, die bei der Auswahl des geeigneten Testverfahrens eine Rolle spielen, wie beispielsweise die Anzahl der Adressen oder die verfügbaren Kapazitäten. Die Schweizer Fundraising-Expertin Barbara Crole beispielsweise empfiehlt das Testen erst ab 10.000 Adressen. Auch die zeitliche Komponente ist wählbar: Vor einem großen Mailing können verschiedene Testläufe im Vorfeld gestartet werden oder aber einzelne Parameter werden im Verlauf der Mailing-Aktion herausgegriffen. Nach Meinung von Matthias Lehmann ist die Auswahl des richtigen Testverfahrens abhängig von der konkreten Fragestellung: Ein Pre-Test kann sinnvoll sein, um etwas komplett Neues vor dem großen Rollout zu erproben. Ein A/B Split-Test ist angebracht, um verschiedene Varianten eines Mailings zu testen. Und natürlich wollen auch neue Adresslisten für Neuspender-Mailings ausprobiert werden. 

Eindeutige Fragen ergeben eindeutige Antworten.

Wenn eine Organisation am Anfang ihrer Mailing-Aktivitäten steht, kann sich die Testphase über einen sehr langen Zeitraum hinziehen. Lehmann empfiehlt: „Planen Sie genug Vorlaufzeit für ihr Mailing ein. Vor allem aber muss Zeit für die Auswertung eingeplant werden – und für die Umsetzung! Oft genug landen Testergebnisse ungenutzt in den Schubladen."

Ohne eine unterschiedliche Codierung der Aussendungen und die geeignete statistische Auswertung der Rückläufe lassen sich keine verwendbaren Aussagen über den Erfolg des Mailings treffen. Die passende Fundraising-Software hilft bei der Optimierung, aber „es geht auch mit Excel", so Lehmann. Er rät außerdem: „Die Fragestellung des Tests sollte eindeutig sein. Hat das Test-Mailing z.B. einen anderen Umschlag und zudem andere Fotos im Flyer als das Kontroll-Mailing wird unklar sein, was den Ausschlag für ein für oder gegen das Test-Mailing gab. Umschlag oder Bilder?"

Wie man ein Testverfahren korrekt auswertet

Um am Ende verwertbare Informationen in den Händen zu halten, sind während der Testphase wichtige Voraussetzungen zu erfüllen. Dazu gehören ein konstanter Datensatz, eindeutige Werbecodes und eine exakte Erfassung aller Responses. Bei der Kostenanalyse der verschiedenen Packages müssen die Roll-out-Kosten betrachtet werden, nicht die Testkosten. Und zu guter Letzt lohnt ein Blick auf die statistische Relevanz bzw. Signifikanz des Testergebnisses, so der Experte Lehmann. Weiterführend bemerkt er: „Vereinfacht gesagt beschreibt die Signifikanz, wie wahrscheinlich es ist, dass ein Testergebnis purer Zufall ist oder echte Unterschiede der Testgruppen widerspiegelt. Oder anders formuliert: je höher die Signifikanz, desto höher die Wahrscheinlichkeit, dass sich das Testergebnis wiederholen lässt."

So optimieren Sie Ihr Mailing-Testverfahren:
Überlegen Sie sich, welche Parameter sie testen wollen.
Wählen Sie das für Ihre Zwecke geeignete Testverfahren aus.
Planen Sie Zeitpunkt und Verlauf Ihres Tests.
Machen Sie den internen Check: Software, Kapazitäten, etc.
Beachten Sie, dass Ihr Testverfahren die Bedingungen für die statistische Auswertung erfüllt.
Wer übrigens tiefer in die Thematik des Testens einsteigen möchte, dem sei der Workshop von Dr. Matthias Lehmann auf dem Fundraising-Kongress 2012 in Berlin empfohlen.

Zurück

Einen Kommentar schreiben