Wie Canvas Modelle die Erarbeitung von Testhypothesen unterstützen – Teil III der Artikelserie Test & Learn im Marketing

von Christian Maaß und Thomas Haschke

In Teil I und Teil II dieser Artikelserie haben wir aufgezeigt, welche Gründe für eine stärkere Test & Learn Orientierung im Sinne agiler Methoden im Marketing sprechen und auf welche Kompetenzen es dabei ankommt. In diesem Beitrag stellen wir mit dem Test & Learn Canvas einen Ansatz vor, um ebenso einfach wie strukturiert Testhypothesen erarbeiten zu können. Der Canvas als solches ist bewusst breit ausgelegt und lässt sich im Bereich Offsite wie Onsite verwenden. Anhand von Anwendungsbeispielen aus dem Optimierungalltag bei Flyeralarm illustrieren wir dessen Anwendung.

Ausgangspunkt: Hypothesen zu formulieren und in eine strukturierte Testkonzeption zu überführen ist nicht einfach

Im Tagesalltag und im Zuge verschiedener Beratungsaufträge konnten wir immer wieder beobachten, dass das Wissen zur Konzeption, Durchführung und Interpretation von Testergebnissen  heterogen verteilt ist. Zum Ausdruck kommt das im Tagesgeschäft z. B. dadurch, dass zwar Hypothesen für A-B-Tests in Prosa ausformuliert, diese aber nicht hinreichend durch klare Ziele / Annahmen  bezüglich der IST- und SOLL-Ausprägung relevanter KPIs präzisiert werden. Ebenso häufig und aus unserer Sicht noch dramatischer ist jedoch der Umstand anzusehen, wenn gute Testergebnisse nicht systematisch im Unternehmen verankert werden (z. B. aufgrund eines mangelnden Austausches oder inkonsequenten Roll-outs) oder das Wissen über bestimmte Themen (z. B. Konzeption von Newslettermodulen, Durchführung der SEA Anzeigenoptimierung, Gestaltung von Produktdetailseiten) mit dem Wechsel oder Ausscheiden von Mitarbeitern verloren gehen. Es bedarf somit eines Ansatzes zur möglichst einfachen Strukturierung und Dokumentation von Optimierungshypothesen und Testergebnissen, der gleichzeitig mit agilen Prinzipien konform geht.

Lösungsansätze: Canvas Modelle als einfache Strukturierungshilfe  

Canvas Modelle zur Darstellung eines Business Modells haben in den letzten Jahren starke Verbreitung gewonnen, um ein Geschäftsmodell zu entwickeln oder ein bestehendes einfach darzustellen. Populär ist der Ende der 2000er eingeführte Business Model Canvas von Alexander Osterwalder, der darauf abzielt eine  

“[g]emeinsame Sprache zur Beschreibung, Visualisierung, Bewertung und Veränderung von Geschäftsmodellen [bereitzustellen]” (Osterwalder, 2011, S. 16)

Als One Pager konzipiert, eignet sich der Canvas für eine kompakte und prägnante Darstellung der für den Geschäftserfolg wichtigen Dinge. Die einzelnen Felder des Canvas stellen auf neun Felder ab, wie die Kundensegmente, den USP (Unique Selling Proposition), die Vertiebswege, Umsatzquellen,  usw. (vgl. Abb. #); ein darauf aufbauende Variante wurde z. B. auch mit dem Lean Canvas entwickelt.

business-model-canvas

Abb. 1 Business Modell Canvas (vgl. Oesterwalder 2015)

Den verschiedenen Modellen ist gemein, dass sie einen Strukturierungsrahmen bereitstellen, um Annahmen bezüglich eines (neuen) Geschäftsmodells kompakt zu systematisieren und im nächsten Schritt im Sinne eines Customer Developments in Form von Problem-/Lösungsinterviews zu bestätigen. Vor diesem Hintergrund unterstützen die Canvas Modelle primär einen qualitativen Forschungsansatz in einer frühen Unternehmens-/Gründungsphase. Wird ein erfolgreiches Geschäftsmodell gefunden, steht hingegen dessen Optimierung im Vordergrund, wobei nicht zuletzt aufgrund der zunehmenden Kundenanzahl quantitative Testverfahren an Bedeutung gewinnen. Aus diesem Grund bedarf es naturgemäß auch entsprechend angepasster Canvas, um Tests systematisch entwickeln und im Unternehmen verankern zu können. An dieser Stelle setzen wir mit dem Test-Learn-Canvas an.

Anforderungen an einen Test & Learn Canvas

Im Arbeitsalltag bei Flyeralarm haben wir verschiedene Anforderungen definiert, unter welchen Umständen neue Methoden oder Tools eingeführt werden. Hierauf aufbauend haben wir konkrete Anforderungen definiert, die der Canvas vor dem eingangs skizzierten Hintergrund erfüllten muss:

  • Implementation: Das Artefakt Canvas muss mit dem agilen Entwicklungsprozess von Flyeralarm vereinbar sein.
  • Kommunikation: Der Canvas muss als kleinster gemeinsamer Nenner in der Kommunikation zwischen dem Shop-/Produktmanagement, Markting, der IT und dem Management fungieren können, um einen allgemeinen Austausch zu den anvisierten Tests zu ermöglichen.
  • Konzeption: Der Canvas muss eine Ergebnisorientierte Test-Konzeption unterstützen und Hypothesen zu Kunden-/Business Vorteilen umfassen, die anhand von KPIs quantifiziert werden.
  • Dokumentation: Als One Pager konzipiert soll der Canvas die wichtigsten Erkenntnisse aus dem Test zusammenfassen, um so eine kompakte Dokumentation des Lernfortschritts im Laufe der Zeit aufbauen zu können. Darin ist eine wichtige Anforderung zu sehen, damit im Fall eines Mitarbeiterwechsels möglichst wenig Wissen verloren geht.

Die folgende Abbildung zeigt den Aufbau des Learning Canvas im Überblick, dessen einzelnen Bereiche im weiteren Verlauf aufgearbeitet werden.

Test-Learn-Canvas-V1

Abb. 3 Test & Learn Canvas (Maaß/Hasche 2015)

Customer Qualificaton & Insight: Dieser Bereich ist der Ausgangspunkt des Canvas und soll im Kern drei wesentliche Fragen klären: 1) Welche Kunden bzw. Kanäle/Traffic Ströme sind vom dem anvisierten Test betroffen? 2) Was sind typische Kundenstimmen in diesem Zusammenhang? 3) Was ist das konkrete Probleme bzw. das Nutzenpotenzial, dass mit dem Test adressiert wird?

  • Beispiel: Im Shop von Flyeralarm waren die Produktbilder lange Zeit einfarbig mit grauen  Schattierungen abgebildet. Im Customer Service Center kam es immer wieder zu Rückmeldungen, dass den Kunden teilweise gar nicht bewusst war, dass bestimmte Produkte nach denen sie sich erkundigten, auch im Shop verfügbar waren, da bestimmte Falzarten für den Kunden auf Basis der vorhandenen Abbildungen nicht offensichtlich waren. Mitunter gab es sogar Äußerungen nach dem Motto “Können die auch in Farbe drucken?”. Die Kunden hatten – unabhängig vom Kundensegment – somit Schwierigkeiten, sich auf Basis der vorhandenen Produktbilder eine Vorstellung über das eigentliche Produkt zu verschaffen. Es waren alle Kundengruppen betroffen (Kundenqualifikation), die in verschiedenen Gesprächen unabhängig voneinander auf die Problematik hinwiesen (Kundenaussagen), dass die vorhandenen Produktbilder nur bedingt hilfreich sein (Insight).

Durch die Beantwortung der drei weiter oben genannten Fragen soll im Canvas kurz und knapp dokumentiert werden, dass man sich über die Kundengruppen/Kanäle tiefergehende Gedanken gemacht hat. Die Einarbeitung von Kundenzitaten stellt gleichzeitig sicher, dass das eigentliche Problem bzw. Verbesserungspotenzial für alle Beteiligten im Unternehmen gut nachvollziehbar ist. Auf dieser Grundlage fällt es mehrheitlich nicht mehr schwer, die eigentlichen Insights abzuleiten.

Customer Value und Business Value Hypothese: Ausgehend von dem zuvor identifizierten Problem wird durch zwei Hypothesen der Test konkretisiert. Eine Hypothese spezifiziert anders formuliert das Lernziel eines Test und damit die Erkenntnisse, die man sich im Hinblick auf das ggf. veränderte Nutzerverhalten oder veränderter Kanalwirkungen erhofft. Die Hypothesen als solches sind dabei stets einheitlich aufgebaut und folgen dem Schema  “Wenn…. dann……weil……”.

  • Beispiel Customer Value: “Wenn der Kontrast der Produktbilder durch zusätzliche Farben erhöht wird, dann verbessert sich die Click-Through-Rate von der Seite Produktübersicht zur Produktdetailseite, weil der Kunde das eigentliche Produkt besser einschätzen kann”.

Analog dazu gilt es eine Hypothese zu formulieren, welcher Nutzen damit für das Unternehmen einhergeht.

  • Beispiel Business Value: Wenn der Kontrast der Produktbilder durch zusätzliche Farben erhöht wird, dann werden mehr Produktkonfigurationen auf der Produktdetailseite gestartet und Bestellungen aufgegeben, weil die Unsicherheit, ein ggf. nicht passendes Produkt zu erwerben, gemindert wird”.

Für den Customer und Business Value werden bewusst zwei Hypothesen formuliert, da nicht jeder Verbesserung des Kundennutzen automatisch mit höheren Umsätzen oder mehr Bestellungen korrespondieren muss. Gleichzeitig unterstützt diese Vorgehensweise ein ganzheitliches denken, da das Problem aus zwei verschiedenen Perspektiven reflektiert wird, wodurch sich aus den mehrheitlich zahlreichen Optimierungsideen  eine Priorisierung ableiten lässt. Auf Basis der Hypothesen werden gleichzeitig die KPIs und Indikatoren abgeleitet, anhand derer die Beurteilung erfolgt, ob der Test zu einer Verbesserung geführt hat oder nicht. Diese KPIs müssen folglich a) in engem Bezug zu den jeweiligen Kunden/Kanälen stehen, b) möglichst eindeutig im Hinblick auf die Interpretationsmöglichkeiten und c) eindeutig quantifizierbar sein.

  • Beispiel: Im Hinblick auf die obige Customer Value Hypothese könnten eine gesteigerte  Click-Through-Rate sowie eine reduzierte Bounce Rate der Seiten mit neuen Produktbildern als Indikatoren fungieren, dass selbige den Kundennutzen erhöhen. Im Fall der Business Value Hypothese würde man hingegen die wirtschaftliche Ziele des Unternehmens in den Vordergrund rücken, z. B. in Form einer verbesserten (Mikro-)Conversion Rate und einem damit korrespondierenden Umsatz.   

Solution: Hier geht es darum, den aktuellen Status quo sowie die Testvariante möglichst einfach zu visualisieren (z. b. Mock-ups), um allen Stakeholdern den Unterschied möglichst einfach aufzeigen zu können. In Textform können hier weitergehende Präzisierungen vorgenommen werden, z. B. im Hinblick auf die zu testenden Länder oder die anvisierte Testlaufzeit.

Test erfolgreich? Durch eine einfach Beantwortung mit “Ja” oder “Nein” soll hier einfach und einheitlich dargestellt werden, ob der Test ein Erfolg war oder nicht. Die Begründung und die Learnings aus dem Text sind in Stichpunkten festzuhalten.

  • Beispiel: Der oben genannte Test war nicht erfolgreich. Die Hypothese zum Customer Value wurde zwar mit einem Konfidenzniveau > 99% bestätigt und hat sich als richtig erwiesen. Die Hypothese zum Business Value konnte aufgrund der geringen Fallzahl jedoch noch nicht bestätigt werden. Der Test wird insofern verlängert, bis die Fallzahl eine hinreichende Größe erreicht hat.

Fazit

Der Test & Learn Canvas unterstützt den Arbeitsalltag von Shop-/Produktmanagern durch eine einfache und visuelle Struktur. In den nächsten zwei Beiträgen dieser Artikelserie gehen wir näher darauf ein, worauf es im Arbeitsalltag bei der Testkonzeption ankommt und welche statistischen Kenntnisse Produktmanager in diesem Zusammenhang mindestens kennen müssen.

 

0

Leave a Reply