4. Grundlage des A/B-Testing: Länge eines A/B-Tests

4. Grundlage des A/B-Testing: Wie lang soll ein A/B-Test laufen?

Wir haben uns im letzten Artikel mit dem spannenden Thema „Variationen erstellen“ beschäftigt. Heute gehen wir direkt zum Alltag über und fragen uns: Wie lang soll ein A/B-Test laufen? Oder anders gefragt: Wie schnell komme ich an relevante Daten?

Ich erinnere mich noch gut an meinen ersten A/B-Test. Die Variationen geplant, Code eingebunden, Test gestartet und beinah täglich nach neuen Zusammenhängen gesucht. Klar ist nach dem ersten Test gewesen: Sichere Ergebnisse brauchen ihre Zeit.

Optimizely hilft euch den benötigten Traffic zu ermitteln

Geht es darum, zu ermitteln, wie viel Traffic man für einen Test benötigt, hilft euch der Rechner von Optimizely weiter. Hierbei handelt es sich um ein recht simples Tool mit drei anpassbaren Faktoren.

  • Baseline-Konversationsrate: Hier geben Webseitenbetreiber an, wie hoch die Konversationsrate auf ihrer Webseite normalerweise ist. Je höher die Konversationsrate, umso weniger Besucher werden beim Test benötigt. Denn kaufen 10 von 100 Besuchern ein, habe ich schneller statistisch relevante Ergebnisse, als bei nur einem Kauf unter 100 Besuchern. Um die aktuelle Konversationsrate zu ermitteln, hilft (wenn genutzt) ein Blick auf Google Analytics. Unter „Conversions“ liegt „E-Commerce“ und darunter „Übersicht“. Im ersten Feld unter dem Diagramm steht die E-Commerce-Conversion-Rate.
  • Kleinster messbarer Effekt (MDE): Teilt mit, um wie viel die Konversationsrate verbessert werden soll. Sind 20 Prozent mehr Käufer geplant, bedeutet das bei einer Konversationsrate von 5 Prozent eine Steigerung auf 6 Prozent. Dabei stellt man fest: Je höher die erhoffte Änderung, desto weniger Traffic wird benötigt. Will ich statt 5 Prozent nun 20 Prozent mehr Käufer, kann ich das mit weniger Besuchern nachweisen. Beträgt die gewünschte Anpassung nur knapp 10 Prozent, muss ich, mehr Traffic als Nachweis haben.
  • Statistische Signifikanz: Dieser Wert ist recht schnell erklärt. Wie sicher sollen die Zahlen sein? Optimizely empfiehlt einen Wert von 95 Prozent. Reicht auch ein weniger sicherer Wert, wie 85 Prozent, wird weniger Traffic benötigt.

Mit diesen drei Werten kann der Rechner von Optimizely ermitteln, wie viel Besucher für einen A/B-Test benötigt werden. Liegt, wie im Beispiel, die Basline-Konversationsrate bei 3 Prozent, der kleinste messbare Effekt bei 20 Prozent und ihr wünscht eine 95-prozentige statistische Signifikanz, werden rund 10.000 Besucher pro Variante benötigt.

Der Rechner von Optimizely.

Der Rechner von Optimizely.

Ergänzend zum Traffic: Der Faktor Zeit

Besonders trafficstarke Portale sollten zusätzlich beachten: Ein Test sollte mindestens 14 Tage laufen. Schwankungen zwischen Arbeitstagen und Wochenenden, saisonale Entwicklungen und zuletzt die Gewohnheiten der Käufer können den Wert verfälschen. Ein Beispiel:

Ich empfehle euch wegen der vielen Faktoren, einen Test immer über mindestens 14 Tage einzuplanen – auch, wenn der benötigte Traffic schon nach wenigen Stunden erreicht ist.

Was tun, wenn Ergebnisse ausbleiben?

Es kann durchaus passieren, dass eine angepasste Variation die Konversationsrate weder steigert noch senkt – auch nach einem Test über 30 Tage. In der Regel bedeutet das: Die Anpassung in der Variation hat keine Auswirkung auf das Kaufverhalten.

Was auf den ersten Blick nach einem überflüssigen Test aussieht, entpuppt sich als ebenfalls wichtige Erkenntnis. Denn ist eure Seite mal zu überladen oder ein neues Element soll eingefügt werden, könnt ihr den angepassten Bereich aus dem A/B-Test sorglos bearbeiten. Die Konversationsrate sollte dadurch nicht groß gestört werden.

Kommentar hinzufügen