3. Grundlage des A/B-Testing: Variationen

3. Grundlage des A/B-Testing: Variationen erstellen

Es geht weiter mit unserer „Grundlagen des A/B-Testing“-Artikelreihe. Heute wollen wir uns einem der wichtigsten Teile widmen: Dem Erstellen von Variationen. Was ihr dabei beachten solltet und warum bereits kleine Änderungen wochenlange Tests sinnlos machen können, lest ihr hier.

Wir haben uns in den letzten beiden Teilen der Artikelreihe mit der Zielsetzung und dem Aufstellen von Hypothesen beschäftigt. Basierend auf diesen Vorbereitungen können wir uns nun an die Umsetzung machen und Variationen erstellen.

Diese Regeln sollten bei Variationen beachtet werden

Bevor wir uns an das Erstellen von Variationen machen, sehen wir uns einige Regeln an. Eine der wichtigsten Regeln für das Erstellen von Variationen: Jede Variation darf sich nur in einem Punkt von der getesteten Seite unterscheiden.

Warum diese Regel so wichtig ist, zeigt sich bei einem Negativ-Beispiel. Hans von Online-Shop-Beispiel will A/B-Testing machen. Er erstellt drei Varianten, die wie folgt aussehen:

  • Variante 1 hat gegenüber der zu testenden Seite ein ausgeblendetes Menü und das Artikelbild wird auf voller Bildschirmbreite angezeigt
  • Variante 2 hat gegenüber der zu testenden Seite zwei zusätzliche Trust-Siegel vom TÜV und Trusted Shops sowie ausführlichere Beschreibungstexte
  • Variante 3 hat gegenüber der zu testenden Seite drei Artikelbilder anstatt eins und zeigt eine Produktüberschrift ohne Artikelnummer

Variante 2 erzielt im A/B-Test die höchste Conversion-Rate. Doch warum? Das kann Hans von Online-Shop-Beispiel jetzt nicht feststellen. Denn aus seiner Variante lassen sich gleich mehrere mögliche Annahmen ableiten:

  1. Die Kombination aus Trust-Siegeln und Beschreibungstexten erhöht die Conversion-Rate
  2. Trust-Siegel allein erhöhen die Conversion-Rate
  3. Ausführlichere Beschreibungstexte erhöhen die Conversion-Rate
  4. Das TÜV-Siegel erhöht die Conversion-Rate
  5. Das Trusted-Shops-Siegel erhöht die Conversion-Rate

Um nun aus Variante 2 eine klare Optimierungsgrundlage für alle Seiten zu schaffen, müsste Hans mehrere weitere Tests durchführen und so die positiven oder negativen Auswirkungen der einzelnen Elemente herausfinden – oder er geht nach „Gefühl“ und gibt einfach allen Produktseiten Trust-Siegel und ausführlichere Beschreibungstexte. Keine durchdachte Lösung.

Sinnvoller wäre es, wenn Hans von Online-Shop-Beispiel bei seinen Variationen jeweils nur einen Punkt ändert. Doch sollte er dabei nicht zu fein aufteilen. Und hiermit kommen wir zur nächsten Regel: Jede Variation sollte sich spürbar von der Hauptseite unterscheiden.

Es sollte nicht mehrere Minuten dauern, bis der Besucher den Unterschied zwischen zwei Varianten erkennt. Ein Button in einer anderen Farbe (das klassische Beispiel für A/B-Testing) ist gut und schnell erkennbar. Ein Social-Icon in der Sidebar wird jedoch schnell übersehen. Gleiches gilt für einen entfernten Eintrag aus dem Menü. Bei solchen Tests werden entweder keine oder keine sicheren Unterschiede ermittelt.

Ein klar erkennbarer Unterschied: So würde Rot statt Grün als Buttonfarbe wirken.

Ein klar erkennbarer Unterschied: So würde Rot statt Grün als Buttonfarbe wirken.

Denkt daran: Variationen dürfen kein Risiko für die Webseite sein. Es ist gut, bei der Webseitengestaltung kreative Elemente zu testen. Doch darf man damit keinesfalls den Ruf oder die Funktion der Seite gefährden. So können groteske Artikelbilder, alte Design-Standards und mehr dafür sorgen, dass Besucher einen Onlineshop meiden – auch, wenn die beschriebenen Elemente nur in einem A/B-Test auftauchen.

So sähe es aus, wenn die Call-to-Action-Buttons entfernt würden - ein mögliches Risiko. Denn brechen die Bestellungen ein, leidet der Onlineshop.

So sähe es aus, wenn die Call-to-Action-Buttons entfernt würden – ein mögliches Risiko. Denn brechen die Bestellungen ein, leidet der Onlineshop.

Welchen Zweck hat mehr als eine Variation (Multivariantentest)?

Ich spreche im Artikel immer wieder von mehreren Variationen. Der klassische A/B-Test bezieht sich jedoch auf nur eine Variation, die ergänzend zur herkömmlichen Seite angelegt wird. Bei gleich mehreren Varianten spricht man von einem Multivariantentest.

Die Vorteile eines Multivariantentests sind klar: Durch das gleichzeitige Testen mehrerer Varianten spart man Zeit und kommt schneller zur besten Optimierungsmöglichkeit. Denn kann ich die Farbe eines Banners nicht nur von grau auf rot testen, sondern von grau auf rot, grün, blau und gelb, spare ich Zeit.

Beachtet jedoch immer den Nachteil eines Multivariantentest: Ihr braucht mehr Traffic. Nehmen wir an, ihr benötigt 1000 Besucher, um einen statistisch signifikanten Unterschied zwischen zwei Varianten zu ermitteln (einen Rechner stellt euch Optimizely bereit). Bei einem herkömmlichen A/B-Test sind es also 1000 Besucher für eine Variante. Gibt es jedoch drei Varianten, werden gleich dreimal so viele Besucher benötigt.

Der Rechner von Optimizely.

Der Rechner von Optimizely.

So kommt ihr zur Variation

Wir haben die Regeln und die Ziele festgehalten. Damit können wir uns an das Erstellen der Variationen machen. Ich empfehle euch dabei folgenden Schritten zu folgen:

  1. Wählt eine Seite aus, die getestet werden soll
  2. Legt eine Kopie von ihr an und markiert sie als Variation
  3. In dieser Kopie ändert ihr nun einen Bereich, von dem ihr euch Auswirkungen erhofft
  4. Nun fügt ihr den Code vom Anbieter für den A/B-Test ein und erlaubt damit das Aufteilen eingehender Besucher
  5. Es passt alles? Dann können die Seiten freigeschaltet werden

Technische Basics für Varianten

Basierend auf den zuvor gesetzten Zielen können wir uns an den Aufbau von Variationen machen. Je nachdem, welchen Anbieter ihr wählt, habt ihr die Wahl zwischen zwei Möglichkeiten:

  1. Klassischer Aufbau: Variationen werden auf neuen Webseiten erstellt. Die Trafficaufteilung erfolgt per Codeschnipsel.
  2. Moderner Aufbau: Die herkömmliche Seite wird bei einem Anbieter, wie Optimizely, angegeben, anschließend erstellt man mit einem Web-Editor eigene Variationen.

Wählt ihr den klassischen Aufbau, profitiert ihr von einer besseren Steuerung. Jede Variation liegt auf eurem Server und wird von sämtlichen Caching-Plugins und Erweiterungen umschlossen. Doch besteht hier das Risiko, dass Suchmaschinen beide Seiten finden und als Duplicate Content werten. Das führt zu einem schlechteren Ranking. Google empfiehlt daher folgende Maßnahmen:

  • Verwendet rel=“canonical” (Infos von Google) auf beiden Seiten und gebt Suchmaschinen damit das Signal: Die Variante ist zwar vom Inhalt ähnlich, der Inhalt gehört aber eigentlich zur herkömmlichen Seite.
  • Verwendet 302-Weiterleitungen. Diese sagen aus, dass es sich um eine temporäre Weiterleitung handelt und der Test bald abgeschlossen ist. Eine 301-Weiterleitung würde von einer dauerhaften Weiterleitung sprechen.
  • Stellt Suchmaschinen nicht auf die Probe. Sobald ihr die Ergebnisse des Tests habt, könnt ihr alle, bis auf die ausgewählte Variation, entfernen. Bleibt die Seite über mehrere Monate bestehen, könnten Suchmaschinen früher oder später verwirrt werden.

Gehen wir über zum moderneren Aufbau. Bei einem Anbieter wie Optimizely könnt ihr in einem Web-Editor Variationen nach Lust und Laune anpassen. So lassen sich neue Bilder hochladen und einfügen, ebenso Buttons ändern oder Beschriftungen anpassen.

Mit dem Web-Editor von Optimizely kann man z. B. die Button-Farbe anpassen.

Mit dem Web-Editor von Optimizely kann man z. B. die Button-Farbe anpassen.

Kommen Besucher dann auf die getestete Seite, blendet Optimizely automatisch die Version aus dem Editor ein. Es müssen keine neuen Seiten angelegt oder im Nachhinein entfernt werden.

Beachtet bitte, dass die Lösung über den Web-Editor negative Auswirkungen auf die Ladezeit hat. Wird ein Header-Bild mit einer Größe von 1 MB ausgetauscht, lädt der Web-Editor zu Beginn das bisherige Bild und ersetzt es dann mit der neuen Variante. So werden also statt 1 MB gleich 2 MB geladen.

Soweit zum Thema „Variationen erstellen“. Ich wünsche euch viel Erfolg beim Testen!

Kommentare

  1. Gravatar
    Tore am

    Das ist ja ein sehr interessenter Test.
    Reichen hier 1.000 Besucher aus um einen wirklichen Unterschied ausmachen zu können, oder würde es sich lohnen, die Versuche längerfristig anzulegen?

    Antworten
    1. Viktor Peters am

      @Tore: In manchen Fällen könnten 1.000 Besucher zu wenig sein. Die Zahl sollte nur als Beispiel dienen. Ich empfehle für einen genaueren Wert den Optimizely-Rechner (im Artikel verlinkt). Hier lässt sich ermitteln, wie viel Traffic für welches Ergebnis benötigt wird.

      Antworten

Kommentar hinzufügen