A/B-Test
# A/B-Test

Der A/B-Test (auch split test) ist eine Testmethode zur Bewertung zweier Varianten eines Systems, bei der die Originalversion gegen eine leicht veränderte Version getestet wird. Anwendung findet diese Methode hauptsächlich bei Software und im Webdesign mit dem Ziel, eine bestimmte Nutzeraktion oder Reaktionen zu steigern. Im Laufe der Jahre hat es sich zu einer der wichtigsten Testmethoden im Online-Marketing entwickelt. Mit dem A/B-Test werden aber auch Preise, Designs und Werbemaßnahmen verglichen.

Der A/B-Test ist eine Form eines randomisierten Experiments oder eines randomisiert kontrollierten Experiments, falls eine der A/B-Gruppen als Kontrollgruppe fungiert.

## Vorgehensweise

Beim A/B-Test wird die Zielgruppe (z. B. Besucher einer Webseite oder Empfänger eines Newsletters) in zwei Untergruppen aufgeteilt: Gruppe A und Gruppe B. Diese Aufteilung muss zufällig erfolgen (Randomisierung).

Entsprechend der Aufteilung der Zielgruppe wird auch das Testobjekt, wie beispielsweise eine Landingpage oder eine Anzeige, zweigeteilt produziert: die Originalvariante und eine veränderte Variante. Beide Varianten sollten sich nur in einer Komponente unterscheiden, denn nur so können Unterschiede in den Reaktionen eindeutig auf die Änderung zurückgeführt werden. Anschließend wird bei der Gruppe A das Original und bei der Gruppe B die veränderte Version eingesetzt und die Reaktionen verglichen.

Mit Reaktion ist hierbei das gewünschte Wirkungsergebnis gemeint, wie zum Beispiel eine Registrierung, die Anmeldung für einen Newsletter oder Bestellung eines Produktes. Neben der Verbesserung des Nutzererlebnisses sind A/B-Tests somit auch ein Mittel zur Steigerung der Konversionsrate.

Das für einen A/B-Test genutzte statistische Testverfahren hängt von den Eigenschaften der genutzten Daten ab. Von den Zwei-Stichproben-Hypothesentests kommen je nach Anwendungsfall bspw. Welch-t-Test, Fishers exakter Test, Chi-Quadrat-Test, Wilcoxon-Mann-Whitney-Test und Permutationstest in Frage.

## Voraussetzung/Abgrenzung

Beim A/B-Test wird im Gegensatz zum multivariaten Test nur eine Variable verändert und auf ihre Wirksamkeit hin getestet. Damit ein A/B-Test effektiv ist und die Ergebnisse Validität erreichen, muss eine ausreichende Trennschärfe gegeben sein. Insbesondere ist somit beim Design des Tests zu beachten, dass die Größe der Stichproben hinreichend gewählt ist, dass der (gewünschte) minimal detektierbare Effekt auch zuverlässig detektiert werden kann.

Wichtig ist beim A/B-Testing darüber hinaus, dass im Vorfeld entsprechende Ziele und Hypothesen definiert werden, um im Nachhinein den Erfolg bzw. Misserfolg einer Maßnahme einschätzen zu können. Dabei arbeitet man mit zwei Arten von Hypothesen: Hypothesen, die aussagen, dass ein bestehendes Element das Ziel fördert und Hypothesen, die noch nicht umgesetzt und nicht mit Zahlen belegt wurden, aber (scheinbar) logisch sind. Ein Beispiel für eine Hypothese wäre: „Ein gelber Kaufen-Button fördert die Conversion-Rate“. Um ein klares Ergebnis zu erhalten, sollte man Hypothesen immer einzeln testen.

