Daniils Visnakovs
EN

Kostenloses Tool · Keine Anmeldung

Anzeigen-A/B-Test: Gewinner oder Zufall?

Trag Impressionen, Klicks und Conversions deiner Varianten ein. Der Rechner zieht 95-%-Konfidenzintervalle und gibt dir eine von drei ehrlichen Antworten — inklusive der Antwort, die kein anderer deutscher Rechner gibt: noch keine Aussage möglich.

Test auswerten Die Regel dahinter

Deine Zahlen

Zwei Anzeigen, drei Zahlen

Aus dem Anzeigenbericht deiner Kampagne: Impressionen, Klicks und Conversions pro Variante, über denselben Zeitraum. Nichts davon verlässt deinen Browser.

Variante A

wie oft die Anzeige ausgeliefert wurde

Klicks auf die Anzeige

Anfragen, Käufe, Anrufe

Variante B

wie oft die Anzeige ausgeliefert wurde

Klicks auf die Anzeige

Anfragen, Käufe, Anrufe

Dritte Variante hinzufügen
Variante C

wie oft die Anzeige ausgeliefert wurde

Klicks auf die Anzeige

Anfragen, Käufe, Anrufe

Bei drei Varianten steigt die Chance auf einen Zufallstreffer: Der Rechner nennt deshalb nur dann einen Gewinner, wenn sich der Führende von jeder anderen Variante trennt.

Kein Kontozugriff, keine E-Mail, kein Upload. Die Rechnung läuft im Browser — deine Zahlen werden nirgendwo gespeichert und nirgendwo hingeschickt.

Tendenz — noch kein Beweis

Ohne belastbare Conversion-Daten zählt nur die Klickrate: Variante B führt mit +25,0 %, das Intervall überschneidet sich aber noch mit Variante A. Der Vorsprung kann Zufall sein.

Was heißt das praktisch?

Weiterlaufen lassen. Entschieden wird hier gerade auf der Klickrate, weil die Conversion-Daten noch zu dünn sind — und Klicks sind kein Ergebnis: Eine Anzeige kann mehr Klicks holen und trotzdem weniger Anfragen bringen. Warte, bis beide Varianten 15 Conversions und 100 Klicks haben, dann urteilt der Rechner auf der Kennzahl, die zählt.

Die schwächste Variante hat 12 Conversions und liegt damit unter 15 — für eine belastbare Conversion-Rate reicht das nicht. Deshalb entscheidet ersatzweise die Klickrate, und die beantwortet eine andere Frage. Sobald beide Schwellen stehen, springt das Urteil auf die Conversion-Rate um.

Conversion-Rate (Conversions je Klick)

nur zur Einordnung
Variante A 5,00 %

95-%-Intervall: 2,88 – 8,53 %

Variante B 6,00 %

95-%-Intervall: 3,83 – 9,28 %

Vorsprung Variante B: +20,0 % — Schwelle zum Handeln liegt bei +20,0 %.

Klickrate (Klicks je Impression)

entscheidet ersatzweise
Variante A 2,40 %

95-%-Intervall: 2,12 – 2,72 %

Variante B 3,00 %

95-%-Intervall: 2,68 – 3,35 %

Vorsprung Variante B: +25,0 % — Schwelle zum Handeln liegt bei +20,0 %.

Gerechnet wird mit Wilson-95-%-Intervallen. Die Conversion-Rate zählt Conversions je Klick und entscheidet, sobald jede Variante mindestens 15 Conversions aus 100 Klicks hat. Darunter springt das Urteil auf die Klickrate — Klicks je Impression, und damit eine Antwort auf eine andere Frage.

Nächstes Tool Anzeigen-Vorschau — den Herausforderer schreiben, bevor du ihn hochlädst Vorher aufräumen Suchbegriffe-Analyse — ein Test auf verschmutztem Traffic misst den Traffic, nicht den Text

Die Regel dahinter

Drei Antworten statt einer Prozentzahl

Die meisten Signifikanz-Rechner haben ein Problem: Sie geben immer ein Ergebnis aus. Man tippt vier Zahlen ein und bekommt eine Aussage, auch wenn die Datenlage nichts hergibt. Genau daraus entstehen die Entscheidungen, die Geld kosten — eine Anzeige wird nach sechs Tagen abgeschaltet, weil sie „verloren" hat, und der abgeschaltete Text wäre der bessere gewesen.

Dieser Rechner kennt deshalb drei Zustände, und zwei davon sind kein Ergebnis:

  • Klarer Gewinner. Die 95-%-Intervalle der beiden Varianten überschneiden sich nicht mehr, und der Vorsprung liegt über 20 %. Jetzt darf der Verlierer pausiert werden.
  • Tendenz. Eine Variante führt, aber die Intervalle überlappen noch — oder sie trennen sich zwar, der Vorsprung ist aber zu klein, um dafür eine laufende Anzeigengruppe umzubauen. Weiterlaufen lassen.
  • Noch keine Aussage möglich. Die Stichprobe reicht nicht: unter 100 Impressionen je Variante rechnet die Regel absichtlich gar nichts. Das ist an den meisten Tagen die richtige Antwort.

Und die Kennzahl steht immer dabei. Die Conversion-Rate entscheidet — Conversions je Klick, sobald jede Variante mindestens 15 Conversions aus 100 Klicks gesammelt hat. Trennen sich dann die Intervalle und liegt der Vorsprung über 20 %, sagt der Rechner es so, wie du es weitererzählen würdest: Variante B konvertiert besser. Darunter urteilt er ersatzweise auf der Klickrate und schreibt das vor das Ergebnis, denn eine Anzeige kann mehr Klicks holen und trotzdem weniger Anfragen bringen.

Das ist kein Lehrbuch-Beispiel, sondern die Regel, nach der ich in Kundenkonten Anzeigen pausiere: Wilson-Intervalle, Mindest-Stichprobe, 20-%-Schwelle. An einer Stelle ist der Rechner strenger als mein internes Werkzeug: Er verlangt zusätzlich mindestens 100 Klicks, bevor er einer Conversion-Rate einen Sieg glaubt.

Die vier Fehler, die ich in fremden Konten am häufigsten sehe

Zu früh entschieden
Nach drei Tagen liegt eine Variante vorn, also wird die andere pausiert. Bei 60 Impressionen ist das eine Münze, die zweimal Kopf gezeigt hat — kein Ergebnis.
Auf Klicks optimiert
Die Klickrate ist die bequeme Kennzahl, weil sie schnell Zahlen liefert. Sie sagt aber nur, wer neugieriger macht. Wer mehr Anfragen bringt, steht in der Conversion-Rate.
Gewinner neu hochgeladen
Nach dem Urteil wird der Gewinner als frische Anzeige noch einmal eingestellt. Die Kopie teilt sich die Impressionen mit dem Original und macht den nächsten Test unbrauchbar. Original stehen lassen.
Ungleiche Ausspielung
Wenn eine Variante 80 % der Impressionen bekommt, vergleichst du keine Texte, sondern die Anzeigenrotation. Auf gleichmäßige Rotation stellen, sonst ist jedes Urteil daneben.

Der Rechner ist ein statistisches Modell mit deinen Zahlen — kein Versprechen. Er misst, ob ein Unterschied messbar ist, nicht ob er im nächsten Monat bleibt. Saison, Budgetänderungen und Lernphasen kann er nicht sehen; ich schaue mir das im Erstgespräch mit dir im Konto an.

FAQ

Häufige Fragen zum A/B-Test-Rechner

Ab wann ist ein Anzeigen-Test aussagekräftig?
Zwei Schwellen, nacheinander. Unter 100 Impressionen pro Variante rechnet der Rechner bewusst gar nichts aus — darunter ist jede Rate Rauschen. Für ein Urteil auf der Conversion-Rate braucht jede Variante mindestens 15 Conversions aus mindestens 100 Klicks; liegt sie darunter, entscheidet ersatzweise die Klickrate. Und selbst dann gilt ein Vorsprung erst als Ergebnis, wenn sich die 95-%-Intervalle nicht mehr überschneiden.

Was ist ein Wilson-Konfidenzintervall?
Eine Spanne, in der die wahre Rate deiner Anzeige mit 95 % Wahrscheinlichkeit liegt. Aus 3 Conversions bei 100 Klicks folgt eben nicht „3 % Conversion-Rate", sondern irgendetwas zwischen rund 1 % und 8 %. Das Wilson-Intervall ist die Variante dieser Rechnung, die auch bei kleinen Zahlen und Raten nahe null noch verlässlich ist — also genau da, wo echte Anzeigentests leben.

Warum sagt der Rechner so oft, dass noch keine Aussage möglich ist?
Weil das an den meisten Tagen die richtige Antwort ist. Die üblichen Signifikanz-Rechner geben immer ein Ergebnis aus, notfalls mit einer Prozentzahl hinter dem Komma — und genau so werden Anzeigen abgeschaltet, die drei Wochen später gewonnen hätten. Ein ehrliches „noch nicht" kostet dich nichts außer Geduld. Ein falscher Gewinner kostet Budget und den besseren Text.

Conversions oder Klickrate — welche Kennzahl zählt?
Die Conversion-Rate, immer. Sie zählt, wie oft aus einem Klick eine Anfrage wird, und genau das willst du wissen. Die Klickrate ist nur die Notlösung für den Fall, dass noch zu wenig Conversions zusammengekommen sind. Der Grund ist unangenehm einfach: Eine Anzeige kann mehr Klicks holen und trotzdem weniger Anfragen bringen — etwa wenn sie mit einem Preis lockt, den das Angebot nicht hält. Deshalb sagt das Urteil im Klartext „Variante B konvertiert besser“, wenn die Zahlen es hergeben, und schreibt sonst dazu, dass es nur auf der Klickrate beruht.

Conversion-Rate je Klick oder je Impression?
Je Klick. Das ist die Zahl, die du auch im Konto siehst, und sie beantwortet die Frage, um die es geht: Aus wie vielen Klicks wird eine Anfrage? Eine Conversion-Rate je Impression vermischt zwei Dinge, die verschiedene Ursachen haben — wie oft jemand klickt und wie überzeugend es danach weitergeht. Die Klickrate rechnet deshalb weiter gegen die Impressionen, die Conversion-Rate gegen die Klicks. Zwei Kennzahlen, zwei Nenner, und genau darum ist die Klickrate hier kein gleichwertiger Ersatz, sondern nur der Notnagel.

Was bedeutet die 20-%-Schwelle?
Getrennte Intervalle sagen dir, dass ein Unterschied da ist — nicht, dass er groß genug ist, um zu handeln. Ein statistisch sauberer Vorsprung von 3 % ist die Mühe nicht wert, und jedes Umbauen einer laufenden Anzeigengruppe kostet Lernphase. Deshalb nenne ich einen Gewinner erst ab 20 % relativem Vorsprung. Darunter zeigt der Rechner eine Tendenz und rät zum Weiterlaufen.

Kann ich drei Anzeigen gleichzeitig vergleichen?
Ja, über „Dritte Variante hinzufügen". Mit jeder weiteren Variante steigt aber die Chance, dass eine davon rein zufällig vorne liegt. Der Rechner geht deshalb strenger vor: Er nennt nur dann einen Gewinner, wenn sich der Führende von jeder anderen Variante trennt, nicht nur vom Zweitplatzierten.

Werden meine Zahlen gespeichert oder übertragen?
Nein. Die komplette Rechnung läuft in deinem Browser, es gibt kein Formular, keinen Upload und keinen Kontozugriff. Deine Zahlen werden nirgendwo gespeichert und verlassen die Seite nicht. Anonyme Web-Analyse nutze ich wie in der Datenschutzerklärung beschrieben — Impressionen, Klicks und Conversions gehören nicht dazu.

Dein Konto testet nichts — oder testet, ohne je zu entscheiden?

Ich baue saubere Anzeigen-Tests auf, werte sie nach genau dieser Regel aus und pausiere nur, wenn die Zahlen es hergeben.

Jetzt Beratung anfragen
Kostenlos & unverbindlich Antwort innerhalb 24h Du sprichst direkt mit mir