SEO Split-Testing ist ein relativ neues Konzept, aber es wird zu einem unverzichtbaren Werkzeug für jede SEO, die sich datengesteuert nennen will. Die Menschen sind seit langem mit A/B-Tests im Rahmen der Conversion Rate Optimisation (CRO) vertraut, und die Anwendung dieser Konzepte auf SEO ist ein logischer nächster Schritt, wenn Sie sicher sein wollen, dass das, woran Sie Ihre Zeit verbringen, tatsächlich zu mehr Traffic führen wird.

Bei Distilled waren wir in der glücklichen Lage, mit unserem eigenen SEO A/B-Testwerkzeug zu arbeiten, mit dem wir seit drei Jahren SEO-Empfehlungen testen. Während dieser Zeit konnten wir unsere Technik verfeinern, wie man SEO Split-Tests am besten einrichtet und misst.

In diesem Beitrag werde ich fünf Fehler skizzieren, denen wir im Laufe von drei Jahren der Durchführung von SEO-Split-Tests zum Opfer gefallen sind und die wir häufig bei anderen sehen.

Was ist SEO Split Test?
Bevor Sie eintauchen, wie es falsch (und richtig) gemacht wird, lohnt es sich, für eine Minute anzuhalten, um zu erklären, was SEO Split-Tests eigentlich sind.

CRO-Tests sind der naheliegende Vergleichspunkt. In einem CRO-Test vergleichen Sie im Allgemeinen eine Kontroll- und Variantenversion einer Seite (oder Gruppe von Seiten), um zu sehen, welche Seite in Bezug auf die Konvertierung besser abschneidet. Sie tun dies, indem Sie Ihre Benutzer in verschiedene Bereiche einteilen und jedem Bereich eine andere Version der Website anzeigen.

Beim SEO-Split-Test versuchen wir festzustellen, welche Version einer Seite im Hinblick auf den organischen Suchverkehr besser abschneidet. Wenn wir einen CRO-ähnlichen Ansatz des Bucketing von Benutzern verfolgen würden, könnten wir den Effekt nicht testen, da es nur eine Version von Googlebot gibt, die immer nur eine Version der Seite sehen würde.

Um dies zu umgehen, testet SEO split stattdessen Eimerseiten. Wir nehmen einen Abschnitt einer Website, in dem alle Seiten einer ähnlichen Vorlage folgen (z.B. die Produktseiten einer eCommerce-Website), und ändern die Hälfte der Seiten in diesem Abschnitt (für alle Benutzer). Auf diese Weise können wir die Verkehrsauswirkungen der Änderung auf den Variantenseiten messen, verglichen mit einer Prognose, die auf der Leistung der Steuerseiten basiert.

Für weitere Details können Sie den Beitrag meines Kollegen Craig Bradford hier lesen.

Häufige SEO Split-Test-Fehler
1. Nicht, dass Split-Tests lange genug laufen.
Als SEOs wissen wir, dass es eine Weile dauern kann, bis die von uns vorgenommenen Änderungen in den Rankings wirksam werden. Wenn wir einen SEO-Split-Test durchführen, wird dies in den Daten bestätigt. Wie Sie in der folgenden Grafik sehen können, dauert es ein bis zwei Wochen, bis die Variantenseiten (in Schwarz) die Prognose basierend auf den Steuerseiten (in Blau) herausnehmen.

Ein typischer SEO Split-Test – es dauert oft ein paar Wochen, bis sich der Auftrieb zeigt.
Es ist verlockend, nach einer Woche oder so in Panik zu geraten, dass unser Test vielleicht keinen Unterschied macht, und es als neutrales Ergebnis abzusagen. Wir haben jedoch immer wieder gesehen, dass sich die Dinge oft nach ein oder zwei Wochen ändern, also nennen Sie es nicht zu früh!

Der andere Faktor, der hier zu berücksichtigen ist, ist, dass, je länger Sie es nach dieser anfänglichen flachen Periode verlassen, desto wahrscheinlicher ist es, dass Ihre Ergebnisse signifikant sind, so dass Sie mehr Sicherheit im Ergebnis haben, das Sie finden.

Eine Anmerkung für alle, die mit einem CRO-Hintergrund lesen – ich stelle mir vor, Sie schreien auf Ihrem Bildschirm, dass es nicht in Ordnung ist, einen Test länger laufen zu lassen, um zu versuchen, die Bedeutung zu erreichen, und dass Sie Ihr Enddatum vorgeben müssen, damit die Ergebnisse gültig sind. Sie wären richtig für einen CRO-Test, der mit Hilfe von statistischen Standardmodellen gemessen wird. Im Falle von SEO-Split-Tests messen wir die Signifikanz mit Bayes’schen statistischen Methoden, was bedeutet, dass es gültig ist, einen Test so lange laufen zu lassen, bis er die Signifikanz erreicht hat, und Sie können sich auf Ihre Ergebnisse an dieser Stelle verlassen.

2. Testen von Gruppen von Seiten, die nicht genügend Traffic haben (oder von einer kleinen Anzahl von Seiten dominiert werden).
Die Websites, die wir in der Lage waren, Split-Tests mit Distilled ODN durchzuführen, haben sich in Bezug auf die Traffic-Ebenen enorm erweitert, ebenso wie die Seitenabschnitte, auf denen wir versucht haben, Split-Tests durchzuführen. Im Laufe unserer Erfahrung mit SEO-Split-Tests haben wir eine Faustregel aufgestellt: Wenn ein Seitenabschnitt ähnlicher Seiten nicht insgesamt mindestens 1.000 organische Sitzungen pro Tag erhält, wird es sehr schwierig sein, den Auftrieb Ihres Split-Tests zu messen. Wenn Sie weniger Traffic als der zu den Seiten haben, die Sie testen, würde jedes Signal eines positiven oder negativen Testergebnisses von der Höhe der Unsicherheit überholt werden.

Über 1.000 Sitzungen pro Tag hinaus, im Allgemeinen, je mehr Traffic Sie haben, desto geringer ist der Auftrieb, den Sie erkennen können. Bisher ist die kleinste Effektgröße, die wir mit statistischer Sicherheit messen konnten, einige Prozent.

Zusätzlich zu einer guten Menge an Traffic in Ihrem Seitenabschnitt müssen Sie sicherstellen, dass Ihr Traffic gut auf eine große Anzahl von Seiten verteilt ist. Wenn mehr als 50 Prozent des organischen Datenverkehrs des Website-Bereichs auf drei oder vier Seiten gehen, bedeutet das, dass Ihr Test anfällig für Schwankungen in der Leistung dieser Seiten ist, die nichts mit dem Test zu tun haben.

3. Seiten beliebig ausfüllen
Bei CRO-Tests ist es am besten, jeden Benutzer zufällig entweder der Kontroll- oder der Variantengruppe zuzuordnen. Dadurch wird sichergestellt, dass beide Gruppen im Wesentlichen identisch sind, da es sich um eine große Anzahl von Benutzern handelt, die tendenziell beteiligt sind.

In einem SEO-Split-Test müssen wir diesem Ansatz mehr Nuancen verleihen. Für Seitenabschnitte mit einer sehr großen Anzahl von Seiten, bei denen der Traffic gut über sie verteilt ist, kann der rein zufällige Ansatz durchaus zu einem fairen Bucketing führen, aber die meisten Websites haben einige Seiten, die mehr Traffic erhalten, und einige, die weniger erhalten. Darüber hinaus können einige Seiten unterschiedliche Trends und Spitzen im Traffic aufweisen, insbesondere wenn sie einem bestimmten saisonalen Zweck dienen.

Um sicherzustellen, dass die Steuerungs- und Variantengruppen von Seiten statistisch ähnlich sind, werden sie von uns so angelegt, wie sie sind:

Ähnliche Gesamtverkehrsleistung
Ähnliche Verkehrsverteilungen zwischen den Seiten innerhalb von ihnen
Ähnliche Trends im Verkehr im Zeitablauf
Ähnlichkeit bei einer Reihe anderer statistischer Messungen
4. Ausführen von SEO-Split-Tests mit JavaScript
Für viele Websites ist es sehr schwierig, Änderungen vorzunehmen, und es ist noch schwieriger, sie zu testen. Ein Workaround, den viele Websites verwenden (und den ich in der Vergangenheit empfohlen habe), ist die Bereitstellung von Änderungen mit einem JavaScript-basierten Tool wie Google Tag Manager.

Abgesehen davon, dass wir gesehen haben, wie Seiten, die auf JavaScript angewiesen sind, insgesamt schlechter abschneiden, ist ein weiteres Problem dabei, dass Google nicht konsequent Änderungen aufgreift, die durch JavaScript implementiert werden. Dafür gibt es zwei Hauptgründe:

Der Prozess des Crawling, Indexing und Rendering von Seiten ist ein mehrstufiger Prozess – sobald Googlebot eine Seite entdeckt hat, indiziert es zuerst den Inhalt innerhalb des rohen HTML, dann kommt es oft zu einer Verzögerung, bevor alle Inhalte oder Änderungen, die auf JavaScript basieren, berücksichtigt werden.
Selbst wenn Googlebot die JavaScript-Version der Seite gerendert hat, hat es eine Unterbrechung von fünf Sekunden, nach der es die Verarbeitung von JavaScript einstellt. Viele JavaScript-Änderungen an Webseiten, insbesondere solche, die auf Tools und Plugins von Drittanbietern basieren, dauern länger als fünf Sekunden, was bedeutet, dass Google die Aufmerksamkeit aufgegeben hat, bevor die Änderungen wirksam werden konnten.
Dies kann zu Inkonsistenzen bei Tests führen. Wenn Sie beispielsweise das Format Ihrer Titel-Tags mit einem JavaScript-Plugin ändern, kann es sein, dass nur eine kleine Anzahl Ihrer Variantenseiten diese Änderung von Google übernommen hat. Das bedeutet, dass jede Änderung, von der Sie denken, dass Sie sie testen, keine Chance hat, einen signifikanten Effekt zu zeigen.

5. Durchführung von Pre/Post-Tests anstelle von A/B-Tests
Wenn Menschen umgangssprachlich über SEO-Tests sprechen, meinen sie oft, eine Änderung an einer einzelnen Seite (oder an einer ganzen Website) vorzunehmen und zu sehen, ob sich ihr Traffic oder ihr Ranking verbessert. Dies ist kein Split-Test. Wenn Sie nur eine Änderung vornehmen und sehen, was passiert, ist Ihre Analyse anfällig für externe Faktoren, einschließlich:

Saisonale Schwankungen
Aktualisierung des Algorithmus
Konkurrenztätigkeit
Ihre Website gewinnt oder verliert Backlinks
Alle anderen Änderungen, die Sie während dieser Zeit an Ihrer Website vornehmen.
Der einzige Weg, um wirklich zu wissen, ob eine Änderung eine Wirkung hat, ist die Durchführung eines ordnungsgemäßen Split-Tests – das ist der Grund, warum wir das ODN überhaupt erst erstellt haben. Um die oben genannten externen Faktoren zu berücksichtigen, ist es unerlässlich, eine Kontrollgruppe von Seiten zu verwenden, aus der Sie die erwartete Leistung der Seiten, die Sie ändern, modellieren können, und sicher zu wissen, dass Ihre Änderung das ist, was eine Wirkung hat.