Testy A/B
Pokazanie dwóm losowym grupom odwiedzających dwóch wersji strony i sprawdzenie, która daje lepszy wynik. Rozstrzyga spory o gust liczbami zamiast argumentami.
Co jest warunkiem sensu
Ruch. Żeby wykryć różnicę rzędu dwudziestu procent, potrzeba zwykle kilkuset konwersji na wariant. Przy pięciu zapytaniach miesięcznie test nie rozstrzygnie niczego, choć wykres coś pokaże.
Jedna zmiana naraz
Test dwóch całkiem różnych stron powie, która jest lepsza, ale nie powie dlaczego — więc niczego nie da się przenieść dalej. Zmiana pojedynczego elementu daje wiedzę, która zostaje po zakończeniu testu.
Kiedy przerwać
Po zaplanowanym czasie, nie w momencie, w którym wariant zaczyna wygrywać. Podglądanie wyniku i zatrzymywanie testu na korzystnym odczycie jest najczęstszym sposobem, żeby uzyskać wynik nieprawdziwy.
Tańsza alternatywa dla małego ruchu
Rozmowa z pięcioma klientami i obserwacja, gdzie się zatrzymują. Przy małej skali to daje więcej niż test, który i tak nie osiągnie istotności.