TL;DR
A/B testing to porównywanie dwóch (lub więcej) wariantów strony lub elementu w celu wyboru tego, który daje lepsze wyniki (np. wyższy CTR, konwersje). Kluczowe: jasna hipoteza, jeden zmieniany element, wystarczająca próba i istotność statystyczna.
Dla kogo to jest
- Marketingowców i product ownerów
- Osób odpowiedzialnych za CRO (Conversion Rate Optimization)
- Właścicieli sklepów i stron leadowych
Fraza (SEO)
a b testing, ab test konwersje, testy a b strony www, optymalizacja konwersji testy
Czym jest A/B test?
- Wariant A (kontrola) – obecna wersja
- Wariant B – zmieniona wersja (np. inny CTA, nagłówek, układ)
- Traffic split – np. 50% / 50% użytkowników
- Metryka – np. kliknięcia w CTA, rejestracje, zakupy
Zasada: zmieniasz jedną rzecz. Jeśli zmienisz kilka naraz, nie wiesz, co napędziło wynik.
Kiedy A/B test ma sens?
- ✅ Masz ruch (min. setki konwersji miesięcznie na wariant)
- ✅ Masz jasną hipotezę (np. „zielony przycisk da więcej kliknięć”)
- ✅ Możesz czekać 1–4 tygodnie na wynik
- ❌ Ruch symboliczny – wynik będzie nieistotny statystycznie
- ❌ Zmieniasz wszystko naraz – to już nie A/B, tylko nowa strona
Proces krok po kroku
1. Hipoteza
Sformułuj: „Zmiana X spowoduje wzrost Y, bo Z”.
Przykład: „Zmiana CTA z «Wyślij» na «Pobierz wycenę» zwiększy liczbę wypełnionych formularzy, bo jasno mówi, co użytkownik dostanie.”
2. Cel i metryka
- Metryka główna – np. konwersja formularza
- Metryki drugorzędne – np. czas na stronie, odrzuty (żeby nie „zepsuć” UX)
3. Projekt wariantu
- Tylko jeden element różnicy (np. tekst przycisku, kolor, pozycja)
- Wariant B musi być wdrożony poprawnie na wszystkich urządzeniach
4. Czas trwania i wielkość próby
- Użyj kalkulatora wielkości próby (np. AB test calculator)
- Uwzględnij sezonowość – nie kończ testu w długi weekend
- Minimum zwykle 1–2 tygodnie, często 2–4
5. Analiza
- Istotność statystyczna (np. 95% confidence)
- Nie zatrzymuj testu wcześniej, gdy „już widać” – to błąd (peeking)
Narzędzia
- Google Optimize (wycofany) – zastępują: VWO, Optimizely, AB Tasty
- GA4 + Google Tag Manager – własne eksperymenty (redirect lub zmiana treści)
- Narzędzia CRO – często wbudowany kalkulator istotności i raporty
Pułapki
- Peeking – wielokrotne sprawdzanie wyników i wczesne zakończenie
- Zbyt mała próba – „wygrana” wariantu B może być losowa
- Efekt wielowariantowy – testowanie wielu rzeczy naraz (A/B/C/D) wymaga większej próby
- Ignorowanie segmentów – np. mobile vs desktop mogą reagować inaczej
FAQ
Co to jest istotność statystyczna?
Prawdopodobieństwo, że zaobserwowana różnica nie jest przypadkowa. 95% = przy 5% ryzyka błędu uznajemy wynik za realny.
Czy mogę testować więcej niż 2 warianty?
Tak (A/B/n), ale potrzebujesz odpowiednio większej próby i dłuższego czasu. Dla prostoty często lepiej kolejne testy A/B.
Co jeśli wynik jest „remis”?
Brak istotnej różnicy to też wynik – zostajesz przy wariancie A (lub tańszym/prostszym). Nie wdrażaj zmiany „na wyczucie”.