Próba badawcza i kontrolna to technika analityczna stosowana w celu określenia, czy można zaufać wynikom eksperymentu. Jest to ważne narzędzie w każdym rodzaju analizy danych. Próbę można podzielić na wiele grup, a każda z nich jest testowana oddzielnie. Jedną z popularnych metod jest sekwencyjne testowanie A/B, w którym dwie lub więcej wersji tego samego testu są porównywane z zestawem wyników kontrolnych. Inną metodą jest testowanie wielowariantowe, w którym dwie lub więcej zmiennych są testowane względem siebie.
Testy wielowariantowe
Testy wielowariantowe to bardzo zaawansowana forma testowania, która polega na porównywaniu różnych kombinacji elementów. Celem jest znalezienie idealnej mieszanki elementów.
Testy wielowariantowe są przydatne w wielu dziedzinach, od rządu po marketing cyfrowy. Pozwalają szybko i skutecznie przetestować różne zmienne, aby określić, która kombinacja jest najbardziej skuteczna. Dzięki takim testom możesz lepiej zrozumieć zależności pomiędzy różnymi elementami strony i ich efektami. Niezależnie od tego, czy testujesz stronę docelową, witrynę sklepu internetowego czy zwykłą stronę produktu, będziesz mógł podjąć bardziej trafną decyzję.
Aby przeprowadzić test wielowariantowy, potrzebujesz dużej ilości ruchu. Musisz też przeprowadzić test przez odpowiednio długi czas. Jeśli tego nie zrobisz, wyniki mogą być słabe.
Innym ważnym aspektem przeprowadzania testu wielowymiarowego jest wielkość próby. Kalkulator wielkości próby jest pomocnym narzędziem do określenia liczby wariantów, które będziesz musiał przetestować.
Sekwencyjne testy A/B
Testy A/B to forma projektowania testów, która pozwala na porównanie dwóch wersji produktu, strony internetowej lub aplikacji. Celem jest ustalenie, która z nich jest bardziej efektywna. Często testy A/B przeprowadza się na dużą skalę, wykonując dużą liczbę testów jednocześnie. Może to jednak prowadzić do błędów i słabych wyników.
Sekwencyjne testy A/B to rodzaj testów A/B, który jest bardziej efektywny niż metoda klasyczna. W tym rodzaju testów A/B na każdym etapie procesu przeprowadza się wiele kontroli. Dzięki temu można zmniejszyć liczbę błędów i zwiększyć efektywność. W porównaniu z metodą klasyczną możesz sprawdzić więcej koncepcji i wariantów oraz zebrać więcej danych.
Sekwencyjne testy A/B są idealne do analizy istotności statystycznej. Możesz użyć obliczeń matematycznych, żeby określić, w jakim procencie przypadków różne metody mają lepszą skuteczność. Te szacunki mogą pomóc Ci w wyborze podzbioru zabiegów.
Grupy testowe
Próba testowa i kontrolna to sposób na zmierzenie wydajności strony internetowej bez jej optymalizacji. Dzieląc losowo klientów na dwie grupy, możesz określić, jak dobrze działa Twoja strona. Jest to przydatna metoda, aby dowiedzieć się, jakie usprawnienia należy wprowadzić.
Dobrym przykładem są tu testy wstrzymania. W tego typu testach porównuje się wyniki grupy, która otrzymała wiadomości marketingowe, z inną grupą, która ich nie otrzymała. Wyniki można analizować za pomocą wielu różnych wskaźników celu.
Ważne jest, aby wybrać grupę, która jest statystycznie niezależna od reszty produktu. Ponadto powinien to być mały procent. Na przykład 1% do 10% użytkowników powinno być wstrzymanych.
Jeśli masz dużą bazę użytkowników, korzystne może być uruchomienie więcej niż jednego wstrzymania. Będziesz chciał ściśle monitorować tę grupę. Należy jednak pamiętać, że grupa ta w końcu osiągnie gorsze wyniki niż reszta produktu.
Statystyka Chi-kwadrat
Statystyka Chi-kwadrat służy do testowania hipotezy o związku między dwiema zmiennymi. Jest to jeden z testów powszechnie stosowanych w biologii do określenia prawdopodobieństwa prawdziwości danej hipotezy.
Statystykę chi kwadrat oblicza się, dzieląc zaobserwowane częstości w każdej komórce przez oczekiwane częstości w tej samej komórce. Następnie zobaczysz rozkład chi-squared (kh2), który mówi, jak dobrze model pasuje do danych.
Statystyka chi-squared dla próby badawczej jest również ważna przy określaniu statystycznej istotności hipotezy. Służy do określenia, czy hipoteza zerowa jest prawdziwa. Jeżeli hipoteza zerowa jest prawdziwa, to nie ma statystycznie istotnej różnicy między częstościami obserwowanymi i oczekiwanymi.
Aby test chi-squared był miarodajny, wielkość próby musi być wystarczająco duża. Próbę o wystarczającej wielkości definiuje się jako oczekiwaną częstotliwość co najmniej pięciu w każdej kategorii odpowiedzi.