Czego nie mierzy Twój e-commerce, a powinien (z perspektywy QA)

Prawie każdy sklep internetowy ma analitykę. Wie, ilu użytkowników weszło, ile sesji skończyło się zakupem, gdzie wypadli z lejka i jaka jest średnia wartość koszyka. To dobre dane i nikt przy zdrowych zmysłach z nich nie rezygnuje. Problem polega na tym, że wszystkie odpowiadają na jedno pytanie: co się stało.

Metryki jakościowe odpowiadają na inne pytanie: dlaczego się stało i czy da się to naprawić przed kolejnym szczytem sprzedaży. Bez nich zespół widzi, że w kroku płatności ubyło dwanaście procent użytkowników, i może o tym wyłącznie dyskutować. Ten tekst opisuje sześć pomiarów, które zwykle nie istnieją w panelu analitycznym, a decydują o tym, czy problem zostanie znaleziony w dwie godziny, czy w dwa tygodnie.

Dlaczego klasyczna analityka nie wystarcza

Standardowy raport konwersji pokazuje spadek między krokami. Nie pokazuje, czy spadek wynikał z ceny dostawy, z odrzucenia karty przez bramkę płatności, z błędu walidacji przy numerze domu, czy z tego, że na jednej przeglądarce przycisk potwierdzenia znika pod klawiaturą ekranową. Cztery zupełnie różne przyczyny wyglądają w lejku identycznie.

Konsekwencja jest kosztowna. Zespół produktowy dostaje sygnał, że coś nie działa, ale bez adresu. Zaczyna się cykl domysłów: może cena dostawy, może za długi formularz, może sezon. Testujemy zmianę tekstu przycisku, bo to najtańsze, i tracimy trzy tygodnie na hipotezie, która nigdy nie była przyczyną. Tymczasem realny błąd siedzi w jednej wersji przeglądarki i dotyczy wąskiej grupy użytkowników, za to takiej z najwyższą wartością koszyka.

Metryki jakościowe rozbijają jedną liczbę na przyczyny. Nie zastępują analityki, tylko dokładają jej warstwę, w której da się działać. Poniżej sześć pomiarów, które w naszej praktyce najczęściej brakuje, uszeregowanych od tego, który zwykle daje największy efekt najszybciej.

Porzucenia koszyka: jedna liczba, która ukrywa cztery problemy

Porzucenie koszyka jest w e-commerce zjawiskiem normalnym i nigdy nie spadnie do zera, bo ludzie porównują ceny i wracają później. Kłopot w tym, że w tej samej liczbie siedzą użytkownicy, którzy odeszli świadomie, i tacy, którzy chcieli kupić, ale system im nie pozwolił. To drugie zjawisko jest w pełni naprawialne, tylko trzeba je najpierw oddzielić.

Rozdzielenie jest prostsze, niż się wydaje. Wystarczy przy każdym wyjściu z kroku płatności zapisać, czy w ciągu ostatnich sekund pojawił się komunikat błędu, odrzucenie płatności albo nieudana próba użycia kuponu. Po tygodniu macie odpowiedź, jaka część strat jest techniczna. W projektach, które prowadzimy, ta część zwykle zaskakuje zespół biznesowy, bo była wcześniej wliczana w naturalne zachowanie rynku.

Błędy walidacji i płatności, czyli straty liczone w pojedynczych polach

Formularz jest miejscem, w którym jakość przekłada się na przychód najbardziej bezpośrednio. Pole odrzucające poprawny numer telefonu z prefiksem kraju, walidacja kodu pocztowego niedopuszczająca spacji, wymagany numer mieszkania w adresie domu jednorodzinnego. Każdy z tych błędów dotyczy wąskiej grupy, ale każdy zatrzymuje ją w stu procentach.

Bez pomiaru na poziomie pojedynczego pola te straty są niewidoczne, bo w statystykach rozpływają się w ogólnym spadku konwersji. Z pomiarem stają się listą zadań uporządkowaną według liczby zablokowanych użytkowników, a to jest już rozmowa o priorytetach, nie o wrażeniach.

Analogicznie działają płatności. Sam odsetek nieudanych transakcji niewiele mówi, bo część odrzuceń pochodzi z banku i nie jest Waszą winą. Dopiero rozbicie na kody odpowiedzi i metody płatności pokazuje, czy macie problem po swojej stronie: przekroczenia czasu odpowiedzi, gubione potwierdzenia, transakcje w stanie zawieszenia. Ta ostatnia kategoria jest najgorsza, bo klient zostaje obciążony, a zamówienia nie ma.

Kupony, magazyn i to, co dzieje się po zakupie

Kody rabatowe są w kampaniach sezonowych źródłem strat nieproporcjonalnym do ich technicznej złożoności. Kupon wygasający o północy w innej strefie czasowej, kod działający na produkty w promocji wbrew założeniu, ograniczenie na jedno użycie na konto omijane przez gościa. Każdy z tych przypadków generuje albo stratę finansową, albo falę zgłoszeń w najgorszym możliwym momencie. Pomiar jest banalny: liczba prób użycia, liczba odrzuceń i powód odrzucenia.

Opóźnienie synchronizacji magazynu to metryka, o którą nikt nie pyta, dopóki nie sprzeda produktu, którego nie ma. Przy normalnym ruchu synchronizacja co kilka minut wystarcza. Przy ruchu wyższym o kilkadziesiąt procent kolejka rośnie, opóźnienie sięga kilkunastu minut i sklep przyjmuje zamówienia na towar wyprzedany kwadrans wcześniej. Warto to zmierzyć przed sezonem, a nie po nim, bo koszt to nie tylko zwroty, ale też obsługa i utrata zaufania.

Najbardziej pomijana warstwa to jakość po zakupie. Zamówienie złożone, pieniądze pobrane, więc z perspektywy lejka wszystko się udało. Tymczasem potwierdzenie nie doszło, status nie aktualizuje się przez dwie doby, a formularz zwrotu wyrzuca błąd. Te rzeczy nie psują konwersji dzisiaj, tylko powrotność za trzy miesiące, i dlatego łatwo je przeoczyć w raportach kwartalnych.

Jak to wdrożyć bez rewolucji

Nie potrzebujecie nowej platformy ani przebudowy analityki. Potrzebujecie zdarzeń w miejscach, w których dziś ich nie ma, i jednego widoku, który je zestawia. Kolejność, która sprawdza się najlepiej, jest odwrotna do intuicyjnej: zaczynacie od płatności i formularza, bo tam straty są największe i najszybciej policzalne, a dopiero potem schodzicie do magazynu i etapu po zakupie.

Efekt takiego uporządkowania widać w twardych liczbach. W projekcie dla Argos automatyzacja testów wraz z uporządkowaniem procesów QA dała 72% mniej awarii w okresach szczytowych, 46% mniej błędów krytycznych na produkcji i 12% wzrostu konwersji dzięki stabilności koszyka i płatności. Regresja przed wydaniem skróciła się z pięciu dni do dziesięciu godzin, co w handlu sezonowym oznacza możliwość naprawiania rzeczy w trakcie kampanii, a nie po niej.

Warto też ustalić z góry, kto patrzy na te dane i kiedy. Metryka bez właściciela zamienia się w kolejny wykres, który wszyscy widzą i nikt nie czyta. W praktyce wystarczy jedna osoba przeglądająca zestawienie raz dziennie w trakcie kampanii i raz w tygodniu poza nią, z prawem zatrzymania wdrożenia, jeśli któraś wartość wystrzeli.

Reguła, która porządkuje priorytety: mierzcie najpierw to, co blokuje pieniądze dzisiaj, potem to, co psuje powrót klienta jutro. W tej kolejności każdy kolejny pomiar sam się finansuje, a zespół nie musi bronić budżetu na obserwowalność w oderwaniu od sprzedaży.

Co się dzieje, gdy tych metryk nie ma

Brak pomiaru nie oznacza braku problemu. Oznacza, że problem będzie zgłoszony przez klienta, a nie wykryty przez zespół, i że dowiecie się o nim w formie, która kosztuje najwięcej: wiadomości do obsługi, komentarza w mediach społecznościowych albo obciążenia karty bez zamówienia. Różnica w koszcie między tymi dwiema drogami wykrycia bywa dziesięciokrotna, bo do naprawy dochodzi obsługa zgłoszeń, zwroty i rekompensaty.

Druga konsekwencja jest organizacyjna. Bez danych o przyczynach rozmowa o priorytetach zamienia się w rozmowę o opiniach, a w takiej rozmowie wygrywa nie ten, kto ma rację, tylko ten, kto ma mocniejszą pozycję. Zespół techniczny mówi, że trzeba poprawić integrację płatności, marketing chce zmienić układ strony, zarząd pyta o cenę dostawy. Każda z tych hipotez jest sensowna i żadnej nie da się rozstrzygnąć, dopóki nikt nie mierzy, ilu użytkowników faktycznie zatrzymał komunikat błędu.

Trzecia rzecz dotyczy sezonu. Szczyt sprzedaży jest najgorszym momentem na zakładanie pomiarów, bo wtedy zespół nie ma czasu na wdrożenia, a każda zmiana w kodzie niesie ryzyko. Jeżeli metryki mają pomóc w listopadzie, muszą działać we wrześniu, kiedy da się je spokojnie sprawdzić przy niskim ruchu i porównać z tym, co pokazuje analityka. Wdrażanie obserwowalności w trakcie kampanii kończy się zwykle tym, że dane są, ale nikt im nie ufa.

Warto też uczciwie powiedzieć, czego te pomiary nie zrobią. Nie powiedzą Wam, czy produkt ma sens, czy cena jest właściwa i czy kampania trafiła do właściwej grupy. Odpowiadają wyłącznie na pytanie, czy ktoś, kto chciał kupić, mógł to zrobić bez przeszkód. To wąski zakres, za to taki, w którym każda naprawiona rzecz przekłada się na przychód natychmiast i daje się policzyć.