Dlaczego jakość się nie opłaca… dopóki się nie opłaca

Na wczesnym etapie niemal każda firma technologiczna dochodzi do tego samego wniosku: jakość jest luksusem. Spowalnia releasy, generuje koszt dodatkowych pracowników, a przy tym nieproduktywne spotkania oraz nie dowozi feature’ów, które widać na demo. W krótkim horyzoncie to myślenie bywa nawet racjonalne. Problem zaczyna się wtedy, gdy organizacja rośnie, a ten sam sposób myślenia zostaje z nią na dłużej. Bo jakość rzeczywiście się nie opłaca, dopóki nie przekroczysz punktu, po którym staje się najtańszą inwestycją w firmie.

Ten moment nazywamy tipping pointem jakości. I każda firma do niego dochodzi. Pytanie tylko, czy świadomie, czy po drodze płacąc miliony za błędy w produkcji.

Źródło: metodyka i praktyka własna Quality Island, inspirowana modelem dojrzałości DORA.

Faza 0: Chaos, czyli szybciej znaczy lepiej

Na początku wszystko wygląda niewinnie. Zespół jest mały, wszyscy znają kod, support ogarnia, a każdy bug da się szybko poprawić. QA nie ma sensu, bo przecież to tylko MVP. W tej fazie jakość faktycznie wydaje się nieopłacalna, bo koszt inwestycji w testy widać od razu, a koszt błędów jeszcze nie boli.

Nawet na wczesnym etapie liczba błędów w produkcji potrafi być zaskakująco wysoka, a każdy z nich kosztuje więcej, niż się wydaje, licząc wsparcie, churn, utratę konwersji i czas zespołu. Te koszty są rozlane i niewidoczne. Nie pojawiają się jako jedna faktura. Pojawiają się jako dziwny churn, klient był niezadowolony, akurat ten sprint był ciężki.

W tym momencie jakość się nie opłaca, bo nikt jeszcze nie liczy realnego kosztu braku jakości.

Faza 1: Minimalna jakość, czyli przetrwanie

Pierwszy przełom następuje zwykle wtedy, gdy koszt jednego buga przekracza koszt etatu QA. To często bardzo konkretny moment: incydent w Black Friday, niedziałający checkout, awaria integracji płatności. Jedno zdarzenie, które zamiast kilku godzin frustracji kosztuje kilkaset tysięcy złotych.

Firmy wchodzą wtedy w fazę basic quality. Nie dlatego, że nagle wierzą w jakość, ale dlatego, że rachunek przestaje się spinać. Zatrudnienie jednego juniora QA albo wprowadzenie prostych smoke testów zaczyna mieć sens czysto finansowy. Co ciekawe, zwrot pojawia się niemal natychmiast, pierwszy złapany krytyczny bug często zwraca całą inwestycję.

To nadal nie jest dojrzała jakość. To pas bezpieczeństwa. Ale już tutaj zaczyna się zmiana perspektywy: QA nie jest kosztem, tylko amortyzatorem strat.

Faza 2: Solidna jakość, czyli moment, w którym pieniądze zaczynają się zgadzać

Prawdziwa zmiana następuje dopiero w kolejnej fazie. Firma ma już stabilny produkt, rosnący ruch i realne przychody. Błędy w produkcji nie są już irytujące, tylko drogo kosztujące. W tym momencie inwestycja w solidną jakość, automatyzację krytycznych ścieżek, sensowne testy regresji, mierzenie escape rate, zaczyna generować wyraźny zwrot.

To jest moment, w którym jakość przestaje być obroną, a zaczyna być strategią biznesową. Liczba błędów w produkcji wyraźnie spada. Deploymenty przyspieszają, bo zespół przestaje bać się releasów. Support oddycha. A CFO po raz pierwszy widzi, że QA zarabia więcej, niż kosztuje.

W praktyce wiele firm właśnie tutaj osiąga swój sweet spot. Jakość przestaje boleć, a zaczyna się opłacać w sposób przewidywalny.

Faza 3: Elite, czyli jakość jako mnożnik przychodu

Najciekawsze dzieje się jednak dopiero w fazie elite, opisanej w metodyce DORA. Tutaj jakość nie tylko chroni przed stratami, ale aktywnie zwiększa przychody. Niski escape rate buduje zaufanie użytkowników. Szybkie i bezpieczne deploye pozwalają eksperymentować częściej. Feature flags i canary deploye zmniejszają ryzyko biznesowe do minimum.

W tej fazie jakość przestaje być tematem QA. Staje się elementem strategii wzrostu. Firmy osiągają wyższą konwersję, krótszy lead time i realną przewagę konkurencyjną. Paradoksalnie, to właśnie te zespoły deployują najszybciej, bo nie muszą gasić pożarów.

Po czym poznać, w której fazie jesteście

Większość firm nie wie, w której fazie jest, bo nikt nie zadaje tego pytania wprost. Zamiast ankiety dojrzałości wystarczy posłuchać, co mówi się na spotkaniach o wydaniach, i sprawdzić, co widzi dyrektor finansowy. Poniższa tabela to skrót tego, co słyszymy w firmach na każdym z czterech etapów.

Jeśli w Waszej firmie padają zdania z dwóch różnych wierszy naraz, to normalne. Organizacje rzadko przechodzą między fazami całością. Zwykle jeden produkt albo jeden zespół jest o fazę dalej niż reszta, i to właśnie tam najłatwiej pokazać rachunek, który przekona pozostałych.

Jak policzyć własny tipping point w godzinę

Nie potrzebujesz modelu finansowego. Potrzebujesz czterech liczb z własnej firmy, a wszystkie są w zasięgu jednego spotkania z osobą od wsparcia i osobą od finansów.

1. Koszt jednego incydentu. Godziny, które zespół spędził na diagnozie, naprawie i komunikacji, pomnożone przez stawkę godzinową, plus przychód utracony w oknie awarii, plus czas wsparcia na obsługę zgłoszeń. Nie zgaduj, weź ostatni realny incydent i policz go od początku do końca.
2. Liczba incydentów z ostatnich trzech miesięcy. Nie wszystkich bugów, tylko tych, które dotknęły użytkowników albo przychód. Kwartał wygładza szczyty i doliny lepiej niż miesiąc.
3. Koszt opóźnień wydań. Ile razy w kwartale release przesunął się z powodu błędów albo długiej regresji i ile wart był każdy dzień poślizgu. Tę pozycję pomija się najczęściej, a bywa większa niż koszt samych awarii.
4. Miesięczny koszt sensownego QA. Etat, zewnętrzny zespół albo automatyzacja krytycznych ścieżek, w wersji, którą realnie byście wdrożyli, nie w wersji idealnej.

Jeśli suma z punktów 1 do 3 podzielona przez trzy miesiące przewyższa punkt 4, jesteście już za tipping pointem i płacicie za jakość nieświadomie. Jeśli nie przewyższa, wiecie, przy jakim wzroście ruchu albo liczbie wydań rachunek się odwróci. W obu przypadkach macie liczbę zamiast opinii, a to zmienia każdą rozmowę o budżecie.

Jak wygląda przejście z fazy 1 do fazy 3 na realnym przykładzie

Najlepiej pokazać to na projekcie, w którym klient sam policzył efekt. Argos, firma e-commerce, przyszła do nas z regresją, która przed każdym wydaniem zajmowała pięć dni, i z awariami w okresach szczytowych, które psuły sprzedaż w najgorszym możliwym momencie. Zakres pracy to automatyzacja testów i uporządkowanie procesów QA, bez rewolucji w zespole. Liczby poniżej pochodzą od klienta.

Źródło: wyniki projektu Quality Island dla Argos (e-commerce), liczby potwierdzone przez klienta.

Zwróć uwagę na kolejność, bo ona jest ważniejsza niż same liczby. Najpierw skróciła się regresja, więc zespół przestał bać się wydań. Potem spadła liczba awarii i błędów krytycznych, więc support i zarząd zobaczyli, że jakość nie jest kosztem. Dopiero na końcu pojawił się wzrost konwersji, czyli ten efekt, o którym mówi faza elite: jakość jako mnożnik przychodu, nie jako tarcza. Firma, która patrzy tylko na pierwszy krok, widzi koszt automatyzacji. Firma, która patrzy na cały ciąg, widzi inwestycję.

Tipping point, którego nie da się ominąć

Najważniejsza lekcja jest brutalnie prosta: każda firma ma tipping point jakości. To moment, w którym koszt jednego buga w produkcji przewyższa koszt sensownej inwestycji w QA. Można go zignorować, ale nie da się go ominąć. Jeśli nie zainwestujesz świadomie, zapłacisz nieświadomie, karami, churnem, utratą reputacji i wypalonym zespołem.

Jakość rzeczywiście się nie opłaca, dopóki się nie opłaca. A kiedy już zacznie, potrafi zwracać się wielokrotnie, tak jak w przykładzie wyżej, gdzie jedna inwestycja w automatyzację poprawiła jednocześnie czas wydania, stabilność i sprzedaż.

Co możesz zrobić już dziś

Jeśli chcesz sprawdzić, czy jesteś przed czy po tipping poincie, zrób ćwiczenie z rozdziału o liczeniu: policz realny koszt jednego incydentu, pomnóż go przez liczbę incydentów z ostatniego kwartału, dodaj koszt opóźnionych wydań i porównaj z miesięcznym kosztem QA. Jeśli pierwsza liczba jest wyższa, odpowiedź masz czarno na białym. Jeśli niższa, masz coś równie cennego: próg, przy którym trzeba będzie wrócić do tej rozmowy.

Powiązane na Strefie QA

• Ile naprawdę kosztuje bug w produkcji, i czemu zaniżasz tę liczbę
• Dlaczego jakość oprogramowania to Twój największy niewidzialny koszt
• Dlaczego Twój dashboard jakości kłamie, i jak to naprawić

Źródła:

• DORA, DevOps Research and Assessment, badania nad wydajnością dostarczania jako punkt odniesienia dla fazy elite
• Wyniki projektu Quality Island dla Argos (e-commerce): automatyzacja testów i uporządkowanie procesów QA, liczby potwierdzone przez klienta
• Metodyka i praktyka własna Quality Island z projektów budowy modelu QA i liczenia ROI jakości
• Długofalowa współpraca QA, Quality Island