10 pytań o jakość, które powinien zadać każdy CEO, manager, dyrektor

Większość prezesów regularnie pyta: jak idzie development? Niewielu pyta: jakie ryzyko jakościowe blokuje dziś nasz wzrost? Różnica między tymi pytaniami jest większa, niż się wydaje. Pierwsze dotyczy tempa. Drugie dotyczy pieniędzy, reputacji i odporności firmy na własny sukces. W IT jest taki paradoks, że kiedy rośniecie, wszystko zaczyna pękać szybciej. Więcej ruchu, więcej integracji, więcej wydań, więcej ról i zależności. A jakość, jeśli nie jest mierzona, staje się najdroższym kosztem ukrytym.

Program badawczy DORA od lat pokazuje jedną prawidłowość: narzędzia i przyspieszenie developmentu nie naprawiają organizacji. Wzmacniają to, co już macie. Jeśli proces jest solidny, wszystko przyspieszy na dobre. Jeśli jest kruchy, szybciej odczujecie konsekwencje. To oznacza, że pytania o jakość nie są pytaniami technicznymi. To pytania o to, czy firma jest gotowa na skalowanie i czy potrafi zarządzać ryzykiem, zanim ryzyko zamieni się w koszt. Ten artykuł nie jest checklistą dla QA. To dziesięć pytań, które powinny paść na poziomie zarządu, niezależnie od branży. Pytania są proste. Odpowiedzi nie zawsze.

Dziesięć pytań w jednej tabeli

Pytania o pieniądze (1 do 4)

Odsetek defektów z produkcji. Kluczowe jest to, co liczycie jako defekt z produkcji: tylko zgłoszenia od klientów, czy też incydenty z monitoringu, błędy z logów, wycofania i poprawki awaryjne. Bez definicji ta metryka zawsze będzie wygodnie „nieporównywalna”, czyli bezużyteczna. Jeśli odpowiedź brzmi „nie mierzymy”, pierwsza decyzja jest prosta: ustalić definicję i raportować trend co tydzień. Nie po to, żeby kogoś rozliczać, tylko żeby wreszcie widzieć, czy jakość idzie w dobrą stronę.

Koszt błędu. Dobra odpowiedź nie jest jedną liczbą, tylko modelem z co najmniej czterema składnikami: utracony przychód, koszt obsługi i wsparcia, koszt pracy zespołów przy naprawie, odpływ klientów, jeśli go mierzycie. Przy ryzykach bezpieczeństwa rachunek eskaluje szybko, co rok w rok pokazuje raport IBM Cost of a Data Breach, wiążąc koszt naruszenia z czasem wykrycia i opanowania incydentu. Jeśli słyszycie „nie da się policzyć”, to zwykle znaczy, że nikt jeszcze nie policzył. Najprostszy start: jeden incydent priorytetu pierwszego z ostatniego kwartału, policzony uczciwie, jako punkt odniesienia. Jak to zrobić w kwadrans, opisujemy w tekście o tym, ile naprawdę kosztuje bug w produkcji.

Trzy obszary największego ryzyka. W każdej firmie są inne, ale mechanizm jest ten sam: miejsca, gdzie błąd boli od razu. Płatność, koszyk, logowanie, rozliczenia, uprawnienia, import danych, integracje. Zarząd powinien usłyszeć dwie rzeczy naraz: jakie są trzy największe ryzyka i jak dokładnie je chronicie. Ochrona nie oznacza „mamy testy”, tylko „mamy zestaw testów i monitoring, który blokuje wydanie albo alarmuje w minutach”. „Wszystko jest ważne” to ukryta informacja, że nikt nie podjął decyzji o priorytecie, a wtedy organizacja testuje po równo, czyli zwykle źle.

Czas przywrócenia działania. To miara odporności operacyjnej: ile trwa od wykrycia do przywrócenia, od zgłoszenia klienta do reakcji, ile trwa wycofanie, ile poprawka. DORA liczy ten czas jako jeden z czterech kluczowych wskaźników dostarczania oprogramowania, obok częstotliwości wdrożeń, czasu od zmiany do produkcji i odsetka wdrożeń kończących się awarią. Jeśli odpowiedź brzmi „to zależy”, poproście o ostatnie trzy incydenty w prostej tabeli. Ten czas da się policzyć nawet bez idealnych procesów.

Pytania o sygnał (5 do 7)

Szybkość pipeline’u. Nie musicie znać narzędzi CI, ale powinniście rozumieć, że jeśli wynik przychodzi za późno, zespół zaczyna go omijać, a wtedy testy stają się formalnością. Organizacje, które próbują przykleić AI albo nowe narzędzia do zaniedbanych fundamentów, kończą z jeszcze większym korkiem. Jeśli słyszycie „pipeline jest długi, ale tak musi być”, to moment na decyzję: albo przebudowujecie strukturę testów, albo zmniejszacie zakres bramki do krytycznych ścieżek. Siedem sygnałów, po których to poznać, opisujemy w tekście o tym, po czym poznać, że pipeline testów jest za wolny.

Niestabilne testy. Dobra odpowiedź zawiera procent i koszt. Skalę problemu pokazało Google w tekście o testach niestabilnych w swojej infrastrukturze: około 1,5 procent uruchomień dawało wynik niestabilny, a 84 procent przejść z zielonego na czerwone miało udział testu niestabilnego. Innymi słowy, większość czerwonych wyników była szumem. „Nie mierzymy niestabilności” znaczy w praktyce, że płacicie za nią codziennie, tylko nikt tego nie nazywa.

Dane czy wiara. Dobra odpowiedź brzmi: mamy jedno miejsce, gdzie widać gotowość do wydania, trend jakości, ryzyko i wyjątki. I to nie jest raport „dla QA”, tylko widok, który rozumieją produkt i zarząd. „Mamy status na spotkaniu” to sygnał, że proces opiera się na narracji. Narracja jest dobra, dopóki wszystko idzie dobrze. Dane są potrzebne, kiedy nie idzie.

Źródła: Google Testing Blog, „Flaky Tests at Google and How We Mitigate Them”, 2016; DORA, The four keys.

Pytania o organizację (8 do 10)

Co widzi dyrektor finansowy. Jeśli CFO widzi tylko koszt zespołu QA, a nie widzi kosztu defektów i incydentów, QA zawsze będzie wyglądało jak koszt do cięcia. To decyzja zarządcza, nie problem QA. Dobra odpowiedź jest po biznesowemu: ile kosztują incydenty, ile przestoje, jaki jest trend kosztu defektów na produkcji, ile ryzyka redukujecie przez konkretne inwestycje. Klient z e-commerce, dla którego porządkowaliśmy procesy QA, pokazał zarządowi trzy liczby: awarie w szczycie spadły o 72 procent, błędy krytyczne na produkcji o 46 procent, a konwersja wzrosła o 12 procent dzięki stabilnemu checkoutowi. Po takiej tablicy nikt nie pyta, ile kosztuje zespół QA.

Własność jakości. Dobra odpowiedź brzmi: deweloperzy mają standardy, testy jednostkowe i kontraktowe są częścią definicji ukończenia, a QA jest właścicielem ryzyka i krytycznych scenariuszy, nie policjantem od odbioru. „QA odpowiada za jakość” oznacza w praktyce, że jakość jest poza procesem wytwarzania i ląduje na końcu. A jakość na końcu zawsze jest najdroższa. Jeśli rekrutujecie osobę, która ma to zmienić, pytania z tekstu o dziesięciu niewygodnych pytaniach do kandydata na QA Leada są dobrym uzupełnieniem tej listy.

Plan na kwartał. Dobra odpowiedź to trzy cele i trzy metryki zrozumiałe dla zarządu: skracamy czas wyniku w pipeline z X do Y minut, obniżamy odsetek defektów z produkcji z A do B, domykamy monitoring dla trzech krytycznych ścieżek. „Będziemy poprawiać jakość” to plan bez planu. Zarząd ma prawo oczekiwać konkretu, bo jakość bez konkretu zawsze przegrywa z roadmapą.

Dlaczego te pytania są ważniejsze niż status developmentu

Status developmentu mówi, ile zrobiliście. Dziesięć pytań mówi, ile z tego wytrzyma kontakt z klientem, ruchem i czasem. Raporty QA bez kontekstu biznesowego bywają ignorowane, a decyzje jakościowe nie trafiają na właściwy poziom zarządzania, o czym piszemy w tekście o tym, czemu raporty QA nic nie zmieniają w decyzjach zarządu. Ta lista odwraca kierunek: to zarząd pyta, a organizacja musi odpowiedzieć liczbami. W jednym z największych banków w Polsce, PKO BP, właśnie od takiej rozmowy zaczęła się strategia jakości oprogramowania dla całej organizacji, którą opracowaliśmy razem z audytem istniejących procesów QA i warsztatami dla zespołów.

Podsumowanie

Dziesięć pytań, jedna godzina, trzy kolumny. Nie potrzebujecie technicznego żargonu, żeby zarządzać ryzykiem jakości. Potrzebujecie liczb, które ktoś w organizacji ma obowiązek znać, i decyzji, które pytanie domykacie w tym kwartale. Jeśli po tej rozmowie w kolumnie „nie mamy nic” zostało więcej niż pięć pytań, to nie jest porażka QA. To informacja, że jakość w Waszej firmie nie ma jeszcze właściciela na poziomie zarządu.

W Quality Island robimy audyt jakości z perspektywy zarządczej: bez żargonu, z jasnym przełożeniem na ryzyko, pieniądze, odpływ klientów i decyzje o wydaniu. Kończymy jednym widokiem jakości dla zarządu oraz listą trzech zmian, które dają największy efekt w najkrótszym czasie. Jeśli chcecie sprawdzić, jak Wasza organizacja odpowiada na te dziesięć pytań dziś, zacznijcie od warsztatu z zespołem i kadrą zarządzającą. Godzina tej rozmowy jest tańsza niż jeden nieprzewidziany incydent.