Specyficzny system to rzadko powód długiego onboardingu
Onboarding zespołu QA z zewnątrz budzi w Was zrozumiałą ostrożność i trudno się dziwić: Wasi ludzie budowali ten system latami, znają go intuicyjnie, a obcy inżynierowie testów tej wiedzy nie mają i mieć nie mogą. Ta obawa jest rozsądna i warto ją potraktować poważnie, a nie zbywać. W tekście o tym, ile kosztuje własny zespół QA, a ile body leasing, policzyliśmy pieniądze. Dziś liczymy czas wejścia, bo to on najczęściej blokuje decyzję.
- Specyficzny system to rzadko powód długiego onboardingu
- Gdzie naprawdę uciekają tygodnie: czekanie zamiast nauki
- Pakiet dnia zero: co przygotować, zanim zespół wejdzie
- Sześć tygodni z kamieniami milowymi zamiast trzech miesięcy w mgle
- Który model współpracy wchodzi najszybciej
- Jak sprawdzić po dwóch tygodniach, czy onboarding zespołu QA idzie dobrze
- Nasza perspektywa: onboarding to projekt, nie okres próbny
Samą obiekcję o złożoności rozłożyliśmy na części w artykule o zbyt specyficznym oprogramowaniu: logika domenowa, kod historyczny, integracje. Tu idziemy krok dalej, bo z naszego doświadczenia tygodnie onboardingu rzadko uciekają na naukę systemu, zwykle uciekają na czekanie: na dostępy, na środowisko, na dane testowe, na osobę, która ma czas odpowiedzieć na pytanie. Czas nauki skrócicie tylko trochę. Czas czekania da się skrócić prawie do zera. Pytanie na dobry początek brzmi więc tak: ile z tych miesięcy Wasz nowy zespół naprawdę się uczy, a ile po prostu czeka?
Gdzie naprawdę uciekają tygodnie: czekanie zamiast nauki
Według State of Developer Experience Report 2024 od Atlassian i DX, który objął ponad 2 100 programistów i menedżerów, 69% programistów traci 8 godzin tygodniowo albo więcej, czyli około 20% czasu pracy. Z tego samego raportu Atlassian i DX wynika, że aż 97% programistów traci znaczną ilość czasu na nieefektywności, a jako przyczyny najczęściej wskazują dług techniczny i niewystarczającą dokumentację. Mniej niż połowa wierzy, że liderzy o tym wiedzą, a liderzy wskazują zupełnie inne powody: braki kadrowe, rozszerzanie roli programisty, ilość wymaganej wiedzy technicznej. Wniosek nasuwa się sam: Wasz własny zespół traci czas na tych samych brakach, a nowy zespół trafia na nie podwójnie, bo nie zna jeszcze obejść, które Wasi ludzie wypracowali latami.
W badaniu Microsoft Research z 2021 roku, opartym na ankiecie 267 nowych inżynierów, autorzy piszą, że nowi pracownicy często potrzebują kilku tygodni do pierwszego pull requesta. Jeden z ankietowanych w tym badaniu Microsoft opisał, że sama konfiguracja środowiska zajęła mu blisko 2 tygodnie. To relacja jednej osoby, nie średnia, ale kierunek pokazuje dobrze: zanim ktokolwiek zaczął się uczyć kodu, najpierw czekał. Spójrzcie, które pozycje z pierwszych tygodni to naprawdę nauka, a które da się załatwić zawczasu.
Źródło: opracowanie własne Quality Island.
Najdroższy tester świata to ten, który przez pierwsze dwa tygodnie czeka na VPN i w tym czasie opanowuje na pamięć firmowy regulamin pracy zdalnej, rozdział po rozdziale.
Źródło: Atlassian i DX, State of Developer Experience Report 2024; Microsoft Research, ICSE 2021; Google Cloud, DORA Accelerate State of DevOps Report 2021.
Pakiet dnia zero: co przygotować, zanim zespół wejdzie
Według raportu DORA Accelerate State of DevOps 2021 od Google Cloud zespoły z dokumentacją wysokiej jakości 3,8 raza częściej wdrażają dobre praktyki bezpieczeństwa i 2,5 raza częściej w pełni wykorzystują chmurę, bo dokumentacja okazała się fundamentem innych praktyk. Dobra wiadomość: nie potrzebujecie pisać dokumentacji od zera. Wszystko, co da się załatwić przed pierwszym dniem, nie powinno zjadać pierwszego tygodnia. Wystarczy jedna strona z mapą środowisk, lista krytycznych ścieżek biznesowych i nazwisko osoby z czasem na pytania. A jeśli dokumentacji testowej brakuje zupełnie, da się ją nadrobić jako osobne zadanie, na przykład przez uporządkowanie dokumentacji testowej. Oto pakiet dnia zero, który w naszych projektach najskuteczniej skraca czekanie:
Źródło: opracowanie własne Quality Island.
Sześć tygodni z kamieniami milowymi zamiast trzech miesięcy w mgle
Mit, że onboarding musi trwać kwartał, bo tak zawsze było, trzyma się mocno głównie dlatego, że nikt go nie mierzy. Zamiast trzech miesięcy w mgle zaplanujcie sześć tygodni, w których każdy etap kończy się dowodem, który da się sprawdzić. Tydzień 1 to pełne przejście jednego zgłoszenia przez cały proces, od znalezienia defektu po zamknięcie w Waszym rejestrze. To wprost zalecenie z badania Microsoft Research z 2021 roku: proste pierwsze zadanie, które przeprowadza nową osobę przez cały przepływ pracy, a u nich przykładem była poprawka literówki. Najszybszą nauką systemu są przy tym sesje testów eksploracyjnych na krytycznych ścieżkach, pisaliśmy zresztą, dlaczego testowanie manualne wcale nie jest mniej wartościowe.
Tydzień 2 to testy dymne krytycznych ścieżek. Tygodnie 3 i 4 to regresja krytycznych obszarów prowadzona już przez nowy zespół, z Waszym przeglądem. Tygodnie 5 i 6 to samodzielna praca w sprincie i pierwsze propozycje automatyzacji. Uczciwe zastrzeżenie: sześć tygodni to plan do rozliczenia, nie obietnica dla każdego systemu. Przy dużym systemie regulowanym etapy się wydłużają, ale nadal kończą się dowodem. A co przychodzi po onboardingu? W naszym projekcie dla Argos, firmy z branży e-commerce, regresja przed releasem spadła z 5 dni do 10 godzin, a liczba błędów krytycznych na produkcji zmalała o 46%.
Źródło: opracowanie własne Quality Island, zalecenie prostego pierwszego zadania za Microsoft Research (2021).
W badaniu Microsoft Research z 2021 roku, wśród 267 nowych inżynierów, jednym z największych wyzwań okazało się zbudowanie więzi z zespołem, a nie zrozumienie kodu; obok niego autorzy wymieniają szukanie przydatnej dokumentacji i komunikację. Do tego przydzielonego mentora dostało 67,7% badanych, czyli prawie co trzecia osoba w firmie wielkości Microsoft wchodziła bez niego. Wniosek dla Was: zewnętrzny zespół potrzebuje od Was przede wszystkim człowieka i mapy, a dopiero potem dokumentacji kodu.
Który model współpracy wchodzi najszybciej
Body leasing QA daje najszybszy start: jedna albo dwie osoby wchodzą w Wasz proces, pod warunkiem że ten proces już macie i ktoś po Waszej stronie prowadzi pracę. Dedykowany zespół QA przynosi własny proces, narzędzia i lidera, więc pierwszy tydzień jest bardziej intensywny, ale zespół szybciej przestaje potrzebować Waszego prowadzenia. Spokojne porównanie modeli współpracy QA znajdziecie u nas, o tym, kiedy outsourcing testów w ogóle ma sens, pisaliśmy osobno, a szczegółowe zestawienie znajdziecie też w artykule o outsourcingu testów oprogramowania i pięciu modelach współpracy.
Skąd pewność, że zewnętrzny zespół nie zaczyna od zera? Z naszych ponad 450 000 napisanych testów automatycznych wynika, że wzorce takie jak logowanie, płatności, uprawnienia, integracje i raporty powtarzają się między branżami częściej, niż się wydaje, od e-commerce (Argos) przez automotive (Autono) i medycynę (ChaosGears) po bankowość (PKO BP). Dlatego doświadczony zespół rozpoznaje większość systemu, a uczy się tylko tego, co naprawdę Wasze. Ciągłość też da się zaplanować: w QA Board, naszej platformie z ponad 1000 profili specjalistów QA, szukamy uzupełnień i zastępstw, więc odejście jednej osoby nie oznacza onboardingu od nowa. A zanim wybierzecie lidera zewnętrznego zespołu, zadajcie mu nasze niewygodne pytania do kandydata na QA leada.
Jak sprawdzić po dwóch tygodniach, czy onboarding zespołu QA idzie dobrze
Po dwóch tygodniach macie prawo wiedzieć, czy plan działa. Proponujemy cztery mierniki zamiast odczucia: liczba dni od podpisania umowy do pełnych dostępów; liczba dni do pierwszego defektu zgłoszonego z kompletnym opisem i dowodem; odsetek pytań zespołu, które czekały na odpowiedź dłużej niż jeden dzień roboczy; termin pierwszej regresji krytycznych obszarów przeprowadzonej bez Waszej pomocy. Jeśli trzy z czterech liczb rosną z tygodnia na tydzień, problemem nie jest zespół, tylko droga, którą musi się przebijać.
Dla kontekstu: w badaniu Microsoft Research z 2021 roku 67,7% ankietowanych dostało przydzielonego mentora, a 58,1% miało codzienne spotkania jeden na jeden z kimś z zespołu. Nawet w organizacji tej wielkości co trzecia osoba wchodziła więc bez mentora. Kto po Waszej stronie będzie tym mentorem dla zewnętrznego zespołu?
Nasza perspektywa: onboarding to projekt, nie okres próbny
Z naszego doświadczenia najdłużej trwają te onboardingi, w których nikt po stronie klienta nie ma wpisanego w kalendarz czasu dla zewnętrznego zespołu. Każdy tydzień wygląda wtedy na pracowity, a dowodów postępu brak. Dlatego warto potraktować to tak: onboarding to projekt z właścicielem, planem i miernikami, nie okres próbny, który jakoś minie.
Tomasz Stelmach, CEO Quality Island, mówi o tym krótko: „Specyfika systemu prawie nigdy nie jest tym, co wydłuża wejście zespołu. Wydłuża je czekanie: na dostępy, na środowisko, na kogoś, kto ma czas odpowiedzieć na pytanie. Dlatego zanim porozmawiamy o planie testów, ustalam z klientem, kto po jego stronie odblokowuje drogę w pierwszym tygodniu.”
Jest jeszcze jedna korzyść, o której mówi się rzadko. To, co zewnętrzny zespół spisze w pierwszych tygodniach, zostaje u Was: mapa środowisk, krytyczne ścieżki, przypadki testowe. Nawet gdy współpraca kiedyś się skończy, ta wiedza nie siedzi już wyłącznie w głowach Waszych ludzi. Dobrze poprowadzony onboarding daje Wam więc dwie rzeczy naraz: zespół, który szybciej zaczyna znajdować defekty, i system, który pierwszy raz od dawna jest opisany na piśmie, a nie tylko w pamięci kilku osób.
- Według State of Developer Experience Report 2024 od Atlassian i DX 69% programistów traci 8 godzin tygodniowo i więcej, a nowy zespół trafia na te same blokady podwójnie.
- W badaniu Microsoft Research z 2021 roku jednemu z 267 ankietowanych inżynierów sama konfiguracja środowiska zajęła blisko 2 tygodnie, więc pakiet dnia zero przygotujcie przed pierwszym dniem.
- Według raportu DORA 2021 od Google Cloud zespoły z dokumentacją wysokiej jakości 3,8 raza częściej wdrażają dobre praktyki bezpieczeństwa; na start wystarczy jedna strona z mapą środowisk i listą krytycznych ścieżek.
- Onboarding mierzcie kamieniami milowymi: sześć tygodni, w których każdy etap kończy się sprawdzalnym dowodem, zamiast kwartału w mgle.
- Wyznaczcie właściciela onboardingu po Waszej stronie z czasem w kalendarzu, bo czekanie na odpowiedzi wydłuża wejście bardziej niż specyfika systemu.
Chcecie zobaczyć, jak wygląda wejście zespołu QA w Wasz projekt i co przygotować na pierwszy tydzień, żeby nikt nie czekał na dostępy? Zobaczcie, jak pracuje zespół z własnym liderem i procesem.
Zobaczcie dedykowany zespół QAPowiązane na Strefie QA
- Ile naprawdę kosztuje własny zespół QA, a ile body leasing
- Kiedy warto outsourcować testy oprogramowania
- Jak wybrać firmę do testów oprogramowania: checklista dla dyrektora IT
Źródła:
- Atlassian i DX, State of Developer Experience Report 2024, 2024. Stąd liczby o ponad 2 100 badanych, 97% i 69% tracących czas oraz rozjazd przyczyn wskazywanych przez programistów i liderów.
- Microsoft Research (Rodeghero, Zimmermann, Houck, Ford), Please Turn Your Cameras On: Remote Onboarding of Software Developers during a Pandemic, ICSE 2021, 2021. Stąd dane o 267 ankietowanych, 67,7% z mentorem, 58,1% ze spotkaniami jeden na jeden, relacja o 2 tygodniach konfiguracji środowiska i zalecenie prostego pierwszego zadania.
- Google Cloud, DORA, Accelerate State of DevOps Report 2021, 2021. Stąd dane o dokumentacji wysokiej jakości: 3,8 raza częstsze dobre praktyki bezpieczeństwa i 2,5 raza pełniejsze wykorzystanie chmury.








