Zanim zapłacicie za AI w testowaniu: siedem pytań, które oszczędzą wam kwartał

Prezentacja trwa czterdzieści minut. Narzędzie samo generuje przypadki testowe z wymagań, samo naprawia selektory po zmianie interfejsu i samo pisze raport dla zarządu. Na slajdzie z wynikami: 60 procent mniej czasu na regresję, 40 procent mniej pracy ręcznej, zwrot z inwestycji w jeden kwartał. Pytanie, które w tym momencie warto zadać, nie brzmi „czy AI działa w testowaniu”, bo działa, w wielu miejscach i coraz lepiej. Brzmi: co dokładnie kupujemy, u kogo to zmierzono i jak zmierzymy to u siebie, zanim skończy się okres próbny. Ten artykuł zbiera dane z czterech niezależnych badań z 2024 i 2025 roku i zamienia je w siedem pytań, które warto zadać dostawcy, zanim podpiszecie cokolwiek.

Co mówią liczby, zanim powie to sprzedawca

World Quality Report 2025, oparty na ankiecie ponad 2 000 menedżerów wyższego szczebla z 22 krajów i 10 sektorów, pokazuje rynek, który jest jednocześnie bardzo zaawansowany i bardzo wczesny. 89 procent organizacji pilotuje albo wdraża przepływy pracy w inżynierii jakości wspierane generatywną AI, z czego 37 procent ma już coś na produkcji, a 52 procent jest w fazie pilotażu. Ale tylko 15 procent doprowadziło wdrożenie do skali całej organizacji. 43 procent wciąż eksperymentuje, a 30 procent używa AI w ograniczonych, wybranych przypadkach.

Najciekawsza jest liczba o efekcie. Średni deklarowany wzrost produktywności wyniósł 19 procent, ale jedna trzecia organizacji odnotowała zyski minimalne. Innymi słowy, ta sama kategoria narzędzi w jednej firmie daje mierzalny efekt, a w innej nie daje prawie nic. Różnica nie leży w narzędziu, tylko w tym, do czego zostało przyłożone i czy ktoś to zmierzył. Bariery, które respondenci wymieniają najczęściej, są zresztą tego samego rodzaju: ryzyko prywatności danych 67 procent, złożoność integracji 64 procent, halucynacje i niezawodność 60 procent, brak umiejętności w zespole 50 procent. Żadna z nich nie jest cechą modelu. Wszystkie są cechami organizacji, która go wdraża.

„Prawie dobrze” to najdroższy możliwy wynik

Ankieta Stack Overflow z 2025 roku, w której na pytania o AI odpowiedziało ponad 33 tysiące programistów, pokazuje drugą stronę tego samego zjawiska. 84 procent respondentów używa albo planuje używać narzędzi AI w pracy. Jednocześnie tylko 3,1 procent deklaruje wysokie zaufanie do dokładności ich wyników, a 45,7 procent wprost im nie ufa. Najczęściej wskazywana frustracja, wymieniona przez 66 procent badanych, to rozwiązania „prawie dobre, ale nie do końca”, a 45,2 procent zgadza się, że debugowanie kodu wygenerowanego przez AI zajmuje więcej czasu niż pisanie go samemu.

W testowaniu „prawie dobrze” jest groźniejsze niż w kodzie produkcyjnym, bo test, który przechodzi, ale sprawdza nie to, co miał sprawdzać, nie zgłasza się sam. Wygenerowany przypadek testowy z poprawną składnią i błędnym oczekiwanym wynikiem daje zielony wynik w raporcie i fałszywe poczucie pokrycia. Kod produkcyjny z błędem prędzej czy później zgłosi użytkownik. Błędny test nie zgłosi nikt, dopóki nie przepuści defektu, którego miał zatrzymać. Dlatego każde wdrożenie AI w testach potrzebuje warstwy weryfikacji wyników przez człowieka, a koszt tej warstwy musi być w rachunku, nie obok niego.

Jest jeszcze jedno badanie, które warto znać przed rozmową z dostawcą, bo dotyczy nie narzędzia, tylko naszej zdolności do oceny jego efektu. Organizacja METR przeprowadziła w 2025 roku randomizowany eksperyment: 16 doświadczonych programistów open source wykonało 246 zadań w projektach, które znali od lat, losowo z dostępem do narzędzi AI albo bez niego. Z AI pracowali o 19 procent dłużej. Przed badaniem spodziewali się przyspieszenia o 24 procent, a po jego zakończeniu nadal byli przekonani, że AI przyspieszyło ich o 20 procent. Autorzy zastrzegają, że wynik dotyczy konkretnej grupy i konkretnego momentu, nie całej branży, i to zastrzeżenie jest uczciwe. Ale lekcja jest uniwersalna: subiektywne odczucie zespołu, że „z AI idzie szybciej”, nie jest pomiarem. Pomiarem jest porównanie z grupą kontrolną.

Więcej testów to nie to samo, co więcej jakości

Raport DORA 2024, oparty na ankiecie około 3 000 osób, dodał do tej układanki wynik, który powinien znaleźć się na pierwszym slajdzie każdej prezentacji o AI w wytwarzaniu oprogramowania. 75,9 procent respondentów używa AI w części swoich obowiązków i trzy czwarte deklaruje wzrost produktywności. A jednocześnie każde 25 procent wzrostu adopcji AI w organizacji wiązało się ze spadkiem stabilności dostarczania o 7,2 procent i przepustowości o 1,5 procent. Edycja 2025 tego samego raportu pokazała, że przepustowość przestała spadać, ale problem ze stabilnością został.

To nie jest paradoks, tylko mechanika. AI generuje więcej kodu i więcej testów w krótszym czasie, więc paczki zmian rosną, a większe paczki od lat są w badaniach DORA najpewniejszym sposobem na mniej stabilne wdrożenia. Dla zespołu QA płynie z tego wniosek praktyczny: narzędzie, które wygeneruje trzy razy więcej przypadków testowych, nie skróci regresji, tylko ją wydłuży, jeśli nikt nie zdecyduje, które z tych przypadków są warte utrzymywania. Więcej testów to więcej kodu do utrzymania, a koszt utrzymania testów jest tym, co po roku decyduje o tym, czy automatyzacja się opłaciła. Pisaliśmy o tym w artykule o tym, co naprawdę opłaca się automatyzować, a co nie, i AI nie zmienia tamtego rachunku, tylko go przyspiesza w obie strony.

Siedem pytań, zanim podpiszecie

Każde z poniższych pytań wynika wprost z jednego z badań wyżej. Demo narzędzia ma to do siebie, że jak dobrze przygotowany kandydat na rozmowie o pracę pokazuje wyłącznie te zadania, które mu wyszły. Dlatego zanim zapłacicie, zobaczcie, co się stanie, gdy w Waszej rozmowie padnie siedem pytań poniżej. Dobry dostawca odpowie na wszystkie bez zastanowienia. Dostawca, który przy którymś zmienia temat na kolejne demo, właśnie odpowiedział.

Źródło: opracowanie własne Quality Island na podstawie World Quality Report 2025-26, Stack Overflow Developer Survey 2025, METR 2025 i DORA 2024.

Obietnica, pytanie kontrolne, dowód

Najczęstsze obietnice z prezentacji dają się sprowadzić do kilku typów. Do każdego pasuje jedno pytanie kontrolne i jeden rodzaj dowodu, którego warto zażądać przed pilotażem, nie po nim.

Nasza perspektywa

W Quality Island uczymy AI w testowaniu na kursie online i szkoleniach zamkniętych, a jednocześnie budujemy automatyzację testów dla klientów, więc widzimy obie strony: entuzjazm po pierwszym demo i rachunek po pierwszym kwartale. Ponad 450 000 testów automatycznych, które napisaliśmy w projektach, nauczyło nas jednego, co AI tylko potwierdza: koszt testu nie powstaje w momencie jego napisania, tylko przez cały czas jego utrzymywania. Narzędzie, które obniża koszt napisania testu do zera, nie obniża kosztu utrzymania. Czasem go podnosi, bo testów jest więcej i nikt nie pamięta, po co powstały.

Drugi wniosek: AI działa najlepiej tam, gdzie proces testowy jest już uporządkowany. Zespół, który ma jasną strategię testów, wie, co automatyzować, i mierzy czas regresji oraz defekty na produkcji, wie też, gdzie przyłożyć AI i jak sprawdzić, czy pomogło. Z naszego doświadczenia to właśnie kolejność robi wynik: w projekcie dla Argos regresja przed releasem spadła z 5 dni do 10 godzin, bo zanim weszła automatyzacja, uporządkowaliśmy proces i wybraliśmy przypadki warte utrzymywania, a narzędzia weszły dopiero na tak przygotowany grunt. Tę kolejność warto powtórzyć u Was: najpierw proces i pomiar, potem licencja. Zespół, który tych rzeczy nie ma, dostaje z AI więcej tego, co miał wcześniej: więcej testów bez priorytetów, więcej wyników bez interpretacji i więcej raportów bez decyzji. Dlatego przed zakupem narzędzia warto wrócić do pytania, co w AI dla QA realnie działa dziś, a co jeszcze nie, i do spokojniejszej wersji tematu, którego boi się część zespołów, czyli czy AI zabiera pracę testerom i jakie są realne scenariusze.

Trzeci wniosek jest budżetowy. Jeśli macie w tym roku jedną pozycję do wydania na AI w testach, szkolenie zespołu zwraca się wcześniej niż licencja, bo bariera braku umiejętności, wskazana przez połowę organizacji w World Quality Report, dotyczy każdego narzędzia, które kupicie później. Kompetencje przenoszą się między narzędziami. Licencje nie. Na blogu Quality Island opisaliśmy szerzej, jak przełożyć wyniki QA na język, który rozumie CFO, i to jest dokładnie ten język, w którym warto rozmawiać z dostawcą narzędzia AI.

Powiązane na Strefie QA

• AI w QA: co działa, a co jeszcze nie działa
• Czy AI zabiera pracę testerom? Jakie są realne scenariusze
• Automatyzacja testów: co się naprawdę opłaca automatyzować, a co nie

Źródła:

• Capgemini, Sogeti, OpenText, World Quality Report 2025-26, komunikat z wynikami
• Stack Overflow, 2025 Developer Survey, sekcja AI
• METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
• DORA, Accelerate State of DevOps Report 2024
• Kurs online AI w testowaniu oprogramowania, Quality Island