Dlaczego pilotaże AI nie trafiają do produkcji

Ile pilotaży AI trafia do produkcji?

Liczbę o przechodzeniu pilotaży AI do produkcji podaje Deloitte: w State of AI in the Enterprise 2026 (styczeń 2026) tylko 25% z 3235 badanych menedżerów mówi, że ich firma przeniosła do produkcji co najmniej 40% eksperymentów AI, a 54% spodziewa się tego w ciągu 3 do 6 miesięcy. Badanie zrobiono w sierpniu i wrześniu 2025 r. Są to deklaracje i szacunki respondentów, a sprawdzić, czy prognoza się spełniła, można będzie dopiero w kolejnej edycji.

Skąd się wzięło 95% z raportu MIT NANDA

Raport The GenAI Divide z MIT NANDA z lipca 2025 r. spopularyzował zdanie, że 95% organizacji nie ma zwrotu z generatywnej AI. Podstawa to przegląd ponad 300 publicznie opisanych inicjatyw, wywiady z przedstawicielami 52 organizacji i ankieta 153 menedżerów na czterech konferencjach, zebrane od stycznia do czerwca 2025 r. Autorzy nazywają wyniki wstępnymi, a liczby kierunkowymi: opartymi na wywiadach, a nie na sprawozdaniach firm.

Liczba zmienia znaczenie w obrębie samego dokumentu. We wstępie 95% dotyczy organizacji bez zwrotu, a obok stoi lejek dla systemów korporacyjnych: 60% organizacji je oceniało, 20% doszło do pilotażu, 5% do produkcji. W rozdziale 3.2 mowa o tym, że 5% niestandardowych narzędzi trafia do produkcji, przy czym wdrożenie udane to takie, które użytkownicy lub menedżerowie opisali jako dające trwały efekt w produktywności lub wyniku. W aneksie sukces oznacza wyjście poza pilotaż z mierzalnymi wskaźnikami, a zwrot mierzono 6 miesięcy po pilotażu. Autorzy sami przyznają, że to może zaniżać wyniki dłuższych wdrożeń, a próba może być obciążona doborem.

Kevin Werbach, cytowany przez Futuriom, zwraca uwagę, że autorzy nie wyjaśniają, skąd wzięli 95%, i że niepowodzenie w sensie raportu nie znaczy zerowego zwrotu. Futuriom wskazuje też, że raport promuje protokoły agentowe, w tym własny projekt NANDA. Nie cytuj liczby 95% w prezentacji dla zarządu. To wniosek tego tekstu: z raportu zostaje słabsze stwierdzenie, że duża część firm kończy na eksperymentach bez mierzalnego efektu.

Czym pilotaż AI różni się od produkcji?

Pilotaż AI może według Deloitte prowadzić mały zespół przez kilka miesięcy, na oczyszczonych danych, w odizolowanym środowisku. Produkcja wymaga inwestycji w infrastrukturę, integracji z istniejącymi systemami, przeglądów bezpieczeństwa, kontroli zgodności, monitoringu i stałego utrzymania. Model, który w teście osiąga wysoką dokładność, może zawieść na przypadkach brzegowych, a projekt planowany na 3 miesiące może się rozciągnąć do 18 przez integracje. To opis Deloitte, bez podanego rozkładu.

Deloitte pisze, że każdy z tych elementów wymaga znacznie więcej zasobów i koordynacji niż pilotaż. Wniosek tego tekstu: koszt i harmonogram pilotażu nie wystarczą do oszacowania produkcji.

Agenci według Deloitte działają bezpośrednio: robią zakupy, wysyłają wiadomości, zmieniają systemy. Dlatego firma musi ustalić, które decyzje agent podejmuje sam, a które wymagają zgody człowieka. Przykład ilustracyjny: agent testowany w piaskownicy na koncie testowym dostaje w produkcji prawdziwe uprawnienia i dopiero wtedy przechodzi przegląd bezpieczeństwa.

Pilotaż AI dołożony do starego procesu

Deloitte podaje dane o procesach: 30% firm przebudowuje kluczowe procesy wokół AI, a 37% używa jej powierzchownie, z niewielką zmianą albo bez zmiany w sposobie pracy. To wniosek, nie wynik badania: pilotaż dołożony do niezmienionego procesu oszczędzi najwyżej czas pojedynczych osób, więc trudno będzie obronić koszt produkcji. Włącz przebudowę procesu do zakresu pilotażu.

Przykład ilustracyjny: pilotaż mierzący trafność odpowiedzi nie powie, czy obsługa klienta zamyka sprawy szybciej. Dlatego miarę biznesową i jej wartość sprzed pilotażu trzeba ustalić z właścicielem procesu, zanim zespół zacznie stroić model.

Pilotaż AI bez planu na dzień po

Deloitte nazywa utykanie pilotaży AI błędnym kołem: wartość trudno pokazać, więc firmy finansują kolejne tanie pilotaże zamiast trudniejszego skalowania tego, co już działa. Cytowany tam szef AI w ochronie zdrowia mówi, że ludzie zaczynają pilotaże, a zapytani, jak je przeskalują, często nie mają odpowiedzi.

Propozycja tego tekstu: przed startem zapisz, kto płaci za produkcję i na jakich warunkach.

Co sprawdzić przed przejściem pilotażu AI do produkcji

Przed przejściem pilotażu AI do produkcji sprawdź integracje i uprawnienia. Poniższa lista to propozycja tego tekstu, oparta na Deloitte i NIST AI RMF 1.0 (styczeń 2023):

• miara biznesowa uzgodniona z właścicielem procesu, z wartością wyjściową sprzed pilotażu
• evals, czyli zestaw testów na prawdziwych, także trudnych przypadkach, uruchamiany przy każdej zmianie modelu lub promptu
• observability: zapis tego, co system dostał, co zwrócił, a u agenta także jakie działania wykonał
• monitoring w produkcji (NIST MEASURE 2.4) i sposób wyłączenia systemu z przypisaną osobą (MANAGE 2.4)
• uprawnienia i przegląd bezpieczeństwa na realnych kontach
• koszt jednej sprawy przy docelowym wolumenie oraz ścieżka przejęcia przez człowieka

Kiedy lepiej zamknąć pilotaż AI?

Propozycja tego tekstu: zakończ pilotaż, gdy nie ma danych i nie będzie ich w rozsądnym czasie, gdy wynik zależy od przypadków brzegowych, których model nie obsługuje, gdy koszt produkcji przekracza oszczędność albo gdy zniknął właściciel procesu.

Pojawia się też pytanie o zakup zamiast budowy. MIT NANDA w raporcie z lipca 2025 r. podaje, że wdrożenia z partnerem zewnętrznym udają się dwa razy częściej niż wewnętrzne, ale sam zastrzega, że firmy wybierające partnera mogą po prostu różnić się kompetencjami. Policz więc oba warianty.

Powiązane materiały

• Kto powinien być właścicielem AI w firmie: IT, biznes czy nowy zespół
• Dlaczego agent AI przechodzi testy, a psuje się u klienta
• Evals a observability agentów AI: co mierzyć i kiedy

Źródła

• Deloitte: State of AI in the Enterprise 2026 (PDF)
• MIT NANDA: The GenAI Divide, State of AI in Business 2025 (kopia PDF)
• Futuriom: Why We Don't Believe MIT NANDA's Weird AI Study
• NIST AI 100-1: AI Risk Management Framework 1.0 (PDF)