Pilota AI nie trzeba ratować za wszelką cenę - Q&A

Podczas ostatniego webinaru AI Leaders rozmawialiśmy o tym, od czego zacząć wdrażanie AI. Po spotkaniu zostało jednak kilka pytań, które zasługują na więcej niż trzy zdania między jednym slajdem a drugim.

Paula Skrzypecka pytała, Inga Apiecionek i Przemek Jurgiel-Żyła odpowiadali. Teraz porządkujemy najważniejsze wnioski z tej rozmowy.

To są właśnie te pytania. Nie o najnowszy model i nie o to, który chatbot wygrał ranking. O decyzje, które trzeba podjąć, kiedy AI ma wejść do prawdziwej organizacji: z budżetem, procesami, ludźmi, prawem i odpowiedzialnością.

KPI może się zmienić. Cel nie może zniknąć

Jak mierzyć efekt wdrożenia AI, jeśli w jego trakcie zmienia się sam proces?

Najpierw dobra wiadomość: jeżeli projekt AI zmusił organizację do uczciwego przyjrzenia się procesowi i okazało się, że można go uprościć, połączyć z innym albo w ogóle usunąć, to już wydarzyło się coś wartościowego.

Nie ma sensu automatyzować procesu tylko dlatego, że istnieje. Najdroższym sukcesem technicznym jest system, który perfekcyjnie wykonuje czynność, której firma już nie potrzebuje.

Zmiana procesu nie zwalnia jednak z mierzenia efektu. Trzeba tylko oddzielić dwie rzeczy:

• cel biznesowy, który powinien pozostać stabilny,
• sposób dojścia do celu, który może się zmieniać.

Jeżeli celem było szybsze odpowiadanie klientom, mierzymy czas rozwiązania sprawy, jakość odpowiedzi, liczbę ponownych kontaktów albo satysfakcję klienta. Nie przywiązujemy się do liczby wiadomości wygenerowanych przez model. Jeśli celem było zwiększenie skuteczności treści, liczba wyprodukowanych artykułów nadal niewiele mówi. Ważniejsze będą nowi odbiorcy, jakościowy ruch, leady albo sprzedaż.

Proces może się zmienić radykalnie. Funkcja biznesowa, którą ma realizować, zwykle pozostaje.

Kiedy można zmienić KPI w trakcie projektu, a kiedy jest to już przesuwanie bramki?

KPI można zmienić, jeśli zmieniła się hipoteza albo odkryliśmy, że pierwotny wskaźnik mierzył aktywność zamiast rezultatu. Nie powinniśmy go zmieniać tylko dlatego, że wynik wygląda źle.

Uczciwa zmiana miernika wymaga zapisania czterech rzeczy:

1. Co zakładaliśmy na początku?
2. Czego dowiedzieliśmy się w trakcie?
3. Dlaczego dotychczasowy KPI przestał opisywać wartość biznesową?
4. Co mierzymy od teraz i od jakiego nowego punktu odniesienia?

To ważne rozróżnienie. Iteracja polega na zmianie hipotezy pod wpływem danych, które poznaliśmy w trakcie. Ratowanie projektu na siłę polega na zmianie kryteriów po to, żeby na końcu dało się ogłosić sukces... czyli nieuczciwa zmiana zasady gry.

W dojrzałej organizacji negatywny wynik nie jest problemem. Problemem jest projekt, którego nie da się uczciwie ocenić, gdyż nikt nie zdefiniował, co jest istotne i jak to mierzymy.

Właściciel projektu to nie nazwisko w tabelce

Po czym poznać, że pilotaż AI warto skalować, a kiedy należy go zamknąć?

Najlepiej ustalić to przed startem, a nie wtedy, kiedy zespół jest już emocjonalnie przywiązany do rozwiązania, wydano budżet i wszyscy chcą udowodnić, że mieli rację.

Decyzja o skalowaniu powinna przejść przez pięć pytań:

1. Czy poprawiliśmy wynik biznesowy? Nie liczbę promptów ani aktywnych kont, tylko czas, koszt, jakość, przychód, ryzyko lub inny rezultat procesu.
2. Czy efekt utrzymuje się po doliczeniu całego kosztu? Wdrożenia, integracji, walidacji, pracy człowieka, utrzymania, bezpieczeństwa i zmian cen modeli.
3. Czy rozwiązanie działa wystarczająco dobrze w realnym procesie? Demo może zachwycać, a produkcja przegrywać na wyjątkach, jakości danych i zachowaniu użytkowników.
4. Czy ktoś chce i potrafi wziąć odpowiedzialność za dalsze działanie? Bez właściciela biznesowego pilot pozostaje cudzym eksperymentem.
5. Czy wiemy, czego nauczył nas projekt? Nawet zamknięty pilotaż może zostawić dane, integracje, komponenty i wiedzę, które obniżą koszt kolejnego wdrożenia.

Możliwe są więc trzy decyzje: skalujemy, poprawiamy konkretny element i ponawiamy test albo zamykamy. „Jeszcze chwilę popracujmy” nie jest czwartą decyzją, jeśli nie wiadomo, co dokładnie ma się wydarzyć w tej dodatkowej chwili.

Czy formalne przypisanie odpowiedzialności pomaga, czy odstrasza ludzi?

Jednych namaszcza, innych paraliżuje.

W części organizacji wpisanie człowieka jako właściciela procesu daje mu mandat: może poprosić inny dział o dane, zarezerwować czas zespołu i podjąć decyzję. W innych samo słowo „odpowiedzialność” brzmi jak zapowiedź tego, kto będzie winny, jeśli eksperyment się nie uda.

Dlatego nie wystarczy wpisać nazwiska do dokumentu. Właściciel wdrożenia musi mieć trzy rzeczy:

• realny wpływ na proces,
• możliwość podejmowania decyzji,
• osobisty interes w tym, żeby wynik został rzetelnie oceniony, a decyzja rzeczywiście zapadła.

Potrzebny jest także sponsor, który zapewnia budżet i usuwa blokady. To jednak nie musi być ta sama osoba. Zarząd może dać mandat, ale codzienny właściciel biznesowy powinien wiedzieć, jak proces naprawdę działa, gdzie pojawiają się wyjątki i po czym użytkownicy poznają, że rozwiązanie im pomaga.

Najgorszy układ to odpowiedzialność bez wpływu. Zaraz za nim jest wpływ bez odpowiedzialności.

Czy pracownik ma obowiązek cieszyć się z automatyzacji własnej pracy?

Dlaczego pracownicy mieliby pomagać firmie automatyzować swoje zadania?

To jest prawdziwe pytanie, które plącze się w głowach wielu osób, ale mało kto ma odwagę, o nie zapytać.

Jeżeli każda odzyskana godzina ma prowadzić do redukcji etatu, pracownik nie ma żadnego racjonalnego powodu, żeby pokazywać firmie kolejne miejsca do automatyzacji. Będzie chronił wiedzę o procesie, mnożył wyjątki albo po prostu nie użyje nowego narzędzia.

Nie dlatego, że „nie rozumie AI”. Dlatego, że rozumie konsekwencje.

Firma powinna więc powiedzieć wprost, po co odzyskuje czas. Czy chce obsłużyć więcej klientów bez dokładania kolejnych osób? Skrócić kolejkę zadań? Poprawić jakość? Ograniczyć nadgodziny? Przenieść ludzi z ręcznej pracy do zadań wymagających wiedzy i decyzji?

Nie warto obiecywać, że AI nigdy nie wpłynie na zatrudnienie, jeśli zarząd nie podjął takiej decyzji. Warto za to pokazać konkretny sens zmiany i włączyć pracowników w projektowanie rozwiązania. To oni znają skróty, wyjątki i nieformalne obejścia, których nie ma na żadnym diagramie procesu.

Bez ich wiedzy można zbudować system zgodny z procedurą i całkowicie niezgodny z rzeczywistością.

Jak zbudować zespół, który wdraża AI, zamiast tylko testować kolejne narzędzia?

Nie zaczynać od powołania wielkiego komitetu do spraw innowacji.

Najpierw warto znaleźć ludzi, którzy już próbują. Często robią to po cichu: używają prywatnego Claude'a do analizy dokumentów, ChatGPT do porządkowania notatek albo Copilota do kodu. Być może robią to w sposób, którego firma nie powinna akceptować. Ale ich zachowanie pokazuje jednocześnie dwie ważne rzeczy: gdzie naprawdę boli proces i gdzie istnieje naturalna motywacja do zmiany.

Rolą organizacji nie jest zamieść shadow AI pod dywan ani urządzić polowania na winnych. Trzeba przenieść dobre pomysły na jasną stronę: do zaakceptowanych narzędzi, właściwych danych, opisanych zasad i mierzalnych eksperymentów.

Zespół wdrożeniowy nie musi być duży. Powinien jednak łączyć:

• właściciela problemu biznesowego,
• osobę rozumiejącą technologię i dane,
• użytkowników procesu,
• bezpieczeństwo i prawo włączone odpowiednio wcześnie,
• sponsora, który może podjąć decyzję.

I jeszcze jedną osobę: kogoś, kto potrafi opowiedzieć reszcie firmy, co zrobiono, czego się nauczono i co można wykorzystać ponownie. Bez tego każdy dział zaczyna własną transformację od zera.

Nie każda wartość pojawia się od razu w P&L

Czy wdrożenie AI ma sens, jeśli nie obniża kosztów?

Tak, ale „nie wszystko da się policzyć” nie może być wymówką dla niepoliczenia niczego.

AI może poprawić jakość pracy bez skracania jej czasu. Ten sam dokument powstaje w dwie godziny, ale uwzględnia więcej źródeł, ma mniej błędów i daje odbiorcy lepszą decyzję. Rozwiązanie może nie zmniejszyć zatrudnienia, ale pozwolić tej samej liczbie osób obsłużyć większą liczbę klientów. Może skrócić wejście na rynek, zmniejszyć ryzyko, poprawić doświadczenie klienta albo umożliwić usługę, której wcześniej firma nie mogła zaoferować.

Bywa też, że wdrożenie ma cel wizerunkowy. Organizacja chce być postrzegana jako nowoczesna albo odwrotnie - buduje markę opartą na pracy wykonywanej przez ludzi. Obie strategie mogą mieć sens. Błąd zaczyna się wtedy, kiedy decyzję wizerunkową przedstawiamy jako projekt oszczędnościowy i na siłę dopisujemy do niej ROI.

Najpierw trzeba nazwać rodzaj wartości. Potem dobrać do niego dowody.

Oszczędność mierzymy pieniędzmi i czasem. Jakość - błędami, reklamacjami, oceną ekspercką albo satysfakcją klienta. Nową zdolność - tym, czego firma wcześniej nie potrafiła zrobić. Wizerunek - zachowaniem odbiorców, nie liczbą komunikatów z dopiskiem „AI”.

Mała firma i korporacja nie powinny wdrażać AI tak samo

Czym powinno różnić się eksperymentowanie w małej i dużej organizacji?

Mała firma płaci przede wszystkim za zwłokę. Duża - za chaos i niekontrolowaną skalę.

W małej organizacji kilka tygodni analizowania drobnego niepowodzenia może kosztować więcej niż sam nietrafiony test. Dlatego eksperyment powinien być mały, szybki i możliwy do zatrzymania. Nie zawsze musi od razu tworzyć nowy przychód. Czasem wystarczy, że firma zyska zdolność, której wcześniej nie miała, albo jedna osoba odzyska kilka godzin tygodniowo.

W dużej organizacji potrzebne są mocniejsze ramy: właściciel, baseline, klasy danych, kryteria ryzyka, sposób dopuszczania narzędzi, dokumentacja i momenty decyzyjne. Nie po to, żeby spowalniać, lecz żeby dobry eksperyment dało się później powtórzyć w innym dziale bez budowania wszystkiego od nowa.

Wspólna zasada brzmi: szybkość nie polega na pomijaniu decyzji. Polega na tym, że wiadomo, kto i na podstawie czego ma je podjąć.

Jak sprawić, żeby seria pilotaży stała się kompetencją organizacji?

Po każdym projekcie powinno zostać coś więcej niż prezentacja z wynikiem.

Minimum to opis problemu biznesowego, punkt wyjścia, wynik eksperymentu, wykorzystane dane, integracje, architektura, kontakty do osób zaangażowanych i lista rzeczy, które zadziałały albo nie zadziałały. Równie ważna jest warstwa miękka: jak zdobyto budżet, co przekonało użytkowników, gdzie pojawił się opór i jaka decyzja odblokowała projekt.

To właśnie te elementy obniżają koszt kolejnych wdrożeń. Nie sam dostęp do modelu, który za pół roku i tak może być inny.

Organizacja zaczyna naprawdę korzystać z AI wtedy, gdy potrafi regularnie:

• znajdować problemy warte rozwiązania,
• szybko odrzucać słabe pomysły,
• prowadzić kontrolowane eksperymenty,
• podejmować decyzje na podstawie wyników,
• przenosić wiedzę i komponenty między zespołami.

Pojedynczy pilot może się udać przypadkiem. Takiego systemu nie buduje się przypadkiem.

Od inspiracji do systemu działania

W AI Leaders nie uczymy obsługi jednego narzędzia, które za kilka miesięcy może wyglądać zupełnie inaczej. Pokazujemy, jak podejmować decyzje: wybierać właściwe przypadki użycia, liczyć efekty, budować asystentów i workflow, porządkować wiedzę, zarządzać ryzykiem oraz przeprowadzać zmianę w realnej organizacji.

W trakcie programu uczestnicy tworzą własny Kodeks AI, działającego asystenta oraz materiały dopasowane do swojej roli i firmy. Prawo, bezpieczeństwo, technologia i biznes nie występują w osobnych światach. Spotykają się w jednym procesie wdrożeniowym - dokładnie tak, jak dzieje się to w pracy.

Jeśli odpowiadasz za AI w swojej organizacji albo właśnie odkrywasz, że za chwilę będziesz odpowiadać, zobacz program AI Leaders:

SPRAWDŹ PROGRAM I DOŁĄCZ DO AI LEADERS

Pełne nagranie webinaru „Od czego zacząć realne wdrożenia AI? Małe kroczki do dużych przyrostów” znajdziesz tutaj:

NAGRANIE NA YOUTUBE (nie zapomnij zasubskrybować kanału)