Każdy, kto pracuje z AI, jest teraz menedżerem

Kierownik zleca nowemu pracownikowi przygotowanie zestawienia. Po dwóch dniach otrzymuje tabelę z innymi kolumnami, niż potrzebował, poprawia ją wieczorem sam i od tej pory zestawienia robi już samodzielnie, bo „tak jest szybciej”. Taki kierownik rzeczywiście często wykona zadanie szybciej w danym dniu. Jeżeli jednak za każdym razem wybiera tę drogę, pozostaje głównym wykonawcą, niezależnie od liczby osób w zespole, a zespół nigdy nie nauczy się robić zestawień. W pracy z AI warto zadać to samo pytanie, które powinien był sobie zadać ów kierownik: czy wykonawca nie nadaje się do zadania, czy nikt mu nie powiedział, jakich kolumn się od niego oczekuje?

Zatrzymaj animację

Model AI nie jest pracownikiem, a mimo to jego pracą trzeba zarządzać

Nie chodzi o traktowanie modelu jak nowego kolegi z działu. Analogia dotyczy sposobu organizacji pracy, a nie statusu osoby. Model nie ma umowy, nie bierze urlopu i nie obraża się za krytykę. Podobnie jak nowy pracownik nie wie jednak, w jakiej firmie się znalazł, kto podejmie decyzję na podstawie jego pracy i po czym się pozna, że wykonał ją dobrze. Trzeba więc określić cel, zapewnić kontekst, wyznaczyć granice samodzielności i ustalić kryteria odbioru. Odpowiedzialność nie przechodzi na model wraz z poleceniem, tak samo jak nie przechodzi na pracownika wraz z wiadomością „zajmij się tym”.

Na początku pracy z narzędziami AI łatwo jednak odwrócić tę kolejność. Najpierw pojawia się polecenie „napisz mi analizę”, następnie rozczarowanie, że analiza nie uwzględnia sytuacji firmy, a na końcu samodzielne pisanie od początku. Gdyby to samo polecenie, bez kontekstu i bez wskazania odbiorcy, trafiło do nowo zatrudnionego analityka, wynik byłby podobny. Nikt nie uznałby tego za dowód, że analityk nie nadaje się do pracy. Przyczyną nie jest więc niedoskonały prompt, lecz brak zlecenia, które pozwala odróżnić wykonanie zadania od wytworzenia tekstu na podobny temat.

Zlecenie nie rozstrzyga jednak wszystkiego. Nie każde zadanie warto przekazywać AI, podobnie jak nie każde warto delegować. Przy krótkiej, jednorazowej czynności przygotowanie kontekstu i sprawdzenie odpowiedzi może kosztować więcej niż samodzielna praca, tak jak wytłumaczenie komuś, w którym segregatorze leży umowa, trwa dłużej niż sięgnięcie po nią. Mierzyć trzeba więc cały cykl: zlecenie, wykonanie, weryfikację i poprawki, a nie czas, po którym na ekranie pojawiły się pierwsze zdania.

Jeżeli natomiast zadanie wraca co tydzień, rachunek wygląda inaczej. Dobrze przygotowane zlecenie, sprawdzona lista źródeł i kryteria odbioru służą przy kolejnych zadaniach podobnego typu, a proces organizuje się tylko za pierwszym razem. Kierownik z początku tekstu, gdyby raz opisał, jak ma wyglądać zestawienie, odzyskałby wszystkie kolejne wieczory. Organizacji tego pierwszego razu dotyczą cztery zasady omówione poniżej.

Cztery zasady porządkują zlecanie i odbiór pracy wykonywanej przez AI

Zasady te odpowiadają kolejnym etapom delegowania, które każdy menedżer zna z pracy z ludźmi, czyli sformułowaniu zlecenia, wyznaczeniu granic samodzielności, odbiorowi wyniku oraz utrwaleniu sposobu pracy.

Zasada 1: Zlecenie, a nie temat

„Przeanalizuj te oferty” to temat zadania, a nie kompletne zlecenie. Żaden doświadczony menedżer nie przekazałby go w tej formie nowemu pracownikowi. Zlecenie określa, kto podejmuje decyzję, co jest dla niego ważne, z jakich dokumentów wolno korzystać i których informacji nie wolno dopowiadać, a także jaką formę ma mieć wynik i na jakich warunkach zostanie przyjęty.

Przykładowe zlecenie może brzmieć następująco: „Porównaj trzy załączone oferty dla działu administracji. Uwzględnij całkowity koszt roczny, zakres obsługi, czas reakcji i warunki wypowiedzenia. Przy każdej wartości wskaż dokument i stronę. Brak danych oznacz jako brak, a nie jako zero. Nie wybieraj dostawcy; przygotuj pytania uzupełniające”. Takie zlecenie daje podstawę do sprawdzenia rezultatu. To ważniejsze niż sama długość promptu.

Zasada 2: Granice przed pracą, nie po błędzie

Nawet dobrze sformułowane zlecenie nie przesądza, czy dane zadanie w ogóle powinno trafić do AI. Dobry opis stanowiska też nie oznacza, że nowemu pracownikowi od pierwszego dnia powierza się podpisywanie umów. Warto więc przyjąć trzy kategorie zadań, ustalane dla konkretnego procesu, a nie raz na zawsze dla całej technologii. To praktyczny podział pracy, a nie formalna klasyfikacja ryzyka.

• Zadania delegowane: czynności o jasno określonym wyniku i akceptowalnym ryzyku, np. porządkowanie materiału lub wyodrębnianie danych z dokumentów, dla których ustala się reguły, sposób kontroli i sytuacje, w których wynik wraca do człowieka.
• Zadania współtworzone: analizy, projekty procedur, warianty rozwiązań czy materiały dla zarządu, w których AI przygotowuje propozycje, a człowiek sprawdza założenia, koryguje kierunek i rozstrzyga.
• Zadania pozostające po stronie człowieka w przyjętym procesie: ostateczna akceptacja ryzyka, zatwierdzenie dokumentu lub decyzja wywołująca skutki dla organizacji albo drugiej osoby; AI przygotowuje materiał, ale przekonujące uzasadnienie nie daje prawa do decyzji.

Granice powinny być widoczne przed rozpoczęciem pracy. Jeżeli zostaną ustalone dopiero po błędzie, organizacja nie zarządza samodzielnością narzędzia, lecz reaguje na jej skutki, tak jak firma, która zakres pełnomocnictwa ustala dopiero po podpisaniu niekorzystnej umowy.

Zasada 3: Odbiór według stałych pytań

Granice z zasady 2 mówią, które wyniki wracają do człowieka. Przegląd ma rozstrzygnąć, czy taki wynik można przyjąć. Odbiór pracy od AI przebiega tak samo jak odbiór pracy od pracownika, z jedną różnicą: nie można liczyć na to, że autor sam zgłosi wątpliwości. Dlatego odbiór warto oprzeć na czterech stałych pytaniach:

• Czy wynik odpowiada na zlecenie?
• Czy dane się zgadzają?
• Czy źródła potwierdzają wnioski?
• Czy nie przekroczono granic zadania?

Ocena stylu ma znaczenie wtórne, ponieważ elegancko napisany błąd pozostaje błędem, a starannie sformatowane zestawienie z błędną kwotą nie staje się przez to lepszym zestawieniem.

Zakres kontroli dostosowuje się do konsekwencji. W roboczym zestawieniu niskiego ryzyka wystarczy kontrola wyrywkowa, jeśli proces na nią pozwala. W sprawach kluczowych (kwota do zapłaty, termin procesowy, podstawa prawna decyzji) trzeba sprawdzić każdą informację krytyczną, tak jak sprawdza się każdą cyfrę w przelewie, a nie co trzecią. Z góry należy też określić, co się dzieje po wykryciu błędu: rozszerzenie kontroli, poprawa zlecenia albo wstrzymanie użycia wyniku.

Zasada 4: Wzorce w procedurze, nie w historii rozmów

Poprawione zlecenie i sprawdzony sposób kontroli mają wartość dla organizacji tylko wtedy, gdy są dostępne poza rozmową, w której powstały. Menedżer, który wypracował z zespołem dobry sposób robienia zestawień, spisuje go w procedurze. Nie liczy na to, że następca znajdzie właściwe wiadomości w skrzynce poprzednika. Tak samo trzeba postąpić ze zleceniami dla AI: zlecenie, źródła, kryteria odbioru i typowe błędy trafiają do procedury albo wspólnej biblioteki, tam, gdzie zespół naprawdę pracuje. Nie do kolejnego pliku, o którym wie tylko autor.

Warto wskazać właściciela wzorca i termin jego przeglądu, ponieważ prompt oparty na nieaktualnej procedurze nie staje się dobrym standardem tylko dlatego, że używają go wszyscy. Cztery zasady określają, kto i według jakich kryteriów przyjmuje wynik. Nie rozstrzygają jeszcze, w jaki sposób sprawdzić jego poprawność w konkretnym zadaniu.

Trzy sposoby kontroli na najbliższe zadanie

Rzeczywista możliwość oceny wyniku wymaga konkretnych czynności, a nie ogólnego polecenia „bądź ostrożny”, które w pracy z ludźmi również nigdy nie zastąpiło listy kontrolnej. Do takiej oceny wystarczą trzy działania. Żadne z nich nie daje gwarancji bezbłędności, ale każde tworzy konkretny punkt kontroli.

Wraz z odpowiedzią należy wymagać wskazania źródła

Pierwszym działaniem jest zażądanie źródła. Modele generatywne mogą przedstawiać błędne treści w sposób przekonujący. Potocznie mówi się o halucynacjach (ang. hallucinations), a amerykański instytut NIST nazywa to zjawisko konfabulacją (ang. confabulation), czyli generowaniem i pewnym przedstawianiem błędnych lub fałszywych treści w odpowiedzi na polecenie. Prośbę o źródła należy przy tym traktować jako początek weryfikacji, a nie jej zakończenie, tak jak menedżer nie uznaje raportu za sprawdzony tylko dlatego, że na końcu ma on bibliografię: trzeba otworzyć dokument i sprawdzić, czy wskazany fragment rzeczywiście potwierdza twierdzenie, jest aktualny i dotyczy danej sytuacji. Do zlecenia można dopisać:

Prośba o linki i cytaty ma sens wyłącznie wtedy, gdy narzędzie rzeczywiście ma dostęp do internetu albo do przekazanych dokumentów. Model pozbawiony takiego dostępu może wygenerować przekonujące, lecz nieistniejące adresy, numery przepisów i fragmenty, a samo polecenie „nie twórz cytatów z pamięci” nie gwarantuje, że model się do niego zastosuje. Przed użyciem odpowiedzi trzeba więc ustalić, czy narzędzie korzysta ze źródeł, i sprawdzić każdy cytat oraz odnośnik w otwartym dokumencie.

Drugi model jako druga para oczu

Drugim działaniem jest powierzenie wstępnego przeglądu innemu modelowi. Może to odciążyć człowieka podobnie jak zasada czterech oczu w zespole. Samo wklejenie odpowiedzi do innego modelu z pytaniem „czy to jest dobrze?” nie jest jednak jeszcze rzetelnym przeglądem, tak jak nie jest nim podanie koledze raportu z pytaniem „rzucisz okiem?”. Drugiemu modelowi należy przekazać cel, kontekst, kryteria odbioru i materiały źródłowe, zamiast oczekiwać, że odtworzy je z gotowego tekstu. Trzeba przy tym używać wyłącznie narzędzi dopuszczonych w organizacji do danego rodzaju danych, bo potrzeba weryfikacji nie uzasadnia wysłania poufnego dokumentu do przypadkowego serwisu. W nowej rozmowie, w innym modelu, można wykorzystać następujący prompt:

Drugi model nie jest jednak niezależnym sędzią, a zgodność dwóch odpowiedzi nie dowodzi prawdy. Bez zewnętrznej informacji zwrotnej modele nie poprawiają niezawodnie własnego rozumowania, a po próbie samokorekty bywają nawet gorsze, choć dobrze zaprojektowana weryfikacja część tych słabości zmniejsza. Modele w roli sędziów mają znane skrzywienia, a jedno jest tu szczególnie ważne: rozpoznają własne teksty i oceniają je wyżej. Dlatego rekomendujemy kontrolę modelem innego dostawcy i sprawdzanie krytycznych ustaleń w źródle, a nie liczenie, ile modeli je potwierdziło. Drugi model to dodatkowa warstwa kontroli, a nie ten, kto zatwierdza dokument.

Audyt źródeł w tabeli pokazuje, czy tekst nie mówi więcej niż źródło

Trzecie działanie opiera kontrolę na samych źródłach. W tekstach opartych na wielu źródłach lista linków pod tekstem nie wskazuje jeszcze, który z nich uzasadnia konkretny wniosek. Dlatego warto zastosować prostą tabelę zawierającą cytat ze źródła, twierdzenie w tekście i link do źródła. Taki układ pozwala sprawdzić nie tylko, czy źródło istnieje, lecz także czy autor nie powiedział więcej, niż wynika ze źródła. Można w tym celu wykorzystać następujący prompt:

Taką tabelę również trzeba skontrolować. Przed wykorzystaniem materiału należy otworzyć co najmniej źródła wszystkich ustaleń krytycznych, sprawdzić dosłowność cytatów i przeczytać ich otoczenie. Tabela ma ułatwić nadzór, a nie nadać pozorów pewności kolejnemu wynikowi AI.

Dobrze zorganizowany nadzór pozwala rozszerzać zakres pracy z AI

Wróćmy do kierownika z początku tekstu. Jeżeli kontrola polega wyłącznie na ponownym napisaniu całości, decyzja o samodzielnej pracy jest racjonalna. Jej zmiana nie wymaga przekonywania nikogo, że powinien bardziej ufać technologii, lecz takiej organizacji zadania, aby wynik dało się ocenić bez odtwarzania całej pracy.

Korzyści z pracy z AI nie należy postrzegać jedynie w kontekście natychmiastowego zaoszczędzenia czasu. Przy umiejętnym wdrożeniu AI:

• dobrze opisane kryteria podnoszą jakość pracy całego zespołu, także tej wykonywanej bez AI;
• wspólne wzorce pozwalają kapitalizować wiedzę, bo doświadczenie jednej osoby staje się zasobem organizacji;
• jasne punkty odbioru ułatwiają prowadzenie kilku wątków równolegle;
• zachowane źródła, wersje i decyzje pozwalają odtworzyć, na jakiej podstawie powstał wynik i kto go zaakceptował.

Na wniosek, że przy konieczności sprawdzania wyników AI lepiej napisać dokument samodzielnie, warto zatem odpowiedzieć pytaniem: czy rzeczywiście trzeba napisać go jeszcze raz, czy potrzebny jest lepszy sposób zlecania i odbioru pracy? Jest to pytanie menedżerskie, niezależnie od tego, czy osoba, która je sobie zadaje, ma w nazwie swojego stanowiska słowo „menedżer”. Każdy, kto zleca pracę i odbiera jej wynik, zarządza, nawet jeżeli jego jedynym podwładnym jest okno czatu.

Takiej organizacji pracy nie trzeba zostawiać dyscyplinie pojedynczych osób - można ją wbudować w środowisko. Tak zbudowaliśmy SAIE. Cała komunikacja z modelami przechodzi przez PROXY:AI, centralną bramę z regułami dostępu do modeli i narzędzi oraz zapisem, kto, w jakiej roli i w którym zespole użył AI. W TWIN:DESK każda odpowiedź oparta na dokumentach ma cytat z konkretnego fragmentu pliku, kwoty liczy kalkulator, a Rada Modeli pozwala zadać to samo pytanie kilku modelom i od razu zobaczyć, gdzie się różnią. Asystent Promptów pomaga budować dobre zlecenia, a rozmowy z wypracowaną metodą można zapisać, oznaczyć i udostępnić, zamiast zostawiać je w prywatnej historii jednej osoby. Narzędzia przejmują strukturę i zapis, a decyzja, co delegujemy i kto przyjmuje wynik, zostaje przy człowieku - tam, gdzie jej miejsce.

Proponujemy zacząć od jednego zadania z Państwa organizacji: razem opiszemy zlecenie, źródła, kryteria odbioru i sposób kontroli. W metodyce CDF prowadzimy Ocenę wstępną (CDF-Eval), opracowujemy zasady nadzoru człowieka nad AI i metody pracy z AI, a w Akademii CDF i Programie liderów AI uczymy zespoły tak pracować. To konkretne środki wspierające rozwój kompetencji w zakresie AI, które art. 4 rozporządzenia (UE) 2024/1689 (AI Act) nakazuje podejmować dostawcom i podmiotom stosującym systemy AI. Przepis nie wymaga, by każda osoba osiągnęła określony poziom - wymaga działania. Zapraszamy do kontaktu.

Źródła

• NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, lipiec 2024 r., pkt 2.2 „Confabulation”.
• J. Huang i in., Large Language Models Cannot Self-Correct Reasoning Yet, ICLR 2024.
• Z. Wu i in., Large Language Models Can Self-Correct with Key Condition Verification, EMNLP 2024.
• L. Zheng i in., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, NeurIPS 2023.
• A. Panickssery, S.R. Bowman, S. Feng, LLM Evaluators Recognize and Favor Their Own Generations, NeurIPS 2024.
• Rozporządzenie (UE) 2024/1689 (AI Act), art. 4 w brzmieniu nadanym rozporządzeniem (UE) 2026/1744, tekst skonsolidowany.