AI w firmie

Agent sztucznej inteligencji: dlaczego jego błędy się mnożą

Agent wykonuje kroki jeden po drugim, więc pomyłka z początku przechodzi przez całą pracę. Pokazuję, jak to ograniczyć, zanim agent dostanie dostęp do firmowych systemów.

23 lipca 1983 roku, tuż po ósmej wieczorem, na wysokości 12 500 metrów nad Ontario w kabinie Boeinga 767 linii Air Canada odezwał się alarm niskiego ciśnienia paliwa, a po chwili drugi silnik zgasł tak samo jak pierwszy. Kapitan Bob Pearson i pierwszy oficer Maurice Quintal lecieli z Montrealu przez Ottawę do Edmonton, mając na pokładzie 69 osób i mniej niż połowę paliwa, które plan lotu uznawał za potrzebne.

Przyczyną był przelicznik. Wskaźniki paliwa w tym samolocie nie działały, więc ilość w zbiornikach mierzono ręcznie bagnetem, w litrach, a potem przeliczano na kilogramy, ponieważ plan lotu wymagał 22 300 kilogramów. Pracownik tankujący podał gęstość paliwa 1,77, co oznaczało funty na litr, a załoga policzyła ją tak, jakby chodziło o kilogramy, choć prawidłowa wartość wynosiła około 0,8. Pomiar i rachunki były poprawne, a cały błąd siedział w jednej liczbie na samym początku, którą każdy następny krok przyjmował na wiarę. W Ottawie załoga powtórzyła rachunek z tym samym przelicznikiem i dostała ten sam błędny wynik. Na pokład trafiło około 10 100 kilogramów paliwa zamiast 22 300.

Pearson był doświadczonym pilotem szybowcowym, a Quintal znał dawną bazę wojskową w Gimli i podsunął ją jako miejsce lądowania. Samolot bez jednego pracującego silnika szybował około siedemnastu minut i usiadł na nieczynnym pasie, na którym akurat trwał wyścig. Nikt nie zginął. Komisja ustaliła później, że linia nie przypisała jasno nikomu odpowiedzialności za obliczenie ilości paliwa, a w 1985 roku obaj piloci dostali dyplom Międzynarodowej Federacji Lotniczej za wybitne umiejętności pilotażu, choć wcześniej linia ukarała ich degradacją i zawieszeniem.

Jeśli cały lot zależał od jednej liczby wpisanej na początku, kto powinien ją potwierdzić, zanim zaufają jej wszystkie następne kroki?

Agent sztucznej inteligencji pracuje jak ta załoga: wykonuje serię kroków, z których każdy opiera się na wyniku poprzedniego, i sam rzadko wraca do pierwszej liczby, żeby ją sprawdzić. Teza tego wpisu brzmi, że o opłacalności agenta decyduje liczba punktów kontrolnych w procesie i miejsce, w którym stoją, a jakość samego modelu ma mniejsze znaczenie, niż sugerują prezentacje dostawców.

Czym agent różni się od zwykłego okna rozmowy

Zwykły asystent odpowiada na pytanie jednym ruchem: dostaje tekst i zwraca tekst. Agent dostaje cel, na przykład „uzgodnij faktury dostawców z zamówieniami z zeszłego miesiąca”, i pracuje w pętli: planuje następny krok, sięga po narzędzie, czyta wynik, ocenia, czy cel został osiągnięty, a jeśli nie, planuje kolejny krok. Narzędziem nazywam tu każdy program, który agent może uruchomić samodzielnie, na przykład wyszukiwarkę albo arkusz kalkulacyjny. Decyzje podejmuje model językowy, czyli program, który na podstawie ogromnej liczby przykładów przewiduje najbardziej prawdopodobną kontynuację tekstu, także tekstu będącego poleceniem dla narzędzia.

Firma Anthropic w opracowaniu „Building effective agents” z grudnia 2024 roku rozdzieliła dwie rzeczy, które w rozmowach handlowych trafiają do jednego worka. Przepływ pracy (po angielsku workflow) to ścieżka zapisana z góry w kodzie, na której model wykonuje kroki wyznaczone przez programistę. Agent sam kieruje swoim przebiegiem i wyborem narzędzi. Przy reklamacji przepływ pracy zawsze przeczyta wiadomość, znajdzie zamówienie i napisze odpowiedź, a agent sam zdecyduje, czy sprawdzić stan magazynu, czy dopytać klienta. Pierwsze rozwiązanie jest przewidywalne, drugie elastyczne, i właśnie za tę elastyczność się płaci.

Dlaczego pomyłka z początku przechodzi przez całą pracę

Każdy krok agenta opiera się na wyniku poprzedniego, a model czyta własne wcześniejsze notatki jak fakty. Gdy w kroku drugim zapisze błędną kwotę, krok piąty policzy rabat od złej kwoty, a krok ósmy napisze do klienta uprzejmy list z błędnym rabatem. Późniejsze kroki wykonano poprawnie, tyle że na złych danych, dokładnie jak w kabinie Boeinga, gdzie każde działanie arytmetyczne było w porządku.

Rachunek prawdopodobieństwa pokazuje skalę. Załóżmy ilustracyjnie, że agent trafia w pojedynczym kroku w 95 procentach przypadków i że błędy są od siebie niezależne. Po dziesięciu krokach cała praca jest poprawna w około 60 procentach przypadków, po dwudziestu w około 36. Prawdziwe wartości zależą od zadania i nikt nie zna ich dla Waszego procesu, dopóki ich nie zmierzy, ale kierunek jest pewny: dłuższy łańcuch obniża szansę, że wynik końcowy jest dobry. Anthropic ujmuje to w tym samym opracowaniu wprost: samodzielność agenta oznacza wyższe koszty i możliwość kumulowania się błędów, więc autorzy radzą szukać najprostszego rozwiązania i komplikować je dopiero wtedy, gdy proste nie wystarcza.

Ponowne sprawdzenie nie zawsze pomaga, co pokazuje Ottawa. Załoga powtórzyła rachunek, ale użyła tej samej gęstości, więc powtórzyła także błąd. Agent, który ocenia własny wynik na podstawie tych samych danych, zachowuje się podobnie: kontrola ma sens dopiero wtedy, gdy korzysta ze źródła innego niż to, które mogło zawieść.

Co mówią dane o wdrożeniach agentów

Według relacji prasowych o komunikacie firmy badawczej Gartner z czerwca 2025 roku ponad 40 procent projektów z agentami zostanie anulowanych do końca 2027 roku z powodu rosnących kosztów i niejasnej wartości biznesowej. Ta sama firma opisuje zjawisko nazwane „agent washing”: dostawcy przemianowują zwykłych asystentów i chatboty na agentów, a spośród tysięcy firm deklarujących takie produkty autentyczną ofertę ma według szacunku Gartnera około 130. Prognoza dotyczy całego rynku i jest szacunkiem analityków, a nie pomiarem w konkretnej firmie, ale zgadza się z tym, co wynika z rachunku powyżej: koszt rośnie z każdym krokiem, a pewność wyniku maleje.

Koszt składa się z kilku części. Dziesięciokrokowy agent wykonuje kilkanaście wywołań modelu zamiast jednego, a kolejne kroki zwykle czytają coraz dłuższą historię, więc rachunek za zapytania bywa wielokrotnie wyższy niż za zwykłą odpowiedź. Do tego dochodzi czas osoby, która przegląda wyniki, bo bez niego rachunek wychodzi zbyt różowy.

Co agent robi dobrze, a czego nie potrafi

Agent sprawdza się tam, gdzie kroków jest niewiele, każdy da się zweryfikować po wyniku, a pomyłka kosztuje mało, na przykład przy przygotowaniu zestawienia faktur do zatwierdzenia albo wstępnym sortowaniu zgłoszeń. Słabo radzi sobie przy długich łańcuchach, przy działaniach nieodwracalnych (przelew, wysłanie umowy, zmiana danych w systemie kadrowym) i wszędzie tam, gdzie wynik nie ma prostego sprawdzianu.

Ryzyko dotyczy także uprawnień. Agent z dostępem do systemów wykonuje czynności, których nikt nie obejrzał przed wykonaniem, więc uprawnienia przyznaję mu tak jak nowemu pracownikowi na okresie próbnym: najpierw odczyt, a zapis dopiero po sprawdzeniu pierwszych wyników. Przed rozmową z dostawcą warto przygotować jedno pytanie: ile kroków wykonuje jego agent w typowym zadaniu i w których miejscach człowiek widzi wynik pośredni. Odpowiedź w rodzaju „to zależy” oznacza, że nikt tego jeszcze nie zmierzył. Moja rekomendacja brzmi: zaczynać od przepływu pracy i sięgać po agenta wtedy, gdy liczba możliwych ścieżek rzeczywiście uniemożliwia zapisanie ich z góry.

Pierwszy krok na poniedziałek rano

W poniedziałek zrób jedną rzecz, która kosztuje godzinę i nie wymaga żadnego zakupu:

  1. Wybierz proces, który zajmuje komuś godzinę dziennie i ma najwyżej pięć kroków, na przykład uzgadnianie faktur z zamówieniami.
  2. Zapisz kroki na kartce i zaznacz ten, w którym pojawia się pierwsza liczba lub pierwsza decyzja, od której zależą pozostałe.
  3. Wyznacz po tym kroku punkt kontroli, który wykonuje człowiek na podstawie innego źródła niż to, z którego korzysta agent, na przykład faktury papierowej zamiast jej kopii w systemie.
  4. Uruchom agenta w trybie szkicu, w którym on przygotowuje, a człowiek zatwierdza, i porównaj jego wyniki z pracą pracownika na dwudziestu zakończonych sprawach z poprzedniego miesiąca.

Jeśli zgodność wyniesie mniej niż 90 procent (to mój próg roboczy, który każdy dział finansów powinien ustawić według własnej tolerancji błędu), popraw najpierw opis procesu i punkty kontrolne, a dopiero potem zmieniaj model. Do tego czasu agent zostaje asystentem przygotowującym szkice, a przelew i wysyłkę umowy zatwierdza człowiek, który zna pierwszą liczbę.

Agent sztucznej inteligencji: dlaczego jego błędy się mnożą · Przemek Blicharski