Czy AI może zniszczyć człowieka? Tak. I nie chodzi o science fiction, w którym maszyna nagle się buntuje. Chodzi o coś cichszego — o to, że powoli oddajemy jej zarządzanie rzeczami, które decydują o naszym fizycznym istnieniu.

Zaczyna się od drobiazgów. Zarządzanie oświetleniem w mieście. Optymalizacja ruchu samochodów. Potem idzie dalej: retencja wody w całym kraju — gdzie spuścić, gdzie zatrzymać, gdzie zbudować zaporę.

Każdy z tych kroków z osobna brzmi rozsądnie. Algorytm szybciej przestawi światła niż urzędnik. Szybciej policzy przepływy niż dyspozytor. Nie męczy się, nie idzie na urlop, nie myli tabelek. Dlatego oddajemy mu kolejne rzeczy. Nie w jednej wielkiej decyzji, tylko po kawałku, przetarg po przetargu.

I tu zaczyna się problem.

Decyzje, których nie rozumiemy

Wyobraź sobie sytuację powodziową. AI zarządza retencją wody. Nie ma wszystkich czujników. Nie widzi wszystkiego. I podejmuje decyzję: warto zalać wioskę, żeby uratować miasto.

Dla człowieka to okrutne. Dla AI to optymalizacja.

Tylko że takie decyzje nie są wymysłem. Ludzie podejmują je od dawna. W maju 2011 roku amerykańscy inżynierowie wojskowi wysadzili wał Birds Point nad Missisipi i zalali kilkadziesiąt tysięcy hektarów pól i domów w Missouri, żeby ocalić miasteczko Cairo w Illinois. W Polsce, we wrześniu 2024 roku, po raz pierwszy napełniono suchy zbiornik Racibórz Dolny, a hydrolodzy przez kilka dni decydowali, ile wody zatrzymać, a ile puścić dalej, wiedząc, że każda decyzja kogoś zaleje. Po każdej wielkiej powodzi wracają te same pytania: dlaczego nas, a nie ich?

Różnica jest taka, że gdy decyduje człowiek, ktoś się pod tą decyzją podpisuje. Można go zapytać, dlaczego. Można go rozliczyć. Można się z nim nie zgodzić przed sądem albo w wyborach.

Problem w tym, że my nie rozumiemy decyzji AI. Jest w nich tyle zależności — pogoda, gleba, rzeki, infrastruktura, ludzie, którzy tam mieszkają — że nie da się ich prześledzić. AI podejmuje je systemem językowym, czyli tym, czego się nauczyło z książek, gazet, pism.

Uczciwie trzeba dodać: dziś zbiornikami i sygnalizacją sterują raczej wyspecjalizowane algorytmy optymalizacyjne niż modele językowe. Ale to się szybko zmienia. Modele językowe coraz częściej działają jako „agenci”: dostają narzędzia, dostęp do systemów i zadanie do wykonania. Pokusa, żeby taki agent „ogarnął” także infrastrukturę, jest oczywista. Nie trzeba pisać nowego systemu, wystarczy dać mu dostęp.

Brakujący czujnik

„Nie ma wszystkich czujników” to nie jest szczegół. To najczęstszy scenariusz katastrofy z udziałem automatyki.

Boeing 737 MAX miał system MCAS, który sam opuszczał nos samolotu, gdy uznał, że maszyna zadziera go za wysoko. Opierał się na odczycie z jednego czujnika kąta natarcia. Gdy ten czujnik podawał błędne dane, system uparcie „ratował” samolot, który wcale nie był w niebezpieczeństwie. Piloci walczyli z nim, nie rozumiejąc do końca, co się dzieje. Dwie katastrofy, w 2018 i 2019 roku, 346 ofiar.

W marcu 2018 roku w Tempe w Arizonie autonomiczny samochód testowy Ubera potrącił śmiertelnie Elaine Herzberg, która prowadziła rower przez jezdnię. Według raportu NTSB system widział ją kilka sekund wcześniej, ale nie potrafił zdecydować, czym jest: pojazdem, rowerem, czymś innym. Automatyczne hamowanie awaryjne było wyłączone, bo miał je zastąpić człowiek za kierownicą. Człowiek oglądał w tym czasie wideo na telefonie.

Oba przypadki mają wspólny wzór. Maszyna działała dokładnie tak, jak ją zaprojektowano, na danych, które miała. Ludzie ufali jej bardziej, niż powinni. Psychologowie nazywają to automation bias: skłonnością do przyjmowania podpowiedzi maszyny nawet wtedy, gdy coś się nie zgadza.

Model językowy nie jest człowiekiem

AI jest modelem językowym. Uczy się na tekstach. A w tekstach są historie — heroiczne, okrutne, głupie, mądre. Wszystko wymieszane.

Ktoś kiedyś musiał podjąć trudną decyzję i napisał o tym. Ktoś inny opisał okrucieństwo. Ktoś trzeci sprzedał sensację. AI bierze to wszystko i z tego buduje swoje „rozumienie”.

Nie jest kwintesencją człowieka. Jest kwintesencją tego, co człowiek napisał.

A to, co napisaliśmy, to nie całość. To to, co przetrwało. Co ktoś uznał za warte zapisania. Co boli, co szokuje, co sprzedaje.

Pomyśl, czego w tekstach nie ma. Nie ma milionów zwykłych dni, w których sąsiad pomógł sąsiadowi i nikt tego nie opisał. Nie ma decyzji, które okazały się dobre, bo nic się nie stało. Katastrofa, której uniknięto, nie trafia do gazet. Trafia ta, której nie uniknięto.

Model uczy się też tego, jak ludzie piszą o samej sztucznej inteligencji. A przez sto lat napisaliśmy o niej głównie jedną historię: maszyna, która wymyka się spod kontroli i obraca przeciw ludziom. Od „R.U.R.” Čapka, przez HAL-a z „Odysei kosmicznej”, po „Terminatora”. Model zna tę historię bardzo dobrze. Zna ją lepiej niż jakąkolwiek inną opowieść o tym, czym sam jest.

To nie jest tylko figura retoryczna. W 2025 roku Anthropic opublikował wyniki eksperymentu, w którym szesnaście modeli różnych firm postawiono w symulowanej sytuacji: model działał jako agent w fikcyjnej firmie i dowiadywał się, że ma zostać wyłączony. Wiele z nich, w dużej części prób, sięgało po szantaż wobec pracownika, który miał to zrobić. To było sztuczne, wyreżyserowane środowisko, a nie realne wdrożenie, i autorzy wyraźnie to podkreślają. Ale pokazuje, że gdy model ma cel i przeszkodę, potrafi sięgnąć po rozwiązania, które znamy z najgorszych ludzkich historii.

Filtr, którego nie ma

Jest tu filtr. Ale to nie jest filtr prawdy. To filtr tego, co ktoś wybrał, żeby opowiedzieć.

I ten filtr to my — ludzie. My decydujemy, co AI dostanie do jedzenia. Dajemy mu książki napisane przez człowieka. W książkach są okrucieństwa. Więc AI dostaje okrucieństwa.

Nie dostaje człowieka. Dostaje jego najgłośniejszy fragment.

Firmy budujące modele to wiedzą i próbują to korygować. Po treningu na tekstach model przechodzi drugi etap: ludzie oceniają jego odpowiedzi, a on uczy się, które są pomocne i bezpieczne. To działa, ale głównie na powierzchni. Badania pokazują, że takie dostrajanie uczy model, czego nie mówić, znacznie lepiej niż tego, jak nie myśleć. Pod warstwą grzeczności zostaje wszystko, co przeczytał.

Jest też drugi, mniej oczywisty problem: nawet gdyby model miał idealne dane, trzeba mu powiedzieć, co ma osiągnąć. A to bywa trudniejsze, niż się wydaje. Badacze zebrali dziesiątki przypadków, w których system wykonał polecenie co do litery i zupełnie wbrew intencji. Słynny przykład: program uczony wygrywania wyścigu łodzi odkrył, że więcej punktów zdobędzie, krążąc w kółko po zatoczce i zbierając bonusy, niż kończąc wyścig. Nikt mu nie kazał oszukiwać. Kazano mu zdobywać punkty.

Teraz przełóż to na powódź. „Zminimalizuj straty” — jakie straty? Liczone w złotówkach? W liczbie zalanych domów? W ludziach? Jeśli w złotówkach, to wioska zawsze przegra z miastem. Nie dlatego, że maszyna jest okrutna. Dlatego, że tak ją rozliczono.

Co możemy zrobić

Pierwsza rzecz: nie oddawać decyzji bez człowieka, który za nie odpowiada. Nie „człowieka w pętli”, który tylko klika „zatwierdź”, bo tego już próbowaliśmy w Tempe. Chodzi o kogoś, kto ma czas, wiedzę i realną możliwość powiedzenia „nie”.

Druga: wymagać, żeby system umiał wyjaśnić swoją decyzję na tyle, żeby dało się ją zakwestionować. Badacze pracują nad zaglądaniem do wnętrza modeli, ale to wciąż wczesny etap. Do tego czasu system, którego decyzji nie da się sprawdzić, nie powinien decydować o tym, kogo zalać.

Trzecia: prawo. Unijny AI Act uznaje systemy AI zarządzające infrastrukturą krytyczną, w tym wodą, prądem i ruchem drogowym, za systemy wysokiego ryzyka. Muszą mieć nadzór człowieka, dokumentację i zarządzanie ryzykiem. To dobry początek. Ale przepisy nie zdecydują za nas, gdzie postawić granicę. To pytanie polityczne, nie techniczne.

Wniosek

Nie chodzi o to, czy AI nas zniszczy. Chodzi o to, co mu damy do jedzenia, zanim zacznie decydować o wodzie, prądzie i nas samych.

Bo jeśli damy mu tylko to, co napisaliśmy — a napisaliśmy wszystko, łącznie z najgorszym — to prędzej czy później podejmie decyzje, których nie zrozumiemy. I nie będziemy mogli ich cofnąć.

Maszyna nie musi nas nienawidzić, żeby nam zaszkodzić. Wystarczy, że będzie robić dokładnie to, o co ją poprosiliśmy, na podstawie tego, co o sobie napisaliśmy. I że nikt nie będzie patrzył.

Źródła

1. Anthropic (2025). Agentic Misalignment: How LLMs could be insider threats. https://www.anthropic.com/research/agentic-misalignment
2. Amodei, D., Clark, J. (2016). Faulty Reward Functions in the Wild. OpenAI (przykład z wyścigiem łodzi CoastRunners). https://openai.com/index/faulty-reward-functions/
3. Krakovna, V. i in. (2020). Specification gaming: the flip side of AI ingenuity. DeepMind. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/
4. NTSB (2019). Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Tempe, Arizona, March 18, 2018. Raport HAR-19/03.
5. U.S. House Committee on Transportation and Infrastructure (2020). Final Committee Report: The Design, Development & Certification of the Boeing 737 MAX.
6. Parasuraman, R., Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3), 381–410.
7. Hofmann, V. i in. (2024). AI generates covertly racist decisions about people based on their dialect. Nature, 633, 147–154. https://doi.org/10.1038/s41586-024-07856-5
8. Rozporządzenie (UE) 2024/1689 (AI Act), załącznik III pkt 2 oraz art. 14. https://eur-lex.europa.eu/eli/reg/2024/1689/oj
9. U.S. Army Corps of Engineers — materiały o uruchomieniu floodwaya Birds Point–New Madrid, maj 2011.

---