Dlaczego „trolley problem” to za mało
Czy pojazd autonomiczny powinien zjechać z drogi i narazić pasażera, aby ocalić grupę pieszych? Taki wariant dylematu wagonika został przedstawiony przez naukowców z MIT w ramach projektu Moral Machine. Strona zespołu badawczego generuje scenariusze, w których użytkownicy muszą zdecydować, którą grupę postaci ma “wybrać” autonomiczny samochód w sytuacji kolizji, np. czy powinien oszczędzić dwóch starszych ludzi przechodzących na czerwonym świetle kosztem pasażerów pojazdu.
Eksperyment był pierwszym na taką skalę: objął miliony użytkowników. Eksperyment jest oparty na sześciu “osiach” preferencji moralnych, takich jak wiek, płeć, status społeczny, kondycja fizyczna, gatunek (często do wyboru jest człowiek lub zwierzę) oraz liczba ofiar. Użytkownik jednorazowo otrzymuje 12 konkretnych scenariuszy do rozwiązania oraz jeden, który jest generowany losowo.
W ten sposób badacze chcieli poznać globalne różnice w postrzeganiu tego, co etyczne. Różnice kulturowe miały determinować na przykład to, że ktoś będzie bardziej cenił życie młodych ludzi w eksperymencie. Realne pojazdy autonomiczne nie operują jednak w kompletnie sterylnym środowisku, często są narażone na błędy pomiarowe. Niemniej, twórcy pojazdów uważają za istotne wyodrębnienie “modułu etycznego” reagującego na sytuacje podobne do tych z eksperymentów.
Dane zebrane w ramach MIT Moral Machine bezsprzecznie mogą być przydatne w teoretycznych rozważaniach nad modułami autonomicznymi, jednak niezbędna jest również strona praktyczna, modelująca scenariusze trudne do uchwycenia w formie ankiety.
Przykłady drogowe
Wśród systemów wdrażanych na autonomiczne samochody postanowiliśmy wyróżnić cztery najciekawsze:
- Responsibility-Sensitive Safety (RSS) – Mobileye
Matematyczny model bezpieczeństwa opiera się na pięciu deterministycznych regułach:
-
- Safe distance – pojazd autonomiczny musi zachować bezpieczny dystans od kolejnego pojazdu.
-
- Cutting in – pojazd może wyprzedzać tylko z zachowaniem pewnego minimalnego dystansu.
-
- Right of Way – pojazd powinien “mieć na uwadze” to, że nie wszyscy kierowcy stosują się do przepisów ruchu.
-
- Limited Visibility – pojazd autonomiczny podejmuje dodatkowe środki ostrożności, w zależności od okoliczności.
-
- Avoid Crashes – pojazd powinien za wszelką cenę unikać kolizji.
które dowodzą, że pojazd nie będzie sprawcą wypadku, o ile inni uczestnicy ruchu zachowują się „rozsądnie”. RSS stanowi warstwę bezpiecznej nakładki na algorytmy planowania – sama percepcja nadal korzysta z uczenia maszynowego, lecz każda decyzja musi mieścić się w matematycznie zdefiniowanej strefie bezpieczeństwa. Mobileye waliduje te reguły ogromną ilością danych (ok. 200 PB) z flot testowych i symulacji. Dzięki determinizmowi tego modelu parametry „robotycznego kierowcy” można dostroić do lokalnych przepisów czy możliwości konkretnego pojazdu.
- Safety Case Framework (SCF) – Waymo
Waymo zamiast sztywnych reguł buduje wielowarstwową analizę ryzyk: identyfikuje zagrożenia, przypisuje im prawdopodobieństwo i skutek, a następnie wykazuje, że ryzyko jest „as low as reasonably practicable” (ALARP). Według badania opublikowanego w 2025 r. robotaksówki Waymo przejechały 56,7 mln mil (90 mln km) trybie bez kierowcy, notując o 92 % mniej urazów pieszych, 82 % mniej urazów rowerzystów/motocyklistów i 96 % mniej kolizji na skrzyżowaniach niż ludzcy kierowcy. Granica „akceptowalnego” ryzyka – a więc i element moralny – definiowana jest tu parametrycznie, zależnie od kontekstu i lokalnej jurysdykcji. - Model odpowiedzialności – Volvo
Volvo już w 2015 r. ogłosiło, że przejmie pełną odpowiedzialność cywilną za szkody powstałe, gdy samochód jedzie w trybie autonomicznym . Deklaracja ta przenosi ciężar etyczny z użytkownika na producenta i uzupełniona jest redundantną architekturą sprzętową i programową zgodną z ISO 26262 (Functional Safety) oraz ISO 21448 (SOTIF), którą Volvo wykorzystuje w testach ciężarówek L4. W efekcie „moduł moralny” staje się częścią umowy prawnej – odpowiedzialność za błąd algorytmu nie spoczywa na pasażerze, lecz na firmie, która system zaprojektowała. - Human-in-the-loop – Toyota Guardian
Toyota stosuje podejście, w pewien sposób odwrotne do poprzednich, w swoim programie Guardian. Pojazd korzystający z takiego systemu nie jest w pełni autonomiczny. System przejmuje kontrolę nad pojazdem w sytuacjach potencjalnego zagrożenia. Guardian nie musi podejmować żadnych etycznych decyzji, jego celem jest uniknięcie kolizji w sytuacji, w której ludzki kierowca mógłby panikować.
Poza drogą
Dylematy moralne i odmiany „problemu wagonika” sięgają także poza ruch uliczny. Podobny problem pojawia się wśród dronów, w trzywymiarowej przestrzeni nieograniczonej ulicami. W przypadku Amazon Prime Air drony MK30 lecą wyłącznie tam, gdzie system ma wysoką pewność co do bezpieczeństwa trasy, przedkładając ochronę ludzi nad efektywność dostawy. Maszyny korzystają z redundantnych czujników oraz spadochronu awaryjnego, by zminimalizować skutki ewentualnej awarii.
Google Wing, działający już w Australii i Irlandii, idzie krok dalej — jego algorytm na bieżąco ustala trasę tak, by zredukować łączny poziom hałasu: wybór między głośniejszym lotem nad jednym przedszkolem a cichszym, lecz dłuższym przelotem nad pięcioma domami to nowy, akustyczny wariant trolley problem.
Podobne dylematy przeniosły się też na wodę. Autonomiczne jednostki Sea Machines SM300, patrolujące porty i farmy wiatrowe, łączą reguły COLREG z „mapą wrażliwości” dla kajakarzy, kąpielisk i stref lęgowych fok. Gdy najkrótszy kurs zagraża ludziom lub środowisku, system zwalnia i odbija dalej od brzegu, poświęcając czas i paliwo na rzecz bezpieczeństwa życia i ekosystemu.
Ramka regulacyjna
Jako społeczeństwo, dążymy do precyzyjnego definiowania i zamykania w pewne ramy regulacyjne kwestii moralnie i interpretacyjnie spornych – od tysiącleci tworzymy narzędzia, które umożliwiają nam rozstrzyganie konfliktów na wszelakim tle. Jednym z takich narzędzi jest prawo, zestawy zakazów, nakazów, definicji, sięgające nawet dwóch tysiącleci przed naszą erą, a więc do czasów starożytnego Sumery i kodeksu Ur-Nammu. Prawo ma na celu w sposób możliwie jednoznaczny rozstrzygać także te kwestie, kiedy indywidualne postawy moralne stron konfliktu nie znajdują wspólnego języka.
Niewątpliwie, legislacja i obowiązujące regulacje prawne pozostają w tyle za pędzącym i niepowstrzymanym rozwojem technologii. Istnieją jednak rozporządzenia i standardy, które mogą nam pomóc rzucić światło na omawiany temat. EU AI Act to pierwsze z nich, które jako kompleksowe rozporządzenie definiuje systemy AI stosowane w autonomicznych pojazdach jako systemy wysokiego ryzyka, wskazuje na konieczność rozwoju legislacji dotyczącej wyłącznie tego sektora, oraz wskazuje na konieczność synchronizacji tejże ze zmianami już istniejących aktów prawnych dotyczących tego sektora. Takimi są chociażby UNECE R157 – regulujący systemy utrzymania pasa ruchu (Automated Lane Keeping Systems – AKLS), czy ISO 21448 (SOTIF), koncentrujący się na zarządzaniu ryzykiem związanym z niezamierzonym zachowaniem systemów autonomicznych w pojazdach drogowych. Żadne z tych nie wskazują na kwestie etycznej oceny w warunkach niepewności, nie sugerują sposobu rozstrzygania konfliktów wartości w specyficznych scenariuszach – jak chociażby priorytetyzacja życia pieszego vs. pasażera.
Różnice kulturowe utrudniają globalną harmonizację: podczas gdy Europa akcentuje zasadę ostrożności i ochronę praw podstawowych, Chiny czy USA stawiają na innowacyjność kosztem sztywnych reguł. Nawet ISO 21448 (SOTIF), skupiony na zarządzaniu nieprzewidywalnymi zagrożeniami, nie rozwiązuje dylematów związanych z konfliktem norm społecznych (np. autonomiczny ambulans łamiący przepisy w stanie nagłym). Prawo definiuje minimum, ale nie zastępuje debaty o etycznych priorytetach.
Wnioski i rekomendacje
Regulacje i standardy techniczne są koniecznym, lecz niewystarczającym elementem etyki systemów autonomicznych. Kluczowe wyzwanie to pogodzenie relatywizmu wartości (np. różnice w postrzeganiu prywatności w Europie i Azji czy różnice w wartościowaniu życia ludzkiego przez pryzmat winy) z potrzebą spójnych rozwiązań inżynierskich. Ten stan rzeczy nie powinien wzbudzać zaskoczenia – wszak jest to próba kwantyfikacji ludzkiej moralności – czegoś, co od tysiącleci przysparza silnych migren filozofom, a być może przez samą naturę człowieka – nigdy nie będzie w pełni możliwe. Rozwój technologii wymaga od nas jednak, abyśmy spróbowali, dlatego możemy stosować techniki i rozwiązania, które przybliżą nas do upragnionego, optymalnego efektu:
- Otwarte logi decyzyjne – udostępnianie społeczeństwu danych o procesach decyzyjnych AI (np. kryteria wyboru scenariusza kolizji),
- Symulacje wieloagentowe – testowanie interakcji między pojazdami a pieszymi w kontekście lokalnych norm (np. pierwszeństwo na pasach w Oslo vs. Delhi),
- Panele obywatelskie – włączanie mieszkańców w ocenę moralną algorytmów (np. crowdsourcing preferencji dla dronów dostawczych).
Nawet najbardziej zaawansowane techniki nie eliminują filozoficznych paradoksów – próba algorytmicznej kwantyfikacji wartości ludzkiego życia (np. kryterium wieku czy potencjału społecznego) wciąż budzi kontrowersje. Etyka autonomicznych systemów pozostaje dynamicznym wyzwaniem, a nie problemem do „zamknięcia” przez regulatorów. Kluczowe jest uznanie, że to proces iteracyjny, wymagający ciągłej korekty w miarę rozwoju technologii i ewolucji norm społecznych.
Bibliografia:
On a Formal Model of Safe and Scalable Self-driving Cars, Shai Shalev-Shwartz, Shaked Shammah, Amnon Shashua, Mobileye, 2017
https://unece.org/transport/documents/2021/03/standards/un-regulation-no-157-automated-lane-keeping-systems-alks
https://www.europarl.europa.eu/topics/en/article/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence
https://www.holisticai.com/blog/driving-innovation-navigating-eu-ai-acts-impact-on-autonomous-vehicles
https://www.iso.org/standard/77490.html
https://www.ptc.com/en/blogs/alm/iso-26262-vs-sotif-iso-pas-21448-whats-the-difference
https://www.worldhistory.org/Code_of_Ur-Nammu/
https://www.researchgate.net/publication/328319245_Translation_of_the_Ur-Nammu_Law_Code_based_on_Mapping_of_Sumerian_Signs_onto_Chinese_Characters