Techniki sztucznej inteligencji niewątpliwie stwarzają ogrom możliwości – w pewnych wąskich dziedzinach algorytmy radzą już sobie lepiej od ekspertów.  Przewagę sztucznej inteligencji stanowi właśnie to, że działa w sposób fundamentalnie różny od ludzkiego rozumowania. Jednocześnie coraz więcej decyzji kształtujących życie ludzi – medycznych, sądowych, finansowych – podejmuje się z użyciem modeli AI. Jak wykorzystać potęgę sztucznej inteligencji tam, gdzie jej decyzje muszą być dla nas zrozumiałe? Rozwiązanie tego problemu jest celem nurtu explainable AI. 

Kiedy i dlaczego chcemy zrozumieć modele AI?

Głównym celem podczas tworzenia modelu sztucznej inteligencji jest to, by dawał trafne wyniki na podstawie danych wejściowych. W wielu zastosowaniach jest to wszystko, czego wymagamy. Przykładami mogą być filmy polecane przez Netflixa albo znajomi proponowani przez Facebooka. W tych zastosowaniach decyzja, którą podejmuje model ma niską stawkę w każdym pojedynczym przypadku – nic się nie stanie, jeżeli użytkownik zobaczy kilka razy kiepską rekomendację. Co więcej, działanie tych modeli jest nieustannie weryfikowane dzięki obserwowaniu zachowań dużej próby użytkowników. W innych przypadkach, takich jak automatyczna detekcja kolizji albo odczytywanie kodów pocztowych problem jest bardzo dokładnie określony i dobrze zbadany.

Sztuczna inteligencja jest jednak stosowana także w obszarach, gdzie jedna decyzja podjęta przez model wywiera olbrzymi wpływ na życie człowieka: do weryfikacji klientów banku ubiegających się o kredyt, wspomagania diagnozy chorób, a także obliczania długości wyroku, który skazany ma odsiedzieć w więzieniu. Celu modeli używanych w tych kontekstach nie da się też tak precyzyjnie określić, jak celu systemu detekcji kolizji. Sama trafność nie wystarcza; twórcy modelu muszą wziąć pod uwagę dodatkowe kryteria, takie jak sprawiedliwość i bezpieczeństwo, które trudno jest skwantyfikować i zmierzyć. By stwierdzić, czy model działa zgodnie z zamiarami twórców, trzeba więc zrozumieć, dlaczego podjął on daną decyzję.

Zagrożenia związane z modelami black box

Większość użytecznych modeli uczenia maszynowego to czarne skrzynki – wiemy, jakie wyniki daje model na podstawie danych wejściowych, ale nie dysponujemy wyjaśnieniem, jak osiągnięty został dany wynik. Na przykład nawet inżynierowie, którzy stworzyli głęboką sieć neuronową rozróżniającą zdjęcia wilków i psów husky nie będą w stanie powiedzieć, na podstawie jakich cech fotografii sieć podejmuje decyzje. Jeśli na przykład wilki były fotografowane na tle śniegu, a psy nie, sieć może zwracać poprawne wyniki po prostu rozpoznając śnieg. Dojść do tego, że model dokonuje klasyfikacji na podstawie fałszywej korelacji w danych wejściowych można, zauważając błędnie klasyfikowane przykłady. Nie da się tego stwierdzić znając parametry modelu, rozumiejąc działanie neuronów sieci, zastosowany algorytm uczenia i tak dalej – między wszystkimi komponentami zachodzi zbyt złożona interakcja.

Dostrzeżenie fałszywych korelacji w zestawie danych może wymagać dogłębnego zrozumienia rozwiązywanego problemu. W latach 90. Rich Caruana, wówczas doktorant na Carnegie Mellon University, stworzył sieć neuronową, która miała oceniać ryzyko wystąpienia komplikacji u pacjentów z zapaleniem płuc, którzy pojawili się na izbie przyjęć (NYT). Część takich pacjentów nie wymaga natychmiastowej pomocy medycznej, ale około 10% z nich umrze w wyniku choroby. Rozpoznanie pacjentów, którzy są najbardziej zagrożeni i przesunięcie ich na początek kolejki mogłoby ocalić ich życie. Sieć neuronowa Caruany zdawała się działać zgodnie z oczekiwaniami, ale inny doktorant zauważył, że podejmuje ona zaskakującą decyzję: stan pacjentów z astmą był oceniany jako lepszy niż tych bez astmy. Taki związek rzeczywiście wynikał z danych treningowych, ale tylko dlatego, że lekarze natychmiast rozpoznawali, że zapalenie płuc stanowi większe niebezpieczeństwo dla pacjentów z astmą i udzielali im pomocy w pierwszej kolejności. Zastosowanie modelu na izbie przyjęć przyniosłoby fatalne skutki. Nawet jeśli problem astmatyków zostałby naprawiony, co jeśli inne korelacje pozostałyby niezauważone?

Co to znaczy wyjaśnić model?

Problemy związane z użyciem modeli black box zauważono już w latach 80. Próbowano je rozwiązać dla systemów ekspertowych, które podawały wyjaśnienia podjętych decyzji na podstawie zastosowanych reguł (Xu et al., 2019). Jednak kwestia zapewnienia wyjaśnień dla decyzji głębokich sieci neuronowych to relatywnie nowy temat badań. W tym kontekście nie wypracowano żadnej uniwersalnie przyjętej definicji wyjaśnienia. Na przykład Doshi-Velez i Kim (2017) zaczerpnęli swoją definicję z psychologii: wyjaśnienie jest walutą, której używamy do wymiany przekonań. Na jakie sposoby model AI może zostać wyjaśniony? Popularne jest rozróżnienie wprowadzone przez Rudin (2019). Badaczka wyróżnia interpretowalną (interpretable) i wyjaśnialną (explainable) sztuczną inteligencję:

• W ramach interpretowalnej sztucznej inteligencji projektuje się modele nieodłącznie interpretowalne, nazywane też białymi skrzynkami (white box). Sama forma takich modeli czyni je zrozumiałymi. Na przykład łatwo intuicyjnie zrozumieć co oznaczają parametry drzewa decyzyjnego albo liniowej regresji (o ile wymiarowość problemu nie jest zbyt wysoka). Panuje powszechne przekonanie, że modele nieodłącznie interpretowalne nie osiągają takiej trafności, jak bardziej złożone modele. Jednak według Rudin (2019) nie jest to prawdą w przypadku rzeczywistych problemów, dla których najbardziej zależy nam na poznaniu wyjaśnień. Duże znaczenie ma jednak odpowiedni dobór modelu do struktury rozwiązywanego problemu.
• Nurt wyjaśnialnej sztucznej inteligencji skupia się na zapewnianiu wyjaśnień post-hoc dla decyzji modeli black box. To oznacza w praktyce stworzenie kolejnego modelu. Na przykład jednym z narzędzi używanych do wyjaśniania modeli służących do rozpoznawania obrazu są mapy uwagi (saliency maps). Pomagają one zrozumieć, które części obrazu są ważne dla predykcji modelu.

Ograniczenia wyjaśnialnej sztucznej inteligencji

Nurt XAI jest poddawany szerokiej dyskusji zarówno ze względu na swoje możliwości jak i ograniczenia. Rozwiązania sztucznej inteligencji wykorzystują często duże zbiory danych, które mogą być różnej jakości. XAI ma przeciwdziałać stosowaniu modeli, które są tendencyjne czy niesprawiedliwe, jednak nie będzie to możliwe przy użyciu niekompletnych lub niereprezentatywnych zbiorów danych. Dzięki wyjaśnieniom możemy tworzyć coraz lepsze i bardziej bezstronne modele, ale nie jesteśmy w stanie całkowicie zatrzymać powstawania tych wadliwych.
Kolejnym ograniczeniem związanym z transparentnością w SI jest niechęć firm do udostępniania informacji na temat systemów SI podejmujących decyzje. Często nie jest jawne źródło danych oraz sposób ich pozyskania.
Jednym ze źródeł ograniczeń w XAI jest złożoność obliczeniowa wielu podejść i metod wyjaśnialnej sztucznej inteligencji. Niektóre rozwiązania XAI mogą wymagać znacznych zasobów i mocy obliczeniowej do generowania i interpretowania informacji. Ta złożoność obliczeniowa może stanowić wyzwanie dla aplikacji działających w czasie rzeczywistym i na dużą skalę oraz może ograniczać wykorzystanie i wdrażanie XAI w takich przypadkach.
Kolejnym problemem z jakim mierzy się XAI jest brak standaryzacji i interoperacyjności w tej dziedzinie. Różne metody wyjaśnialnej sztucznej inteligencji mogą wykorzystywać odmienne metryki i algorytmy, co może utrudniać porównanie i ocenę tych podejść. Wszystkie powyższe problemy prowadzą do trudności w wykorzystaniu i wdrażaniu XAI na coraz szerszą skalę. 

W niektórych przypadkach rozwój dziedziny może być ograniczony z powodu braku odpowiednich regulacji prawnych oraz norm etycznych. Coraz więcej osób i organizacji dostrzega wpływ sztucznej inteligencji na życie codzienne, jednak z powodu braku potrzebnych regulacji może dochodzić do konfliktów między firmami technologicznymi a osobami prywatnymi. Rozwój dziedziny powinien doprowadzić do opracowania nowych standardów i wytycznych dla wyjaśnialnej SI, aby dążyć do odpowiedzialnego i etycznego wykorzystania tej technologii. Warto zwrócić uwagę, że dążenie do całkowitej transparentności w tworzeniu i stosowaniu narzędzi SI mogłoby doprowadzić np. do łatwiejszego łamania prawa przez przestępców (np. w fałszowaniu dokumentów).

Jedną z zalet niektórych metod sztucznej inteligencji (w szczególności głębokiego uczenia się), jest to, że model sam identyfikuje istotne zmienne oraz relacje, które później są wykorzystywanie do dokonywania przewidywań czy podejmowania decyzji. Wyższa poprawność takich modeli świadczy o tym, że przewyższają one zdolności człowieka, jednak większa wydajność takiego modelu ma związek z jego złożonością, którą trudno wyjaśnić. Trudno w takim wypadku uzasadnić, dlaczego model podał dane rozwiązanie.  

Różne metody sztucznej inteligencji pozwalają wyjaśnić swoje wyniki w różny sposób. Mapy uwagi pozwalają zobaczyć ważne w klasyfikacji obszary, jednak nie dostarczają wyjaśnienia dlaczego te obszary są ważne. Drzewa decyzyjne pozwalają lepiej uzasadnić dany sposób klasyfikacji, jednak często są mniej poprawne niż sieci neuronowe. W rozwoju XAI potrzebne są ciągłe kompromisy między poziomem wykonania a dokładnością wyjaśnienia wyniku.

W artykule opublikowanym w 2020 roku zostały przedstawione wyniki badania, którego celem było sprawdzenie, w jaki sposób cel wyjaśnialności jest realizowany w praktyce. Z opracowania wynika, że obecnie większość wdrożeń nie jest przeznaczona dla użytkowników końcowych, których dotyczy model, ale raczej dla inżynierów uczenia maszynowego, którzy używają XAI do debugowania modelu. Istnieje zatem luka między wyjaśnialnością w praktyce a celem przejrzystości, ponieważ wyjaśnienia służą przede wszystkim rozwojowi firmy, a nie dobru użytkownika.  

Prawo do wyjaśnienia

Perspektywa prawna w rozwoju nowej technologii ma duże znaczenie w przewidywaniu konsekwencji  życia z nią w przyszłości. W ogólnym ujęciu prawo do wyjaśnienia (ang. right to (an) explanation) to prawo do otrzymania wyjaśnienia dotyczącego danych wyjściowych algorytmu. Bardziej szczegółowe prawa odnoszą się zazwyczaj do możliwości otrzymania uzasadnienia decyzji, która znacząco wpływa na jednostkę (np. pod względem prawnym czy finansowym).  

Niektóre kraje samodzielnie stworzyły regulacje mające chronić dane obywateli i ich prawo do wyjaśnienia decyzji podjętej względem nich (np. o odmowie udzielenia kredytu). Przykładem jest Korea Południowa, która ma najbardziej restrykcyjne przepisy dotyczące prywatności danych wśród krajów azjatyckich. Od 2018 roku w Unii Europejskiej obowiązuje Rozporządzenie o ochronie danych osobowych (RODO), które ujmuje prawo do wyjaśnienia. Jego sformułowanie jest jednakże szeroko dyskutowane, między innymi ponieważ istnieją znaczne ograniczenia co do rodzajów zautomatyzowanych decyzji, które zostały w nim uwzględnione.

Mimo, że pierwsze wysiłki regulujące prawo do wyjaśnienia działania systemów SI zostały już podjęte, zostało jeszcze wiele do zrobienia w tej kwestii. Członkowie społeczeństwa muszą mieć prawo do zrozumienia, w jaki sposób rząd podejmuje decyzje, które mogą istotnie zmienić ich życie i wpłynąć na ich interesy – szczególnie jeśli te decyzje wiążą się np. z utratą opieki nad dzieckiem, utratą świadczeń publicznych, zatrzymaniem w więzieniu, czy śledztwem prowadzonym przez policję.

Potrzebę większej transparentności narzędzi wykorzystywanych przez duże firmy do podejmowania wpływowych decyzji na ludzkie życie pokazuje sprawa sądowa wytoczona przez American Civil Liberties Union w imieniu około 4000 mieszkańców Idaho. Są to osoby z niepełnosprawnością rozwojową lub intelektualną, które otrzymują pomoc z państwowego programu Medicaid. Beneficjenci programu każdego roku muszą udawać się na rozmowę ewaluacyjną, na której zbierane są dane, na podstawie których później ustalana jest kwota do wykorzystania na dany rok. Wysokość świadczenia, które otrzymywali została nagle obcięta o 20 lub 30 procent z roku do roku. Wydawało się, że rozwiązaniem problemu będzie udostępnienie przez Medicaid sposobu, w jaki wyznaczone zostały nowe stawki. Jednak prośba spotkała się z odmową, a firma zasłoniła się tajemnicą handlową. Z tego powodu rozpoczął się wieloletni proces sądowy. W jednym z orzeczeń zasądzono, że naruszone zostało prawo do sprawiedliwego procesu i niewłaściwym jest zmniejszenie świadczenia zdrowotnego o 20 000 dolarów w ciągu roku bez podania powodu. Firma musiała udostępnić swój algorytm wyznaczający wysokość świadczeń. Eksperci znaleźli kilka problemów w narzędziu, które wykorzystywało Medicaid. Po pierwsze, wykorzystane dane były nierzetelne – wykorzystano dane historyczne i użyto tylko ich małej części. Po drugie, wyniki algorytmu były tendencyjne – dla różnych części stanu wyniki były nieproporcjonalne i nie dało się tego wyjaśnić. Ponadto, w sposobie w jaki skonstruowany był aparat matematyczny znaleziono błędy statystyczne.

Dlaczego więc wykorzystywane było tak nieadekwatne narzędzie? Prawdopodobnie nikt tak naprawdę nie zdawał sobie sprawy jak niewłaściwie ono działa. Co więcej, żaden pracownik nie był do końca w stanie wyjaśnić jak od liczb z ewaluacji dochodziło się do przyznanej kwoty świadczenia. Podczas zbierania zeznań, każdy wskazywał na kolejną osobę, która powinna była to wiedzieć (cały artykuł można znaleźć tutaj: “Pitfalls of Artificial Intelligence Decisionmaking Highlighted In Idaho ACLU Case”)

Brak przejrzystości jeśli chodzi o działanie programu szacującego wysokość świadczenia pomocowego okazał się mieć bardzo poważne konsekwencje. Systemy zdrowotne czy prawne nie powinny opierać swojego działania na wadliwych skomputeryzowanych rozwiązaniach, a publiczna przejrzystość powinna być uregulowana prawnie. 

Bibliografia

Can AI be taught to explain itself https://www.nytimes.com/2017/11/21/magazine/can-ai-be-taught-to-explain-itself.html

Pitfalls of Artificial Intelligence Decisionmaking: https://www.aclu.org/news/privacy-technology/pitfalls-artificial-intelligence-decisionmaking-highlighted-idaho-aclu-case

Doshi-Velez, F., & Kim, B. (2017). Towards A Rigorous Science of Interpretable Machine Learning. arXiv: Machine Learning.

Petsiuk, V., Jain, R., Manjunatha, V., Morariu, V., Mehra, A., Ordonez, V., & Saenko, K. (2020). Black-box Explanation of Object Detectors via Saliency Maps.

Rudin, C. (2019). Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence. 1. 206-215. 10.1038/s42256-019-0048-x.

Xu, F., Uszkoreit, H., & Du, Y., & Fan, W., & Zhao, D., & Zhu, J. (2019). Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges. 10.1007/978-3-030-32236-6_51.

Bhatt, U., Xiang, A., Sharma, S., Weller, A., Taly, A., Jia, Y., … & Eckersley, P. (2020, January). Explainable machine learning in deployment. In Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 648-657).