Bez mo\u017cliwo\u015bci odpowiedzi na takie pytania trudno m\u00f3wi\u0107 o pe\u0142nym zaufaniu do systemu.<\/p>\n
Explainable AI \u2013 pr\u00f3ba zajrzenia do wn\u0119trza modelu<\/h1>\n
Explainable AI (XAI) to zbi\u00f3r metod umo\u017cliwiaj\u0105cych cz\u0142owiekowi zrozumienie dzia\u0142ania system\u00f3w sztucznej inteligencji.<\/p>\n
Podstawowym celem XAI nie jest ujawnienie wszystkich szczeg\u00f3\u0142\u00f3w matematycznych modelu, lecz dostarczenie wyja\u015bnie\u0144 pozwalaj\u0105cych u\u017cytkownikowi oceni\u0107 wiarygodno\u015b\u0107 otrzymanych wynik\u00f3w.<\/p>\n
W praktyce nie chodzi o to, aby cz\u0142owiek by\u0142 w stanie prze\u015bledzi\u0107 ka\u017cd\u0105 operacj\u0119 wykonywan\u0105 przez model. Znacznie wa\u017cniejsze jest uzyskanie odpowiedzi na pytania:<\/p>\n
- \n
- dlaczego model podj\u0105\u0142 w\u0142a\u015bnie tak\u0105 decyzj\u0119,<\/li>\n
- kt\u00f3re cechy danych by\u0142y najwa\u017cniejsze,<\/li>\n
- jak bardzo model jest pewny swojej odpowiedzi,<\/li>\n
- czy podobne dane prowadzi\u0142y wcze\u015bniej do podobnych wynik\u00f3w,<\/li>\n
- czy model nie wykorzystuje przypadkowych zale\u017cno\u015bci lub b\u0142\u0119d\u00f3w obecnych w danych,<\/li>\n<\/ul>\n
Wyja\u015bnienia mog\u0105 mie\u0107 charakter globalny lub lokalny.<\/p>\n
Wyja\u015bnienia globalne<\/strong> dotycz\u0105 ca\u0142ego modelu i pr\u00f3buj\u0105 odpowiedzie\u0107 na pytanie, jak system dzia\u0142a og\u00f3lnie. Przyk\u0142adowo mo\u017cna bada\u0107, kt\u00f3re zmienne s\u0105 najwa\u017cniejsze dla wszystkich predykcji.<\/p>\n
Wyja\u015bnienia lokalne<\/strong> odnosz\u0105 si\u0119 do pojedynczej decyzji. W przypadku konkretnego pacjenta lub konkretnego zdj\u0119cia RTG chcemy wiedzie\u0107, dlaczego w\u0142a\u015bnie ten przypadek zosta\u0142 sklasyfikowany w okre\u015blony spos\u00f3b.<\/p>\n
Mo\u017cna wyr\u00f3\u017cni\u0107 dwa g\u0142\u00f3wne podej\u015bcia do osi\u0105gni\u0119cia tego celu.<\/p>\n
Modele interpretowalne z natury<\/h2>\n
Niekt\u00f3re algorytmy s\u0105 stosunkowo \u0142atwe do zrozumienia ju\u017c ze swojej konstrukcji. Nale\u017c\u0105 do nich:<\/p>\n
- \n
- regresja liniowa,<\/li>\n
- regresja logistyczna,<\/li>\n
- drzewa decyzyjne<\/li>\n<\/ul>\n
Modele te okre\u015bla si\u0119 jako interpretowalne z natury<\/strong> (intrinsically interpretable), poniewa\u017c spos\u00f3b podejmowania decyzji jest bezpo\u015brednio zapisany w strukturze modelu.<\/p>\n
Przyk\u0142adowo w regresji liniowej wynik jest kombinacj\u0105 wa\u017con\u0105 poszczeg\u00f3lnych cech:<\/p>\n
y = w1<\/sub>x1<\/sub> + w2<\/sub>x2<\/sub> + … + wn<\/sub>xn<\/sub><\/p>\n
Wsp\u00f3\u0142czynniki (w_i) maj\u0105 jasn\u0105 interpretacj\u0119. Dodatnia warto\u015b\u0107 oznacza, \u017ce wzrost danej cechy zwi\u0119ksza przewidywany wynik, natomiast warto\u015b\u0107 ujemna dzia\u0142a odwrotnie.<\/p>\n
Podobnie dzia\u0142a regresja logistyczna, szeroko stosowana mi\u0119dzy innymi w medycynie i finansach. Parametry modelu mo\u017cna interpretowa\u0107 jako wp\u0142yw poszczeg\u00f3lnych cech na prawdopodobie\u0144stwo wyst\u0105pienia okre\u015blonego zdarzenia.<\/p>\n
Jeszcze bardziej intuicyjne s\u0105 drzewa decyzyjne. Proces podejmowania decyzji przypomina seri\u0119 pyta\u0144 typu:<\/p>\n
- \n
- czy wiek pacjenta przekracza 60 lat?<\/li>\n
- czy poziom cholesterolu jest wy\u017cszy od okre\u015blonego progu?<\/li>\n
- czy wyst\u0119puj\u0105 dodatkowe czynniki ryzyka?<\/li>\n<\/ul>\n
Ka\u017cda \u015bcie\u017cka prowadz\u0105ca od korzenia drzewa do li\u015bcia odpowiada konkretnej sekwencji decyzji, kt\u00f3r\u0105 cz\u0142owiek mo\u017ce \u0142atwo prze\u015bledzi\u0107.<\/p>\n
Sytuacja wygl\u0105da zupe\u0142nie inaczej w przypadku g\u0142\u0119bokich sieci neuronowych. Wiedza modelu jest rozproszona pomi\u0119dzy milionami parametr\u00f3w, dlatego nawet pe\u0142na znajomo\u015b\u0107 wszystkich wag nie oznacza rzeczywistego zrozumienia sposobu dzia\u0142ania systemu.<\/p>\n
Wyja\u015bnianie modeli typu black-box<\/h2>\n
W przypadku g\u0142\u0119bokich sieci neuronowych stosuje si\u0119 dodatkowe techniki interpretacji, takie jak:<\/p>\n
- \n
- LIME (Local Interpretable Model-Agnostic Explanations),<\/li>\n
- SHAP (SHapley Additive Explanations),<\/li>\n
- Grad-CAM (Gradient-weighted Class Activation Mapping),<\/li>\n<\/ul>\n
Metody te nie zmieniaj\u0105 samego modelu, lecz pr\u00f3buj\u0105 wyja\u015bni\u0107 jego zachowanie ju\u017c po zako\u0144czeniu procesu uczenia. S\u0105 to wi\u0119c techniki typu post hoc.<\/p>\n
LIME<\/h3>\n
LIME jest metod\u0105 lokaln\u0105 i niezale\u017cn\u0105 od rodzaju modelu.<\/p>\n
Jej podstawowa idea polega na tym, \u017ce nawet bardzo skomplikowany model mo\u017ce zachowywa\u0107 si\u0119 w niewielkim otoczeniu konkretnego przyk\u0142adu w spos\u00f3b zbli\u017cony do prostego modelu liniowego.<\/p>\n
Algorytm:<\/p>\n
- \n
- generuje wiele lekko zmodyfikowanych wersji badanego przyk\u0142adu,<\/li>\n
- oblicza odpowiedzi oryginalnego modelu dla tych danych,<\/li>\n
- dopasowuje prosty model interpretowalny do uzyskanych wynik\u00f3w.<\/li>\n<\/ol>\n
W efekcie otrzymujemy informacj\u0119, kt\u00f3re cechy by\u0142y najwa\u017cniejsze dla konkretnej predykcji.<\/p>\n
![\"https:\/\/miro.medium.com\/v2\/1*flZQIOu8bn8VjTzehWLmGg.png\"](\"https:\/\/miro.medium.com\/v2\/1*flZQIOu8bn8VjTzehWLmGg.png\")
<\/p>\nSHAP<\/h3>\n
SHAP opiera si\u0119 na teorii gier i koncepcji warto\u015bci Shapleya.<\/p>\n
Poszczeg\u00f3lne cechy traktowane s\u0105 jak gracze wsp\u00f3\u0142pracuj\u0105cy przy osi\u0105gni\u0119ciu ko\u0144cowego wyniku. Dla ka\u017cdej cechy oblicza si\u0119 jej \u015bredni wk\u0142ad w predykcj\u0119.<\/p>\n
Dzi\u0119ki temu mo\u017cna okre\u015bli\u0107:<\/p>\n
- \n
- kt\u00f3re cechy zwi\u0119ksza\u0142y prawdopodobie\u0144stwo danej klasy,<\/li>\n
- kt\u00f3re dzia\u0142a\u0142y przeciwnie,<\/li>\n
- jak du\u017cy by\u0142 wp\u0142yw ka\u017cdej zmiennej.<\/li>\n<\/ul>\n
![\"Unlocking](\"https:\/\/miro.medium.com\/v2\/resize:fit:1400\/1*ZUflZxrfdXGOaI2c8ZZR5Q.png\")
<\/p>\n![\"SHAP](\"https:\/\/miro.medium.com\/0*UGwo82WpiYgiBoBU.png\")
<\/h3>\nGrad-CAM<\/h3>\n
Grad-CAM jest metod\u0105 przeznaczon\u0105 g\u0142\u00f3wnie dla konwolucyjnych sieci neuronowych analizuj\u0105cych obrazy.<\/p>\n
Wykorzystuje gradienty obliczane podczas propagacji wstecznej, aby okre\u015bli\u0107, kt\u00f3re obszary obrazu mia\u0142y najwi\u0119kszy wp\u0142yw na ko\u0144cow\u0105 klasyfikacj\u0119.<\/p>\n
Wynikiem dzia\u0142ania algorytmu jest mapa cieplna (heatmap), nak\u0142adana na oryginalny obraz.<\/p>\n
Je\u017celi model wykrywa nowotw\u00f3r na zdj\u0119ciu RTG, Grad-CAM pozwala zobaczy\u0107, czy sie\u0107 rzeczywi\u015bcie koncentrowa\u0142a si\u0119 na zmianie chorobowej, czy mo\u017ce przypadkowo wykorzysta\u0142a nieistotne elementy obrazu.<\/p>\n
![\"Introduction](\"https:\/\/xai-tutorials.readthedocs.io\/en\/latest\/_images\/grad_cam.png\")
<\/p>\nMetody te pozwalaj\u0105 okre\u015bli\u0107, kt\u00f3re cechy danych mia\u0142y najwi\u0119kszy wp\u0142yw na ko\u0144cow\u0105 predykcj\u0119, cho\u0107 nie rozwi\u0105zuj\u0105 ca\u0142kowicie problemu \u201eczarnej skrzynki\u201d. Dostarczaj\u0105 raczej przybli\u017conych wyja\u015bnie\u0144 zachowania modelu ni\u017c pe\u0142nego opisu wszystkich proces\u00f3w zachodz\u0105cych wewn\u0105trz sieci neuronowej.<\/p>\n
Explainable AI w praktyce<\/h1>\n
Diagnostyka obrazowa<\/h2>\n
Jednym z najwa\u017cniejszych zastosowa\u0144 Explainable AI jest medycyna. Technika Grad-CAM umo\u017cliwia generowanie map aktywacji wskazuj\u0105cych obszary obrazu, kt\u00f3re mia\u0142y najwi\u0119kszy wp\u0142yw na decyzj\u0119 modelu. Dzi\u0119ki temu lekarz nie otrzymuje jedynie odpowiedzi \u201ewykryto zmian\u0119 chorobow\u0105\u201d, ale mo\u017ce sprawdzi\u0107, na czym dok\u0142adnie opiera\u0142a si\u0119 klasyfikacja.<\/p>\n
Wyja\u015bnialno\u015b\u0107 okaza\u0142a si\u0119 szczeg\u00f3lnie cenna podczas analiz zdj\u0119\u0107 RTG p\u0142uc i mammografii. W kilku przypadkach mapy aktywacji ujawni\u0142y, \u017ce modele cz\u0119\u015bciowo opiera\u0142y si\u0119 na nieistotnych elementach obrazu, takich jak oznaczenia szpitali czy artefakty techniczne. Podobny problem zaobserwowano przy klasyfikacji zmian sk\u00f3rnych, gdzie sie\u0107 neuronowa wykorzystywa\u0142a obecno\u015b\u0107 linijki chirurgicznej jako po\u015bredni\u0105 wskaz\u00f3wk\u0119 sugeruj\u0105c\u0105 nowotw\u00f3r.<\/p>\n
<\/p>\n
Przyk\u0142ady te pokazuj\u0105, \u017ce Explainable AI nie s\u0142u\u017cy wy\u0142\u0105cznie zwi\u0119kszaniu komfortu u\u017cytkownik\u00f3w. Pozwala r\u00f3wnie\u017c wykrywa\u0107 b\u0142\u0119dy i niepo\u017c\u0105dane zale\u017cno\u015bci, kt\u00f3re mog\u0142yby pozosta\u0107 niewidoczne przy analizie samej skuteczno\u015bci modelu.<\/p>\n
Badania wskazuj\u0105 tak\u017ce, \u017ce lekarze cz\u0119\u015bciej akceptuj\u0105 rekomendacje system\u00f3w AI, gdy mog\u0105 zobaczy\u0107 mapy aktywacji oraz poziom pewno\u015bci predykcji. W praktyce AI pe\u0142ni wi\u0119c rol\u0119 \u201edrugiej pary oczu\u201d, a nie ca\u0142kowitego zast\u0119pstwa specjalisty.<\/p>\n
Systemy finansowe<\/h2>\n
Banki coraz cz\u0119\u015bciej wykorzystuj\u0105 modele uczenia maszynowego do oceny ryzyka kredytowego. W wielu krajach decyzje finansowe musz\u0105 by\u0107 jednak uzasadnione.<\/p>\n
W praktyce stosuje si\u0119 wi\u0119c metody SHAP, pozwalaj\u0105ce okre\u015bli\u0107 wp\u0142yw poszczeg\u00f3lnych cech na ko\u0144cow\u0105 decyzj\u0119. Klient mo\u017ce otrzyma\u0107 informacj\u0119, \u017ce na odmow\u0119 kredytu najwi\u0119kszy wp\u0142yw mia\u0142y:<\/p>\n
- \n
- wysoki poziom zad\u0142u\u017cenia,<\/li>\n
- nieregularna historia sp\u0142at,<\/li>\n
- niewystarczaj\u0105ce dochody.<\/li>\n<\/ul>\n
Wyja\u015bnialno\u015b\u0107 ma tutaj znaczenie nie tylko z punktu widzenia klienta, ale r\u00f3wnie\u017c regulator\u00f3w i samych analityk\u00f3w ryzyka.<\/p>\n
Metody SHAP s\u0105 wykorzystywane r\u00f3wnie\u017c do monitorowania modeli i wykrywania sytuacji, w kt\u00f3rych algorytm zaczyna nadmiernie polega\u0107 na okre\u015blonych zmiennych. Pozwala to ogranicza\u0107 ryzyko b\u0142\u0119dnych decyzji i u\u0142atwia przeprowadzanie audyt\u00f3w.<\/p>\n
Co istotne, analitycy finansowi cz\u0119sto deklaruj\u0105 wi\u0119ksze zaufanie do modeli, kt\u00f3rych decyzje mo\u017cna uzasadni\u0107. W praktyce oznacza to, \u017ce wyja\u015bnialno\u015b\u0107 zwi\u0119ksza szanse na rzeczywiste wykorzystanie systemu przez ludzi.<\/p>\n
Human-in-the-Loop \u2013 cz\u0142owiek pozostaje cz\u0119\u015bci\u0105 procesu<\/h2>\n
Jedn\u0105 z najwa\u017cniejszych strategii zwi\u0119kszania wiarygodno\u015bci system\u00f3w AI jest Human-in-the-Loop (HITL).<\/p>\n
Podej\u015bcie to zak\u0142ada, \u017ce sztuczna inteligencja nie dzia\u0142a ca\u0142kowicie autonomicznie, lecz wsp\u00f3\u0142pracuje z cz\u0142owiekiem podczas rzeczywistego u\u017cytkowania systemu. AI mo\u017ce dostarcza\u0107 rekomendacji, wskazywa\u0107 potencjalne problemy lub wykonywa\u0107 cz\u0119\u015b\u0107 zada\u0144, jednak cz\u0142owiek zachowuje mo\u017cliwo\u015b\u0107 nadzoru i ingerencji.<\/p>\n
W praktyce u\u017cytkownik mo\u017ce:<\/p>\n
- \n
- zatwierdza\u0107 lub odrzuca\u0107 rekomendacje modelu,<\/li>\n
- poprawia\u0107 b\u0142\u0119dy,<\/li>\n
- monitorowa\u0107 dzia\u0142anie systemu,<\/li>\n
- przejmowa\u0107 kontrol\u0119 w sytuacjach niejednoznacznych,<\/li>\n
- decydowa\u0107 o ostatecznym wyniku dzia\u0142ania systemu.<\/li>\n<\/ul>\n
Dobrym przyk\u0142adem Human-in-the-Loop s\u0105 systemy moderacji tre\u015bci w mediach spo\u0142eczno\u015bciowych. Algorytmy automatycznie wykrywaj\u0105 potencjalnie szkodliwe materia\u0142y, takie jak spam, mowa nienawi\u015bci czy tre\u015bci naruszaj\u0105ce regulamin. W przypadkach jednoznacznych decyzja mo\u017ce zosta\u0107 podj\u0119ta automatycznie, jednak bardziej kontrowersyjne lub niejednoznaczne zg\u0142oszenia trafiaj\u0105 do ludzkich moderator\u00f3w, kt\u00f3rzy podejmuj\u0105 ostateczn\u0105 decyzj\u0119.<\/span><\/p>\n
Podobne rozwi\u0105zanie stosuje si\u0119 w t\u0142umaczeniach maszynowych. System AI generuje wst\u0119pne t\u0142umaczenie dokumentu, natomiast profesjonalny t\u0142umacz dokonuje korekty, poprawia b\u0142\u0119dy i dostosowuje tekst do kontekstu kulturowego oraz stylistycznego. Dzi\u0119ki temu mo\u017cliwe jest po\u0142\u0105czenie szybko\u015bci dzia\u0142ania algorytmu z wiedz\u0105 i do\u015bwiadczeniem cz\u0142owieka.<\/span><\/p>\n
Innym przyk\u0142adem s\u0105 systemy wspomagaj\u0105ce obs\u0142ug\u0119 klienta. Chatbot mo\u017ce odpowiada\u0107 na najcz\u0119\u015bciej zadawane pytania, ale w przypadku bardziej z\u0142o\u017conych problem\u00f3w rozmowa zostaje przekazana konsultantowi. Cz\u0142owiek przejmuje wtedy kontrol\u0119 nad dalsz\u0105 komunikacj\u0105 i podejmuje decyzje wymagaj\u0105ce wi\u0119kszego zrozumienia sytuacji.<\/span><\/p>\n
Human-in-the-Loop jest r\u00f3wnie\u017c szeroko wykorzystywany w oznaczaniu danych treningowych. Algorytmy mog\u0105 wst\u0119pnie klasyfikowa\u0107 obrazy lub dokumenty, natomiast eksperci weryfikuj\u0105 poprawno\u015b\u0107 etykiet i koryguj\u0105 b\u0142\u0119dy. Takie podej\u015bcie pozwala znacz\u0105co przyspieszy\u0107 proces przygotowywania danych, jednocze\u015bnie zachowuj\u0105c wysok\u0105 jako\u015b\u0107 zbior\u00f3w treningowych.<\/span><\/p>\n
Przyk\u0142ady te pokazuj\u0105, \u017ce AI coraz cz\u0119\u015bciej pe\u0142ni rol\u0119 inteligentnego asystenta, a nie ca\u0142kowicie autonomicznego zast\u0119pcy cz\u0142owieka. Pozwala to wykorzysta\u0107 szybko\u015b\u0107 i zdolno\u015b\u0107 analizy du\u017cych ilo\u015bci danych przez algorytmy, jednocze\u015bnie zachowuj\u0105c ludzk\u0105 intuicj\u0119, do\u015bwiadczenie i odpowiedzialno\u015b\u0107.<\/span><\/p>\n
<\/p>\n
Czy ludzie rzeczywi\u015bcie bardziej ufaj\u0105 wyja\u015bnialnym systemom?<\/h2>\n
Badania przeprowadzone przez Ribeiro i wsp\u00f3\u0142pracownik\u00f3w podczas opracowywania metody LIME wykaza\u0142y, \u017ce odpowiednio przedstawione wyja\u015bnienia mog\u0105 pomaga\u0107 u\u017cytkownikom lepiej ocenia\u0107 dzia\u0142anie modeli. Osoby maj\u0105ce dost\u0119p do dodatkowych informacji o przyczynach predykcji by\u0142y skuteczniejsze w wykrywaniu b\u0142\u0119d\u00f3w i \u0142atwiej rozpoznawa\u0142y sytuacje, w kt\u00f3rych modelowi nie nale\u017cy ufa\u0107. Oznacza to, \u017ce wyja\u015bnienia mog\u0105 wspiera\u0107 bardziej \u015bwiadome korzystanie z system\u00f3w AI, a nie jedynie zwi\u0119ksza\u0107 zaufanie do ich wynik\u00f3w.<\/p>\n
Podobne obserwacje poczyniono w medycynie. Lekarze cz\u0119\u015bciej akceptuj\u0105 rekomendacje system\u00f3w AI, je\u015bli maj\u0105 dost\u0119p do dodatkowych informacji, takich jak mapy aktywacji, poziom pewno\u015bci predykcji czy najwa\u017cniejsze cechy wp\u0142ywaj\u0105ce na decyzj\u0119. Jednocze\u015bnie najwy\u017cszy poziom akceptacji obserwuje si\u0119 zwykle wtedy, gdy system pe\u0142ni rol\u0119 wspomagaj\u0105c\u0105, a ostateczna decyzja pozostaje w r\u0119kach cz\u0142owieka.<\/p>\n
W finansach mo\u017cliwo\u015b\u0107 uzasadnienia decyzji ma znaczenie nie tylko psychologiczne, ale r\u00f3wnie\u017c praktyczne. Analitycy ryzyka i regulatorzy znacznie ch\u0119tniej akceptuj\u0105 modele, kt\u00f3rych dzia\u0142anie mo\u017cna przynajmniej cz\u0119\u015bciowo wyja\u015bni\u0107. W wielu zastosowaniach brak mo\u017cliwo\u015bci przedstawienia uzasadnienia mo\u017ce wr\u0119cz uniemo\u017cliwi\u0107 wdro\u017cenie systemu.<\/p>\n
Jednocze\u015bnie badania pokazuj\u0105, \u017ce wp\u0142yw wyja\u015bnie\u0144 na zachowanie u\u017cytkownik\u00f3w nie zawsze jest korzystny. Zjawiska takie jak automation bias oraz overtrust wskazuj\u0105, \u017ce ludzie mog\u0105 nadmiernie polega\u0107 na rekomendacjach systemu. Przekonuj\u0105ce wizualizacje lub pozornie logiczne uzasadnienia mog\u0105 sprawia\u0107, \u017ce u\u017cytkownicy przypisuj\u0105 modelowi wi\u0119ksz\u0105 wiarygodno\u015b\u0107, ni\u017c wynika to z jego rzeczywistych mo\u017cliwo\u015bci. Oznacza to, \u017ce samo dostarczenie wyja\u015bnie\u0144 nie gwarantuje bardziej racjonalnych decyzji.<\/p>\n
Z tego powodu celem Explainable AI nie powinno by\u0107 maksymalne zwi\u0119kszanie zaufania do system\u00f3w, lecz budowanie tzw. skalibrowanego zaufania (calibrated trust). Oznacza ono sytuacj\u0119, w kt\u00f3rej u\u017cytkownik ufa modelowi wtedy, gdy jest on rzeczywi\u015bcie wiarygodny, a zachowuje ostro\u017cno\u015b\u0107 w przypadkach niejednoznacznych lub obarczonych wi\u0119ksz\u0105 niepewno\u015bci\u0105. W tym uj\u0119ciu zadaniem Explainable AI nie jest sprawienie, aby ludzie ufali sztucznej inteligencji bardziej, lecz aby ufali jej w spos\u00f3b bardziej \u015bwiadomy i adekwatny do rzeczywistych mo\u017cliwo\u015bci systemu.<\/p>\n
Karty modeli jako uzupe\u0142nienie wyja\u015bnialno\u015bci i \u015bwiadomego zaufania<\/h2>\n
Wnioski p\u0142yn\u0105ce z bada\u0144 nad Explainable AI wskazuj\u0105, \u017ce dost\u0119p do dodatkowych informacji o dzia\u0142aniu modeli mo\u017ce istotnie wp\u0142ywa\u0107 na spos\u00f3b, w jaki u\u017cytkownicy oceniaj\u0105 ich decyzje. Wyja\u015bnienia nie tylko zwi\u0119kszaj\u0105 zrozumienie pojedynczych predykcji, ale przede wszystkim pomagaj\u0105 w rozpoznawaniu sytuacji, w kt\u00f3rych model mo\u017ce by\u0107 niepewny lub b\u0142\u0119dny. W efekcie u\u017cytkownicy niekoniecznie ufaj\u0105 systemom bardziej, lecz ucz\u0105 si\u0119 ocenia\u0107 ich wiarygodno\u015b\u0107 w spos\u00f3b bardziej \u015bwiadomy.<\/p>\n
W tym kontek\u015bcie ciekawym uzupe\u0142nieniem podej\u015bcia opartego na wyja\u015bnialno\u015bci s\u0105 tzw. karty modeli<\/em> (Model Cards). W przeciwie\u0144stwie do metod takich jak LIME, SHAP czy Grad-CAM, nie odnosz\u0105 si\u0119 one do pojedynczych predykcji, lecz do modelu jako ca\u0142o\u015bci. Ich celem jest dostarczenie uporz\u0105dkowanej informacji o tym, do czego model zosta\u0142 zaprojektowany, na jakich danych by\u0142 trenowany oraz jakie s\u0105 jego znane ograniczenia.<\/p>\n
Mo\u017cna powiedzie\u0107, \u017ce karty modeli rozszerzaj\u0105 ide\u0119 wyja\u015bnialno\u015bci z poziomu \u201edlaczego ta konkretna decyzja zosta\u0142a podj\u0119ta\u201d na poziom \u201ekiedy temu systemowi w og\u00f3le warto ufa\u0107\u201d. Zawieraj\u0105 one informacje o warunkach, w kt\u00f3rych model dzia\u0142a poprawnie, a tak\u017ce o sytuacjach, w kt\u00f3rych jego zastosowanie mo\u017ce prowadzi\u0107 do b\u0142\u0119dnych wniosk\u00f3w. Dzi\u0119ki temu u\u017cytkownik nie musi polega\u0107 wy\u0142\u0105cznie na obserwacji pojedynczych predykcji, ale otrzymuje szerszy kontekst dzia\u0142ania systemu.<\/p>\n
Takie podej\u015bcie wpisuje si\u0119 w ide\u0119 skalibrowanego zaufania. Zamiast zak\u0142ada\u0107, \u017ce system AI jest zawsze wiarygodny lub zawsze niepewny, u\u017cytkownik otrzymuje narz\u0119dzia pozwalaj\u0105ce oceni\u0107 jego przydatno\u015b\u0107 w konkretnym kontek\u015bcie. W ten spos\u00f3b karty modeli pe\u0142ni\u0105 rol\u0119 \u201emetawyja\u015bnienia\u201d – nie t\u0142umacz\u0105 decyzji, lecz pomagaj\u0105 zrozumie\u0107 granice ich interpretacji i zastosowania.<\/p>\n
Cena wyja\u015bnialno\u015bci<\/h2>\n
Budowanie bardziej przejrzystych system\u00f3w nie jest darmowe. Wyja\u015bnialno\u015b\u0107 ma swoj\u0105 cen\u0119 \u2013 zar\u00f3wno w sensie obliczeniowym, finansowym, jak i organizacyjnym.<\/p>\n
Jednym z najpopularniejszych narz\u0119dzi Explainable AI jest SHAP. W przypadku du\u017cych sieci neuronowych wygenerowanie pe\u0142nego wyja\u015bnienia mo\u017ce by\u0107 nawet kilkadziesi\u0105t lub kilkaset razy bardziej czasoch\u0142onne ni\u017c samo wykonanie predykcji.<\/p>\n
Przyk\u0142adowo:<\/p>\n
- \n
- wykonanie predykcji mo\u017ce trwa\u0107 oko\u0142o 20 ms,<\/li>\n
- obliczenie warto\u015bci SHAP mo\u017ce wymaga\u0107 od 1 do 5 sekund.<\/li>\n<\/ul>\n
W systemach czasu rzeczywistego takie op\u00f3\u017anienia mog\u0105 by\u0107 nieakceptowalne. Oznacza to, \u017ce wyja\u015bnienia cz\u0119sto nie s\u0105 generowane dla wszystkich przypadk\u00f3w, lecz jedynie dla wybranych decyzji lub podczas p\u00f3\u017aniejszych audyt\u00f3w.<\/p>\n
Koszt wyja\u015bnialno\u015bci nie ogranicza si\u0119 jednak do dodatkowych oblicze\u0144. Konieczne jest r\u00f3wnie\u017c:<\/p>\n
- \n
- przechowywanie historii predykcji,<\/li>\n
- monitorowanie modeli,<\/li>\n
- przeprowadzanie audyt\u00f3w,<\/li>\n
- ponowne trenowanie modeli,<\/li>\n
- anga\u017cowanie ekspert\u00f3w dziedzinowych,<\/li>\n
- utrzymywanie infrastruktury umo\u017cliwiaj\u0105cej analiz\u0119 dzia\u0142ania systemu.<\/li>\n<\/ul>\n
W przypadku du\u017cych modeli j\u0119zykowych sam proces RLHF wymaga zatrudnienia licznych zespo\u0142\u00f3w oceniaj\u0105cych odpowiedzi oraz przeprowadzenia dodatkowych etap\u00f3w treningu, kt\u00f3rych koszt mo\u017ce by\u0107 liczony w milionach dolar\u00f3w.<\/p>\n
Istnieje r\u00f3wnie\u017c mniej oczywisty koszt zwi\u0105zany z samym wyborem architektury modelu. Przez wiele lat zak\u0142adano istnienie prostego kompromisu:<\/p>\n
\n
wi\u0119ksza dok\u0142adno\u015b\u0107 oznacza mniejsz\u0105 interpretowalno\u015b\u0107.<\/p>\n<\/blockquote>\n
W praktyce zale\u017cno\u015b\u0107 ta nie jest tak jednoznaczna, jednak w wielu zastosowaniach wyb\u00f3r bardziej przejrzystego modelu mo\u017ce oznacza\u0107 rezygnacj\u0119 z cz\u0119\u015bci skuteczno\u015bci. Z drugiej strony zastosowanie najbardziej zaawansowanych sieci neuronowych mo\u017ce wymaga\u0107 p\u00f3\u017aniejszego korzystania z kosztownych metod wyja\u015bniania post hoc.<\/p>\n
Pojawia si\u0119 wi\u0119c swoisty \u201etr\u00f3jk\u0105t kompromisu\u201d, obejmuj\u0105cy:<\/p>\n
- \n
- skuteczno\u015b\u0107,<\/li>\n
- interpretowalno\u015b\u0107,<\/li>\n
- koszt obliczeniowy.<\/li>\n<\/ul>\n
Poprawa jednego z tych element\u00f3w cz\u0119sto odbywa si\u0119 kosztem pozosta\u0142ych.<\/p>\n
W zastosowaniach przemys\u0142owych dochodz\u0105 jeszcze wymagania zwi\u0105zane z bezpiecze\u0144stwem, zgodno\u015bci\u0105 z regulacjami oraz odpowiedzialno\u015bci\u0105 prawn\u0105. W rezultacie ca\u0142kowity koszt budowy godnego zaufania systemu AI jest zwykle znacznie wi\u0119kszy ni\u017c koszt samego wytrenowania modelu.<\/p>\n
Coraz wi\u0119cej badaczy podkre\u015bla wi\u0119c, \u017ce pytanie nie brzmi ju\u017c:<\/p>\n
\n
\u201eCzy warto po\u015bwi\u0119ci\u0107 troch\u0119 dok\u0142adno\u015bci dla wi\u0119kszej interpretowalno\u015bci?\u201d<\/p>\n<\/blockquote>\n
Znacznie wa\u017cniejsze staje si\u0119 pytanie:<\/p>\n
\u201eJaki poziom wyja\u015bnialno\u015bci jest wystarczaj\u0105cy w danym zastosowaniu i czy korzy\u015bci uzasadniaj\u0105 zwi\u0105zane z nim koszty?\u201d<\/p><\/blockquote>\n
Podsumowanie<\/h2>\n
Rosn\u0105ca rola sztucznej inteligencji sprawia, \u017ce kwestia zaufania staje si\u0119 r\u00f3wnie wa\u017cna jak sama skuteczno\u015b\u0107 modeli.<\/p>\n
Explainable AI, Human-in-the-Loop, monitorowanie modeli oraz rozw\u00f3j standard\u00f3w etycznych stanowi\u0105 pr\u00f3b\u0119 pogodzenia trzech cz\u0119sto konkuruj\u0105cych ze sob\u0105 warto\u015bci: przejrzysto\u015bci, rzetelno\u015bci oraz wydajno\u015bci obliczeniowej.<\/p>\n
Nie istnieje jednak rozwi\u0105zanie idealne. Wi\u0119ksza interpretowalno\u015b\u0107 oznacza zwykle wy\u017csze koszty i wi\u0119ksze wymagania obliczeniowe, a udzia\u0142 cz\u0142owieka ogranicza skalowalno\u015b\u0107 system\u00f3w.<\/p>\n
Przysz\u0142o\u015b\u0107 sztucznej inteligencji prawdopodobnie nie b\u0119dzie polega\u0142a na ca\u0142kowitym zast\u0105pieniu cz\u0142owieka, lecz na tworzeniu system\u00f3w wsp\u00f3\u0142pracy cz\u0142owieka i maszyny. Ostatecznie bowiem zaufanie do AI nie wynika wy\u0142\u0105cznie z jej skuteczno\u015bci, ale r\u00f3wnie\u017c z mo\u017cliwo\u015bci zrozumienia, kontrolowania i rozliczania podejmowanych przez ni\u0105 decyzji.<\/p>\n
Co istotne, celem wsp\u00f3\u0142czesnych bada\u0144 nie jest maksymalizacja zaufania do system\u00f3w AI, lecz budowanie tzw. skalibrowanego zaufania (calibrated trust). Oznacza ono, \u017ce u\u017cytkownicy powinni ufa\u0107 modelom wtedy, gdy ich dzia\u0142anie jest wiarygodne i dobrze udokumentowane, a jednocze\u015bnie zachowywa\u0107 ostro\u017cno\u015b\u0107 w sytuacjach niepewnych lub obarczonych wi\u0119kszym ryzykiem. W tym sensie sukces sztucznej inteligencji b\u0119dzie zale\u017ca\u0142 nie tylko od tego, jak trafne b\u0119d\u0105 jej predykcje, ale r\u00f3wnie\u017c od tego, czy ludzie b\u0119d\u0105 potrafili korzysta\u0107 z niej w spos\u00f3b \u015bwiadomy i krytyczny.<\/p>\n
<\/p>\n
Literatura<\/h2>\n
- \n
- Ribeiro M. T., Singh S., Guestrin C., <\/span>„Why Should I Trust You?”: Explaining the Predictions of Any Classifier<\/span><\/em>, KDD, 2016.<\/span><\/li>\n
- Lundberg S. M., Lee S.-I., <\/span>A Unified Approach to Interpreting Model Predictions<\/span><\/em>, NeurIPS, 2017.<\/span><\/li>\n
- Petkovic D., <\/span>It is not Accuracy vs Explainability \u2013 We Need Both for Trustworthy AI Systems<\/span><\/em>, 2022.<\/span><\/li>\n
- Evite P. M., Svetlova E., Bucur D., <\/span>Trade-offs in Financial AI: Explainability in a Trilemma with Accuracy and Compliance<\/span><\/em>, 2026.<\/span><\/li>\n
- Mitchell M., Wu S., Zaldivar A., Barnes P., Vasserman L., Hutchinson B., Spitzer E., Raji I. D., Gebru T., Model Cards for Model Reporting, FAT, 2019.<\/em>*<\/li>\n
- Lee J. D., See K. A., Trust in Automation: Designing for Appropriate Reliance, Human Factors, 2004.<\/li>\n<\/ol>\n","protected":false},"excerpt":{"rendered":"
Czy mo\u017cna ufa\u0107 sztucznej inteligencji? Obecnie systemy wykorzystuj\u0105ce uczenie maszynowe s\u0105 obecne niemal wsz\u0119dzie – od wyszukiwarek internetowych i medi\u00f3w spo\u0142eczno\u015bciowych, przez systemy rekomendacji i bankowo\u015b\u0107, a\u017c po diagnostyk\u0119 medyczn\u0105 czy autonomiczne pojazdy. Wraz ze wzrostem mo\u017cliwo\u015bci modeli pojawi\u0142o si\u0119 jednak pytanie, kt\u00f3re dla wielu badaczy okazuje si\u0119 r\u00f3wnie istotne jak sama skuteczno\u015b\u0107 algorytm\u00f3w: czy […]<\/p>\n","protected":false},"author":376,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-9719","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts\/9719","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/users\/376"}],"replies":[{"embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/comments?post=9719"}],"version-history":[{"count":8,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts\/9719\/revisions"}],"predecessor-version":[{"id":9736,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts\/9719\/revisions\/9736"}],"wp:attachment":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/media?parent=9719"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/categories?post=9719"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/tags?post=9719"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Lundberg S. M., Lee S.-I., <\/span>A Unified Approach to Interpreting Model Predictions<\/span><\/em>, NeurIPS, 2017.<\/span><\/li>\n
- Ribeiro M. T., Singh S., Guestrin C., <\/span>„Why Should I Trust You?”: Explaining the Predictions of Any Classifier<\/span><\/em>, KDD, 2016.<\/span><\/li>\n