W dzisiejszych czasach kiedy coraz więcej algorytmów z dziedziny machine learningu osiąga w wybranych dziedzinach wyniki znacząco lepsze od ludzi nie zawsze możliwe jest pełne zrozumienie jak właściwie one działają. Dobrym przykładem są aktualnie wygrywające z każdym człowiekiem silniki szachowe których strategii nie są w stanie zrozumieć nawet najlepsi arcymistrzowie. W wielu dziedzinach możliwości interpretacji wykorzystywanych rozwiązań są jednak kluczowe, stąd bardzo ważną i szeroko rozwijaną dziedziną jest interpretacja modeli typu machine learning.

Dlaczego wyjaśnialność jest ważna?

Dlaczego nie zaufamy modelowi i nie pozostawimy mu możliwości podejmowania decyzji za nas? Problemem jest fakt, że pojedyncza metryka, jak np. dokładność klasyfikacji jest niekompletną miarą większości współczesnych zadań. Prawdą jest, że nie zawsze potrzebujemy wyjaśnialności, z tego względu tworząc modele ML najpierw należy odpowiedzieć na pytanie czy chcemy wiedzieć co jest przewidywane – przykładowo prawdopodobieństwo, że osoba obejrzy dany film? Czy chcemy jednak wiedzieć dlaczego dane zjawisko wystąpi, w jaki sposób dokonano jego prognozy, przykładowo jak i dlaczego skuteczny będzie lek?

Człowiek dzięki obserwacji cały czas się uczy i aktualizuje swój mentalny model kiedy zdarzy się coś czego wcześniej nie zaobserwował. Przykładowo jeżeli osoba nagle czuje się źle i ma wysypkę na twarzy zadaje sobie pytanie co spowodowało jej stan? Uczy się, że zawsze kiedy zje jogurt ma takie problemy. Dzięki obserwacji aktualizuje swój model poznawczy i postrzeganie świata. Taki sam cel mają współcześni naukowcy. Model, który nie jest interpretowalny jest tak naprawdę czarną skrzynką, w którym wiedza nadal jest przed nami ukryta. W celu ułatwienia nauki i zaspokojenia ciekawości, dlaczego konkretne przewidywania są tworzone przez maszyny kluczowa jest interpretacja i wyjaśnienia.

Modele uczenia maszynowego coraz częściej zaczynają przejmować zadania ze świata rzeczywistego, które obarczone są wysokim ryzykiem. Jednym z zadań pojazdów autonomicznych może być wykrywanie pieszych. Chcemy mieć stuprocentową pewność, że świat, który wykreował model jest bezbłędny, ponieważ realne skutki mogą powodować nieodwracalne zdarzenia. Wyjaśnienie może ujawnić, że najważniejszą cechą jest rozpoznawanie dwóch nóg. Wówczas możemy myśleć o warunkach brzegowych takich jak osoby poruszające się na wózku inwalidzkim, u których nogi mogą być przysłonięte przez wózek. Kluczową zatem częścią jest odpowiedź na pytanie czy rzeczywiście charakter pracy naszego modelu wymaga interpretowalności i na tej podstawie podejmowanie dalszych działań dotyczące budowy modelu.

Algorytmy białoskrzynkowe

Algorytmy określane jako białoskrzynkowe to algorytmy w których człowiek jest w stanie dokładnie określić w jaki sposób model działa i dlaczego podjął taką a nie inna decyzję.

Najczęściej stosowanymi algorytmami tego typu w praktyce są:

• regresja liniowa/logistyczna – algorytmy te polegają na braniu kombinacji liniowej wejściowych wartości (suma wartości pomnożona przez odpowiednie współczynniki), znając zatem współczynniki jesteśmy w stanie dokładnie określić wpływ danej zmiennej na rezultat modelu

Przykład 1-wymiarowej regresji liniowej

• drzewa decyzyjne – ciąg warunków postaci jeżeli x to y, w przeciwnym wypadku z. Są one jednym z najlepiej interpretowanych dla człowieka algorytmów, gdyż dla każdej jego decyzji jesteśmy w stanie dokładnie  określić dlaczego została podjęta, przechodząc po prostu po odpowiedniej ścieżce decyzyjne w drzewie, zgodnej z warunkami wejściowymi

Przykład drzewa decyzyjnego

• niewielkie lasy losowe – grupy drzew losowych, z których brany jest uśredniony wynik, dla niewielkiej liczby drzew w lesie jestesmy w stanie sprawdzać ścieżki decyzyjne każdego z drzew

Warto jednak zawsze mieć na uwadze, że nawet jeśli jesteśmy w stanie dokładnie interpretować działanie naszego modelu, to jeśli nie mamy pełnej wiedzy o domenie problemu którym się zajmujemy łatwo możemy popaść w pułapkę pozornie rozsądnych rozwiązań, nie biorących pod uwagę zmiennych ukrytych.

Przykład takiej sytuacji obrazuje nam tzw. Paradoks Simpsona, dotyczący wyroków śmierci w latach 70-tych na Florydzie.

Jeśli bralibyśmy pod uwagę wyłącznie  kolor skóry sprawcy oraz wyrok jaki zapadł to na podstawie tylko takich danych moglibyśmy założyć że sądy były wówczas sprawiedliwe, lub nawet lekko korzystnie nastawione w stosunku do osób czarnoskórych i dowolnie interpretowany model nie zasugerował by nam żadnych nieprawidłowości w takim rozumowaniu.  Jeśli jednak do zbioru zmiennych dołożymy kolor skóry ofiary widzimy zupełnie odwrotną tendencję i mając takie dodatkowe dane moglibyśmy od razu odrzucić każdy model który brałby pod uwagę przede wszystkim kolor skóry sprawcy.

Paradoks Simpsona

W wielu sytuacjach pełna interpretowalność modelu jest niezbędna lub co najmniej bardzo wskazana, do takich sytuacji możemy np. zaliczyć:

• Algorytmy z dziedziny ubezpieczeniowej/kredytowej – powody decyzji odmownych do kredytu oraz czynniki wpływające na stawkę ubezpieczenia muszą być zazwyczaj jawne dla klientów
• Algorytmy medyczne – modele używane w medycynie wciąż muszą być stosowane pod pełną kontrolą lekarzy, a żeby była ona możliwa, lekarze muszą być w stanie śledzić rozumowanie algorytmu
• Algorytmy z dziedziny kryminologii – ciąg rozumowania algorytmu musi być jawny, aby dać możliwość obrony oskarżonemu i nie dopuścić do sytuacji kiedy błędne dane wejściowe/ niedokładności w algorytmie spowodują pomyłki w sądownictwie. Przykład sytuacji kiedy źle policzone prawdopodobieństwo doprowadziło do skazania niewinnych osób:  YT

• Algorytmy rekrutacyjne – interpretacja procesu decyzyjnego musi być przejrzysta, aby nie dopuszczać do dyskryminacji kandydatów ze względu na takie cechy jak płeć/wiek kolor skóry

Algorytmy czarnoskrzynkowe

Drugą grupą rozwiązań machine learningowych są tzw. “Czarne skrzynki”, to znaczy algorytmy których działanie/decyzje nie dają się łatwo interpretować. Wyjaśnianie działania takich algorytmów można zasadniczo podzielić na dwa podejścia – wyjaśnianie/upraszanie działania całego modelu lub wyjaśnienie co stało za konkretnymi predykcjami.

Wyjaśnianie ogólnej zasady działania

Najpopularniejszymi metodami służącymi wyjaśnianiu czarnoskrzynkowych modeli jest oszacowanie wpływu poszczególnych zmiennych wejściowych na wynik modelu lub destylacja wiedzy do prostszego, wyjaśnionego modelu. Szacowanie wpływu poszczególnych zmiennych może być powiązane z naturą algorytmu lub może wykorzystywać aparat teorii gier.

Wpływ zmiennych oszacowany za pomocą wartości Shapleya

Drugą metodą jest destylacja wiedzy, czyli próba wyuczenia modelu białoskrzynkowe wykorzystując wiedzę zdobytą przez bardziej skomplikowany model czarnoskrzynkowy. W ten sposób możemy często uzyskać w pełni interpretowany model (np. drzewo decyzyjne).

Destylacja wiedzy z dużej sieci neuronowej

Wyjaśnianie konkretnych predykcji

Przyjrzyjmy się danym z wypożyczalni rowerów, chcemy przewidzieć liczbę wypożyczonych rowerów na dany dzień za pomocą drzewa decyzyjnego. Wyuczone drzewo wygląda tak:

Drzewo regresji dopasowane do danych wypożyczenia roweru. Maksymalna dozwolona głębokość dla drzewa została ustawiona na 2. Dla podziałów wybrano funkcję trendu (dni od 2011 r.) oraz temperaturę (temp). Wykresy pudełkowe pokazują rozkład liczby rowerów w węźle końcowym.

Pierwszy podział i jeden z drugich zostały przeprowadzone za pomocą funkcji trendu, która liczy dni od rozpoczęcia zbierania danych i obejmuje trend polegający na tym, że usługa wypożyczania rowerów stała się z czasem coraz bardziej popularna. Na dni poprzedzające 105. dzień przewidywana liczba rowerów wynosi około 1800, między 106. a 430. dniem około 3900. Dla dni po 430. dniu prognoza wynosi albo 4600 (jeśli temperatura jest poniżej 12 stopni) albo 6600 (jeśli temperatura przekracza 12 stopni).

Feature importance

Feature importance mówi nam, jak bardzo dana cecha pomogła poprawić czystość wszystkich węzłów. Tutaj zastosowano wariancję, ponieważ przewidywanie wypożyczeń rowerów jest zadaniem regresji. Wizualizowane drzewo pokazuje, że do podziałów wykorzystano zarówno trend temperatury, jak i czasu, ale nie określa ilościowo, która cecha była ważniejsza. Miara ważności cech pokazuje, że trend czasowy jest znacznie ważniejszy niż temperatura.

Podsumowanie

Proces integracji maszyn i algorytmów z naszym codziennym życiem wymaga interpretacji, aby zwiększyć akceptację społeczną. Ludzie przypisują przedmiotom przekonania, pragnienia, intencje itd. Maszyna lub algorytm, który wyjaśnia swoje przewidywania, znajdzie większą akceptację. Wyjaśnienia służą do zarządzania interakcjami społecznymi. Poprzez tworzenie wspólnego znaczenia czegoś wyjaśniający wpływa na działania, emocje i przekonania odbiorcy wyjaśnienia. Aby maszyna mogła z nami współpracować, może potrzebować kształtowania naszych emocji i przekonań. Maszyny muszą nas „przekonać”, aby mogły osiągnąć zamierzony cel.

Bibliografia

Ta praca zawiera wkłady należne twórcom z niżej wymienionych pozycji:

https://pl.wikipedia.org/wiki/Regresja_liniowa

https://pl.wikipedia.org/wiki/Drzewo_decyzyjne

http://cda.psych.uiuc.edu/build_scholars_el_paso/slides_simpson_paradox.pdf

https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764

https://towardsdatascience.com/explain-any-models-with-the-shap-values-use-the-kernelexplainer-79de9464897a

https://christophm.github.io/interpretable-ml-book/

https://arxiv.org/abs/1702.08608

http://archive.ics.uci.edu/ml/datasets/Bike+Sharing+Dataset