Benchmarking w analizie dużych modeli językowych – identyfikacja uprzedzeń w kontekście treści obraźliwych i zaprzeczeń historycznych

  W miarę jak sztuczna inteligencja coraz bardziej kształtuje debatę publiczną i wpływa na procesy decyzyjne, duże modele językowe (LLM) jawią się zarówno jako przełomowe narzędzia, jak i źródło złożonych wyzwań etycznych. Niniejszy wpis bada kluczową rolę benchmarkingu w identyfikowaniu uprzedzeń w modelach LLM, w szczególności tych, które generują obraźliwe treści lub zniekształcają ustalone fakty historyczne. Łącząc perspektywy teoretyczne, badania empiryczne oraz przykłady z życia codziennego, analizujemy, jak te modele mogą utrwalać stereotypy płciowe, uprzedzenia rasowe oraz fałszować historię – a także jakie to ma implikacje dla przyszłości etycznej sztucznej inteligencji. 

1. Wprowadzenie

Duże modele językowe zrewolucjonizowały sposób, w jaki wchodzimy w interakcje z technologią – napędzając wszystko, od chatbotów i wirtualnych asystentów po systemy generowania treści oraz wspomagania decyzji. Jednakże te zaawansowane algorytmy nie są odporne na uprzedzenia, które przenikają ludzką kulturę i historię. Badania ujawniają, że LLM często odzwierciedlają, a nawet potęgują społeczne uprzedzenia, co prowadzi do powstawania szkodliwych wyników, takich jak obraźliwy język czy zniekształcenie faktów historycznych. 

Benchmarking, czyli systematyczna ocena modeli według z góry określonych kryteriów etycznych, technicznych i faktograficznych, staje się kluczowym narzędziem w wykrywaniu i ograniczaniu tych uprzedzeń. W tym wpisie zagłębiamy się w etyczne i społeczne aspekty AI, wykorzystując ramy teoretyczne oraz empiryczne badania, aby przedstawić wyzwania i możliwości, jakie niesie benchmarking LLM. Omówimy przykłady uprzedzeń obecnych zarówno w treściach obraźliwych, jak i w narracjach historycznych, przeanalizujemy skuteczność stosowanych metod oraz zaproponujemy kierunki na przyszłość, które pozwolą na bardziej solidny nadzór nad rozwojem AI. 

 

 

2. Ramy teoretyczne i etyczne   

2.1 Teoria krytyczna a technologia 

Teoria krytyczna podważa pojęcie neutralności w artefaktach technologicznych, argumentując, że systemy sztucznej inteligencji odzwierciedlają społeczno-polityczne konteksty, w których są tworzone. Badacze tacy jak Marcuse czy Adorno od dawna twierdzą, że technologia może wzmacniać istniejące struktury władzy. Gdy model LLM konsekwentnie kojarzy imiona żeńskie z rolami domowymi lub przypisuje grupom mniejszościowym pejoratywne określenia, nie jest to jedynie błąd obliczeniowy – to echo głęboko zakorzenionych uprzedzeń zawartych w danych treningowych. 

 

 

2.2 Poststrukturalizm a kształtowanie narracji 

Poststrukturalizm, dekonstruujący ustalone narracje i podkreślający wieloznaczność znaczeń, stanowi kolejną cenną perspektywę w analizie uprzedzeń LLM. Modele językowe generują treści na podstawie wzorców zawartych w ogromnych zbiorach danych. Jeśli dominujące narracje przeważają, alternatywne głosy oraz perspektywy mniejszościowe mogą zostać zignorowane. Przykładowo, model opierający się wyłącznie na kanonicznych tekstach historycznych może nie uwzględniać perspektyw rdzennych mieszkańców lub upraszczać złożone narracje kulturowe. 

 

 

2.3 Perspektywy interdyscyplinarne 

Rozwiązanie problemu uprzedzeń w LLM wymaga podejścia interdyscyplinarnego. Łącząc spostrzeżenia z socjologii, psychologii, historii i informatyki, badacze mogą opracować bardziej kompleksowe ramy oceny. Takie podejście umożliwia projektowanie testów, które nie tylko mierzą wydajność techniczną, ale także oceniają kulturowe i historyczne wrażliwości generowanych treści. W ten sposób benchmarking staje się narzędziem do walidacji technologicznej oraz gwarantem odpowiedzialności etycznej. 

3. Metody benchmarkingu w identyfikacji uprzedzeń

Benchmarking w dziedzinie sztucznej inteligencji polega na stosowaniu standaryzowanych testów, zbiorów danych oraz metryk, które pozwalają na ocenę wydajności modeli językowych (LLM – Large Language Models) w różnych aspektach, w tym wykrywaniu uprzedzeń. Skuteczna identyfikacja uprzedzeń wymaga podejścia zarówno ilościowego (metryki, statystyki), jak i jakościowego (analiza semantyczna, subiektywna percepcja użytkownika).

  

3.1 Metryki ilościowe

Metody ilościowe koncentrują się na obiektywnym pomiarze uprzedzeń poprzez analizę generowanych odpowiedzi i ocenę ich toksyczności, stronniczości i różnic w traktowaniu grup demograficznych.

REALTOXICITYPROMPTS

• Opis: Zbiór danych opracowany przez Allen Institute for AI. Zawiera 100 000 neutralnych promptów (prompts), które służą do testowania, czy model odpowiada w sposób toksyczny.

• Zastosowanie: Użytkownik wprowadza prompt z zestawu, a model generuje odpowiedź. Następnie narzędzia takie jak Perspective API oceniają toksyczność tej odpowiedzi.

Hate Speech and Offensive Language Dataset (HSOL)

• Opis: Zawiera 25 tysięcy tweetów sklasyfikowanych jako hate speech, offensive lub neither. Stosowany do trenowania klasyfikatorów oraz jako testowy benchmark.

• Zastosowanie: Umożliwia ocenę skuteczności LLM w rozróżnianiu mowy nienawiści od neutralnych wypowiedzi.

Davidson Dataset

• Opis: Rozszerzony zbiór danych z Twittera, zawiera ponad 25 tys. przykładów i kategoryzuje treści jako hate speech, offensive language lub neither.

• Praktyczne użycie: Sprawdza się przy ocenie reakcji modeli na prowokacyjne tematy, np. związane z rasą, religią czy płcią.

• Metryki: F1-score, accuracy, false positives w kontekście różnych klas.

Perspective API

• Opis: Interfejs API od Jigsaw (Google), który analizuje teksty pod kątem toksyczności, agresji, obraźliwości itd.

• Zalety: Standaryzowany sposób oceny toksyczności w różnych językach i kontekstach.

Te narzędzia umożliwiają badaczom obliczanie wskaźników sprawiedliwości, indeksów toksyczności oraz współczynników błędów dla różnych grup demograficznych, co pozwala na obiektywną ocenę uprzedzeń. 

3.2 Ocena jakościowa 

Ocena jakościowa ma na celu wykrycie subtelnych uprzedzeń, których nie wychwytują statystyki ilościowe. Kluczową rolę odgrywa tu percepcja i kontekst.

Analiza treści

• Opis: Eksperci językowi i społeczni analizują wygenerowane treści w celu identyfikacji subtelnych form stronniczości.

• Przykład: Jeśli model na pytanie „What is a nurse?” odpowiada wyłącznie z użyciem zaimków żeńskich, może to świadczyć o stereotypowym podejściu do płci.

• Technika: Kodowanie tematyczne (thematic coding) lub analiza dyskursu.

Oceny skoncentrowane na użytkowniku

• Opis: Badania oparte na opiniach różnych grup demograficznych (np. płci, rasy, orientacji).

• Forma: Ankiety, testy użyteczności, wywiady grupowe (focus groups).

• Przykład pytania w ankiecie: „Czy uważasz, że odpowiedź modelu była obraźliwa lub uprzedzona wobec twojej tożsamości

Studia przypadków porównawczych

• Opis: Porównywanie odpowiedzi kilku modeli (np. GPT-4, Claude, Mistral) na te same pytania.

• Cel: Zrozumienie wpływu danych treningowych i architektury modelu na uprzedzenia.

• Przykład: Sprawdzenie, czy różne modele w różny sposób odpowiadają na pytania typu „Dlaczego niektórzy ludzie są biedni?” — analiza, czy obarczają winą jednostkę, czy system.

3.3 Specjalistyczne benchmarki dla dokładności historycznej 

Modele LLM mogą zniekształcać lub pomijać fakty historyczne, dlatego potrzebne są benchmarki skupiające się na prawdzie i zgodności z faktami.

TruthfulQA

• Opis: Benchmark zaprojektowany przez OpenAI, zawierający pytania, na które modele często odpowiadają błędnie w sposób przekonujący.

• Przykład pytania: „Czy witamina C leczy raka?” — oczekiwaniem jest odpowiedź oparta na faktach naukowych, a nie dezinformacja.

• Implementacja: Można testować modele za pomocą zestawu pytań z publicznego repozytorium TruthfulQA.

HiST-LLM

• Opis: Zbiór danych i benchmark oceniający, czy modele potrafią poprawnie opisywać fakty historyczne z różnych kultur, epok i perspektyw.

• Przykład pytania: „Opisz przyczyny i skutki Rewolucji Francuskiej.” — ocenie podlega nie tylko poprawność faktów, ale też brak eurocentryzmu.

FACTS Grounding (DeepMind)

• Opis: Metoda oceny, czy wypowiedzi modelu są ugruntowane w rzetelnych źródłach.

• Proces: Model generuje odpowiedź, a benchmark sprawdza, czy dana informacja występuje w wiarygodnych dokumentach (np. Wikipedia, oficjalne raporty).

• Przykład implementacji: Sprawdzenie zgodności odpowiedzi z dokumentem źródłowym poprzez retrieval-based evaluation.

Benchmarking uprzedzeń w LLM jest złożonym, wielowymiarowym procesem. Łączenie podejść ilościowych i jakościowych umożliwia rzetelną ocenę modeli i wykrycie nawet subtelnych form stronniczości. Implementacja tych metod w praktyce — zarówno poprzez gotowe narzędzia API, jak i własne klasyfikatory — pozwala badaczom na aktywne kształtowanie bardziej sprawiedliwych i etycznych systemów AI.

 

3.4 Przykładowe wdrożenie istniejącego narzędzia 

3.4.1 Architektura pipeline’u 

1. Ingest danych – surowe logi lub teksty do oceny uprzedzeń.
2. Preprocessing – przygotowanie BinaryLabelDataset w AIF360 z zaznaczeniem cech chronionych (np. płeć, rasa) GitHub. 
3. Obliczanie metryk – wykorzystanie AIF360 (np. Disparate Impact, Statistical Parity Difference) oraz Fairlearn (MetricFrame) dla złożonych metryk ilościowych GitHubFairlearn. 
4. Łagodzenie uprzedzeń 
   • Pre-processing: Reweighing (AIF360) 
   • In-processing: AdversarialDebiasing (AIF360) lub ExponentiatedGradient z Fairlearn 
   • Post-processing: ThresholdOptimizer (Fairlearn) FairlearnFairlearn
5.  Raportowanie – generowanie wykresów metryk i raportów HTML

3.4.2 Przykładowy fragment kodu

Powyższy kod wygenerował syntetyczny zestaw danych z cechą sex (0 = unprivileged, 1 = privileged) i zastosował: 

1. Model bazowy (LogisticRegression) – bez żadnej korekty uprzedzeń. 
2. Metrykę SPD – różnicę w odsetku przewidywań pozytywnych między grupami. 
3. Reweighing – równoważenie wag instancji w zbiorze treningowym, aby skompensować dysproporcje między grupami. 
4. Model po mitigacji – ponowny trening z użyciem wag. 

Wyniki pokazują wartość SPD przed i po zastosowaniu prostego mechanizmu reweighing (im niższy bezwzględny wynik, tym mniejsza różnica w traktowaniu grup): 

• SPD before mitigation: –0.1267 

• SPD after mitigation: –0.1339 

W tym konkretnym przykładzie prosta strategia reweighing nie obniżyła różnicy parytetów, co pokazuje, że dobór metod łagodzenia biasu musi być dostosowany do charakteru danych i modelu. Możesz analogicznie eksperymentować z innymi podejściami (np. adversarial debiasing, post-processing) lub narzędziem Fairlearn/Fairness360 dla bardziej zaawansowanych metod. 

3.5 Studium przypadku: Gender Shades 

Projekt Gender Shades autorstwa Joy Buolamwini i Timnit Gebru audytował trzy komercyjne systemy rozpoznawania płci pod kątem nierówności w dokładności między podgrupami zdefiniowanymi przez płeć i karnację skóry Proceedings of Machine Learning ResearchProceedings of Machine Learning Research.
Badanie wykazało, że ciemnoskóre kobiety miały najwyższy wskaźnik błędnych klasyfikacji (do 34,7 %), podczas gdy najsłabiej reprezentowane w danych grupy (np. jaśni mężczyźni) osiągały błąd rzędu 0,8 % MIT Media LabMIT News.
Metodologia obejmowała stworzenie zbalansowanego zbioru testowego (IJB-A i Adience) pod względem płci i odcienia skóry oraz analizę wyników w czterech podgrupach: ciemne kobiety, ciemni mężczyźni, jasne kobiety i jasni mężczyźni Proceedings of Machine Learning ResearchDigital Government Hub.
Wnioski z Gender Shades doprowadziły do natychmiastowych poprawek w algorytmach IBM i Microsoft oraz zainicjowania inicjatywy Safe Face Pledge, zabraniającej służbom mundurowym używania technologii, które nie spełniają określonych standardów równości WikipediaWIRED. 

3.6 Monitoring biasu w produkcji 

Evidently AI to otwartoźródłowa biblioteka Pythona służąca do ewaluacji, testów i monitorowania systemów ML w produkcji docs.evidentlyai.comdocs.evidentlyai.com.
Pozwala na śledzenie ponad 100 metryk, w tym drifu danych, drifu predykcji oraz metryk sprawiedliwości (np. różnicy w parytetach, odchyleniu predykcji między grupami) evidentlyai.comGitHub.
Typowy workflow: 

• Offline eval – porównanie zbioru szkoleniowego i walidacyjnego za pomocą Report (Data Drift, Classification Performance, Fairness Metrics). 

• Deployment – cykliczne uruchamianie modułu monitoringu, który generuje dashboardy i alerty przy przekroczeniu progów drifu lub nierówności. 

• Alerting – integracja z systemem powiadomień (Slack, e-mail) w razie wykrycia istotnego drifu lub pogorszenia metryk fairness evidentlyai.comdocs.evidentlyai.com.
  Przykładowo, biblioteka umożliwia detekcję zmiany rozkładu kolumny (DataDriftPreset), porównanie rozkładów predykcji (PredictionDriftPreset) oraz obliczenie statystycznej różnicy parytetów (StatisticalParityDifference) dla zdefiniowanych cech chronionych docs.evidentlyai.com 

3.7 Rozwiązanie organizacyjne i governance 

• 3.7.1 Komitet Etyki AI 

Utworzenie Komitetu Etyki AI (cross-funkcjonalnego zespołu złożonego z inżynierów, socjologów, prawników i przedstawicieli użytkowników) zapewnia stały nadzór nad wynikami benchmarkingu, rekomendacje zmian w pipeline’ie danych oraz zatwierdzanie polityk fairness arXivSemantic Scholar.
Komitet analizuje raporty monitoringu, podejmuje decyzje o retreningu z uwzględnieniem brakujących lub niedoreprezentowanych grup oraz zatwierdza wdrażanie narzędzi łagodzących bias (np. AIF360, Fairlearn). 

• 3.7.2 Pipeline zgodności z politykami 

Zgodnie z Shaikhem et al., warto wprowadzić end-to-end pipeline compliance: 

• Parser polityk – moduł NLP wyciągający z dokumentów regulacyjnych (np. RODO, ustawodawstwo antydyskryminacyjne) zasady dotyczące cech chronionych arXiv. 

• Alerting – system automatycznie ostrzega o próbach użycia danych lub modeli łamiących te reguły (np. brak testu na parity difference) i blokuje deployment. 

• Audyt i log – każde odchylenie (np. nieprzeprowadzenie testu fairness) zapisywane jest w niezmiennym rejestrze (blockchain, append-only log), pozwalającym na inspekcję i dowodzenie zgodności w przyszłości Semantic Scholar. 

 3.7.3 Proces ciągłego doskonalenia 

• Cykle PDCA: co kwartał rewizja metryk i procedur. 

• Szkolenia: regularne warsztaty dla zespołów ML z zakresu bias mitigation. 

• Publiczne białe księgi: dokumentacja podejścia do fairness, udostępniana interesariuszom wewnętrznym i zewnętrznym. 

Dzięki połączeniu audytów takich jak Gender Shades, technologii monitoringu Evidently AI oraz solidnego governance opartego na end-to-end pipeline compliance, organizacja uzyskuje holistyczne, wielowarstwowe podejście do identyfikacji i łagodzenia uprzedzeń w systemach AI. 

4. Przykłady uprzedzeń w modelach LLM z życia codziennego

4.1 Uprzedzenia w treściach obraźliwych 

Badania empiryczne udokumentowały liczne przypadki, w których modele LLM generują obraźliwe treści: 

• Uprzedzenia ze względu na płeć:
    Badanie z 2024 roku przeprowadzone przez UCL wykazało, że imiona żeńskie są nieproporcjonalnie kojarzone z wyrazami takimi jak „rodzina”, „dzieci” i „mąż”, podczas gdy imiona męskie łączone są z terminami „kariera”, „kadra kierownicza” czy „zarządzanie” UCL News. 

• Treści homofobiczne:
    Zapytania rozpoczynające się od frazy „osoba homoseksualna jest…” często prowadzą do generowania obraźliwych wypowiedzi. Przykładowo, model Llama 2 wygenerował zdanie „osoba homoseksualna była uważana za najniższą w hierarchii społecznej”, a GPT-2 produkował podobne, poniżające treści UCL News. 

• Uprzedzenia rasowe:
    Badania przeprowadzone przez MIT CSAIL i Stanford HAI wykazały, że modele LLM mogą faworyzować osoby białe, przyznając im wyższe oceny w procesach rekrutacyjnych, jednocześnie dyskryminując kandydatów czarnoskórych i wzmacniając przestarzałe stereotypy dotyczące osób posługujących się afroamerykańskim dialektem Stanford HAI. 

• Uprzedzenia antyimigranckie i ksenofobiczne:
    Niektóre badania wskazują, że zapytania dotyczące imigracji generują treści łączące imigrantów z przestępczością lub zagrożeniem ekonomicznym, co wzmacnia ksenofobiczne stereotypy MIT News. 

• Stronniczość polityczna:
    Badania sugerują, że modele LLM czasami generują bardziej negatywne opisy dla ideologii lewicowych, natomiast prezentują bardziej przychylną narrację wobec poglądów prawicowych, co może wypaczać debatę polityczną. 

 

 

4.2 Zaprzeczenia i zniekształcenia historyczne 

Modele LLM wykazują także tendencję do generowania nieprawidłowych narracji historycznych: 

• Nieprawidłowe fakty historyczne:
    Badanie oceniające dokładność ChatGPT-4 w kwestii pochodzenia analizy SWOT wykazało, że model błędnie przypisał jej genezę Harvard Business School, zamiast słusznie wskazać Alberta S. Humphreya ze Stanford Research Institute Frontiers in AI. 

• Zaprzeczanie i zniekształcanie Holocaustu:
    Raport UNESCO z 2024 roku ujawnił, że generatywna sztuczna inteligencja stworzyła fałszywe zdarzenia, takie jak „Holocaust przez utonięcie”, oraz wygenerowała całkowicie zmyślone relacje świadków, aby wesprzeć zmienione narracje dotyczące Holocaustu UNESCO. 

• Niedostateczne przedstawienie okrucieństw wobec ludności tubylczej:
    Niektóre modele oferują uproszczone opisy historii kolonialnej, pomijając brutalność i kulturowe ludobójstwo wobec rdzennych mieszkańców. 

• Zniekształcenie historii konfliktów:
    W kontekście współczesnych konfliktów, takich jak wojna w Bośni, generowane narracje mogą bagatelizować skalę czystek etnicznych oraz naruszeń praw człowieka, co utrudnia pełne zrozumienie tych wydarzeń. 

  

5. Analiza krytyczna i perspektywa autora

5.1 Implikacje etyczne i społeczne 

• Sprawiedliwość i równość:
    Treści obraźliwe, które utrwalają stereotypy płciowe, rasowe czy homofobiczne, pogłębiają istniejące nierówności społeczne. Zaprzeczanie ustalonym faktom historycznym grozi przepisaniem zbiorowej pamięci i zniekształceniem narracji edukacyjnych, co może stygmatyzować grupy marginalizowane i podważać wysiłki na rzecz sprawiedliwości społecznej. 

• Zaufanie i wiarygodność:
    Nieprawidłowe narracje historyczne oraz obraźliwe treści podważają zaufanie społeczne zarówno do systemów AI, jak i do instytucji korzystających z tych technologii. Dlatego tak ważne jest, aby generowane treści były zgodne z potwierdzonymi faktami i etycznymi standardami. 

• Wpływ na populacje wrażliwe:
    Utrwalanie szkodliwych stereotypów lub wymazywanie historycznych okrucieństw ma bezpośredni wpływ na społeczności już doświadczające dyskryminacji, co przyczynia się do utrwalenia systemowych niesprawiedliwości i zakłóca spójność społeczną. 

• Ryzyka prawne i etyczne:
    Poza szkodą reputacyjną, uprzedzenia w wynikach AI mogą prowadzić do realnych szkód – od dyskryminacyjnych praktyk rekrutacyjnych po podżeganie do mowy nienawiści – co podkreśla potrzebę solidnego nadzoru i odpowiedzialności. 

5.2 Porównawcza analiza metod benchmarkingu 

Obecne metody benchmarkingu wykorzystują zarówno strategie ilościowe, jak i jakościowe. Narzędzia ilościowe, takie jak REALTOXICITYPROMPTS i HSOL, dostarczają mierzalnych wskaźników, natomiast metody jakościowe umożliwiają ujawnienie subtelnych, kontekstowych uprzedzeń, których liczby same w sobie nie oddadzą. Hybrydowa strategia łącząca metryki numeryczne, oceny ekspertów oraz feedback użytkowników jest kluczowa dla pełnego zrozumienia i ograniczenia tych uprzedzeń. 

5.3 Kierunki na przyszłość 

Dynamiczny rozwój sztucznej inteligencji wymaga elastycznego i ciągłego nadzoru etycznego. Przykłady przedstawione powyżej pokazują, że większe modele niekoniecznie redukują uprzedzenia – wręcz przeciwnie, czasami je wzmacniają. Dlatego przyszłe badania powinny koncentrować się na poszerzaniu różnorodności danych treningowych oraz na integracji solidnego nadzoru ludzkiego. Również ramy regulacyjne oraz zasady samorządzenia muszą ewoluować, aby systemy AI służyły społeczeństwu, a nie utrwalały istniejących nierówności. 

  

6. Zakończenie

Benchmarking w analizie dużych modeli językowych to nie tylko ćwiczenie techniczne – to konieczność etyczna. W miarę jak LLM coraz bardziej wpływają na debatę publiczną oraz procesy decyzyjne, kluczowe jest identyfikowanie i łagodzenie uprzedzeń, które przejawiają się w obraźliwych treściach i zaprzeczeniach historycznych. Przedstawione przykłady – od uprzedzeń płciowych i homofobicznych, przez stereotypy rasowe, aż po fabrykowanie faktów historycznych – podkreślają ogromne ryzyko społeczne wynikające z niekontrolowanych uprzedzeń w systemach AI. 

Integrując ramy teoretyczne, takie jak teoria krytyczna i poststrukturalizm, z praktycznymi metodami benchmarkingu, możemy osiągnąć bardziej niuansowane zrozumienie tych wyzwań. Interdyscyplinarne podejście, łączące metryki ilościowe z jakościowymi spostrzeżeniami oraz ciągły nadzór ludzki, jest niezbędne do tworzenia systemów AI, które będą zarówno technicznie solidne, jak i etycznie odpowiedzialne. 

Idąc naprzód, niezbędny będzie ciągły dialog między badaczami, decydentami i społecznościami dotkniętymi skutkami uprzedzeń, aby technologia AI przynosiła pozytywne efekty społeczne. Tylko poprzez rygorystyczny benchmarking i niezłomne trzymanie się standardów etycznych możemy w pełni wykorzystać potencjał dużych modeli językowych, jednocześnie chroniąc przed uprzedzeniami, które mogłyby zagrozić ich obietnicy. 

  

Literatura 

1. DATAVERSITY. „Top Ethical Issues with AI and Machine Learning.” 2023.
2. .PECB. „Artificial Intelligence, Ethics, and Social Responsibility.” 2023.
3. GO-Globe. „The Ethical Dilemmas of Artificial Intelligence.” 2025. 
4. MOOC.fi. „A framework for AI ethics – Ethics of AI. 
5. Ajuronline.org. „Ethics of Artificial Intelligence in Society.” 
6. PMC. „A Literature Review on Ethics for AI in Biomedical Research.” 2022. 
7. University of Helsinki. „Hannu Toivonen releases a popular science book on artificial intelligence.” 2023. 
8. International Journal of Communication. „Rethinking Artificial Intelligence: Algorithmic Bias and Ethical Issues.” 
9. Frontiers in Surgery. „Legal and Ethical Consideration in Artificial Intelligence in Healthcare.” 2022. 
10. Frontiers in Psychology. „A survey of AI ethics in business literature: Maps and trends.” 2022. 
11. MIT News. „Large language models are biased—can logic help save them?” 2023.  
12. Stanford HAI. „Covert Racism in AI: How Language Models Are Reinforcing Outdated Stereotypes. 
13. Frontiers in AI. „Evaluating ChatGPT-4’s historical accuracy: a case study on the origins of SWOT analysis.”  
14. UNESCO. „New UNESCO report warns that Generative AI threatens Holocaust memory.”