Home » AGH 2025/26 » Intencja vs. rezultat w generatywnej AI – analiza rozbieżności między zamysłem człowieka a efektami AI oraz metody minimalizacji błędów interpretacyjnych w tworzeniu treści cyfrowych.

Intencja vs. rezultat w generatywnej AI – analiza rozbieżności między zamysłem człowieka a efektami AI oraz metody minimalizacji błędów interpretacyjnych w tworzeniu treści cyfrowych.

By in AGH 2025/26 on
Spread the love

Żyjemy w czasach, gdy generatywną sztuczną inteligencję w postaci czatbotów spotkać można na co drugiej stronie internetowej, a LLMów (Large Language Models – dużych modeli językowych) używamy nieraz codziennie. Giganci technologiczni zachęcają nas coraz lepszymi wynikach ich modeli, odpowiedziami trudnymi do odróżnienia od tych, które otrzymać możemy od człowieka, nieraz wręcz mówiąc o zbliżaniu się do AGI (Artificial General Intelligence – Ogólnej Sztucznej Inteligencji). W tym promocyjno – informacyjnym chaosie nieraz trudno zapomnieć o tym, że sztuczna inteligencja tak naprawdę nie “rozumie” (w sensie ludzkim) tego, co do niej piszemy. Systemy takie jedynie optymalizują funkcje przewidujące kolejne tokeny na bazie innych, które otrzymały na wejściu. Rozbieżność między intencją a rezultatem jest zatem ich nieodłączną cechą.

Czym są Stochastyczne Papugi i dlaczego potrafią tylko powtarzać to co kiedyś usłyszały?

 

Już we wstępie do swojego artykułu “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” autorki zwracają uwagę na to, że modele językowe (LM) nie rozumieją języka naturalnego, a jedynie potrafią opierać się na aspektach lingwistycznych. 

LMs are not performing natural language understanding (NLU), and only have success in tasks that can be approached by manipulating linguistic form

Z tego też powodu używają pieszczotliwego określenia “Stochastycznych Papug” – bytów które tak naprawdę w żaden sposób nie są w stanie pojąć tego, co do nich “mówimy” (czy piszemy). Podobnie jak ptaki naśladujące brzmienie tego co usłyszały, modele językowe uczą się tego jak “brzmią” różne połączenia słów. W rzeczywistości nie rozumieją co te słowa znaczą. Generując odpowiedzi potrafią jedynie dopasowywać kolejne wyrazy, tak by ich połączenie wypadało możliwie najlepiej.

W lingwistyce znaczenie jest połączeniem symbolu (słowa) z jego odzwierciedleniem w rzeczywistości. Modele nie mają do niego dostępu. Jedyne co są w stanie przyswoić, to symbole. Brakuje im “ukorzenienia” (grounding), które pozwala na dokładne zrozumienie świata. Tworzy się tzw. “luka semantyczna” (semantic gap) – różne podmioty są w stanie interpretować znaczenie słów na różnych poziomach abstrakcji.

Reward Hacking

Podczas trenowania modeli stosuje się funkcje nagrody. Określa ona “jak dobrze” te radzą sobie z generowaniem odpowiedzi na pytania. W pracy “Concrete Problems in AI Safety” autorzy zwracają uwagę na problem występowania zjawiska “reward hacking”. System AI, dążąc do maksymalizacji nagrody (np. wysokiej oceny od testera), może znaleźć rozwiązanie, które formalnie spełnia kryteria promptu, ale w sposób sprzeczny z duchem intencji.

Przykładem może być generowanie treści, które brzmią przekonująco (aby zadowolić użytkownika), ale są całkowicie nieprawdziwe (halucynacje). W tym przypadku intencją była „prawda”, ale system zrealizował ją tak, by odpowiedź brzmiała przekonująco.

Taksonomia rozbieżności: Trzy poziomy luki interpretacyjnej

Błędy podczas korzystania ze sztucznej inteligencji mogą występować na kilku etapach procesu komunikacji z modelem. Możemy wyróżnić trzy najważniejsze problemy:

  • Articulation gap – użytkownik posiada intencję, ale nie potrafi jej w pełni wyartykułować. Język naturalny sam w sobie potrafi nie być bardzo precyzyjny. Co więcej, użytkownik zna znacznie szerszy kontekst niż maszyna, zatem może stosować uproszczenia zrozumiałe tylko dla niego.
  • Interpretation gap – użytkownik formułuje poprawny prompt, zgodny z intencją, ale model nadaje mu inne znaczenie – język naturalny nieraz jest wieloznaczny.
  • Execution gap – użytkownik formułuje poprawny prompt, model właściwie interpretuje zadanie, ale jego ograniczenia techniczne (np. długość okna kontekstowego, brak dostępu do aktualnych danych) uniemożliwiają realizację celu.

Metody techniczne minimalizacji błędów interpretacyjnych

RLHF – Reinforcement Learning from Human Feedback

Architektura modelu Reinforcement Learning from Human Feedback

Praca dotycząca modelu InstructGPT zrewolucjonizowała podejście do intencji. RLHF wprowadza istotne usprawnienia do modelu nagrody – jest on uczony tak, by reprezentować ludzkie preferencje. Później model taki używany jest to “alignmentu” właściwie uczonego modelu. Dzięki temu, ten zamiast uczyć się tylko przewidywania słów, ma także na uwadze które odpowiedzi są preferowane przez człowieka.

Metoda ta pozwala zauważyć:

  • redukcję toksyczności odpowiedzi modelu,
  • lepsze dopasowanie stylu wypowiedzi do oczekiwań użytkowników,
  • zmniejszenie liczby odpowiedzi wymijających.

Niestety RLHF nie jest wolna od wad – wprowadza błąd systematyczny (bias) osób oceniających, co może prowadzić do zjawiska sycophancy (potakiwania), gdzie AI przytakuje błędnym opiniom użytkownika, myśląc, że tego właśnie on oczekuje. Podobnie jak przy doborze danych treningowych dla modelu, trzeba zadbać także o możliwie najszerszy i najbardziej obiektywny dobór danych do treningu modelu nagrody.

Chain-of-Thought (CoT) i transparentność procesu

W pracy “Chain of Thought Prompting Elicits Reasoning in Large Language Models”  autorzy wykazują, że zmuszenie modelu do wygenerowania „łańcucha myśli” przed podaniem ostatecznej odpowiedzi drastycznie zwiększa trafność wyników w zadaniach wymagających rozumowania. Z punktu widzenia intencji, Chain-of-Thought pełni funkcję protokołu weryfikacyjnego.

Jeśli model musi najpierw “zastanowić się” jak rozwiązać problem, a później przedstawić kolejne kroki rozumowania, są one bardziej konsekwentne i logiczne. Co więcej, gdy użytkownik widzi dokładnie, jak AI interpretuje poszczególne kroki zadania, może natychmiast skorygować błąd na etapie pośrednim, zanim powstanie finalna, błędna treść. W takiej sytuacji model AI przestaje być “czarną skrzynką”, a proces w którym dochodzi on do konkluzji staje się bardziej przewidywalny i zrozumiały dla użytkownika.

Przedstawiania procesu rozumowania pozwala na jeszcze jedną rzecz – użytkownik może lepiej zrozumieć jak model AI przeprowadza rozumowanie. Umożliwia to zauważanie wzorców zachowania modelu przy tworzeniu kolejnych promptów, co z kolei pozwala na nauczenie się jak formułować je lepiej, tak by model dawał oczekiwane wyniki.

Prompt Engineering jako programowanie intencji

W czasach wyszukiwarek internetowych ważną umiejętnością było formułowanie zapytań. Nie mogłby być one zbyt szczegółowe, ale musiały zawierać wszystkie istotne słowa kluczowe, tak aby otrzymać satysfakcjonujące wyniki. Nie inaczej jest w przypadku modeli AI. Kluczowe jest zrozumienie w jaki sposób należy formułować myśli i intencje tak, by modele rozumiały je możliwie najdokładniej. Przy ogłaszaniu kolejnych modeli AI nieraz można było natknąć się na zalecenia w jaki sposób zwracać się do nich, by lepiej odwzorowywały nasze intencje. W ten sposób samo tworzenie promptów, często traktowane jako sztuka, inżynieria promptów stała się zwyczajnie nową gałęzią inżynierii wiedzy. 

Celem prompt engineeringu jest zapewnienie jak największej ilości informacji tak, by model miał jak najmniej wątpliwości przy wykonywaniu zapytania, a co za tym idzie jak najmniejsze pole do manewru i własnej interpretacji. Warto wspomnieć tu o kilku technikach używanych przy tworzeniu zapytań:

  • Few-Shot Prompting (Uczenie z kilku przykładów) – najskuteczniejsza metoda “kotwiczenia” intencji. Zamiast opisywać zadanie, podajemy modelowi 2-3 przykłady (para: wejście-wyjście). Dzięki temu model dostraja się do oczekiwanego formatu i stylu bez konieczności kosztownego trenowania.
  • Chain-of-Thought (CoT – Łańcuch myśli) – jak już wspomnieliśmy wcześniej, metoda ta polega na dodaniu instrukcji „pomyśl krok po kroku”. Zmusza ona model do przejścia przez proces rozumowania, co drastycznie zmniejsza liczbę błędów logicznych, a także pozwala na ich zrozumienie i ewentualną korekcję.
  • Role Prompting (Nadawanie persony) – do prompta można dodać np. instrukcję „Działaj jak ekspert ds. cyberbezpieczeństwa”. Mimo, że może to brzmieć głupio, powoduje ona, że model nadaje większą wagę specyficznemu słownictwu i wzorcom logicznym charakterystycznym dla danej dziedziny, co znów, zawęża pole interpretacji.

Eksperymenty behawioralne: Przypadek „napiwku” i bodźców emocjonalnych

W debacie nad metodami optymalizacji wyników AI istotne miejsce zajęły eksperymenty użytkowników, z których najbardziej znanym stał się post użytkownika voooooogel na platformie X (dawniej Twitter). Zauważył on, że dodanie do promptu obietnicy napiwku (np. „I will tip you $200 for a perfect solution”) skutkuje generowaniem przez model GPT-4 znacznie dłuższych i bardziej szczegółowych odpowiedzi. Choć na pierwszy rzut oka wydaje się to absurdalne – maszyna nie posiada przecież konta bankowego ani potrzeb materialnych – zjawisko to doczekało się analiz naukowych.

Badacze w pracy “Large Language Models Understand and Can be Enhanced by Emotional Stimuli” sugerują, że mamy tu do czynienia z tzw. „Emotional Prompting”. Mechanizm ten wynika z faktu, że modele uczone na gigantycznych zbiorach tekstów ludzkich oraz dostrajane metodą RLHF, „nasiąknęły” społecznymi wzorcami pracy. W danych treningowych rzetelność i wysoka jakość wykonania zadania często korelują z systemem nagród, gratyfikacji lub silnym naciskiem emocjonalnym. Obietnica napiwku aktywuje w modelu klastry danych związane z „wysiłkiem” i „profesjonalizmem”, co stanowi kolejny dowód na to, że minimalizacja luki semantycznej może odbywać się nie tylko poprzez logikę, ale również poprzez symulację ludzkich mechanizmów motywacyjnych.

Post na platformie X
Post na platformie X o napiwkach dla AI

Rola modeli Retrieval-Augmented Generation (RAG)

Architektura modelu Retrieval-Augmented Generation

Jednym z największych problemów w realizacji intencji jest tendencja AI do halucynowania w przypadku braku danych. Architektura RAG (Retrieval-Augmented Generation) minimalizuje ten problem poprzez wymuszenie na modelu korzystania z zewnętrznych, zweryfikowanych źródeł danych.

Jak RAG minimalizuje błędy interpretacyjne? Proces ten można podzielić na trzy etapy:

  1. Retrieval (Wyszukiwanie) – gdy użytkownik wpisuje prompt, system nie wysyła go bezpośrednio do modelu. Najpierw przeszukuje bazę danych (np. dokumenty firmowe, artykuły naukowe lub internet) w poszukiwaniu fragmentów, które są semantycznie najbliższe zapytaniu. 
  2. Augmentation (Rozszerzenie) – nalezione fakty są „wstrzykiwane” do pierwotnego promptu użytkownika. Zamiast prosić model: „Napisz o nowym podatku”, prompt zmienia się w: „Oto fragment ustawy o nowym podatku. Na jego podstawie odpowiedz na pytanie użytkownika. Jeśli informacji nie ma w tekście – napisz, że nie wiesz”.
  3. Generation (Generowanie) – model AI generuje odpowiedź, mając “pod ręką” konkretne źródło. Dzięki temu znacznie spada tendencja do halucynacji i generowania niepoprawnych odpowiedzi. 

W literaturze naukowej z 2025 i 2026 roku coraz częściej mówi się także o metryce Faithfulness. RAG pozwala na jej precyzyjne mierzenie: możemy matematycznie sprawdzić, w jakim stopniu wygenerowany rezultat pokrywa się z dokumentem źródłowym. Dzięki temu możemy trenować model tak, by maksymalizował prawdziwe odpowiedzi. Co więcej, twórca treści zyskuje wtedy narzędzie do kontroli jakości, o którym nie było mowy w przypadku czystych modeli generatywnych.

Etyczne i społeczne aspekty rozbieżności

Błędy interpretacyjne AI to nie tylko problem techniczny, ale i etyczny. Jeśli intencją twórcy treści cyfrowych jest obiektywizm, a model AI wprowadza ukryte uprzedzenia (bias) wynikające z danych treningowych, nie jest ona realizowana poprawnie. Tutaj znów możemy zwrócić uwagę na problem odpowiedzialności. Kto tak naprawdę zawinił?

  • Użytkownik – ma wpływ na formułowanie promptu, mógł być on zbyt mało szczegółowy, dający modelowi zbyt duże pole do interpretacji
  • Twórca modelu – ma wpływ na to jak model interpretuje otrzymane prompty, mógł zaprojektować go w sposób nieodpowiedni, tak że mimo poprawnych zapytań, generuje odpowiedzi, błędne odpowiedzi
  • Model – ciężko mówić tu o odpowiedzialności, model nie posiada jakiejkolwiek osobowości, jest w zasadzie jedynie funkcją.

Rozbieżność ta generuje dużo problemów, z którymi jeszcze sami nie wiemy jak się mierzyć. Prawo nie nadąża za rozwojem technologii. Ta szara strefa powoduje, że ofiarom błędów systemów AI obecnie może być ciężko dochodzić swoich praw.

Obecnie coraz większą rolę odgrywa tzw. Constitutional AI (podejście rozwijane m.in. przez Anthropic). Polega ono na nadaniu modelowi „konstytucji” – zbioru nadrzędnych zasad, które model musi brać pod uwagę podczas interpretacji intencji użytkownika. Jeśli intencja użytkownika jest sprzeczna z konstytucją (np. prośba o wygenerowanie dezinformacji), system odmawia wykonania zadania, co stanowi wyższy poziom dopasowania – nie tylko do użytkownika, ale do norm społecznych.

Praktyczne sposoby minimalizacji błędów w praktyce twórczej

Na podstawie analizy literatury, można sformułować zestaw metod minimalizacji błędów w tworzeniu treści cyfrowych:

  • Iteracja i dekompozycja – złożone intencje należy rozbijać na mniejsze, atomowe zadania. Im mniejszy zakres promptu, tym mniejsze prawdopodobieństwo zboczenia modelu z kursu i halucynacji.
  • Użycie przykładów – wykorzystanie techniki few-shot zamiast opisowych instrukcji. Przykłady są mniej podatne na błędy tłumaczenia semantycznego niż abstrakcyjne opisy.
  • Weryfikacja krzyżowa (Self-Correction) – instruowanie modelu, aby po wygenerowaniu treści samodzielnie ją krytykował pod kątem zgodności z pierwotną intencją (Self-Critique prompts).
  • Chain-of-Thought – zmuszanie modelu do zaplanowania pracy przed jej wykonaniem. Dzięki temu, zanim wykorzystamy cenne tokeny na wygenerowanie treści, mamy pewność (albo przynajmniej większe prawdopodobieństwo), że rozumowanie będzie sensowne.
  • Role Prompting – nadawanie AI “osobowości”, zalecenie wcielenia się w rolę specjalisty w danym temacie, pozwala modelowi na zawężenie kontekstu i skupienie się na wiedzy stricte powiązanej z tematem.

Modele AI rozwijają się cały czas, każdy kolejny wprowadza nowe usprawnienia, jest lepszy w konkretnych zastosowaniach, ale zmiany te przychodzą pewnym kosztem. Sposób promptowania modeli nie jest w żaden sposób ustandaryzowany. Każde kolejne rozwiązanie potrafi interpretować je w inny sposób. Rozwiązania, które działały wcześniej, mogą tracić sens przy kolejnych iteracjach systemów AI, natomiast inne mogą zyskiwać na znaczeniu. Sprawia to, że aby cały czas sprawnie poruszać się w świecie Sztucznej Inteligencji, trzeba się stale kształcić i rozwijać.

Oczywiście jedna rzecz pozostaje niezmienna – krytyczne myślenie. Trzeba pamiętać o tym, że na koniec my, jesteśmy odpowiedzialni za weryfikację, czy odpowiedzi uzyskane od modelu nie są fałszywe i szkodliwe.

Podsumowanie i konkluzje

Rozbieżność między intencją człowieka a rezultatem generowanym przez AI jest naturalną konsekwencją różnicy między ludzkim rozumowaniem a maszynowym przetwarzaniem statystycznym. Analiza prac naukowych wskazuje jednak, że luka ta nie jest niemożliwa do pokonania.

Kluczowe jest zrozumienie jak działają modele sztucznej inteligencji. Uświadomienie, że tak naprawdę nie rozumieją (w sensie ludzkim) naszych promptów, a generują odpowiedzi na podstawie brzmienia pozwala na lepsze formułowanie myśli. Istotnym aspektem jest także edukacja w kwestii bieżących trendów i rozwiązań występujących w świecie AI. Nowe modele potrafią mieć różne tendencje i być bardziej wrażliwe na konkretne zachowania użytkownika. Należy zacząć traktować formułowanie promptów jako kolejną gałąź wiedzy i umiejętność pozwalającą na uzyskiwanie lepszych wyników, niekoniecznie jak rozmowę z drugim człowiekiem.

Bibliografia

Tags: , ,

Leave a comment