Wyobraźmy sobie system sztucznej inteligencji, który potrafi rozpoznać, że jesteśmy zmęczeni, sfrustrowani lub zestresowani. Czy powinien dostosować do tego sposób komunikacji? W wielu sytuacjach odpowiedź wydaje się oczywista — spersonalizowana pomoc może być bardziej skuteczna i przyjazna dla użytkownika. Problem pojawia się jednak wtedy, gdy ta sama wiedza o emocjach zostaje wykorzystana nie po to, aby pomóc człowiekowi osiągnąć jego cele, lecz aby zwiększyć zaangażowanie, sprzedać produkt lub wpłynąć na decyzję. Wraz z rozwojem generatywnej sztucznej inteligencji i systemów rozpoznawania emocji granica między pomocą a manipulacją staje się coraz trudniejsza do wyznaczenia.

Maszyna, która „rozpoznaje” emocje

W debacie publicznej można spotkać się ze sformułowaniem, że sztuczna inteligencja „czyta emocje”. Jest to uproszczenie, które jednak nie jest całkowicie pozbawione podstaw. Systemy AI nie mają bezpośredniego dostępu do subiektywnych przeżyć człowieka — zamiast tego analizują sygnały, na podstawie których przewidują prawdopodobieństwo występowania określonego stanu emocjonalnego. Ta pozornie drobna różnica jest w rzeczywistości istotna.

Dziedzina zajmująca się tworzeniem systemów zdolnych do rozpoznawania i reagowania na ludzkie emocje nosi nazwę affective computing. Termin ten spopularyzowała Rosalind Picard w wydanej w 1997 roku książce o tym samym tytule (Picard, 1997). Przez dekady była to nisza akademicka; dziś staje się przemysłem wartym miliardy dolarów. Współczesne systemy mogą analizować dobór słów, długość zdań i interpunkcję w tekście, tempo mowy, barwę i wysokość głosu, długość pauz, mimikę twarzy rejestrowaną kamerą, ruchy oczu, dane z urządzeń typu wearable technology, a nawet wzorce interakcji z interfejsem takie jak prędkość przewijania czy siła nacisku na ekran.

Tu jednak zaczyna się pierwszy poważny problem, i to nie techniczny, lecz epistemologiczny. Psycholożka Lisa Feldman Barrett w swojej książce How Emotions Are Made (2017) argumentuje, że emocje nie są uniwersalnymi stanami biologicznymi możliwymi do odczytania z twarzy czy głosu — są w znacznej mierze konstruowane przez kontekst kulturowy, indywidualne doświadczenia i język (Barrett, 2017). Innymi słowy: to samo zmarszczenie brwi może oznaczać skupienie, zdenerwowanie, ból fizyczny lub po prostu efekt zbyt jasnego słońca. System AI, który „widzi” zmarszczenie brwi i klasyfikuje je jako gniew, nie rozpoznaje emocji — tworzy interpretację opartą na statystycznych korelacjach wyuczonych na danych treningowych.

Poważność tego problemu potwierdzają dane empiryczne. Instytut AI Now w 2018 roku wskazał, że komercyjne systemy rozpoznawania emocji mają poważne luki metodologiczne i słabą trafność (AI Now Institute, 2018). Badania nad stronniczością algorytmów twarzowych pokazują z kolei, że systemy analizy ekspresji mogą wykazywać systematyczne różnice w dokładności w zależności od płci i koloru skóry osoby badanej, co oznacza, że model „emocji” jest de facto modelem emocji pewnego konkretnego, demograficznie ograniczonego wycinka ludzkości (Buolamwini & Gebru, 2018; Domnich & Anbarjafari, 2021). System nie rozpoznaje Twoich emocji, a bardziej rozpoznaje emocje kogoś, kto jest do Ciebie podobny w sposób, jaki uzna za istotny.

Od personalizacji do manipulacji — gdzie przebiega granica?

Samo rozpoznawanie emocji nie jest moralnie dobre, ani też nie jest z góry godne potępienia. Twierdzimy, że wiele zastosowań tej technologii ma charakter autentycznie pomocowy: system edukacyjny, który zauważa frustrację ucznia i proponuje dodatkowe objaśnienie; asystent głosowy, który w odpowiedzi na oznaki stresu upraszcza komunikaty; aplikacja wspierająca zdrowie psychiczne, która wykrywa pogorszenie nastroju i sugeruje kontakt ze specjalistą. W tych przypadkach wiedza o emocjach służy temu, u kogo się przejawiają i kogo dotyczą — użytkownikowi.

Problem zaczyna się wtedy, gdy ta sama wiedza zostaje skierowana ku innym celom. Badacz B.J. Fogg, twórca pojęcia captology (nauki o komputerach jako technologiach perswazji), już w 2003 roku pisał, że systemy komputerowe zaprojektowane z myślą o zmianie postaw i zachowań mają zarówno jasną, jak i ciemną stronę — i że granica między perswazją a manipulacją jest często kwestią intencji projektanta, a nie mechanizmu działania (Fogg, 2003). Dwie dekady później, w erze systemów AI potrafiących analizować emocje w czasie rzeczywistym, ta przestroga brzmi jeszcze bardziej aktualnie.

Pomocne jest tu myślenie o kontinuum obejmującym trzy poziomy. Pomoc — kiedy system wspiera użytkownika w realizacji jego własnych celów. Perswazja — kiedy próbuje skłonić go do określonego działania, ale czyni to transparentnie i pozostawia przestrzeń do świadomej decyzji. Manipulacja — kiedy wykorzystuje asymetrię wiedzy lub chwilową podatność emocjonalną, aby osiągnąć cel korzystny przede wszystkim dla operatora systemu, przy czym użytkownik nie jest w stanie dostrzec, że jest obiektem wpływu. Technicznie rzecz biorąc, wszystkie trzy operacje mogą opierać się na identycznych mechanizmach analizy emocji. Różnica tkwi wyłącznie w tym, czyim interesom służy adaptacja.

Wróćmy do przykładu z początku tekstu: platforma e-commerce, która wykrywa zmęczenie i wyświetla ofertę „ograniczoną czasowo” właśnie w tym momencie. Jest to klasyczny przypadek, w którym wiedza o emocjonalnej podatności użytkownika zostaje użyta jako dźwignia wpływu. Użytkownik nie wie, że jest zmęczony w sposób „widoczny” dla systemu. Nie wie, że właśnie dlatego widzi tę konkretną ofertę w tej konkretnej chwili. Nie może więc świadomie zdecydować, czy chce, żeby jego stan emocjonalny wpływał na prezentowane mu treści. Wydaje nam się, że to jest ta asymetria, która zmienia perswazję w manipulację.

Ekonomia uwagi i emocjonalna optymalizacja

Aby zrozumieć skalę problemu, trzeba wziąć pod uwagę bodźce, jakie rządzą współczesnymi platformami cyfrowymi. Shoshana Zuboff w swojej pracy The Age of Surveillance Capitalism opisuje model ekonomiczny, w którym dane o zachowaniach użytkowników stają się surowcem do przewidywania i kształtowania ich przyszłych działań (Zuboff, 2019). Dane emocjonalne są w tym modelu szczególnie cennym zasobem — emocje są jednym z najskuteczniejszych predyktorów działania.

Ważną obserwacją jest to, że w systemach optymalizowanych pod kątem zaangażowania i czasu spędzonego w aplikacji nie potrzeba koniecznie złej woli projektantów, żeby emocje stały się narzędziem. Wystarczy, że algorytm nagradzany jest za kliknięcia i czas oglądania. Treści wywołujące silne emocje — zwłaszcza gniew, lęk, oburzenie — naturalnie „wygrywają” w takiej optymalizacji, bo silne emocje napędzają reakcje. Algorytm czy model nie „chce” wywoływać negatywnych emocji; po prostu odkrywa, że to działa, i zaczyna promować takie treści. Badania opublikowane w PNAS Nexus (Milli et al., 2025) roku wskazują, że algorytm rekomendacyjny Twittera wzmacnia emocjonalnie naładowane, stronnicze treści w porównaniu z chronologicznym feedem i, co istotne, użytkownicy pytani o preferencje wybierają inaczej niż to, co algorytm im serwuje. To nie jest zgodność między preferencjami użytkownika a działaniem systemu — wręcz przeciwnie — ujawnia się tu rozbieżność.

Jednym z najlepszych dowodów, że platformy są zdolne do celowej manipulacji emocjonalnej na masową skalę, pozostaje eksperyment opisany przez Kramera, Guillory’ego i Hancocka w 2014 roku. W 2012 roku Facebook bez wiedzy swoich użytkowników zmodyfikował treści wyświetlane w aktualnościach blisko 700 tysięcy osób: część widziała mniej pozytywnych postów, część mniej negatywnych (Kramer et al., 2014). Wyniki wskazywały, że taka ingerencja w informacyjne środowisko użytkownika rzeczywiście wpływała na emocjonalne zabarwienie ich własnych publikacji. Gdy badanie stało się publiczne, wywołało burzę. Facebook bronił się, powołując się na regulamin, który użytkownicy zaakceptowali przy zakładaniu konta — jako, rzekomo, wystarczającą podstawę do przeprowadzenia eksperymentu na ich emocjach (WEB3). Redaktor naczelny PNAS opublikował specjalną notę wyrażającą zaniepokojenie zgodnością badania z zasadami świadomej zgody (Flick, 2016). Jeden z autorów publicznie przepraszał za niepokój, jaki wywołał artykuł — ale nie za sam eksperyment.

Ta sprawa jest ważna nie tylko jako anegdota sprzed kilkunastu lat. Pokazuje, że mechanizmy emocjonalnej ingerencji na masową skalę były technicznie możliwe i realnie stosowane już ponad dekadę temu, przy użyciu znacznie prostszych narzędzi niż te, którymi dziś dysponują systemy generatywnej AI.

A co jeśli algorytm się myli?

W dyskusjach o manipulacji emocjonalnej zwykle zakłada się milcząco, że system poprawnie rozpoznaje emocje użytkownika. To założenie jest jednak wątpliwe i ta wątpliwość otwiera dodatkowy wymiar problemu. Emocje są złożone, zależne od kontekstu rozmowy, kontekstu  kulturowego czy cech osobowych i podatne na błędną interpretację. Ironia może zostać odczytana jako agresja. Zmęczenie może zostać zaklasyfikowane jako smutek. Krótkie, rzeczowe odpowiedzi mogą wynikać z pośpiechu, a nie frustracji. Cisza może oznaczać skupienie lub roztargnienie w równym stopniu.

Konsekwencje błędnej klasyfikacji mogą być poważne i różnią się w zależności od kontekstu zastosowania. System edukacyjny, który błędnie ocenia poziom zaangażowania ucznia, może podejmować nieadekwatne interwencje pedagogiczne. Aplikacja wspierająca zdrowie psychiczne, która interpretuje ironiczny komentarz jako wyraz realnego kryzysu, może generować reakcje wzmacniające niepokój zamiast go łagodzić. Platforma rekrutacyjna oceniająca kandydata na podstawie wyrazu twarzy w trakcie wideo-rozmowy może dyskryminować osoby z odmiennymi sposobami wyrażania emocji lub po prostu reprezentujące kulturę, w której konwencje ekspresji wyglądają inaczej.

Kto ponosi odpowiedzialność za błędne rozpoznanie emocji i niefortunne, być może szkodliwe, decyzje podjęte z tego powodu? Projektant modelu, który nie przewidział, że skupienie wygląda jak stres? Operator platformy, który wdrożył system bez odpowiedniej walidacji? Instytucja, która zgodziła się na jego stosowanie? Obecne regulacje prawne nie dają jednoznacznej odpowiedzi – a to samo w sobie jest istotną obserwacją etyczną. Odpowiedzialność rozpływa się między kolejne ogniwa łańcucha, a człowiek, którego dotyczy błąd, pozostaje bez skutecznego środka odwoławczego, gdyby taki był potrzebny.

Co więcej, brak złej woli po stronie projektanta nie jest argumentem zwalniającym z odpowiedzialności moralnej. Czy nie prawdą jest, że przewidywalność szkody nakłada obowiązek jej zapobiegania? Jeśli wiadomo, że systemy rozpoznawania emocji mają określony poziom błędu i że błędy te są nierównomiernie rozłożone między różne grupy demograficzne, to wdrożenie takiego systemu w kontekście wysokiej stawki (edukacja, rekrutacja, opieka zdrowotna) jest świadomym wyborem, nie niewinną pomyłką.

Paradoks polega na tym, że nawet system zaprojektowany z jak najlepszymi intencjami może ograniczać autonomię użytkownika, jeśli jego model emocji jest błędny. Decyzje podejmowane przez algorytm na podstawie błędnych założeń dotyczących stanu psychicznego człowieka wpływają na rzeczywistość tego człowieka — czasem bez jego wiedzy i bez możliwości korekty, zależnie od projektu systemu. Z perspektywy użytkownika nie ma znaczenia, czy system go świadomie manipuluje, czy po prostu myli się z konsekwencjami — skutek jest podobny: środowisko informacyjne, w którym funkcjonuje, zostało ukształtowane w oparciu o coś, czego on sam nie czuje.

Jak chronić autonomię użytkownika?

Skoro całkowity zakaz analizy emocji byłby zarówno nierealistyczny, jak i potencjalnie szkodliwy dla zastosowań autentycznie użytecznych, pytaniem staje się: jak oddzielić zastosowania dozwolone od tych, które powinny być zakazane lub ściśle regulowane? Proponujemy tu koncepcję zestawu rozwiązań technicznych i organizacyjnych stanowiących warstwę pośrednią między modułem analizy emocji a systemem decyzyjnym.

Pierwszy filar to rozróżnienie dozwolonych i niedozwolonych zastosowań danych emocjonalnych. Dane te mogłyby być używane w celach edukacyjnych, terapeutycznych i służących poprawie dostępności — a więc wszędzie tam, gdzie adaptacja służy celom użytkownika. Natomiast zakazane byłoby ich wykorzystywanie do dynamicznego ustalania cen, oceny zdolności kredytowej, podejmowania decyzji rekrutacyjnych oraz wszelkich form mikrotargetowania. To nie jest tylko nasze myślenie życzeniowe, bo europejskie prawo wydaje się zmierzać właśnie w tym kierunku. Artificial Intelligence Act, który wszedł w życie w sierpniu 2024 roku, zakazuje od lutego 2025 roku stosowania systemów rozpoznawania emocji w miejscu pracy i placówkach edukacyjnych, z wyjątkiem celów medycznych i bezpieczeństwa (European Union, 2024). Naruszenie tego zakazu grozi karą do 35 milionów euro lub 7% globalnego obrotu firmy (WEB1). To krytycznie ważny precedens: prawodawstwo uznaje, że kontekst użycia technologii emocjonalnej ma fundamentalne znaczenie etyczne.

Drugi filar to przejrzystość w czasie rzeczywistym, w myśl zasady transparentności zaproponowanej przez OECD (WEB2). Użytkownik powinien wiedzieć, kiedy i w jaki sposób analiza emocjonalna wpływa na treści, które widzi, lub na sposób działania interfejsu. Pewną inspiracją mogłaby być tu znana z prawa europejskiego zgoda na pliki cookie — z tą różnicą, że komunikat dotyczyłby adaptacji emocjonalnej. Przykładowy komunikat interfejsu mógłby wyglądać następująco:

„Na podstawie wzorców Twojej interakcji system ocenił, że możesz być zmęczony. Interfejs został uproszczony. Możesz wyłączyć tę funkcję w Ustawieniach → Personalizacja → Adaptacja emocjonalna.”

Taki komunikat spełnia kilka funkcji jednocześnie: informuje użytkownika, umożliwia mu podjęcie świadomej decyzji i — co ważne — zmusza operatora systemu do jawności wobec własnych algorytmów. Platformy, które dziś nie musiałyby ujawniać, że stosują analizę emocjonalną, nagle stają przed pytaniem: czy jesteśmy gotowi powiedzieć to naszym użytkownikom wprost?

Trzecim filarem jest prawo do emocjonalnego opt-out — możliwość wyłączenia adaptacji emocjonalnej bez utraty dostępu do usługi i bez ukrytych konsekwencji (np. pogorszenia jakości rekomendacji). Analogia do funkcji „nie śledź” w przeglądarkach internetowych jest tu trafna, choć historia tego mechanizmu pokazuje, że dobrowolne standardy bez egzekucji prawnej mają ograniczoną skuteczność. Dlatego prawo do opt-out musi być egzekwowalne i niewarunkowe.

Na poziomie organizacyjnym warto rozważyć model audytów algorytmicznych, analogiczny do audytów finansowych. Niezależny podmiot zewnętrzny miałby dostęp do dokumentacji dotyczącej tego, jakie dane emocjonalne są zbierane, w jaki sposób klasyfikowane i do jakich celów używane. Zasada działania jest prosta: jeśli firma nie jest w stanie wyjaśnić audytorowi, w jaki sposób dane emocjonalne wpływają na decyzje systemu, powinna mieć zakaz ich stosowania.

Konkluzja?

Emocje to ważny sposób, w jaki ludzie wyrażają siebie wobec innych. Stają się teraz językiem, który odczytują — z różnym stopniem dokładności, ale z rosnącą precyzją — maszyny. Sam fakt odczytywania nie jest problemem. Problem zaczyna się wtedy, gdy wiedza o emocjach zostaje skierowana nie ku człowiekowi, który je przeżywa, lecz ku komuś, kto chce na nich zarobić lub przez nie wpłynąć. Kluczowe pytanie nie brzmi już: „czy AI potrafi rozpoznawać emocje?”. Brzmi: „komu służy ta wiedza i jakie granice powinniśmy jej wyznaczyć?”. I tu zaczynają się podziały, które nie dają się rozstrzygnąć czysto technicznie ani prawnie.

Utylitaryzm podpowiadałby, że adaptacja emocjonalna jest etycznie uzasadniona, o ile w ogólnym rozrachunku zwiększyłaby dobrostan użytkowników – jeśli więcej osób skorzysta na spersonalizowanej pomocy, niż ucierpi na manipulacji. To podejście ma swoją siłę, ale ma też poważną słabość: kto i jak miałby ten rachunek przeprowadzić? Kto decyduje, że korzyści dla większości usprawiedliwiają naruszenie autonomii mniejszości? A może używanie wiedzy o czyichś emocjach jako dźwigni wpływu – nawet w dobrej wierze, nawet z pozytywnym skutkiem – traktuje człowieka jako środek do celu, nie jako cel sam w sobie? Z tej perspektywy problem nie leży w skutkach adaptacji emocjonalnej, lecz w samej jej strukturze: w tym, że działa za plecami użytkownika, bez jego świadomej zgody, na podstawie czegoś tak intymnego jak stan emocjonalny.

Żadne z tych stanowisk nie daje gotowej odpowiedzi na pytanie, jak projektować systemy AI jutro, ale razem wyznaczają napięcie, z którym projektanci, regulatorzy i użytkownicy będą musieli się zmierzyć: między efektywnością a autonomią, między personalizacją a prywatnością, między tym, co działa, a tym, co jest dozwolone. Czy projektując system, który adaptuje się do emocji użytkownika, można być moralnie neutralnym? To pytanie warto zabrać ze sobą – szczególnie jeśli za kilka lat będziesz po drugiej stronie tego systemu, jako jego twórca.

Literatura

Barrett, L. F. (2017). How emotions are made: The secret life of the brain. Pan Macmillan.

Buolamwini, J., & Gebru, T. (2018, January). Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on fairness, accountability and transparency (pp. 77-91). PMLR.

Domnich, A., & Anbarjafari, G. (2021). Responsible AI: Gender bias assessment in emotion recognition. arXiv preprint arXiv:2103.11436.

Milli, S., Carroll, M., Wang, Y., Pandey, S., Zhao, S., & Dragan, A. D. (2025). Engagement, user satisfaction, and the amplification of divisive content on social media. PNAS nexus, 4(3), pgaf062.

Flick, C. (2016). Informed consent and the Facebook emotional manipulation study. Research Ethics, 12(1), 14-28.

Fogg, B. J. (2002). Persuasive technology: using computers to change what we think and do. Ubiquity, 2002(December), 2.

Kramer, A. D., Guillory, J. E., & Hancock, J. T. (2014). Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, 111(24), 8788-8790.

Picard, R. W. (2000). Affective computing. MIT press.

Zuboff, S. (2019). The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs.

Źródła internetowe

(WEB1) European Commission — EU AI Act, prohibited practices (Article 5). https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

(WEB2) OECD AI Principles. https://oecd.ai/en/ai-principles

(WEB3) EPIC — In re: Facebook (Psychological Study). https://epic.org/documents/in-re-facebook-psychological-study/