Jest przyjemny wiosenny wieczór, który spędzasz oglądając ulubiony serial na Netflixie. Nagle rozlega się dźwięk telefonu, odbierasz i słyszysz beznamiętny głos w słuchawce opowiadający mechanicznym głosem o nowej ofercie operatora sieci komórkowej. Rozłączasz się i słyszysz jak asystent głosowy bezdusznie stwierdza, że wygrałeś sto milionów w Lotto. Ton jego głosu odbiera Ci całą radość z wygranej. Czy świat naprawdę musi być taki pozbawiony emocji?

Czym jest affective computing?

Mogło by się wydawać, że emocje to coś, co nie ma wiele wspólnego z nauką. Naukowe twierdzenia istotnie są wyprowadzane z racjonalnego myślenia, logicznych argumentów, testowalnych hipotez oraz powtarzalnych eksperymentów. Jednakże przy pomocy sprytnych algorytmów maszyny mogą z powodzeniem rozpoznawać, interpretować, przetwarzać a nawet naśladować ludzkie emocje. Tymi właśnie zagadnieniami zajmuje się „affective computing”.

Pomimo tego, iż początków tej dziedziny można doszukać się we wczesnych filozoficznych rozważaniach, w nowoczesnym rozumieniu informatycznym została ona opisana w artykule Rosalind Picard z 1995 roku [1], a więc jest to stosunkowo nowa dziedzina nauki.

Rosalind Picard i affective computing

Autorka artykułu „Affective Computing” z 1995 roku przedstawiła w swojej pracy szereg dowodów na to, że emocji grają kluczową rolę nie tylko w racjonalnym myśleniu, ale także w podejmowaniu decyzji przez człowieka. Co więcej, Rosalind Picard stwierdza, że komputery, które mają wchodzić w interakcje z ludźmi powinny być w stanie przynajmniej poprawnie rozpoznawać i wyrażać emocje. Jednym z przykładów podanych przez autorkę jest stworzenie robota, który ma za zadanie efektywnie uczyć gry na pianinie. Twierdzi ona między innymi, iż skuteczny nauczyciel powinien wyrażać swoim zachowaniem entuzjazm, w celu zarażenia nim ucznia. Ma skutkować w szybszym i lepszym przyswajaniu nowej wiedzy, gdyż znudzony uczeń nigdy nie nauczy się tyle, co zafascynowany uczeń. Istotnie trudno sobie wyobrazić skupionych studentów na wykładzie prowadzącego, który opowiada o przedmiocie bez przekonania i z kamienną twarzą. Takie zdanie podziela właśnie autorka artykułu „Affective Computing”.

Warto również dodać, iż porusza ona temat związany z potencjalnymi zagrożeniami wynikającymi z affective computing. Są to między innymi manipulacje emocjonalne, a także nieprzewidywalne zachowania maszyn wynikające między innymi ze strachu, czy też lęku. O ile autorka zdaje się zaniedbywać pierwszą z wymienionych obaw, drugą z nich ilustruje poprzez przywołanie historii komputera zwanego „HAL” pochodzącej z Odysei Kosmicznej Kubricka. Komputer odczuwał emocje i w wyniku lęku przed odłączeniem od zasilania zdecydował się zabić się członków załogi kosmicznej.

Kolejną istotnym aspektem artykułu jest podział komputerów na 4 klasy:

• Te które nie potrafią ani postrzegać, ani wyrażać emocji
• Te które potrafią postrzegać, ale nie potrafią wyrażać emocji
• Te które potrafią wyrażać, ale nie potrafią postrzegać emocji
• Te które potrafią zarówno postrzegać, jak i wyrażać emocje.

Zdaniem autorki zdecydowana większość komputerów zalicza się do tej pierwszej klasy, co nieznacznie zmieniło się od 1995 roku i wciąż nie wszystkie komputery są wyposażone w moduły przeznaczone do analizy emocji.

Postrzeganie emocji przez maszyny

Rozpoznawania ludzkich emocji może zostać z powodzeniem zaadoptowane w wielu różnych aspektach życia. Poniżej znajduje się kilka przykładów działających produktów oraz pomysłów, które mogą zrewolucjonizować affective computing w najbliższej przyszłości.

Marketing

Oprócz pobudek związanych z altruizmem, affective computing jest również rozwijany w celu maksymalizacji dochodów firm z szerokiego wachlarza branż. Pierwszym z przykładów takiego działania są produkty firmy Affectiva. Affdex [2] jest programem, który pomaga reklamodawcom i marketerom wideo gromadzić mimikę twarzy podczas oglądania filmu. Dane zgromadzone przez Affdex są następnie analizowane przy pomocy bazy danych emocji, co ma skutkować wzrostem sprzedaży, rozpoznawalności marki i nie tylko. Aplikacja wskazuje poziom zaangażowania użytkownika oraz rozpoznaje emocje na podstawie zdjęć wyrazu twarzy pochodzących z kamerki internetowej. Oprócz czysto marketingowych zastosowań, tego typu software może być również wykorzystany do zwiększenia efektywności uczelnianych zajęć prowadzonych w sposób zdalny. Nauczyciel mógłby przykładowo otrzymywać raport z informacją jak bardzo zainteresowani są uczniowie i reagować w czasie rzeczywistym lub też zmodyfikować odpowiednio plan lekcji w przyszłości. Nasuwa się tu również pomysł, iż platformy e-learningowe mogłyby dostosowywać rodzaj treści na podstawie poziomu zaangażowaniu użytkownika. Na przykład, jeśli użytkownik jest znudzony czytaniem długich rozpraw naukowych, platforma mogłaby zacząć sugerować czytanie krótszych i bardziej popularno-naukowych pozycji.

Podobnym produktem jest rozwiąznie firmy Realeyes [3], które również wykorzystuje widzenie komputerowe, kamery internetowe i sztuczną inteligencję do analizowania mimiki widza podczas oglądania filmów. Firma chwali się na swojej stronie internetowej współpracą z takimi markami jak Coca-Cola, Nestle, Warner Bros, eBay, czy też Mars. Produkty tej firmy pozwalają między innymi na analizę tego, które reklamy wideo wywołują odpowiednie emocji i zaangażowanie, a także jak radzą sobie w stosunku do konkurencji rynkowej.

 

Medycyna

Affective computing jest również istotnym aspektem w rozwoju aplikacji medycznych. Przykładem takich działań jest Izraelski start-up BeyondVerbal założony w 2012 roku [4]. Ich głównym przedsięwzięciem jest stworzenie aplikacji, która będzie w stanie analizować biomarkery wokalne (czyli wzorce wokalne takie jak wysokość dźwięku, ton, rytm, głośność, czy tempo) w celu przewidywania emocji, ale również i schorzeń. Mając do dyspozycji takie predykcje, sztuczna inteligencja może podjąć odpowiednie działania np. zasugerować kontakt z odpowiednim lekarzem bądź też psychologiem, a także podjąć bezpośrednią próbę poprawienia humoru.

Kolejnym fascynującym wynalazkiem jest BioEssence [5] stworzone przez MIT Media Lab. BioEssence to urządzenie, które uwalnia zapachy w odpowiedzi na stan fizjologiczny właściciela. Urządzenie należy do kategorii „wearable”, czyli może być noszone przy boku człowieka jak np. zegarek, czy naszyjnik. Co ciekawe, BioEssence analizuje wibracje związane z biciem serca oraz oddychaniem i jeśli wykryje zmiany wynikające z narastającej frustracji, czy stresu reaguje na nie wydzielając rozluźniający zapach. Aktualnie obsługiwane są 3 różne zapachy.

Obsługa klienta

Zapewne każdy z nas był kiedyś rozdrażniony z powodu niechcianego telefonu z call-center. Ale czy takie połączenia zawsze muszą być udręką? Takie pytanie zadała sobie firma Cogito [6], która stworzyła oprogramowanie rozpoznające emocje odbiorcy, w celu dostosowania sposobu przekazywania treści. Na przykład, gdy rozmówca jest sfrustrowany, oprogramowanie podpowiada jak zmodyfikować ton głosu, czy też tempo mówienia w celu obniżenia poziomu frustracji potencjalnego klienta. Gdy program oferowany przez Cogito odnotuje, że coś idzie źle, natychmiast wyświetla sugestie na komputerze pracownika obsługi klienta. Takie rozwiązanie zostało zaadaptowane przez gigantów takich jak Humana, czy MetLife. Być może dzięki tego typu rozwiązaniom, użytkownicy telefonów komórkowych przestaną w przyszłości obawiać się telefonów z call-center.

https://www.youtube.com/watch?v=DHoCOsVgEJ4&ab_channel=CogitoCorporation

Transport

Według badań, stres występujący u kierowcy zwiększa ryzyko wypadku samochodowego [7].  Co więcej, w ostatnich latach rośnie poziom stresu chronicznego, co jest częściowo efektem ubocznym postępu [8]. Rozpoznawanie stresu u kierowców staje się zatem coraz bardziej istotne. Aby zaradzić temu problemowi, a tym samym zmniejszyć ilość wypadków drogowych, powstają systemy rozpoznawania poziomu stresu u kierowców. Przykład takiego przedsięwzięcia został opisany w “Automatic driver stress level classification using multimodal deep learning” [9]. Badacze wykorzystali multimodalne dane, w tym sygnały EKG, dane pojazdu (np. z kierownicy, pedału hamulca) oraz dane kontekstowe (np. warunki pogodowe i inne czynniki otoczenia), w celu zbudowania modelu opartego o konwolucyjne sieci neuronowe oraz jednostki LSTM. LSTM zostało użyte do analizy danych pochodzących z EKG. Jest to jedna z typowych metod do przewidywania szeregów czasowych, gdyż dane z EKG są właśnie w ten sposób klasyfikowane. Wytrenowany model został przetestowany na symulatorze jazdy. Poziom stresu został zaklasyfikowany poprawnie dla ponad 90% próbek, co jest całkiem satysfakcjonującym wynikiem.

Oczywiście teoria naukowa jest często motorem transformacji na rynkach, ale czy producenci samochodów naprawdę interesują się odkryciami związanymi z affective computing? Odpowiedź to: oczywiście, że tak! Weźmy przykład współpracy Toyoty z SRI International [10]. SRI opracowało technologię, która może wykrywać mieszankę niewerbalnych sygnałów od kierowców. Sztuczna inteligencja wychwytuje zachowania, takie jak rozmowa przez telefon i miejsce, w które spogląda kierowca, a także bardziej subtelne oznaki ruchu oczu i głowy oraz wzorce mrugania. Na podstawie tego, co obserwuje SRI twierdzi, że sztuczna inteligencja może określić nastrój i stan czuwania kierowcy oraz proaktywnie działać, tudzież interweniować. Na przykład kierowca, który wygląda na zmęczonego lub jest bliski zaśnięcia za kierownicą, może otrzymać podmuch zimnego powietrza w twarz, głośny dźwięk odtwarzany przez głośniki samochodu, a nawet asystent głosowy może zasugerować zatrzymanie się, zanim narazi na niebezpieczeństwo siebie i innych. W sprawach nie będących sprawami życia i śmierci, jeśli sztuczna inteligencja oceni, że kierowca jest smutny, może zasugerować bardziej malowniczą trasę, aby go rozweselić. Toyota postanowiła zintegrować system opracowany przez SRI w swoim koncepcyjnym samochodzie LQ zaprezentowanym w 2020 roku. Nie jest on jednak aktualnie dostępny na sprzedaż.

https://www.youtube.com/watch?v=5c4gJdeBKrQ&ab_channel=UPHIGHProductions

Maszyny wyrażające emocje

Zgodnie z obserwacją Rosalind Picard, urządzenia mogą nie tylko analizować emocje, ale również je aktywnie wyrażać [11]. W jaki sposób nasze maszyny mogą to zrobić? Alexa na przykład jest w stanie wyrazić emocje poprzez odpowiednie modulowanie głosu. W 2019 roku Amazon zaprezentował 2 nowe tony głosu Alexy mówiącej w języku angielskim – „excited” oraz „dissapointed”. Oba tony są dostępne w 3 różnych intensywnościach (niska, średnia i wysoka). Technologia ta jest napędzana poprzez neuronowe syntezatory mowy zbudowane przez Amazon. Więcej na ten temat można znaleźć w “Neural text-to-speech makes speech synthesizers much more versatile” [12]. Rozwiązanie to jest również dostępne dla developerów poprzez platformę Alexa Skills.

 

Poza okazywaniem emocji poprzez intonację, maszyny mogą je również wyrażać przez wyraz twarzy (o ile takową posiadają). Przykładem takiego zachowania jest humanoidalny robot Sophia [13]. Jest to przykład robota społecznego, który potrafi nie tylko wyrażać emocje poprzez mimikę twarzy, ale także rozpoznawać emocje rozmówcy. W tym celu Sophia wykorzystuje wytrenowany model sieci konwolucyjnej. Co więcej, Sophia może robić miny za pomocą kabli sterowanych silnikiem podłączonych do kilku miejsc pod elastyczną, podobną do ludzkiej, gumową skórą, która symuluje prawdziwą muskulaturę twarzy. Animacje twarzy Sophii są uruchamiane przez oprogramowanie w odpowiedzi na ludzką ekspresję wykrytą przez model sieci neuronowej.

Czy maszyny naprawdę mogą posiadać emocje?

W 2015 roku w kinach odtwarzany był film pod tytułem „Ex Machina”, w którym przedstawiono pewną relację pomiędzy człowiekiem, a humanoidem – Avą. Główny bohater wierzył, że robot jest nim równie zainteresowany, co on Avą, ale czy to to w ogóle jest możliwe? Czy robot naprawdę może się zakochać, być szczęśliwy, nawiązać prawdziwą relację? Podobne motywy można napotkać w szeregu innych filmów oraz seriali z gatunku science fiction, np. C3PO w Star Wars, czy też Skynet w Terminatorze.

Warto zauważyć, iż wszystkie produkty oraz pomysły zaprezentowane w poprzednich sekcjach są oparte w pewnym stopniu o uczenie maszynowe, bądź też zaprogramowane w „tradycyjny” sposób. Oznacza to, iż żadne z tych rozwiązań nie reprezentuje tego samego rodzaju inteligencji, co człowiek. Uczenie maszynowe jest jedynie aproksymacją pewnych funkcji matematycznych. Nasza współczesna sztuczna inteligencja to po prostu zbiór skomplikowanych funkcji, których współczynniki zależą od danych zaprezentowanych modelowi uczenia. Czy wyniki takich funkcji możemy uznać za prawdziwe uczucia? To pytanie pozwolę sobie pozostawić otwartym.

 

Realne zagrożenia związane z affective computing

Emocje to sprawa bardzo subiektywna, a zatem narażona na tendencyjność i uprzedzenia. Co więcej, uczenie maszynowe jest często narażone na uprzedzenia, które wynikają już z samego zbioru danych. Kilka przykładów takiego „bias-u” zostało zaprezentowanych w “Bias in Machine Learning Software: Why? How? What to Do?” [14]. Autor wymienia między innymi przykład związany z negatywnym wpływem płci na zatrudnienie. Przekładając to na affective computing, możemy doświadczyć np. takiego zachowania systemu, w którym osoby należące do jednej rasy będą częściej klasyfikowane jako osoby smutne, niż osoby reprezentujące inną rasę. Gdyby taki system został wykorzystany w środowisku pracy, osoby klasyfikowane jako te usposobione w sposób negatywny mogły by mieć problem z rozwojem kariery. Podobny problem mógłby wystąpić w szkole, gdzie różni uczniowie mogą mieć różne style nauki, a sztuczna inteligencja może przejawiać tendencyjność na przykład w kierunku faworyzowania uczniów, którzy uczą się głównie poprzez powtarzanie na głos. Taki „bias” może sprawić, iż AI uzna uczniów będących kinestetykami za zbyt mało zaangażowanych.

Kolejnym problemem jest fakt, iż modele oparte o uczenie maszynowe nie mają prawie nigdy 100% skuteczności, a zatem mogą błędnie rozpoznawać emocje. W systemie takim jak np. Cogito, może to doprowadzić do sytuacji, w której pracownik call center jest instruowany w niepoprawny sposób, a tym samym może wywołać nieprzewidziane negatywne emocje u potencjalnego klienta. Jeśli będzie się to zdarzać wystarczająco często, firma może stracić wiele pieniędzy.

Warto tutaj raz jeszcze przywołać spostrzeżenie Rosalind Picard, iż robot wyposażony w emocje, może w wyrafinowany sposób zmanipulować człowieka. Przykładowo hipotetyczny system AI zdolny do wyrażania emocji, który zastąpiłby pracowników call center, mógłby tak pokierować rozmową, iż klient zgodzi się przyjąć niekorzystne dla siebie warunki umowy zawartej przez telefon.

 

Podsumowanie

Dalszy rozwój affective computing może zaowocować w powstaniu wielu systemów, które będą z nami współpracować w bardziej “ludzki” sposób. Takie systemy pomogą nam w codziennych czynnościach jak prowadzenie samochody, nauka, czy praca. Pomimo tego, że człowiek od początku rewolucji przemysłowej jest otoczony żelaznymi maszynami, które wyręczają go w coraz to większej ilości czynności, nigdy wcześniej nie było perspektyw na to, aby te maszyny komunikowały się z nami niczym ludzie. Ostatecznie może się to pozytywnie przyczynić do poprawy ogólnego stanu zdrowia psychicznego ludzi. Warto jednak pamiętać, iż affective computing może pociągać za sobą również wiele zagrożeń, a zatem rozwiązania z tej dziedziny należy wdrażać niezwykle ostrożnie.

 

Bibliografia

1. Picard, R. W. (1997). Affective Computing (Second Edition 1998 ed.). The MIT Press.
2. Bishay, M., Preston, K., Strafuss, M., Page, G., Turcot, J., & Mavadati, M. (2022). AFFDEX 2.0: A Real-Time Facial Expression Analysis Toolkit. doi:10.48550/ARXIV.2202.12059
3. Realeyesit. www.realeyesit.com. https://www.realeyesit.com/
4. BeyondVerbal. www.linkedin.com. https://www.linkedin.com/company/beyond-verbal-communication/about/
5. Amores, J., Hernandez, J., Dementyev, A., Wang, X., & Maes, P. (2018). BioEssence: A Wearable Olfactory Display that Monitors Cardio-respiratory Information to Support Mental Wellbeing. 2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). https://doi.org/10.1109/embc.2018.8513221
6. This AI Software Is “Coaching” Customer Service Workers. Soon It Could Be Bossing You Around, Too. (2019). Time. https://time.com/5610094/cogito-ai-artificial-intelligence/
7. Stress A Rising Cause Of Vehicle Crashes, Says Study. (2022). Gmauthority. https://gmauthority.com/blog/2022/04/stress-a-rising-cause-of-vehicle-crashes-says-study/
8. Współczesny rytm życia 24/7 a potrzeby wewnętrzne organizmu. (2020). Psychologia w Praktyce. https://psychologiawpraktyce.pl/artykul/wspolczesny-rytm-zycia-24-7-a-potrzeby-wewnetrzne-organizmu
9. Rastgoo, M. N., Nakisa, B., Maire, F., Rakotonirainy, A., & Chandran, V. (2019). Automatic driver stress level classification using multimodal deep learning. Expert Systems with Applications, 138, 112793. https://doi.org/10.1016/j.eswa.2019.07.010
10. SRI and Toyota Debut Proactive ‘Emotional AI’ for Cars. (2019). voicebot.ai. https://voicebot.ai/2019/10/31/sri-and-toyota-debut-proactive-emotional-ai-for-cars/
11. Use New Alexa Emotions and Speaking Styles to Create a More Natural and Intuitive Voice Experience. (2019). Amazon. https://developer.amazon.com/en-US/blogs/alexa/alexa-skills-kit/2019/11/new-alexa-emotions-and-speaking-styles
12. Lorenzo-Trueba, J., & Klimkov, V. (2019). Neural text-to-speech makes speech synthesizers much more versatile.
13. The Making of Sophia: Facial Recognition, Expressions and the Loving AI Project. (2019). Hanson Robotics. https://www.hansonrobotics.com/the-making-of-sophia-facial-recognition-expressions-and-the-loving-ai-project/
14. Chakraborty, J., Majumder, S., & Menzies, T. (2021, Αύγουστος). Bias in machine learning software: why? how? what to do? Proceedings of the 29th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering. doi:10.1145/3468264.3468537