W ostatnich latach, Affective computing i widzenie komputerowe stały się obszarem intensywnych badań i rozwoju. Dzięki zastosowaniu zaawansowanych algorytmów uczenia maszynowego, technologie te umożliwiają komputerom rozpoznawanie, analizę i interpretację emocji wyrażanych przez ludzi. Jednym z najciekawszych aspektów jest automatyczne odczytywanie mikroekspresji twarzy, czyli bardzo subtelnych i krótkotrwałych ruchów mięśni, które mogą dostarczyć istotnych informacji. W tym artykule przeanalizujemy różne aspekty Affective computing i widzenia komputerowego, skupiając się na technologiach, możliwościach, ograniczeniach i zastosowaniach. Przedstawimy najnowsze badania i trendy w tej dziedzinie oraz zastanowimy się nad potencjalnymi implikacjami i przyszłością rozwoju tej fascynującej dziedziny technologicznej.

Wprowadzenie do Affective Computing i widzenia komputerowego

Affective Computing i widzenie komputerowe to obszary badawcze, które łączą sztuczną inteligencję i analizę obrazu w celu rozpoznawania i interpretacji emocji ludzkich. Affective Computing odnosi się do rozwoju technologii i systemów, które są w stanie rozpoznawać, analizować i odpowiednio reagować na emocje wyrażane przez ludzi. Z kolei widzenie komputerowe skupia się na rozwijaniu algorytmów i technik, które umożliwiają komputerom analizę i interpretację obrazów, w tym twarzy ludzkich.

Wykorzystując technologie sztucznej inteligencji, takie jak uczenie maszynowe i głębokie sieci neuronowe, Affective Computing i widzenie komputerowe mają na celu zwiększenie naszego zrozumienia emocji oraz doskonalenie interakcji między ludźmi a komputerami. Poprzez automatyczne odczytywanie mikroekspresji twarzy, czyli subtelnych ruchów mięśni twarzy, możliwe staje się identyfikowanie i analizowanie stanów emocjonalnych, takich jak radość, smutek, zaskoczenie czy gniew.

Wdrażanie technologii Affective Computing i widzenia komputerowego wiąże się z szerokim zakresem zastosowań, takich jak personalizacja interfejsów użytkownika, lepsza analiza zachowań konsumentów, diagnozowanie zaburzeń emocjonalnych czy udoskonalanie systemów komunikacji człowiek-komputer. Jednak istnieją również wyzwania, takie jak zróżnicowanie kulturowe w wyrażaniu emocji, ograniczenia dokładności interpretacji czy kwestie prywatności.

Co to są mikroekspresje?

W pierwszej kolejności należy zadać sobie pytanie, co to w ogóle są mikroekspreje? A więc, mikroekspresje to ulotna i mimowolna mimika twarzy, która pojawia się w sytuacjach wysokiego ryzyka, gdy ludzie próbują ukryć lub zamaskować swoje prawdziwe uczucia. Mikroekspresje są ważne, ponieważ mogą dostarczyć cennych informacji na temat stanu emocjonalnego, intencji i postaw danej osoby. Mogą ujawnić emocje, które dana osoba może próbować ukryć, takie jak strach, złość lub wstręt. Informacje te mogą być przydatne w różnych dziedzinach, takich jak psychologia, gdzie mikroekspresje mogą pomóc terapeutom lepiej zrozumieć stany emocjonalne pacjentów i odpowiednio dostosować leczenie. W bezpieczeństwie i egzekwowaniu prawa analiza mikroekspresji może pomóc w wykryciu oszustwa lub podejrzanego zachowania. Ponadto postępy w automatycznej analizie mikroekspresji mogą potencjalnie przynieść korzyści w obszarach takich jak interakcja człowiek-komputer i wirtualna rzeczywistość, umożliwiając tworzenie bardziej realistycznych i responsywnych awatarów. Jednakże mikroekspresje są zbyt krótkie i subtelne, aby mogły je dostrzec ludzkie oczy, dlatego do automatycznej analizy potrzebne są metody widzenia komputerowego i uczenia maszynowego.

 

Automatyczne odczytywanie emocji z mikroekspresji twarzy: Technologie i narzędzia

Aby móc automatycznie wykrywać emocje musimy skupić się na kilku podstawowych krokach. W pierwszej kolejności należy skupić się na wykryciu twarzy. Do tego celu wideo lub obraz jest analizowany, aby znaleźć pozycje twarzy. Najbardziej popularnym rozwiązaniem aby to osiągnąć jest zastosowanie algorytmu klasyfikatora kaskadowego Viola-Jonesa. Przykładowo ta technologia jest obecna w aparatach iPhone’ów lub smartfonów z systemem Android. Wynikiem jest ramka, która otacza wykrytą twarz.

Kolejnym ważnym elementem jest detekcja cech. W wykrytej twarzy identyfikowane są cechy takie jak oczy, kąciki oczu, brwi, kąciki ust, koniuszek nosa itp. Następnie model twarzy wewnątrz ramki jest dostosowywany pod względem pozycji, wielkości i skali, aby pasował do rzeczywistej twarzy badanego. Można to sobie wyobrazić jak niewidoczną wirtualną siatkę, która jest nakładana na twarz badanego: kiedy twarz badanego się porusza lub zmienia wyraz twarzy, model twarzy natychmiast się dostosowuje i podąża za tymi zmianami. Jak wskazuje nazwa, model twarzy jest uproszczoną wersją rzeczywistej twarzy badanego. Posiada znacznie mniej szczegółów (tzw. cech) w porównaniu do rzeczywistej twarzy, ale zawiera dokładnie te cechy twarzy, które są potrzebne do wykonania zadania. Przykładowymi cechami są pojedyncze punkty charakterystyczne (kąciki brwi, kąciki ust, koniuszek nosa) oraz grupy cech (całe usta, cała łuk brwi itp.), odzwierciedlające całość obszaru twarzy.

Finalnym momentem wykrywania emocji jest klasyfikacja cech. W momencie kiedy dostępny jest uproszczony model twarzy, informacje dotyczące pozycji i orientacji wszystkich kluczowych cech są przekazywane jako dane wejściowe do algorytmów klasyfikacji, które przekształcają te cechy na kody jednostek akcji, stany emocjonalne i inne metryki afektywne.

 

Przykładowymi rozwiązaniami komerycyjnymi do wykrywania mikroekspresji są:

1. Emotient FACET
   • pozwala na wykrywanie emocji przy różnych orientacjach głowy (np. odchylenie do tyłu, przechylenie)
   • korzysta z 6 punktów orientacyjnych twarzy(ang. landmarks)
   • wykrywa 7 podstawowych emocji
   • rozpoznaje płeć respondenta oraz to czy nosi okulary
2. Affectiva AFFDEX
   • pozwala na wykrywanie emocji przy różnych orientacjach głowy (np. odchylenie do tyłu, przechylenie)
   • korzysta z 34 punktów orientacyjnych twarzy
   • wykrywa 7 podstawowych emocji oraz to czy respondent utrzymuje uwagę
3. Noldus FaceReader
   • pozwala na wykrywanie emocji przy różnych orientacjach głowy (np. odchylenie do tyłu, przechylenie)
   • 7 podstawowych emocji oraz pogarda i pobudzenie

Wyzwania związane z wykrywaniem mikroekspresji

Wykrywanie mikroekspresji może być trudne ze względu na ich krótki czas trwania i subtelny charakter, co utrudnia ich percepcję gołym okiem. Nawet przeszkoleni specjaliści mogą mieć trudności z dokładnym wykryciem i interpretacją mikroekspresji. Dodatkowo, mikroekspresje mogą być wpływane przez różne czynniki, takie jak różnice kulturowe, indywidualne różnice w anatomii twarzy oraz czynniki związane z kontekstem. Może to utrudniać rozwinięcie uniwersalnego systemu wykrywania i interpretacji mikroekspresji. W obecnej chwili automatyczne wykrywanie mikroekspresji za pomocą algorytmów wizji komputerowej i uczenia maszynowego to wciąż rozwijająca się dziedzina z wieloma otwartymi wyzwaniami, które wymagają rozwiązania. Jednym z głównych wyzwań jest niewystarczająca ilość danych treningowych. Jest spowodowana ze względu na rzadkość występowania mikroekspresji i trudności w ich nagrywaniu. Warto również zauważyć, że istnieją wyzwania środowiskowe związane z automatycznym wykrywaniem mikroekspresji. Należy uwzględnić takie czynniki, jak oświetlenie, tło, ruch kamery i jakość obrazu, aby osiągnąć skuteczne i niezawodne wykrywanie mikroekspresji. Mimo tych wyzwań, rozwój technologii w zakresie wykrywania mikroekspresji ma duży potencjał. Poprawa dokładności algorytmów oraz uwzględnienie wielomodalnych wskazówek, które mogą wpływać na wyrazy twarzy, są kluczowe dla dalszego postępu w tej dziedzinie

Możliwe wykorzystanie algorytmu w problemach życia codziennego

Analiza mikroekspresji może być wykorzystana w psychologii do badania szerokiego zakresu reakcji emocjonalnych, w tym negatywnych emocji, takich jak strach, gniew i smutek, jak również pozytywnych, takich jak radość i zaskoczenie. Może to pomóc badaczom w lepszym zrozumieniu, w jaki sposób różne bodźce lub sytuacje wpływają na reakcje emocjonalne u osób z zaburzeniami psychicznymi, takimi jak depresja czy lęk. Dodatkowo, analiza mikroekspresji może być wykorzystana do badania wpływu różnych terapii lub interwencji na reakcje emocjonalne u tych osób.

W obszarze bezpieczeństwa analiza mikroekspresji może być wykorzystana do wykrywania kłamstw poprzez identyfikację subtelnych zmian w wyrazie twarzy, które mogą wskazywać na oszustwo. Ma to potencjalne zastosowanie w służbach ścigania i kontroli granicznej w celu identyfikacji osób, które mogą stanowić zagrożenie. Dodatkowo, analiza mikroekspresji może być wykorzystana do identyfikacji podejrzanych zachowań u jednostek, poprzez analizę ich wyrazów twarzy w czasie rzeczywistym.

W interakcji człowiek-komputer analiza mikroekspresji może być wykorzystana do tworzenia bardziej intuicyjnych i responsywnych interfejsów, które mogą dostosowywać się do emocjonalnego stanu użytkowników. Przykładem mógłby być, system komputerowy który mógłby wykryć, kiedy użytkownik doświadcza frustracji lub dezorientacji i zapewnić dodatkowe wsparcie lub wskazówki, aby pomóc mu bardziej efektywnie wykonać zadanie.

Analiza mikroekspresji może być również wykorzystana w badaniach rynkowych w celu lepszego zrozumienia preferencji konsumentów i reakcji na produkty lub reklamy. Poprzez analizę wyrazów twarzy podczas testowania produktu lub oglądania reklam, badacze mogą uzyskać wgląd w to, które cechy lub komunikaty są najbardziej atrakcyjne dla konsumentów. Te informacje mogą być następnie wykorzystane do opracowania bardziej skutecznych strategii marketingowych lub projektów produktów.

Podsumowanie

Affective Computing i widzenie komputerowe to obszary badawcze, które łączą sztuczną inteligencję i analizę obrazu w celu rozpoznawania i interpretacji emocji ludzkich. Poprzez automatyczne odczytywanie mikroekspresji twarzy, możliwe staje się identyfikowanie i analizowanie stanów emocjonalnych. Affective Computing i widzenie komputerowe mają szeroki potencjał w personalizacji interfejsów użytkownika, analizie zachowań konsumentów, diagnozowaniu zaburzeń emocjonalnych i udoskonalaniu systemów komunikacji człowiek-komputer jednakże ze względu na problemy w wykrywaniu mikroekspresji spowodowane ich krótkim czasem trwania i subtelnym charakterem jest to zadanie niezwykle problematyczne. Aby tego typu rozwiązania weszły do życia codziennego nadal potrzebne są nakłady finansowe na prowadzenie badań.

 

Źródła

1. https://www.frontiersin.org/articles/10.3389/fpsyg.2020.00920/full
2. https://imotions.com/products/imotions-lab/modules/fea-facial-expression-analysis/?utm_source=google&utm_medium=cpc#thank-lp-facialexpressionanalysis
3. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6692451/
4. https://www.researchgate.net/publication/283562230_When_Technologies_Manipulate_Our_Emotions