Widzimy. Słyszymy. Odczuwamy dotykiem. Człowiek jest istotą multimodalną – odbiera świat różnymi zmysłami.
Mówimy. Gestykulujemy. Rysujemy. Człowiek komunikuje świat rozmaitymi środkami – to też jest wymiar multimodalności.

Filmy, reklamy, strony internetowe – gdy je tworzymy lub odbieramy, obie powyższe twarze multimodalności są zaangażowane.

Jak badać multimodalność?

Co się dzieje gdy tracimy (lub „wyłączymy”) jeden ze zmysłów – jak wygląda świat osób niewidomych, niesłyszących?
Czy zmysły można od siebie odseparować?

Te pytania zadają sobie psycholodzy, badacze mózgu, specjaliści od komunikacji, językoznawcy czy nawet badacze sztucznej inteligencji. Wstępnych odpowiedzi udziela podejście interdyscyplinarne zwane kognitywistyką – i takim odpowiedziom poświęcona jest prezentacja. W szczególności, przyjrzymy się działaniu eye-trackera, rejestrującego aktywność gałek ocznych, gdy odbieramy multimodalne komunikaty.

- - - - - - - - - 

Źródło zdjęcia: maryannandco photography z Pixabay.