MULTIMODAALISUUS
Määritelmä Kielen lisäksi myös muut semioottiset järjestelmät (eleet, ilmeet, visuaalisuus); näiden tutkimus niin puhutuissa kuin kirjoitetuissa teksteissä
Digitaalinen muutos on mahdollistanut multimodaalisen viestinnän, jolloin teksti voi kirjoituksen lisäksi koostua kuvista, liikkeestä, äänistä ja väreistä. Multimodaalisen tekstin tuottaminen edellyttää perinteistä tekstiä huomattavasti laaja-alaisempia valmiuksia.
Multimodaalisuus
tarkoittaa verkkoesityksen koostumista monesta moodista.
Moodeja ovat mm. teksti, kuva, ääni ja liike.
Lukiessamme verkkosivuja, kaikki käytetyt moodit vaikuttavat tapaamme lukea ja tulkita saamaamme informaatiota. Esityksessä käytetyt moodit ovat sidottuja toisiinsa ja luovat yhdessä merkityksen. Jos moodin irroittaa kontekstistaan, merkitykset, joita annamme teksteille muuttuvat myös.
Tekstielementit voidaan jakaa seuraaviin moodeihin:
| Lingvistinen moodi: | kielellinen ilmaisu, esim. äänteistä koostuvat tavut, sanat ja lauseet... |
Auditiivinen moodi: | kuuloaistiin tukeutuva moodi, esim. puhe, musiikki, hiiren napautukset... |
Spatiaalinen moodi: | tilan käyttöön liittyvä moodi, esim. asettelu, jäsennys, ahtaus, väljyys… |
Gesturaalinen moodi: | eleisiin ja liikkeen havaitsemiseen liittyvä moodi, esim liikkuvat elementit verkossa... |
Visuaalinen moodi: | näköaistiin tukeutuva moodi, esim. kuvat, kaaviot, värien käyttö... |
Multimodaalisuus tarkoittaa vuorovaikutuksen monia keinoja,
joilla on tärkeä tehtävä ymmärtämisessä ja ymmärretyksi tulemisessa.
Viestinnästä, jossa ihminen hyödyntää omaa fysiikkaansa ja sen hetkistä ympäristöään. Vuorovaikutuksesta puhuttaessa usein korostuu pelkästään kielen merkitys, mutta kielen lisäksi rakennamme merkityksiä muillakin tavoilla.
Sen lisäksi, mitä sanomme, merkitystä on myös sillä, kuinka sanomme.
Muun muassa äänen painot, intonaatio, tauotus, toisto ja rytmi tuovat oman lisänsä merkitykseen ja tarkka kuulija voi päätellä niistä paljon.
Itse puheen lisäksi merkityksiä rakennetaan käyttämällä kehoa, esimerkiksi eleitä, ilmeitä ja katsetta. Ihmiset käyttävät hyväkseen liikkumista, ympäröivää tilaa ja siinä olevia esineitä. Käytämme vuorovaikutuksessamme monia merkitystä välittäviä keinoja ja väyliä.

Millaisia multimodaalisuuteen liittyviä piirteitä keskustelussa käytetään?
Eleet, eleiden merkitys viestinnässä, eleiden vaikutus?
Ilmeet, katseen käyttö, katseen suuntaaminen ja näiden merkitys viestinnälle. Asettautuminen tilaan. Kosketus.
Ihmisten välinen viestintä on lähes aina multimodaalista.
Käytämme multimodaalisuutta tarkoituksella, mutta yleensä kuitenkin automaattisesti ja huomaamattamme, se on osa kieltämme ja kulttuuriamme.
Seurasin sivusta lyhyttä kahden ihmisen keskustelua,
josta kielen ulkoinen osa oli helppo poimia:
Henkilö A: ”Oletko käynyt ulkomailla, kun olet noin ruskettunut?”
Henkilö B:”En, kun” - ja sitten hän teki käsillään samanlaista liikettä kuin hiihtäessä sauvoilla tehdään – ”ilman pipoa”.
Ja tästä pantomiimisesta vastauksesta sekä henkilö A että minä tajusimme hänen käyneen hiihtämässä keväthangilla.
Multimodaalisuus auttaa meitä usein, mutta joskus se voi olla myös ”haitaksi”.
On helppoa (tietenkin omasta moraalista riipuen) päästää suustaan valheellisia sanoja, mutta usein muu viestintämme, esimerkiksi eleemme ja ilmeemme paljastavat meidät. Sanojen ja muun viestinnän ollessa ristiriidassa vastaanottajat usein myös uskovat mielummin kehollista viestintää sanallista viestiä enemmän.
Vaikka multimodaalisuus tuli tutummaksi, jäi itse käsite vielä vähän mietityttämään. Multimodaalisuus tuntuu niin laajalta aiheelta, että on jollakin tavalla vaikea hahmottaa mitä kaikkea se pitääkään sisällään. En erota sen reunoja, eikä se jäsenny mieleeni kovinkaan yksiselitteisesti.