Multimodaalisten syötteiden käsittely: modaliteettien käyttö ja fuusiomenetelmät

Abstract

Multimodaaliset järjestelmät ovat yritys muuttaa ihmisen ja tietokoneen välistä vuorovaikutusta luonnollisempaan suuntaan tarjoamalla uusia tapoja kommunikoida tietokoneiden kanssa. Syöte voidaan antaa useiden eri vuorovaikutuskanavien kautta, eikä käyttäjien tarvitse pitäytyä teennäisissä kommunikaatiotavoissa, joita perinteiset käyttöliittymät suosivat. Toisaalta multimodaalisuus tuo mukanaan useiden syötteiden tulkitsemiseen ja yhdistämiseen liittyvät ongelmat, joiden ratkaiseminen on edellytys tehokkaalle ja luotettavalle multimodaaliselle vuorovaikutukselle.

Tässä tutkielmassa käsitellään modaliteettien käyttöön liittyviä erityispiirteitä ja tutkimustuloksia, jotka tulee ottaa huomioon suunniteltaessa eri modaliteeteilta tulleiden syötteiden yhdistämistä. Ennen varsinaisia fuusiomenetelmiä fuusioprosessia käsitellään yleisluontoisesti: sen tasoja, toteutusta ja ongelmia. Syötteiden käsittely on multimodaalisissa järjestelmissä keskeisessä asemassa, sillä tulkinnan onnistuminen pitkälti määrittää järjestelmän toimintavarmuuden. Fuusiomenetelmien toteuttamistekniikoiden lisäksi niiden yhteydessä pyritäänkin käsittelemään syöteongelmien ratkaisemiseksi kehiteltyjä virheiden käsittelytekniikoita. Tutkielmassa käydään läpi useita erilaisia fuusiotekniikoita, joista jokainen pyrkii ratkaisemaan multimodaalisten syötteiden yhdistämiseen liittyvät hankaluudet omalla tavallaan. Lopuksi esitellään vielä lyhyesti EMMA-merkintäkieli, joka on tiedonsiirtoformaatti multimodaalisia järjestelmiä varten. Lisäksi se tarjoaa useita elementtejä ja attribuutteja ohjaamaan ja avustamaan multimodaalisten syötteiden yhdistämistä.

Avainsanat ja -sanonnat: multimodaalisuus, modaliteetti, fuusiomenetelmät, EMMA.