Merkityksen välittäminen kuvan avulla

Abstract

Kuvitus ei automaattisesti paranna tiedon välittymistä, vaikka kuvaa käytetään yhä enenevässä määrin viestinnässä. Merkityksen siirtyminen lähettäjän tarkoittamalla tavalla riippuu monista tekijöistä. Tutkimus selvittää kuvallisen tiedon vastaanottamisen arkkitehtuuria, ihmisen ajattelun prosessia. Työssä kehitelty malli pohjaa kognitiotieteeseen ja kuvasemiotiikkaan.

Käyttökuvia todellisessa artikkelissa on tutkittu vähän, samoin kuin pitkän aikavälin vaikutusta kuvien muistamiseen. Tutkimus kartoittaa kuvan roolia tunnistamisessa, muistamisessa ja ymmärtämisessä, jotka sisältyvät ajattelun prosessiin. Mielikuvat ovat osa ajattelua.

Tutkimuksessa havainnollistetaan ilmiöitä empiiristen lukukokemusten pohjalta. Erilaisilla koeryhmillä luetettiin koeartikkeleita, sekä kuvitettuja että kuvittamattomia versioita ja muistamista testattiin myös pitkän aikavälin kuluttua. Myös kuvatyyppejä kokeiltiin useita. Vaikka yksilölliset erot olivat huomattavia, koeryhmien välillä keskiarvojen erot osoittautuivat pieniksi.

Tekstin sisällöstä muistettiin kymmenen viikon kuluttua vain noin viidennes. Termejä, nimiä ja vuosilukuja ei muistettu senkään vertaa. Kuvia muistettiin kolme kertaa enemmän (noin 60 %) kuin tekstiä vielä viimeisessäkin kokeessa. Muistikuvat olivat kuitenkin hauraita. Kuvitetun jutun lukeneista useimmat käyttivät mieleen palautuksessaan strategiaa, jossa he ikään kuin "katselivat" alkuperäisiä sivuja ja aukeamia. Kuvilla ja niiden sijoittelulla oli siis myös muistia jäsentävä vaikutus.

Tunnistustulokset tukivat "kuvan ylivoimateoriaa" eli ihmisen loistavaa kykyä tunnistaa näkemiään kuvia: vielä kymmenen viikon kuluttuakin keskimäärin noin 80 % kuvista tunnistettiin oikein, eikä koehenkilöiden yksilösuorituksissa ollut suurta vaihtelua. Parhaiten muistettiin yksinkertaistetut symbolit, sitten taustattomat, selkeät valokuvat kasvoista, akvarellipiirrokset ja viimeisenä abstraktit kuvat.

Kuvattoman tekstin lukeneet muistivat tekstin sisällöstä enemmän kuin kuvitetun artikkelin lukeneet. Kuvien käyttö ei siis lisännyt määrällistä muistamista. Mieleen palautuksen vihjeenä ainakaan testatut kuvat eivät toimineet hyvin. Toisaalta valtaosa kuvitettujen artikkelien huonoimmin muistetuista väittämistä oli kuvittamattomia.

Mielikuvat näyttivät käyttäytyvän muistissa samaan tapaan kuin teksti: ne unohtuivat, yksinkertaistuivat ja muuntuivat. Jos asia oli alunperin ymmärretty vajavaisesti tai virheellisesti, kuvaa täydennettiin ja muokattiin henkilön aikaisemman tiedon ja asenteiden mukaisiksi. Kuvan yksityiskohtia koskevista vastauksista vahvistui käsitys, että mielikuvat eivät ole valokuvamaisia, vaan aivojen luovan toiminnan tulosta: kuvaa ja aukeamaa omaksuttaessa näköjärjestelmä "ottaa näytteitä" sieltä, mihin tarkkaavuus suuntautuu, ja näistä fragmenteista täydennetään aivojen "visuaalisella luonnoslehtiöllä" mielikuva.

Suuret ja värilliset kuvat muistettiin parhaiten. Aktiivisesti muistettiin parhaiten voimakkaampia esteettisiä arvioita herättäneitä kuvia. Kuvatyypeistä mikään ei sinänsä erottunut erityisesti muistia tukevana.

Erittäin tärkeänä tekijänä ymmärtämiselle näyttäytyi kuvan ja tekstin välinen yhteys, joka muovaa semioottisia merkityksiä. Tekstillä voi ohjata kuvan katselua. Kuvat ikään kuin koodataan kahteen kertaan: ensin lukija poimii niistä itselleen merkityksellisiä osia, ja palauttaessaan niitä mieleen rakentaa osista loogisesti yhteensopivia mielikuvia. Tehdyt tulkintavirheet vahvistavat konstruktivistista oppimiskäsitystä: yksilön taustatiedot ja motivaatio vaikuttavat voimakkasti artikkelien kuvien ja tekstin omaksumiseen, ja yksityiskohdat muokkautuvat ja yleistyvät ajan myötä luonnosmaisiksi käsityksiksi, jotka sulautuvat aikaisempaan tietoon.

Tutkimuksen pohjalta voidaan tehdä johtopäätöksiä hyvän kuvasuunnittelun osviitaksi. Katsojan emootiot on saatava myönteisiksi esteettisellä ulkoasulla, jolloin ylittyy ensimmäinen tiedonkäsittelyn kynnys. Katsetta voi ohjailla syntaktisilla piirteillä, esimerkiksi värillä ja koolla, jotka voivat johtaa asioiden sisällölliseen käsittelyyn. Yksinkertaistetut piirrokset ovat hyviä nopeaa tunnistamista vaativissa tehtävissä, mutta kuvan tehtävä riippuu monimutkaisista kuvan ja tekstin välisistä suhteista. Ne on tiedostettava ja kuvan katselua on ohjattava tekstin avulla. Kohderyhmän tuntemus auttaa tarjoamaan tietoa oikeassa kontekstissa.

Anja Hatva: Transmitting meaning via illustrations

In this study I focus on the role of pictures in thinking: especially in recognition, remembering and understanding. Relying theoretically on cognitive psychology and visual semiotics I planned two test articles. The first one was about Plato´s utopia and the second one about acupuncture. Both articles were tested with text only and with various types of illustrations.

Capturing content was compared in both conditions to find out weather illustrations cause better results than mere text. Evidence for psychological and semiotic theories was sought by asking the test subjects to write and draw their answers to questions. Nature and influence of mental images was then deducted by studying subjects´ drawings and their answers to focused questions. In the end the overall impact was reported individually on each picture in purpose to find some guide lines for efficient illustration planning.

Two different test groups were chosen: the results of artistically oriented students and professionals were compared to those of law students, right after reading the article and again ten weeks later. The figures indicate that there was no big discrepancy between these differently oriented professional groups. Both tests yielded about one tenth better recollection of propositions by law students than by the artistic groups, but in ten weeks their results were only a few percent better. In remembering illustrations the numbers were more inconsistent depending on the article and the size of the group. This is why the professional groups have been combined and the average percentage counted after that.

In recognition tests four original pictures were mixed with other pictures varying in similarity (not similar - almost similar). Recognition was good even after ten weeks, and all groups and individuals succeeded almost equally well, averaging about 80 %. Only mirror images and originals were difficult to distinguish. Easiest to recognize of the four different types of illustrations in both articles were simplified symbols, then photographs without background, naturalistic water colours and lastly abstract pictures. No illustration functioned well as a reminder.

Illustrations did not increase the amount of remembered propositions in average, but some pictures did better than others and some illustrated issues were better remembered than unillustrated ones.

Only a fifth of the content was left in memory after ten weeks, when about three times more pictures(60 %) were retrieved. Illustrations were much better remembered right after the reading as well as ten weeks later, but mental images were fragile and by no means like photographs. This could be deducted from subjects´drawings and also from answers to the questions about details in the illustrations. There were bigger differences between groups and individuals in recalling both the verbal and visual content than in recognizing the illustrations.

The relationship between illustration and text is of importance because the caption directs observing and understanding of the picture. Pictures without a caption have been misunderstood or given a false meaning based on the available context and deducting it on the basis of viewers own background knowledge. The manipulating influence of mental images was reflected in mistakes that the subjects made in remembering and understanding.

Some pictures were experienced clearly more attractive than others and also ugly -statements were concentrated to certain pictures -which shows cultural agreement. No attention was paid to small, often black and white pictures, which were in general poorly recalled. The actively best recalled pictures were those who also raised stronger aesthetic statements, especially the beautiful ones.

As strategies of retrieval 86 % of the 49 subjects who read the illustrated versions stated that they used a visual method, where they were watching the page as a mental image. Even the subjects who read the not-illustrated article often reported of such a method, but also used a serial or associative strategy.

Although subjects within both articles felt it was easier to read the illustrated articles and regarded them more comprehensible than subjects that read unillustrated text, they remembered less propositions and gave less qualified answers to three of the four content questions. One of the reasons was probably their lack of interest in the issue more than the illustrations used. Average answers of all groups got estimates from poor to a slightly above average in quality and they were mostly atomistic in nature.

The background and motivation of the individual, as well as repe- tition and in some cases, well planned illustrations seemed to play the most important role in adopting the content. Details of both the pictures and the text were generalized and only scematic views were left in the memory. They are forgotten, transformed and modified according to the person´s earlier concepts and attitudes. Pictures are coded twice: first the reader picks up relevant parts (sometimes guided by the text)and when recalling the illustrations she/he sketches them on the visual buffer forming logically fitting mental images yet syntactically obscure.

Big, coloured pictures are successful because they focus attention to the subject and that way cause personal processing. If you plan illustrations carefully they can help the reader in continuing processing forwards by giving the right view, working as an outer memory and aesthetically strengthening the mental image.

Key words: cognition, mental images, planning illustration, pictures, recognition, recalling, remembering, visual semiotics, visual thinking, understanding