Käsiteperustainen kieltenvälinen tiedonhaku: QUCCOO-järjestelmän evaluointi

Abstract

Tässä tutkimuksessa esitellään Tampereen yliopiston informaatiotutkimuksen laitoksella kehitetty kyselyjä muodostava järjestelmä QUCCOO (QUery ConstruCtion with OntOlogies), joka mahdollistaa intellektuaalisesti rakennettujen ontologioiden käyttämisen hakuvälineenä. QUCCOO rakentaa kyselyt automaattisesti hakijan ontologiasta valitsemien käsitteiden perusteella hakujärjestelmän kyselyrakenteen ja tietokannan indeksoinnin vaatimassa muodossa. Lisäksi tutkimuksessa esitellään ontologioiden rakentamiseen suunniteltu ontologiaeditori ShOE (Search Ontology Editor).

Tutkimuksen tarkoituksena oli evaluoida intellektuaalisesti rakennetun ontologian toimivuus kieltenvälisessä webtiedonhaussa. Evaluointi suoritettiin käyttäjätesteillä, jossa testihenkilöinä toimi 16 Tampereen yliopiston informaatiotutkimuksen opiskelijaa sekä 24 Pirkanmaan ammattikorkeakoulun hotelli- ja ravintola-alan opiskelijaa. Testeissä käytetty ontologia koostui kahdesta rajatun aihealueen sanastosta:

1) elintarvikealan ja 2) maantieteen alan sanastosta. Testitilanteessa testihenkilöille annettiin neljä simuloitua hakutehtävää, joiden aiheet liittyivät ravitsemukseen ja elintarvikkeisiin. Kaksi tehtävistä suoritettiin muotoilemalla kyselyt itse englannin kielellä ja kaksi käyttämällä hakuvälineenä ontologiaa, jolloin testihenkilöt valitsivat tarvitsemansa hakukäsitteet suomenkielisestä ontologiasta ja QUCCOO-järjestelmä käänsi haut englanniksi englanninkielisen ontologian käsitevastineiden avulla. Hakujärjestelmänä toimi Google.

Testihenkilöiden tehtävänä oli haun suorittamisen lisäksi arvioida saamiensa hakutulosten 10 ensimmäisen dokumentin relevanssi asteikolla 0-3. Analyysissä järjestelmien antamia hakutuloksia vertailtiin kumuloitu hyöty-mittarin avulla. Lisäksi järjestelmiä vertailtiin testihenkilöiltä lomakkeilla kerättyjen mielipiteiden avulla.

Hakutuloksia vertailtaessa järjestelmien välille ei saatu tilastollisesti merkitseviä eroja, mutta käyttäjien mielipiteitä tarkastellessa QUCCOO pärjäsi hyvin. 92 prosenttia kaikista testihenkilöistä oli sitä mieltä, että ontologian rakenne oli looginen, tarvittavat käsitteet löytyivät siitä helposti ja ontologian käyttö oli vaivatonta. Lisäksi neljästäkymmenestä testihenkilöstä 32 piti ontologiallista järjestelmää sekä helpompana että miellyttävämpänä järjestelmänä. Syyksi tähän ilmoitettiin muun muassa, että ontologiaa selatessa oli helppo kartoittaa hakuaiheen käsitteistöä ja löytää uusia hakuavaimia, sekä kieltenvälisen tiedonhaun helppous, koska ontologiaa käyttäessä ei tarvinnut käyttää erillistä sanakirjaa kyselyn muodostamiseen.

Asiasanat: Käsiteperustainen tiedonhaku, ontologiat