Reductive and Generative Approaches to Morphological Variation of Keywords in Monolingual Information Retrieval

Abstract

Tiedonhakua käsittelevässä väitöskirjassa tutkittiin sananmuotoja tuottavien ja analysoivien ohjelmien käyttöä hakutermien muotojen vaihtelun hallinnassa. Tutkimuksen pääkohde on suomen kielen tekstitiedonhaku, mutta tutkimuksessa esitetään myös ruotsin, saksan ja venäjän kielen tiedonhakutuloksia. Suomea on yleisesti pidetty vaikeana kielenä tekstitiedonhaussa kielen morfologisen rikkauden vuoksi. Suomen erilaisten sananmuotojen määrän runsaus tekee kyselyissä ja dokumenteissa esiintyvien sananmuotojen täsmäyttämisen ja siten dokumenttien löytymisen normaalia hankalammaksi. Tutkimuksessa vertailtiin eri menetelmiä tämän ongelman ratkaisemiseksi.

Tutkimuksessa osoitetaan, että perusmuotoistamisen (lemmaus) lisäksi myös karsinta (stemming), taivutusvartaloiden tuottaminen ja siihen perustuvat kehitelmät sekä FCG-menetelmä antavat hyviä tuloksia suomenkielisessä tekstitiedonhaussa, kun verrokkina käytetään lemmauksella saavutettavia tuloksia. Väitöskirjan kokeelliset tulokset tuovatkin lisää vaihtoehtoja tekstitiedonhaussa käytettäville hakutermin vaihtelun käsittelyn menetelmille suomen kielessä ja muissa morfologisesti mutkikkaammissa kielissä.

Tutkimuksen keskeinen tulos on, että myös sananmuotoja tuottavat ohjelmat soveltuvat morfologisesti mutkikkaiden kielten hakutermien vaihtelun käsittelyyn osittaistäsmäyttävässä tiedonhakuympäristössä. Suomenkielisessä tekstihaussa evaluoitiin ensin hakuvartaloiden ja niiden kehitelmien käyttöä. Tämän jälkeen työssä kehitettiin uusi menetelmä, FCG, morfologisesti vähintään jonkin verran mutkikkaille kielille. Menetelmän keskeinen ajatus on käyttää hakutermeinä annetuista substantiiveista ja adjektiiveista vain niiden tilastollisesti keskeisiä taipuneita muotoja haussa. Menetelmä evaluoitiin neljän kielen tekstitiedonhaussa. Kolmella kielistä, suomella, ruotsilla ja saksalla, menetelmä tuotti hyviä hakutuloksia, kun lemmausta käytettiin verrokkimenetelmänä. FCG-menetelmä perustuu taipuneiden sananmuotojen tilastollisesti vinoihin jakaumiin kielissä, ja näin ollen menetelmä soveltunee myös muihin morfologisesti mutkikkaisiin kieliin.

This thesis concerns use of reductive and generative methods in management of keyword variation in information retrieval with best-match retrieval systems. The main results of the thesis are related to Finnish language IR, but we present also results of Swedish, German and Russian IR.

The main contributions of this study can be summed up as follows.

Our main contribution was to show that generative methods are also appropriate for IR in morphologically complex languages in a best-match retrieval environment. For Finnish we evaluated inflectional stem generation and its enhancements. We also created a new method, Frequent Case Generation, FCG, for inflectionally at least moderately complex languages and evaluated the method with four languages. The main idea of the method is to use only the most frequent nominal word forms of keywords as search terms. For three of the languages (Finnish, Swedish and German) the method was shown to yield good retrieval results when lemmatization was used as comparison. For Russian the results were inconclusive and the method should be re-evaluated with a better Russian collection. The method is based on skewness of word form distributions, and thus it is also expected to be applicable to other morphologically complex languages.

For Finnish best-match IR we have shown that besides lemmatization, also stemming, inflectional stem generation and its enhancements and most frequent case form generation of keywords yield good retrieval results when compared to the state-of-the-art, lemmatization. This broadens the spectrum of possible morphological tools for the handling of morphological variation of Finnish, which has been considered challenging in IR. As Finnish can be seen as a worst case language with respect to morphological variation, our results should also show the way to other languages having a fair degree of morphological variation.

Most of the methods evaluated in the study are shown to work for both long laboratory type queries and more realistic very short queries, which resemble user queries at least in the number of the keywords, although the research setting was a typical laboratory IR environment.