Morphological Problems in IR and CLIR. Applying linguistic methods and approximate string matching tools

Abstract

Luonnollinen kieli aiheuttaa tiedonhaulle ja kieltenväliselle tiedonhaulle monenlaisia ongelmia. Ongelmat ovat kieliriippuvaisia: esimerkiksi suomelle aiheuttaa ongelmia sanojen taipuminen ja yhdyssanat, kun taas englannissa fraasit (erikseen kirjoitetut yhdyssanat) ovat ongelmallisia. Tutkimuksen tarkoituksena on selvittää, miten sanojen normalisoinnilla, sanamuotojen generoinnilla ja sumeilla merkkijonojen täsmäytysmenetelmillä voidaan ratkaista tiedonhaun morfogisia ongelmia.

Tutkimuksessa todettiin, että yhdyssanat aiheuttavat ongelmia kaksikieliselle tiedonhaulle, kun lähtökieli on fraasiorientoitunut kieli ja kohdekieli yhdyssanakieli. Yhdyssanojen pilkkominen indeksointivaiheessa parantaa hakutulosta huomattavasti.

Tutkimuksen mukaan kaksikielisen tiedonhaun tulos taivutusmuotoindeksissä on huono ainakin silloin, kun kohdekieli on voimakkaasti taipuva kieli. Tämä johtuu siitä, että sanakirja antaa vain sanan perusmuodon, kun taas indeksissä esiintyy sanoja taipuneessa muodossa. Sanamuotojen generointi samoin kuin sumeat merkkijonojen täsmäytysmetelmät parantavat hakutulosta huomattavasti.

Kaksikielistä tiedonhakua on perinteisesti testattu laboratoriotestein. Testien tuloksena on todettu, että käännetyt kyselyt antavat huomattavasti huonomman tuloksen kuin kohdekieliset kyselyt. Tässä tutkimuksessa suoritettiin käyttäjätestejä, joiden perusteella voidaan todeta, että kaksikielinen tiedonhaku on hyödyllistä tiedonhakijalle. Hyöty on sitä suurempaa, mitä heikompi kohdekielen taito henkilöllä on. Tämä koskee kuitenkin vain tilannetta, jossa kyselynkäännöksessä käytetään laadukasta sanakirjaa. Huonon sanakirjan antama käännös ei auta edes heikosti kieltä taitavaa tiedonhakijaa.

The topics of the present thesis are linguistic and approximate string matching methods in monolingual, bilingual and multilingual information retrieval. The linguistic approaches applied in the studies are word normalization, translation and word form generation, while n-gramming and s-gramming represent approximate string matching techniques.

The first contribution of this thesis is connected to compounds: we studied the importance of index decompounding in mono- and bilingual retrieval. The impact of decompounding, especially on bilingual retrieval, is not a very widely studied issue in IR literature. Index decompounding did not have any notable impact on monolingual retrieval. On the other hand, we found that in bilingual retrieval, index decompounding is vital, when the source language is phrase oriented while compounds are used in the target language.

The second contribution deals with the quality of translation dictionaries. We found that the quality of a dictionary has an even larger effect on the bilingual retrieval result than has been supposed. We also performed user tests in bilingual retrieval utilizing dictionaries of various quality. We found that query translation is generally beneficial for users with moderate or poor language skills, but only if the translation dictionary is of good quality: a defective dictionary does not help even those with poor target language skills.

The third contribution of this thesis is connected with bilingual user tests. In prior research, the performance of bilingual retrieval compared with monolingual retrieval has mostly been tested only in a laboratory environment. We found that query translation performed much better in user tests than it has performed in laboratory tests. The reason is that the target queries formulated by test persons (and in a real CLIR situation) are often defective, because they are formulated by people with only moderate or poor language skills, while laboratory tests utilize queries formulated by native language speakers.

Our fourth contribution is connected to bilingual retrieval in an inflected index: many IR indexes are non-normalized, and thus, there is a need for a practical method to perform bilingual retrieval in an inflected word form index. There is not much research on the issue, however. We found that any kind of processing (approximate string matching, frequent case generation or their combination) improves the retrieval result compared with queries formulated directly from raw translations. This information may be important when developing systems utilizing bilingual retrieval.

Fifth, we found that various normalization approaches in indexing and retrieval do not have any remarkable impact on the multilingual retrieval results, even if lemmatization seems to perform slightly better than stemming. Various result list merging approaches have only a minor impact on the result. On the other hand, there are not many systems utilizing separate indexes with result list merging. Thus, multilingual IR research should be directed towards systems with a merged index.