T-61.281 Luonnollisen kielen tilastollinen käsittely

Harjoitustyöraportti kevät 2005

Aihe: Sananmerkitysten yksikäsitteistäminen

Aloituspäivä :  23.3. 2005
Jättöpäivä :  12.5. 2005
Nimi :  Tiina Teekkari
Opiskelijanumero :  12345F

Sähköposti :  tiina.teekkari@hut.fi

Koulutusohjelma ja vsk : T 4

Työn tarkastaja täyttää loput:

Tarkastaja:  Lagus / Honkela / Virpioja
Palautettava korjattuna  ___/ ___200__
Hyväksytty:  ___/ ___200__
Arvosana:  1 3 5

Huomioita:

T-61.281 HT2005 (T.Teekkari, K.Kieliteknologi) Page 2 / 6

1 Johdatus tutkimusongelmaan

Tässä johdatellaan lukija tutkimusongelmaan, kerrotaan mistä oikein on kyse ja miksi, ja yleensä miten [MS99]. Osa tämän tiedoston sisällyksestä ei liity erityisesti kurssin aiheisiin, kunhan vain demonstroi latexin ominaisuuksia joita tässä voi käyttää. Osa kirjan taulukosta 8.8 on esitetty alempana taulukossa 1. Mukana on tarkasteltava sana ja samankaltaisimmat kosinimitalla laskettuna sana-sana -matriisista.

garlic  sauce  .732 pepper .728 salt  .726
fallen  fell  .932 decline .931 rise  .930
engineered genetically .758 drugs .688 research .687
Alfred  named  .814 Robert .809 William .808
simple  something .964 things .963 You  .963

A1.1 Ympyrä on tärkeä olio. Piirretään se eksponenttifunktiota käyttäen

yhtälöä

Y (ω) = r · e^{j·ω}  (1)

Kuva 1 on tuotettu funktiolla ympyra.m syötteellä:

w = [0 : pi/256 : 2*pi];
ympyra(w);

Muutamia lukuarvoja on annettu taulukossa 1.

\begin{matrix}ω & x & jy \\ 0 & 1 & 0 \\ π/256 & .9999 & .0123 \\ 2π/256 & .9997 & .0245 \end{matrix}

Taulukko 1: Yksikköympyrän lukuarvoja.

A1.2 WAV-tiedosto luetaan Matlabiin komennolla

[y, fs, nbits] = wavread('Z:\DSP\tiedosto.wav');

Matlabin vektorista voidaan ottaa osa vektorin indeksinumeroiden avulla:

size(y) % esim. pystyvektori [23521 1]

T-61.281 HT2005 (T.Teekkari, K.Kieliteknologi) Page 3 / 6

Kuva 1: Yksikköympyrä tehtävään Q1.1.

2 Senseval-aineisto

Aineisto koostui x sanasta, sekä niiden yyy ja zzz tiedoista.

3 Työssä sovelletut menetelmät

3.1 Menetelmä 1

• Asia xxx laskettiin seuraavia kaavoja soveltaen:

α_{p} = −20 log_{10}(1 − δ_{p}) dB
α_{s} = −20 log_{10}(δ_{s}) dB

• Kontekstin todennäköisyyden laskennassa sovellettiin Naive Bayes-oletusta:

p(c) = p(v_{1})p(v_{2}) … p(v_{k}),

jossa v_{j} on sana jonka indeksi sanastossa on j.

3.2 Menetelmä 2

4 Kokeet ja tulokset

4.1 Aineiston esikäsittely

Kerrotaan miten aineisto käsiteltiin ennen sen antamista menetelmille 1 ja 2.

4.2 Menetelmien parametrit

4.3 Menetelmien evaluointitapa

Menetelmien hyvyyttä tutkittiin laskemalla … sekä katsomalla muutamien esimerkkisanojen osalta tuloksia visuaalisesti. Kohinan demonstrointia kuvassa 2. Koodi q4_1.m on liittenä.

a)  b)

Kuva 2: (a) Valkeaa kohinaa ja (b) korreloitunutta kohinaa aikatasossa (ylemmät kuvat) ja taajuustasossa (alemmat kuvat).

5 Johtopäätöksiä ja pohdintoja

Menetelmä 1 näyttäisi … Menetelmä 2 taas … Ongelma ylipäänsä … Työn kuluessa havaitsin että … ja opin …

Viitteet

[MS99] Christopher D. Manning and Hinrich Schütze. Foundations of Statistical Natural Language Processing. The MIT Press, Cambridge, Massachusetts, 1999.

T-61.281 HT2005 (T.Teekkari, K.Kieliteknologi) Page 6 / 6

Liitteet

esikasittelykripti Menetelmän 1 matlabkoodi