T-61.5020 Luonnollisen kielen tilastollinen käsittely
Harjoitus 5, ke 21.2.2007, 12:15-14:00 -- Kollokaatiot
Versio 1.0

Voit valita kuhunkin tehtävään haluamasi alijoukon sanoja, koko taulukon laskemiseen kuluu runsaahkosti aikaa.

1.
Taulukkoon 1 on laskettu sanaparin esiintymistiheyksiä erikseen ja toistensa suhteen. Laske annettujen sanojen bigrammitiedoista frekvenssimenetelmällä kollokaatioehdokkaat. Paraneeko tulos jos normalisoit bigrammien määrän sen komponenttien esiintymistiheyksien tulolla?

2.
Laske taulukosta 1 valitsemillesi sanapareille esiintymispaikan keskiarvo ja varianssi. Arvio, miten hyvin näillä tilastotiedoilla voidaan päätellä, ovatko sanat kollokaatioita. Miten tarkasteluikkunan leveys vaikuttaa tuloksiin? Annetut tilastothan on laskettu viiden sanan kokoisen ikkunan yli.

3.
Järjestä vielä taulukon 1 sanat kollokaation todennäköisyyden mukaiseen järjestykseen käyttämällä t-testiä sekä Pearsonin khi toiseen -testiä (Pearson's chi-square test).

4.
Etsi taulukon 1 sanoista kollokaatioita yhteisinformaatiomenetelmällä (Mutual Information). Vertaa tuloksia muiden menetelmien kanssa.





Taulukko: Sanojen esiintymistiheyksiä. $ C(a)$ kertoo, kuinka monta kertaa tapahtuma $ a$ esiintyi testijoukossa. $ x$:llä on merkitty jotain muuta, kuin sanapariin kuuluvaa sanaa. Aineistossa oli kaiken kaikkiaan 28181344 sanaa. Sanat on perusmuotoistettu ennen taulukon laskemista.
$ s_1$ $ s_2$ $ C(s_1)$ $ C(s_2)$ $ C(s_1,s_2)\!\!$ $ C(s_1, x, s_2)\!\!$ $ C(s_2,s_1)\!\!$ $ C(s_2, x, s_1)\!\!$
hakea työ 10435 26174 31 26 22 11
valkoinen talo 3665 10767 710 2 1 6
herne nenä 115 974 3 0 0 0
ja olla 818046 1387476 7329 39979 3612 38162
venäjä presidentti 27637 26855 717 216 10 24
vihainen mielenosoittaja 589 1757 7 0 0 0
tuntematon sotilas 1967 4806 154 4 0 0
aste pakkanen 2879 1440 160 8 13 32
heittää veivi 8126 21 5 0 0 1
kova tuuli 20613 3916 279 16 9 12
liukas keli 735 728 106 2 3 7
sekä myös 50193 135637 138 124 34 244
oppia lukea 2831 8952 21 4 7 1
olla ula 1387476 44 3 2 1 2
ottaa onki 38304 110 9 3 0 0



svirpioj@cis.hut.fi