Courses in previous years: 2000

T-122.101 Informaatiotekniikan erikoiskurssi V

Luennoijat: ma. prof. Jaakko Hollmén, prof. Heikki Mannila
Assistentti: FM Jouni Seppänen
Lukukausi: syksy 2001
Opintoviikot: 4 ov (esitelmä+tehtävät 2 ov, harjoitustyö 2 ov)
Paikka: luentosali T4
Aika: keskiviikkoisin klo 14:15-16:00, alkaa 12. syyskuuta
Kieli: suomi
Oppikirja: Michael I. Jordan (ed.): Learning in Graphical Models, MIT Press 1999, ISBN: 0262600323
  • Kirjasta järjestetään yhteistilaus, jos kiinnostuneita on tarpeeksi.
  • Verkkokirjakauppoja: Amazon USA, Amazon UK, Fatbrain
  • Älä sekoita Kluwerin vuonna 1998 julkaisemaan kirjaan!

Päättely ja oppiminen Bayes-verkoissa

Bayes-verkot ovat moderni matemaattinen mallinnusmenetelmä, jolla pyritään hallitsemaan epävarmuutta monimutkaisissa järjestelmissä. Todennäköisyyslaskenta antaa työkalut epävarmuuden kuvaamiseksi, ja mallit rakennetaan modulaarisesti verkkoteorian avulla. Esimerkiksi sekoitetiheysmallit, faktorianalyysi, piilo-Markov-mallit ja Kalman-suotimet voidaan nähdä Bayes-verkkojen erikoistapauksina.

Päättelyllä tarkoitetaan seuraavan tehtävän ratkaisemista: joillekin mallin osille (verkon solmuille) tunnetaan todennäköisyysjakauma, ja on löydettävä muiden osien jakaumat. Olemassaolevat päättelymenetelmät voidaan jakaa kolmeen luokkaan: tarkat, deterministisesti likimääräiset ja Monte Carlo- eli satunnaismenetelmät. Oppiminen tarkoittaa Bayes-verkon rakenteen tai yksittäisiin osiin liittyvien jakaumien arvioimista datasta. EM-algoritmi on tunnettu oppimismenetelmä.

Suorittaminen

Osallistujan on pidettävä yksi esitelmä, oltava läsnä vähintään 80 %:ssa seminaareista, ratkaistava vähintään 60 % annetuista harjoitustehtävistä ja tehtävä yksi suurempi harjoitustyö, joka vaatii ohjelmointia. Arvosanaa "kiittäen hyväksytty" varten esitelmän ja harjoitustyön on oltava hyviä ja harjoitustehtävistä on ratkaistava melkein kaikki.

Kurssille voidaan ottaa enintään 20 opiskelijaa.

Aikataulu

Huom. 28.11. aloitetaan väitöstilaisuuden takia vasta klo 15:15. Silloin on vain yksi esitelmä, joten seminaari loppuu ajallaan.

PäiväAihePuhujaKalvot
12.9.JohdantoJaakko Hollmén
19.9.Introduction to Inference in Bayesian Networks (ss. 9-26)Jouni Seppänenpdf, ps.gz, ps
26.9.------ (ei seminaaria) ------
3.10.Advanced Inference in Bayesian Networks (ss. 27-50)Mika Inkips.gz, ps
Bucket Elimination: A Unifying Framework for Probabilistic Inference (75-104)Tommi Nykopp 
10.10.An Introduction to Variational Methods for Graphical Models (ss. 105-162)
(+ Improving the Mean Field Approximation Via the Use of Mixture Distributions (ss. 163-174))
Antti Honkelaps.gz, ps
Jaakko Särelä 
17.10.Introduction to Monte Carlo Methods (ss. 175-204)
(+ Suppressing Random Walks in Markov Chain Monte Carlo using Ordered Overrelaxation (ss. 205-230))
Kari Vaskops.gz, ps
Aleksi Saaripdf, ps.gz, ps
24.10.Chain Graphs and Symmetric Associations (ss. 231-260)Ville Viitaniemi
A View of the EM Algorithm that Justifies Incremental, Sparse and Other Variants (ss. 355-370)Matti Aksela
31.10.A Tutorial on Learning with Bayesian Networks (ss. 301-354)Ville Kotovirta
Latent Variable Models (ss. 371-404)Jarkko Venna
7.11.Stochastic Algorithms for Exploratory data Analysis: Data Clustering and Data Visualization (ss. 405-420)Esa Rinta-Runsala
Learning Bayesian Networks with Local Structure (ss. 421-460)Jarmo KorhonenPowerpoint, ps.gz, ps
14.11.Asymptotic Model Selection for Directed Networks with Hidden Variables (ss. 461-478)Janne Nikkilä
A Hierarchical Community of Experts (ss. 479-494)Jarkko Salojärvips.gz, ps
21.11.An Information-Theoretic Analysis of Hard and Soft Assignment Methods for Clustering (ss. 495-520)Jaakko Peltonen
Learning Hybrid Bayesian Networks from Data (ss. 521-540)Arto Klamips.gz, ps
28.11.
klo 15:15
A Mean Field Learning Algorithm for Unsupervised Neural Networks (ss. 541-554)Vesa Siivolaps.gz, ps
5.12.Hepatitis B: A Case Study in MCMC (ss. 575-598)Patrik Hoyer
Prediction with Gaussian Processes: From Linear Regression to Linear Prediction and Beyond (ss. 599-622)Tuomas Pantsar

Materiaalia

Petri Myllymäki, Henry Tirri: Bayes-verkkojen mahdollisuudet. (ks. myös http://www.cs.Helsinki.FI/research/cosco/Bnets/)

Cecil Huang, Adnan Darwiche: Inference in Belief Networks: A Procedural Guide.

Kari Vasko: Johdattelua todennäköisyysjakaumien stokastiseen simulointiin (pdf); ilmestynyt @CSC-lehdessä 4/2001.

Tehtävät

Harjoitustehtäviä annetaan kaksi erää, joista ensimmäisen ratkaisut on palautettava 28.11. mennessä. Toisen erän ratkaisut on palautettava tammikuun 2002 loppuun mennessä.

  • Erä 1 (jaettu 31.10.2001, palautettava 28.11.2001): pdf, ps.gz, ps

    Vihjeitä (jos kurssiassistentti laski oikein):
    Tehtävässä 3 P(C=0|E=0) = 0,42.
    Tehtävässä 5 tilojen todennäköisyydet ovat seuraavat:

     j  P(T_j=0|havainnot) 
    10.9667
    20.9778
    30.9000
    40.1225
    50.0614

    Ratkaisuja: pdf, ps.gz, ps
    Liitteet: Python, Matlab+BNT

  • Erä 2 (jaetaan 5.12.2001, palautettava 31.1.2002): pdf, ps.gz, ps

Harjoitustyö

Lisätietoa

Lisätietoa kurssista antavat ma. prof. Jaakko Hollmén, FM Jouni Seppänen ja prof. Heikki Mannila.



http://www.cis.hut.fi/Opinnot/T-122.101/s2001/index.shtml
jkseppan@mail.cis.hut.fi
Wednesday, 12-Dec-2001 12:13:24 EET