|
Courses in previous years:
2000
T-122.101 Informaatiotekniikan erikoiskurssi V
| Luennoijat: | ma. prof. Jaakko Hollmén, prof. Heikki Mannila |
|---|
| Assistentti: | FM Jouni Seppänen |
|---|
| Lukukausi: | syksy 2001 |
|---|
| Opintoviikot: | 4 ov (esitelmä+tehtävät 2 ov, harjoitustyö 2 ov) |
|---|
| Paikka: | luentosali T4 |
|---|
| Aika: | keskiviikkoisin klo 14:15-16:00, alkaa 12. syyskuuta |
|---|
| Kieli: | suomi |
|---|
| Oppikirja: | Michael I. Jordan (ed.):
Learning in Graphical Models, MIT Press 1999,
ISBN: 0262600323
- Kirjasta järjestetään yhteistilaus, jos kiinnostuneita on tarpeeksi.
- Verkkokirjakauppoja:
Amazon USA,
Amazon UK,
Fatbrain
- Älä sekoita Kluwerin vuonna 1998 julkaisemaan kirjaan!
|
|---|
Päättely ja oppiminen Bayes-verkoissa
Bayes-verkot ovat moderni matemaattinen mallinnusmenetelmä,
jolla pyritään hallitsemaan epävarmuutta monimutkaisissa
järjestelmissä. Todennäköisyyslaskenta antaa työkalut epävarmuuden
kuvaamiseksi, ja mallit rakennetaan modulaarisesti verkkoteorian
avulla. Esimerkiksi sekoitetiheysmallit, faktorianalyysi,
piilo-Markov-mallit ja Kalman-suotimet voidaan nähdä Bayes-verkkojen
erikoistapauksina.
Päättelyllä tarkoitetaan seuraavan tehtävän ratkaisemista:
joillekin mallin osille (verkon solmuille) tunnetaan
todennäköisyysjakauma, ja on löydettävä muiden osien jakaumat.
Olemassaolevat päättelymenetelmät voidaan jakaa kolmeen luokkaan:
tarkat, deterministisesti likimääräiset ja Monte Carlo- eli
satunnaismenetelmät.
Oppiminen tarkoittaa Bayes-verkon rakenteen tai yksittäisiin
osiin liittyvien jakaumien arvioimista datasta. EM-algoritmi on
tunnettu oppimismenetelmä.
Suorittaminen
Osallistujan on pidettävä yksi esitelmä,
oltava läsnä vähintään 80 %:ssa seminaareista,
ratkaistava vähintään 60 % annetuista harjoitustehtävistä
ja tehtävä yksi suurempi harjoitustyö, joka vaatii ohjelmointia.
Arvosanaa "kiittäen hyväksytty" varten esitelmän ja harjoitustyön
on oltava hyviä ja harjoitustehtävistä on ratkaistava melkein
kaikki.
Kurssille voidaan ottaa enintään 20 opiskelijaa.
Aikataulu
Huom. 28.11. aloitetaan väitöstilaisuuden takia
vasta klo 15:15. Silloin on vain yksi esitelmä, joten seminaari loppuu
ajallaan.
| Päivä | Aihe | Puhuja | Kalvot |
|---|
| 12.9. | Johdanto | Jaakko Hollmén |
| 19.9. | Introduction to Inference in Bayesian
Networks (ss. 9-26) | Jouni Seppänen | pdf, ps.gz,
ps |
| 26.9. | ------ (ei seminaaria) ------ |
| 3.10. | Advanced Inference in Bayesian
Networks (ss. 27-50) | Mika Inki | ps.gz, ps |
| Bucket Elimination: A Unifying Framework for Probabilistic Inference (75-104) | Tommi Nykopp | |
| 10.10. | An Introduction to Variational Methods for Graphical Models (ss. 105-162)
(+ Improving the Mean Field Approximation Via the Use of Mixture
Distributions (ss. 163-174)) | Antti Honkela | ps.gz, ps |
| Jaakko Särelä | |
| 17.10. | Introduction to Monte Carlo Methods (ss. 175-204)
(+ Suppressing Random Walks in Markov Chain Monte Carlo using Ordered
Overrelaxation (ss. 205-230)) | Kari Vasko | ps.gz, ps |
| Aleksi Saari | pdf, ps.gz,
ps |
| 24.10. | Chain Graphs and Symmetric Associations (ss. 231-260) | Ville Viitaniemi |
| A View of the EM Algorithm that Justifies Incremental, Sparse and Other Variants (ss. 355-370) | Matti Aksela |
| 31.10. | A Tutorial on Learning with Bayesian Networks (ss. 301-354) | Ville Kotovirta |
| Latent Variable Models (ss. 371-404) | Jarkko Venna |
| 7.11. | Stochastic Algorithms for Exploratory data Analysis: Data Clustering and Data Visualization (ss. 405-420) | Esa Rinta-Runsala |
| Learning Bayesian Networks with Local Structure (ss. 421-460) | Jarmo Korhonen | Powerpoint, ps.gz, ps |
| 14.11. | Asymptotic Model Selection for Directed Networks with Hidden Variables (ss. 461-478) | Janne Nikkilä |
| A Hierarchical Community of Experts (ss. 479-494) | Jarkko Salojärvi | ps.gz, ps |
| 21.11. | An Information-Theoretic Analysis of Hard and Soft Assignment Methods for Clustering (ss. 495-520) | Jaakko Peltonen |
| Learning Hybrid Bayesian Networks from Data (ss. 521-540) | Arto Klami | ps.gz, ps |
28.11.
klo 15:15 | A Mean Field Learning Algorithm for Unsupervised Neural Networks (ss. 541-554) | Vesa Siivola | ps.gz, ps |
| 5.12. | Hepatitis B: A Case Study in MCMC (ss. 575-598) | Patrik Hoyer |
| Prediction with Gaussian Processes: From Linear Regression to Linear Prediction and Beyond (ss. 599-622) | Tuomas Pantsar |
Materiaalia
Petri Myllymäki, Henry Tirri:
Bayes-verkkojen mahdollisuudet.
(ks. myös http://www.cs.Helsinki.FI/research/cosco/Bnets/)
Cecil Huang, Adnan Darwiche:
Inference in Belief Networks: A Procedural Guide.
Kari Vasko:
Johdattelua todennäköisyysjakaumien stokastiseen simulointiin
(pdf); ilmestynyt @CSC-lehdessä 4/2001.
Tehtävät
Harjoitustehtäviä annetaan kaksi erää, joista ensimmäisen
ratkaisut on palautettava 28.11. mennessä.
Toisen erän ratkaisut on palautettava tammikuun 2002
loppuun mennessä.
-
Erä 1 (jaettu 31.10.2001, palautettava 28.11.2001):
pdf, ps.gz, ps
Vihjeitä (jos kurssiassistentti laski oikein):
Tehtävässä 3 P(C=0|E=0) = 0,42.
Tehtävässä 5 tilojen todennäköisyydet ovat seuraavat:
| j | P(T_j=0|havainnot) |
|---|
| 1 | 0.9667 |
| 2 | 0.9778 |
| 3 | 0.9000 |
| 4 | 0.1225 |
| 5 | 0.0614 |
Ratkaisuja: pdf, ps.gz, ps
Liitteet: Python, Matlab+BNT
- Erä 2 (jaetaan 5.12.2001, palautettava 31.1.2002):
pdf, ps.gz, ps
Harjoitustyö
Lisätietoa
Lisätietoa kurssista antavat
ma. prof. Jaakko Hollmén,
FM Jouni Seppänen ja
prof. Heikki Mannila.
http://www.cis.hut.fi/Opinnot/T-122.101/s2001/index.shtml
jkseppan@mail.cis.hut.fi
Wednesday, 12-Dec-2001 12:13:24 EET
|