Tiedonlouhinta (4-5 op)

Ajankohtaista

• Näin kurssi arvosteltiin ja muuta hauskaa (mm. mitä hahmoja löytyi 17 datapisteen joukosta sekä tietenkin satuja heinäsirkoista, muurahaisista ja avg-eläimistä.)
• Kurssin suoritus kotikokeella. Huom! Jos olet suorittanut kevään kurssin hyväksyttävästi ja haluat korottaa vain harjoitustehtäväosiotasi, voit tehdä vain kotikokeen. Mikäli optio kiinnostaa, kerro pian!
• Arviointilomake. Kun työnne on hyväksytysti valmis (saitte kuittauksen), täytättehän itsearvioinnin? Jos kysymykset ovat hankalia, vastaatte niin hyvin kuin osaatte. Mieluiten otan paperilla tai vaikka pdf:nä, mutta spostikin käy (tekstitiedosto tai skannattu paperi).
  sama latexina
• Loppuraportit ja esitysten kalvot
• Loppuraporttien ohje. Ehdoton deadline ke 29.5. klo 24.00.
• esitykset ja niiden pisteytys. Lähetättekö esityksenne kalvot tai linkin niihin, niin liitän ohjelmaan?
• Loppuseminaarit Mainos ja ohjelma. Kaikki kiinnostuneet tervetuloa!
• Varaattehan ryhmällenne pikaisesti lopputapaamisajan! (to 16. tai pe 17.5.) Vapaat ajat: täällä
• Työkalujen demosession ohjeet löytyvät täältä. Demoajat: Lähetättehän työkalun pikaohjeet tms. linkitettäväksi?
• Huom! Ma 6.5. pidetään työkalujen demosessio. Voit esittää toiveita tai tarjoutua esittelemään jotain työkalua (johonkin tarkoitukseen, ei kaikenkattavasti). Extrapisteitä!
• Tarkennus harjoitusrymiin osallistumisesta: Pisteiden saanti edellyttää että on paikalla ja valmis esittelemään ratkaisuja. Jos on todella hyvä syy (esim. sairaana), saa kerran kurssin aikana palauttaa kirjallisesti, kuitenkin ennen itse harjoituskertaa. Muuten ei ole pakko olla paikalla, mutta 25%:a pisteistä ei kannata menettää...
• Katso sivun lopusta työkaluvinkkejä!
• Huom! Ensimmäisen viikon harjoitukset mikroluokassa!
• Kurssille ilmoittaudutaan weboodissa sekä täyttämällä oheinen esitietokysely/ilmoittautumislomake. Katso ensin pääsyvaatimukset. Palautathan kyselylomakkeen viimeistään 5.4. 2013! Huom! Ilmoitathan mikäli olet jo täyttänyt lomakkeen mutta päätätkin perua ilmoittautumisesi. Ryhmäjako tehdään nimittäin lomakkeiden perusteella.
• Huom! Kurssin voi sisällyttää maisteritason vapaavalintaisiin kursseihin, mikäli olet valmis tekemään vaativamman harjoitustyön. Tästä täytyy kuitenkin sopia etukäteen (kerro ilmoittautumislomakkeessa).

Aika ja paikka

Luennot: 8.4.-7.5. ma ja ti klo 16-18, paitsi vappuaaton luento, joka pidetään to 2.5. klo 16-18.

Luennot pidetään Kuopiossa (Technopolis F213) ja videoidaan Joensuuhun (Tiedepuisto TB178). Kummallakin kampuksella on oma harjoitusryhmä.
Luennoija ja Kuopion harjoitusten pitäjä Wilhelmiina Hämäläinen. Joensuun harjoitusten pitäjä on Mikko Malinen. Huom! Kaikkien tulee olla läsnä ensimmäisen viikon luennolla ti 8.4. (harjoitustyöryhmien ja aiheiden jako sekä töiden aloitus) sekä viimeisillä kerroilla 20.5. ja 21.5. (loppuesitykset)! Muut luennot vapaaehtoisia.

Harjoitukset viikoilla 15-18 (4 kertaa) to klo 12-14, Kuopiossa sali E26+27 ja Joensuussa TB179, paitsi ensimmäinen kerta, joka pidetään mikroluokassa (Kuopiossa F211, Joensuussa TB247).

Viikoilla 15 tai 16 ja 19 harjoitustöiden ohjauspalaverit (n. 20min) jokaisen ryhmän kanssa (ajat sovitaan erikseen). Huom! Harjoituksissa ja ohjauspalavereissa läsnäolovelvollisuus!

Kuvaus

Tiedonlouhinnan (data mining) tavoitteena on etsiä uutta tietoa suurista datajoukoista. Tyypillisesti tiedonlouhintamenetelmät pyrkivät kuvaamaan datan mahdollisimman läpikotaisin (deskriptiivinen mallinnus). Kuvaavien mallien pohjalta voidaan kuitenkin laatia myös ennustavia malleja (prediktiivinen mallinnus), eikä tiedonlouhinnan ja koneoppimisen (machine learning) raja ole aina selvä.

Kurssin tavoitteena on antaa yleiskuva tiedonlouhinnasta sekä valmiudet omatoimiseen tiedon louhintaan valmiilla työkaluilla. Kurssi toteutetaan osittain ongelmalähtöisesti ja keskeisessä roolissa on 3-4 hengen ryhmissä tehtävä harjoitustyö. Harjoitustyössä analysoidaan mahdollisimman perusteellisesti jokin datajoukko erilaisia tiedonlouhintamenetelmiä käyttäen. Tavoitteena on löytää jokaiselle harjoitustyölle kyseisen datan/ongelma-alueen asiantuntija, joka opastaa louhintaprosessissa ja auttaa tulosten tulkinnassa. Harjoitustyöstä kirjoitetaan raportti, minkä lisäksi tuloksia esitellään toisille viimeisen viikon sessioissa.

Suoritus

Kurssilla ei ole koetta, vaan arvosana määräytyy harjoituspisteiden sekä harjoitustyön arvosanan perusteella. Huomaa, että kurssin suoritus edellyttää aktiivista työskentelyä kurssin aikana. Kaikissa harjoituksissa ja harjoitustöiden ohjauspalavereissa sekä muutamalla (harjoitustöihin liittyvällä) luentokerralla on läsnäolovelvollisuus.

Kurssin työmäärä (4 op = 108 h) jakautuu suurinpiirtein seuraavasti:

• Kontaktiopetus 22 h
• Harjoitustehtävien teko 20 h
• Harjoitustyö 40-50 h
• Omatoiminen opiskelu 10-20 h

Pääsyvaatimukset

Kurssille otetaan korkeintaan 30 Tietojenkäsittelytieteen opiskelijaa. Esitietoina edellytetään kursseja Ohjelmointi I ja II, Tietorakenteet ja algoritmit I sekä ainakin välttävät perustaidot Linuxin käytöstä.

Lisäksi kurssille voidaan ottaa muiden alojen opiskelijoita, mikäli näillä on harjoitustyöhön sopiva datajoukko ja asiantuntemusta sen analysointiin. Muiden alojen opiskelijoilta ei edellytetä ohjelmointitaitoja, mutta sen sijaan heidän tulisi hallita tietokoneen käytön perustaidot ja oppia käyttämään uusia työkaluja. Tilastollisten työkalujen hallinta on kaikille suotavaa.

Kurssille ilmoittaudutaan weboodissa sekä täyttämällä oheinen esitetokysely/ilmoittautumislomake. Huom! Ilmoitathan mikäli olet jo täyttänyt lomakkeen mutta päätätkin perua ilmoittautumisesi? Ryhmäjako tehdään nimittäin lomakkeiden perusteella.

Alustava ohjelma

Harjoitukset

• Harjoitus 1 (mikroharjoitukset)
  worlstatcleaned.csv (siistitty, ei puuttuvia arvoja)
• Harjoitus 2
  suodatalisatiedoilla.txt esimerkkisaannot.txt mittalukujen tulkintaohje
• Harjoitus 3
  naaraatvalikoitu.csv naaraatvalikoitudiskr.csv lehmakiiht.csv
  mutuali (Samin tekemä MI-mittaan perustuva korrelaatiolaskin; linuxiin mutuali.zip, windowsiin myös valmiiksi käännetty versio) Jos Mutuali ei toimi
• Harjoitus 4
  hiirirottaerot.csv kyselysanat.csv syontiakt.txt

Mallivastauksia ja kommentteja Kannattaa katsoa! Vinkkejä harjoitustöihin.

Oppimateriaalia

Kurssilla ei ole mitään tiettyä kurssikirjaa, vaan opiskelijoita rohkaistaan etsimään itse lisätietoja. Suositeltua oppimateriaalia listataan kurssin kuluessa. Esim. seuraavat kirjat sopivat pohjaksi:

• D.J. Hand, H. Mannila, P. Smyth: Principles of Data Mining, MIT Press 2001. (Hyvin selkeä ja helppolukuinen. Lähinnä luokittelu- ja klusterointimenetelmät.)
• J. Han, M. Kamber: Data Mining: Concepts and Techniques, 2nd edit, Morgan Kaufmann Publishers, 2006. (Käytännönläheinen, ainut joka puhuu edes pikkuisen datan esiprosessoinnista.)
• R.O. Duda, P.E. Hart ja D.G. Stork: Pattern classification. 2nd edit. John Wiley et sones, 2001. (Erityisesti neuroverkkojen viritysohjeita, mallipohjaisesta klusteroinnista, ym. Paikoin syvällinen mutta suht' helppolukuinen. Varsinkin hahmontunnistuksesta ja signaalinkäsittelystä kiinnostuneille.)
• T. Mitchell: Machine learning. McGraw Hill, 1997. Erinomainen klassikkokirja. Käsittelee lähinnä luokittelua (ja yleistä koneoppimisen teoriaa). Tietämys ei ole vanhentunutta, mutta uusista menetelmistä kuten SVM:istä ei kerrota. Helppolukuinen muttei heppoinen, mausteena mukavasti teoriaa. Uuden painoksen pitäisi ilmestyä piakkoin (ks. täältä).
• Hastie et al.: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Löytyy ilmaiseksi laillisesti verkosta! Tilastotieteellisesti orientoitunut.

Lisätietoa verkossa (listaa täydennetään):

• Datan esiprosessointi:
  • Data Preprocessing Techniques for Data Mining (lähinnä datan puhdistus)
  • Malik et al: A Comprehensive Approach Towards Data Preprocessing Techniques and Association Rules
  • Data preprocessing (selkeät kalvot)
  • Diskretointimenetelmistä
  • Kiihtyvyysdatasta eristettäviä piirteitä (voi soveltaa muuhunkin aikasarjadataan)
• Tilastotieteen käsikirjoja ym. materiaalia
  • McDonald: Handbook of Biological Statistics (Kokonainen kirja ilmaiseksi)
  • NIST/SEMATECH e-Handbook of Statistical Methods
  • StatSoft: Electronic Statistics Textbook.
  • Dallal: The Little Handbook of Statistical Practice (mm. lineaariregression tulkinnasta ja aikasarjadatasta)
• Luokittelu ja klusterointi
  • Mitchell: Generative and discriminative classifiers luku tulevasta Machine Learning-kirjasta (naiivi-Bayes-luokittelijat ja logistinen regressio)
  • Tan. et al.: Introduction to Data Mining. Ilmaisia näytelukuja mm. luokittelun ja klusteroinnin perusteista.
  • Hämäläinen and Vinni: Classifying educational data: special problems and guidelines. In Romero, C., et al., editors, Handbook on Educational Data Mining. (Vaikka sovellusalueena onkin opetusteknologia, antaa yleiskuvan luokittelun perusteista ja menetelmistä. Vinkkejä luokittelijan valintaan. Hyvin helppotajuinen. Skippaa alku.)
  • Halkidi et al.: On Clustering Validation Techniques. Journal of Intelligent Information Systems, 17:2/3, 107-145, 2001. Klusterointimenetelmien vertailua ja hyvyysmittoja.
  • M. Malinen: Tasapainoinen klusterointi (Mikon esityskalvot)
• Temporaalinen data
  • Autokorrelaatiosta
  • Assfalg: Advanced Analysis on Temporal Data Dissertation, LMU München: Faculty of Mathematics, Computer Science and Statistics.
  • Laxman ja Sastry: A survey of temporal data mining

Muuta materiaalia

• Hyödyllisiä ilmaistyökaluja. Suosittele jos löydät hyviä! Tai jaa itse tekemiäsi työkaluja! (Jaettu ilo on 2-kertainen ilo.)