Syötä havainnot
Erota luvut pilkulla, välilyönnillä tai rivinvaihdolla. Käytä desimaalierottimena pistettä, esimerkiksi: 10, 10, 10, 11, 12, 12, 12, 13, 13, 14, 15, 100
Poikkeavien arvojen laskuri
Tunnista aineiston poikkeavat havainnot 1,5 × IQR -säännöllä: arvot, jotka jäävät kvartiilirajojen ulkopuolelle.
Tulokset
Poikkeavien arvojen tunnistus – IQR-sääntö käytännössä
Poikkeavat arvot eli outlierit ovat havaintoja, jotka erottuvat selvästi muusta aineistosta. Ne voivat olla virheitä tai aitoja ääritapauksia, mutta kummassakin tapauksessa ne voivat vääristää tunnuslukuja ja malleja. Tämä laskuri tunnistaa poikkeamat 1,5 × IQR -säännöllä, joka on robusti eikä oleta jakaumalta normaalisuutta.
Määritelmä
Poikkeava arvo on havainto, joka jää kvartiileihin perustuvien rajojen eli aitojen ulkopuolelle. Koska menetelmä nojaa kvartiileihin eikä keskiarvoon tai keskihajontaan, yksittäiset poikkeamat eivät itse siirrä rajoja juurikaan – sääntö on siksi vakaa myös voimakkaasti poikkeavissa aineistoissa.
Kaava ja selitys
Lasketaan ensin kvartiiliväli ja sen jälkeen ala- ja yläraja:
IQR = Q3 − Q1
alaraja = Q1 − k × IQR ja yläraja = Q3 + k × IQR
Havainto on poikkeava, jos se on pienempi kuin alaraja tai suurempi kuin yläraja. Kerroin k on tavallisesti 1,5 (tavalliset poikkeamat) tai 3,0 (äärimmäiset poikkeamat). Rajat tunnetaan Tukeyn aitoina, ja ne piirtyvät laatikko-jana-kuvion viiksiksi.
Vaiheittainen esimerkki
Tarkastellaan aineistoa 10, 10, 10, 11, 12, 12, 12, 13, 13, 14, 15, 100.
- Kvartiilit: Q1 = 10,75 ja Q3 = 13,25.
- Kvartiiliväli: IQR = 13,25 − 10,75 = 2,5.
- Rajat: alaraja = 10,75 − 1,5 × 2,5 = 7 ja yläraja = 13,25 + 1,5 × 2,5 = 17.
- Tulos: arvo 100 ylittää ylärajan, joten se on poikkeava havainto.
Tuloksen tulkinta
Rajojen ulkopuolelle jäävät havainnot ovat ehdokkaita poikkeaviksi arvoiksi. Kertoimella 1,5 saadaan tavanomaiset poikkeamat ja kertoimella 3,0 vain kaikkein kaukaisimmat. On tärkeää muistaa, että sääntö vain merkitsee arvot tarkasteltaviksi – se ei kerro, ovatko ne virheitä vai aitoja havaintoja.
Pitääkö poikkeamat poistaa?
Poikkeavaa arvoa ei pidä poistaa automaattisesti. Selvitä ensin syy: mittaus- tai kirjausvirhe voidaan korjata tai poistaa, mutta aito ääriarvo voi olla aineiston tärkein havainto. Monissa tilanteissa kannattaa raportoida tulokset sekä poikkeamien kanssa että ilman niitä, jotta niiden vaikutus näkyy.
Käyttökohteet
- Laadunvalvonta: virheellisten mittausten ja syöttöjen löytäminen.
- Aineiston siivous: esikäsittely ennen tilastollista mallinnusta.
- Laatikko-jana-kuvio: aidat määrittävät viikset ja merkityt poikkeamat.
- Anomalioiden havaitseminen: poikkeavien tapahtumien tunnistaminen.
Poikkeavien arvojen tunnistus opinnoissa
IQR-sääntö ja Tukeyn aidat kuuluvat kuvailevan tilastotieteen menetelmiin ja esitellään yleensä kvartiilien ja laatikko-jana-kuvion yhteydessä jo lukiossa. Yliopiston tilastotieteessä ja data-analyysissä poikkeamien tunnistus on osa aineiston esikäsittelyä, ja IQR-menetelmää suositaan, koska se ei oleta jakaumalta normaalisuutta toisin kuin z-arvoon perustuva sääntö.
Usein kysytyt kysymykset
Mikä on poikkeava arvo eli outlier?
Poikkeava arvo on havainto, joka eroaa selvästi muusta aineistosta. Se voi johtua mittausvirheestä, kirjausvirheestä tai aidosti harvinaisesta tapauksesta. Poikkeavat arvot voivat vääristää keskiarvoa, keskihajontaa ja muita tunnuslukuja, joten ne kannattaa tunnistaa ennen analyysia.
Miten 1,5 × IQR -sääntö toimii?
Lasketaan kvartiiliväli IQR = Q3 − Q1. Havainto on poikkeava, jos se on pienempi kuin Q1 − 1,5 × IQR (alaraja) tai suurempi kuin Q3 + 1,5 × IQR (yläraja). Nämä rajat tunnetaan Tukeyn aitoina, ja ne muodostavat myös laatikko-jana-kuvion viikset. Sääntö on robusti, koska se perustuu kvartiileihin eikä keskiarvoon.
Mitä eroa on kertoimilla 1,5 ja 3,0?
Kerroin 1,5 löytää tavalliset poikkeavat arvot ja on yleisin valinta. Kerroin 3,0 tuottaa leveämmät rajat ja löytää vain erittäin kaukana olevat eli äärimmäiset poikkeamat. Mitä suurempi kerroin, sitä harvempi havainto luokitellaan poikkeavaksi.
Pitääkö poikkeavat arvot aina poistaa?
Ei välttämättä. Poikkeava arvo voi olla aineiston aito ja tärkeä havainto, ei pelkkä virhe. Ennen poistamista kannattaa selvittää syy: jos kyseessä on mittaus- tai kirjausvirhe, poisto on perusteltua, mutta aidot ääriarvot kertovat usein olennaista ilmiöstä. Poikkeamia ei pidä poistaa pelkästään siksi, että ne sopivat huonosti malliin.
Mihin poikkeavien arvojen tunnistusta käytetään?
Sitä käytetään aineiston laadunvalvonnassa, mittausvirheiden etsinnässä ja ennen tilastollista mallinnusta, koska poikkeamat voivat vääristää tuloksia. IQR-sääntö on yleinen, koska se ei oleta jakaumalta normaalisuutta ja kestää itse poikkeamia. Vaihtoehtoinen menetelmä on z-arvoon perustuva sääntö, joka olettaa likimain normaalin jakauman.
Oliko tästä laskurista apua?