Todennäköisyydet tai frekvenssit
Erota arvot pilkulla, välilyönnillä tai rivinvaihdolla. Voit antaa todennäköisyydet (summa 1) tai lukumäärät, jotka muunnetaan todennäköisyyksiksi. Esimerkiksi: 0.5, 0.25, 0.25
Shannonin entropia
Laske jakauman Shannonin entropia eli keskimääräinen informaatiosisältö – syötä todennäköisyydet tai frekvenssit.
Tulokset
Shannonin entropia – jakauman epävarmuus ja informaatiosisältö
Shannonin entropia on informaatioteorian keskeinen tunnusluku. Se mittaa, kuinka paljon epävarmuutta todennäköisyysjakaumaan liittyy, eli kuinka paljon informaatiota tuloksen havaitseminen keskimäärin tuottaa. Tämä laskuri laskee entropian valitsemassasi yksikössä sekä enimmäisentropian ja normalisoidun entropian.
Mitä entropia tarkoittaa?
Jos yksi tulos on lähes varma, sen havaitseminen ei tuo juuri uutta tietoa ja entropia on pieni. Jos kaikki vaihtoehdot ovat yhtä todennäköisiä, tulosta on vaikein ennustaa ja entropia on suurin mahdollinen. Entropia kuvaa siis jakauman tasaisuutta ja ennustettavuutta yhdellä luvulla.
Kaava ja selitys
Shannonin entropia lasketaan kaavalla:
H = −Σ pᵢ × log_b(pᵢ)
Summa käy läpi kaikki tulokset, ja pᵢ on kunkin tuloksen todennäköisyys. Logaritmin kanta b määrää yksikön: 2 antaa bitit, e antaa natit ja 10 antaa ditit. Miinusmerkki tekee tuloksesta positiivisen, koska log_b(pᵢ) on negatiivinen alle ykkösen oleville todennäköisyyksille. Nollatodennäköisyydet jätetään summasta pois.
Vaiheittainen esimerkki
Tarkastellaan kolmea tulosta todennäköisyyksillä 0,5, 0,25 ja 0,25 (bitit, kanta 2).
- Termi 1: −0,5 × log₂(0,5) = −0,5 × (−1) = 0,5.
- Termi 2: −0,25 × log₂(0,25) = −0,25 × (−2) = 0,5.
- Termi 3: −0,25 × log₂(0,25) = 0,5.
- Entropia: 0,5 + 0,5 + 0,5 = 1,5 bittiä.
Enimmäisentropia ja tasaisuus
Suurin mahdollinen entropia saavutetaan, kun kaikki k vaihtoehtoa ovat yhtä todennäköisiä:
H_max = log_b(k)
Normalisoitu entropia eli tasaisuus on todellisen entropian suhde enimmäisentropiaan:
tasaisuus = H ÷ H_max
Tasaisuus on välillä 0–1: arvo 1 tarkoittaa täysin tasaista jakaumaa ja arvo lähellä nollaa hyvin ennustettavaa jakaumaa.
Yksiköt: bitit, natit ja ditit
Yksikkö riippuu vain logaritmin kannasta. Bitit (kanta 2) ovat yleisin valinta tietotekniikassa. Natit (luonnollinen logaritmi) esiintyvät usein matematiikassa ja koneoppimisessa, ja ditit (kanta 10) ovat harvinaisempia. Arvot muuntuvat toisikseen vakiokertoimella, esimerkiksi 1 nat ≈ 1,4427 bittiä.
Käyttökohteet
- Tiedonpakkaus: entropia on alaraja keskimääräiselle koodisanan pituudelle.
- Koneoppiminen: päätöspuiden jakojen valinta informaatiohyödyn avulla.
- Tietoturva: salasanojen ja avainten arvattavuuden mittaaminen.
- Ekologia ja kielitiede: monimuotoisuuden ja vaihtelun kuvaaminen.
Usein kysytyt kysymykset
Mikä on Shannonin entropia?
Shannonin entropia mittaa todennäköisyysjakauman keskimääräistä epävarmuutta eli informaatiosisältöä. Mitä tasaisemmin todennäköisyys jakautuu vaihtoehtojen kesken, sitä suurempi entropia ja sitä vaikeampi tulosta on ennustaa. Jos yksi tulos on lähes varma, entropia on lähellä nollaa. Entropia ilmaistaan yleensä bitteinä, kun logaritmin kanta on 2.
Miten Shannonin entropia lasketaan?
Entropia lasketaan kaavalla H = −Σ pᵢ × log₂(pᵢ), missä summa käy läpi kaikki tulokset ja pᵢ on kunkin tuloksen todennäköisyys. Jokaisen termin pᵢ·log₂(pᵢ) etumerkki käännetään, koska logaritmi on negatiivinen alle ykkösen oleville todennäköisyyksille. Nollatodennäköisyydet jätetään summasta pois.
Mitä eroa on biteillä, nateilla ja diteillä?
Ero on vain logaritmin kannassa. Kanta 2 antaa entropian bitteinä (yleisin), luonnollinen logaritmi (kanta e) antaa natit ja kanta 10 antaa ditit eli hartleyt. Arvot ovat suhteessa toisiinsa vakiokertoimella: esimerkiksi 1 nat ≈ 1,4427 bittiä. Valitse yksikkö käyttötarkoituksen mukaan.
Mikä on enimmäisentropia?
Enimmäisentropia saavutetaan, kun kaikki k vaihtoehtoa ovat yhtä todennäköisiä, ja se on log_b(k). Esimerkiksi neljälle yhtä todennäköiselle tulokselle enimmäisentropia on log₂(4) = 2 bittiä. Normalisoitu entropia eli tasaisuus on todellisen entropian suhde enimmäisentropiaan, ja se on välillä 0–1.
Voinko syöttää lukumääriä todennäköisyyksien sijaan?
Kyllä. Voit antaa frekvenssit eli lukumäärät, jolloin laskuri jakaa kunkin luvun niiden summalla ja muodostaa todennäköisyydet automaattisesti. Esimerkiksi lukumäärät 10, 20, 30 ja 40 vastaavat todennäköisyyksiä 0,1, 0,2, 0,3 ja 0,4. Entropia lasketaan näistä todennäköisyyksistä.
Oliko tästä laskurista apua?