Koncept informacijske entropije implicira negativni logaritem funkcije verjetnosti mase za vrednost. Torej, ko ima vir podatkov vrednost z manjšo verjetnostjo (tj. ko se zgodi dogodek z majhno verjetnostjo), dogodek nosi več "informacij" ("presenečenja"), kot če imajo izvorni podatki vrednost z večjo verjetnostjo..
Količina informacij, ki jih posreduje vsak tako definiran dogodek, postane naključna spremenljivka, katere pričakovana vrednost je entropija informacije. Na splošno se entropija nanaša na motnjo ali negotovost, njena definicija, ki se uporablja v teoriji informacij, pa je neposredno analogna tisti, ki se uporablja v statistični termodinamiki. Koncept IE je predstavil Claude Shannon v svojem prispevku iz leta 1948 "Matematična teorija komunikacije". Od tod izvira izraz "Shannonova informacijska entropija".
Definicija in sistem
Osnovni model sistema za prenos podatkov sestavljajo trije elementi: vir podatkov, komunikacijski kanal in sprejemnik,in, kot pravi Shannon, je "osnovni komunikacijski problem" v tem, da lahko sprejemnik na podlagi signala, ki ga prejme preko kanala, ugotovi, katere podatke je ustvaril vir. Entropija zagotavlja absolutno omejitev za najkrajšo možno povprečno dolžino kodiranja stisnjenih izvornih podatkov brez izgub. Če je entropija vira manjša od pasovne širine komunikacijskega kanala, se lahko podatki, ki jih ustvari, zanesljivo prenesejo do sprejemnika (vsaj v teoriji, pri čemer morda zanemarimo nekatere praktične pomisleke, kot je kompleksnost sistema, ki je potreben za prenos podatkov in koliko časa lahko traja za prenos podatkov).
Informacijska entropija se običajno meri v bitih (drugo imenovanih "shannons") ali včasih v "naravnih enotah" (nats) ali decimalnih mestih (imenovanih "dits", "bans" ali "hartleys"). Merska enota je odvisna od osnove logaritma, ki se uporablja za določanje entropije.
Lastnosti in logaritem
Porazdelitev verjetnosti dnevnika je uporabna kot merilo entropije, ker je dodatek za neodvisne vire. Na primer, entropija poštene stave na kovanec je 1 bit, medtem ko je entropija m-prostinov m bitov. V preprosti predstavitvi so potrebni log2(n) bitov za predstavitev spremenljivke, ki lahko prevzame eno od n vrednosti, če je n potenca 2. Če so te vrednosti enako verjetne, je entropija (v bitih) enaka enako tej številki. Če je ena od vrednosti verjetnejša od drugih, se ugotovi, da jepomen pojavi, je manj informativen, kot če bi se pojavil kakšen manj splošen rezultat. Nasprotno pa redkejši dogodki zagotavljajo dodatne informacije o sledenju.
Ker je opazovanje manj verjetnih dogodkov manj pogosto, ni nič skupnega, da je entropija (ki velja za povprečno informacijo), pridobljena iz neenakomerno porazdeljenih podatkov, vedno manjša ali enaka log2(n). Entropija je nič, ko je definiran en rezultat.
Shannonova informacijska entropija kvantificira te premisleke, če je znana verjetnostna porazdelitev osnovnih podatkov. Pomen opazovanih dogodkov (pomen sporočil) je pri definiciji entropije nepomemben. Slednji upošteva le verjetnost videnja določenega dogodka, zato so informacije, ki jih vsebuje, podatki o osnovni porazdelitvi možnosti, ne pa o pomenu samih dogodkov. Lastnosti informacijske entropije ostanejo enake, kot je opisano zgoraj.
Teorija informacij
Osnovna ideja teorije informacij je, da več ko kdo ve o temi, manj informacij lahko dobi o njej. Če je dogodek zelo verjeten, ni presenetljivo, kdaj se zgodi in zato ponuja malo novih informacij. Nasprotno, če je bil dogodek malo verjeten, je bilo veliko bolj informativno, da se je dogodek zgodil. Zato je koristna obremenitev naraščajoča funkcija inverzne verjetnosti dogodka (1 / p).
Zdaj, če se zgodi več dogodkov, entropijameri povprečno informacijsko vsebino, ki jo lahko pričakujete, če pride do enega od dogodkov. To pomeni, da ima metanje kocke več entropije kot metanje kovanca, ker ima vsak kristalni izid manjšo verjetnost kot vsak izid kovanca.
Funkcije
Tako je entropija merilo nepredvidljivosti stanja ali, kar je isto, njegove povprečne informacijske vsebine. Za intuitivno razumevanje teh izrazov si oglejte primer politične ankete. Običajno se takšne ankete zgodijo, ker rezultati na primer volitev še niso znani.
Z drugimi besedami, rezultati ankete so razmeroma nepredvidljivi in dejansko njeno izvajanje in pregled podatkov daje nekaj novih informacij; so samo različni načini povedati, da je predhodna entropija rezultatov ankete velika.
Sedaj razmislite o primeru, ko se ista anketa izvede drugič kmalu po prvi. Ker je rezultat prve ankete že znan, so rezultati druge ankete dobro predvideni in rezultati ne bi smeli vsebovati veliko novih informacij; v tem primeru je a priori entropija drugega rezultata ankete majhna v primerjavi s prvim.
metanje kovancev
Sedaj razmislite o primeru metanja kovanca. Ob predpostavki, da je verjetnost repov enaka verjetnosti glav, je entropija metanja kovanca zelo visoka, saj je to svojevrsten primer informacijske entropije sistema.
To je zato, kerda je nemogoče predvideti, da bo izid kovanca vržen pred časom: če moramo izbrati, je najboljše, kar lahko storimo, predvideti, da bo kovanec pristal na repu, in ta napoved bo pravilna z verjetnostjo 1 / 2. Tako metanje kovanca ima en bit entropije, saj obstajata dva možna izida, ki se zgodita z enako verjetnostjo, in preučevanje dejanskega izida vsebuje en bit informacij.
Nasprotno, metanje kovanca na obeh straneh z repom in brez glave nima entropije, saj bo kovanec vedno pristal na tem znaku in izid je mogoče popolnoma napovedati.
Sklep
Če je shema stiskanja brez izgub, kar pomeni, da lahko vedno obnovite celotno izvirno sporočilo z dekomprimiranjem, potem ima stisnjeno sporočilo enako količino informacij kot izvirno, vendar se prenese v manj znakih. To pomeni, da ima več informacij ali višjo entropijo na znak. To pomeni, da ima stisnjeno sporočilo manj redundance.
Grobo rečeno, Shannonov izrek kodiranja izvorne kode pravi, da shema stiskanja brez izgub ne more zmanjšati sporočil v povprečju tako, da bi imela več kot en bit informacij na bit sporočila, vendar je mogoče doseči katero koli vrednost, manjšo od enega bita informacij na bit sporočila z uporabo ustrezne sheme kodiranja. Entropija sporočila v bitih pomnožena z njegovo dolžino je merilo, koliko splošnih informacij vsebuje.
