Bayesova omrežja: definicija, primeri in kako delujejo

Kazalo:

Bayesova omrežja: definicija, primeri in kako delujejo
Bayesova omrežja: definicija, primeri in kako delujejo
Anonim

Prepričanje, odločitveno omrežje, Bayesov (ian) model ali verjetnostno voden model acikličnega grafa je variantna shema (vrsta statističnega modela), ki predstavlja niz spremenljivk in njihovih pogojnih odvisnosti prek usmerjenega acikličnega grafa (DAG).

Na primer, Bayesova mreža lahko predstavlja verjetnostna razmerja med boleznimi in simptomi. Glede na slednje je mogoče po omrežju izračunati možnost različnih bolezni. V spodnjem videu si lahko ogledate primer Bayesove mreže prepričanj z izračuni.

Image
Image

Učinkovitost

Učinkoviti algoritmi lahko izvajajo sklepanje in učenje v Bayesovih omrežjih. Omrežja, ki modelirajo spremenljivke (kot so govorni signali ali zaporedja beljakovin), se imenujejo dinamična omrežja. Generalizacije Bayesovih omrežij, ki lahko predstavljajo in rešujejo probleme v negotovosti, se imenujejo diagrami vpliva.

Essence

FormalnoBayesova omrežja so DAG, katerih vozlišča predstavljajo spremenljivke v Bayesovem smislu: lahko so opazovane vrednosti, skrite spremenljivke, neznani parametri ali hipoteze. Ker je zelo zanimivo.

primer Bayesove mreže

Dva dogodka lahko povzročita, da se trava zmoči: aktivna škropilna naprava ali dež. Dež neposredno vpliva na uporabo škropilnika (namreč, ko dežuje, je škropilnik običajno neaktiven). To situacijo je mogoče modelirati z uporabo Bayesove mreže.

Tipična formula
Tipična formula

Simulacija

Ker je Bayesovo omrežje popoln model za svoje spremenljivke in njihove odnose, ga je mogoče uporabiti za odgovarjanje na verjetnostna vprašanja o njih. Na primer, lahko se uporablja za posodobitev znanja o stanju podmnožice spremenljivk, ko opazimo druge podatke (dokazne spremenljivke). Ta zanimiv proces se imenuje verjetnostno sklepanje.

A posteriori daje univerzalno zadostno statistiko za aplikacije odkrivanja pri izbiri vrednosti za podmnožico spremenljivk. Tako lahko ta algoritem obravnavamo kot mehanizem za avtomatsko uporabo Bayesovega izreka za kompleksne probleme. Na slikah v članku si lahko ogledate primere Bayesovih omrežij prepričanj.

Praktična Bayesova mreža
Praktična Bayesova mreža

Izhodne metode

Najpogostejše metode natančnega sklepanja so: eliminacija spremenljivke, ki odstrani (z integracijo ali seštevanjem) neopaznoparametri brez poizvedbe enega za drugim z dodelitvijo zneska izdelku.

Kliknite na razmnoževanje "drevesa", ki predpomni izračune, tako da je mogoče poizvedovati po več spremenljivkah hkrati in hitro razširiti nove dokaze; in rekurzivno ujemanje in/ali iskanje, ki omogočata kompromise med prostorom in časom ter se ujemata z učinkovitostjo izločanja spremenljivk, ko se porabi dovolj prostora.

Vse te metode imajo posebno zapletenost, ki je eksponentno odvisna od dolžine omrežja. Najpogostejši algoritmi približnega sklepanja so eliminacija mini segmentov, ciklično širjenje prepričanj, posplošeno širjenje prepričanja in variacijske metode.

Vrste omrežij
Vrste omrežij

Omrežje

Če želite v celoti določiti Bayesovo omrežje in tako v celoti predstavljati skupno verjetnostno porazdelitev, je treba za vsako vozlišče X določiti porazdelitev verjetnosti za X zaradi staršev X.

Pogojna porazdelitev X po starših ima lahko kakršno koli obliko. Običajno se dela z diskretnimi ali Gaussovimi porazdelitvami, saj poenostavlja izračune. Včasih so znane le omejitve distribucije. Nato lahko uporabite entropijo, da določite posamezno porazdelitev, ki ima najvišjo entropijo glede na omejitve.

Podobno je v specifičnem kontekstu dinamičnega Bayesovega omrežja pogojna porazdelitev za časovni razvoj latentnegastanje je običajno nastavljeno tako, da poveča stopnjo entropije implicitnega naključnega procesa.

Bayesov splet zaupanja
Bayesov splet zaupanja

Neposredno povečanje verjetnosti (ali posteriorne verjetnosti) je pogosto težavno glede na prisotnost neopaženih spremenljivk. To še posebej velja za Bayesovo mrežo odločanja.

Klasični pristop

Klasični pristop k tej težavi je algoritem maksimiranja pričakovanj, ki izmenično izračuna pričakovane vrednosti neopaženih spremenljivk, odvisnih od opazovanih podatkov, z maksimiranjem skupne verjetnosti (ali posteriorne vrednosti), ob predpostavki, da je predhodno izračunana pričakovana vrednosti so pravilne. V pogojih zmerne pravilnosti se ta proces zbliža v najvišjih (ali najvišjih a posteriori) vrednostih parametrov.

Popolnejši Bayesov pristop do parametrov je, da jih obravnavamo kot dodatne neopažene spremenljivke in izračunamo celotno posteriorno porazdelitev po vseh vozliščih glede na opazovane podatke in nato integriramo parametre. Ta pristop je lahko drag in povzroči velike modele, zaradi česar so klasični pristopi za prilagajanje parametrov bolj dostopni.

V najpreprostejšem primeru Bayesovo omrežje definira strokovnjak in se nato uporabi za izvajanje sklepanja. V drugih aplikacijah je naloga določanja pretežka za človeka. V tem primeru se je treba med podatki naučiti strukture Bayesove nevronske mreže in parametrov lokalnih distribucij.

Bayesova omrežja
Bayesova omrežja

Alternativna metoda

Alternativna metoda strukturiranega učenja uporablja optimizacijsko iskanje. To zahteva uporabo ocenjevalne funkcije in strategije iskanja. Pogost algoritem točkovanja je posteriorna verjetnost strukture glede na podatke o vadbi, kot sta BIC ali BDeu.

Čas, potreben za izčrpno iskanje, ki vrne strukturo, ki maksimizira rezultat, je supereksponenten glede na število spremenljivk. Strategija lokalnega iskanja naredi postopne spremembe za izboljšanje ocene strukture. Friedman in njegovi sodelavci so razmišljali o uporabi medsebojnih informacij med spremenljivkami, da bi našli želeno strukturo. Nabor starševskih kandidatov omejijo na k vozlišč in jih temeljito preiščejo.

Posebej hitra metoda za natančno preučevanje BN je, da si zamislimo problem kot optimizacijski problem in ga rešimo z uporabo celoštevilskega programiranja. Omejitve acikličnosti se med reševanjem dodajo v celoštevilski program (IP) v obliki rezalnih ravnin. Takšna metoda lahko obravnava težave do 100 spremenljivk.

Grafi in omrežja
Grafi in omrežja

reševanje težav

Za reševanje težav s tisočimi spremenljivkami je potreben drugačen pristop. Eden je, da najprej izberete en vrstni red in nato poiščete optimalno strukturo BN glede na ta vrstni red. To pomeni delo v iskalnem prostoru možnega razvrščanja, kar je priročno, ker je manjši od prostora omrežnih struktur. Nato se izbere in oceni več naročil. Ta metoda se je izkazalanajboljše na voljo v literaturi, ko je število spremenljivk ogromno.

Druga metoda je, da se osredotočimo na podrazred razstavljivih modelov, za katere so MLE zaprti. Nato lahko najdete dosledno strukturo za stotine spremenljivk.

Preučevanje Bayesovih omrežij z omejeno širino treh vrstic je potrebno za zagotovitev natančnega in interpretabilnega sklepanja, saj je najslabša kompleksnost slednjega eksponentna pri dolžini drevesa k (v skladu s hipotezo o eksponentnem času). Vendar pa kot globalna lastnost grafa močno poveča kompleksnost učnega procesa. V tem kontekstu se lahko K-drevo uporablja za učinkovito učenje.

Kratko omrežje
Kratko omrežje

Razvoj

Razvoj Bayesovega spleta zaupanja se pogosto začne z ustvarjanjem DAG G, tako da X izpolnjuje lokalno Markovo lastnost glede na G. Včasih je to vzročni DAG. Ocenjene so porazdelitve pogojne verjetnosti vsake spremenljivke nad njenimi starši v G. V mnogih primerih, zlasti kadar so spremenljivke diskretne, če je skupna porazdelitev X produkt teh pogojnih porazdelitev, potem X postane Bayesova mreža glede na G.

Markovljeva "vozlasta odeja" je niz vozlov. Markovska odeja naredi vozlišče neodvisno od preostalega dela vozlišča z istim imenom in je dovolj znanja za izračun njegove porazdelitve. X je Bayesovsko omrežje glede na G, če je vsako vozlišče pogojno neodvisno od vseh drugih vozlišč, glede na njegovo markovskoodeja.

Priporočena: