Oletetaan, että meillä on satunnainen näyte kiinnostuksen kohteena olevasta väestöstä. Meillä voi olla teoreettinen malli tapaan, jolla väestö on jaettu. Väestöä voi kuitenkin olla useita parametrit joista emme tiedä arvoja. Suurimman todennäköisyyden estimointi on yksi tapa määrittää nämä tuntemattomat parametrit.
Suurimman todennäköisyyden estimoinnin perusajatuksena on, että määritetään näiden tuntemattomien parametrien arvot. Teemme tämän siten, että maksimoidaan liittyvä liitoksen todennäköisyystiheysfunktio tai todennäköisyys massafunktio. Näemme tämän yksityiskohtaisemmin seuraavassa. Sitten lasketaan joitain esimerkkejä suurimman todennäköisyyden estimoinnista.
Vaiheet maksimaalisen todennäköisyyden arvioimiseksi
Yllä oleva keskustelu voidaan tiivistää seuraavilla vaiheilla:
- Aloita näytteellä riippumattomia satunnaismuuttujia X1, X2,... Xn yhteisestä jakaumasta, jokaisella todennäköisyystiheysfunktio f (x; θ1,.. .θK). Thetat ovat tuntemattomia parametreja.
- Koska otos on riippumaton, havaitsemme todennäköisyys tietyn näytteen saamiseksi kertomalla todennäköisyydet yhteen. Tämä antaa meille todennäköisyysfunktion L (θ 1,.. .θK) = f (x1 ;θ1,.. .θK) f (x2 ;θ1,.. .θK)... f (xn ;θ1,.. .θK) = Π f (xminä ;θ1,.. .θK).
- Seuraavaksi käytämme laskenta löytää teetan arvot, jotka maksimoivat todennäköisyysfunktion L.
- Tarkemmin sanoen erotamme todennäköisyysfunktion L suhteessa θ: een, jos on yksi parametri. Jos parametreja on useita, laskemme L: n osittaiset johdannaiset jokaiselle teetaparametrille.
- Jatka maksimointiprosessia asettamalla L: n johdannainen (tai osittaiset johdannaiset) nollaksi ja ratkaisemalla teeta.
- Voimme sitten käyttää muita tekniikoita (kuten toinen johdannaiskoe) varmistaaksemme, että olemme löytäneet maksimiarvon todennäköisyysfunktiollemme.
esimerkki
Oletetaan, että meillä on paketti siemeniä, joista jokaisella on vakio todennäköisyys p itämisen menestys. Istutamme n näistä ja laske laskemaan itävien lukumäärä. Oletetaan, että jokainen siemen itää muista riippumatta. Kuinka määritetään parametrin suurin todennäköisyysestimaattori p?
Aloitamme huomauttamalla, että jokainen siemen on mallinnettu Bernoulli-jakaumalla, jonka menestys on s. Annoimme X on joko 0 tai 1, ja todennäköisyyden massafunktio yhdelle siemenelle on f(x; p ) = px(1 - p)1 - x.
Otamme koostuu n eri Xminä, jokaisella kanssa on Bernoulli-jakelu. Itävät siemenet ovat Xminä = 1 ja siemenillä, jotka eivät itä, on Xminä = 0.
Todennäköisyysfunktion antaa:
L ( p ) = Π pxminä(1 - p)1 - xminä
Näemme, että on mahdollista kirjoittaa todennäköisyysfunktio käyttämällä eksponenttien lakeja.
L ( p ) = pΣ xminä(1 - p)n - Σ xminä
Seuraavaksi erotamme tämän funktion suhteessa p. Oletetaan, että kaikkien Xminä ovat tunnettuja, ja siten ovat vakioita. Jotta voidaan erottaa todennäköisyysfunktio, meidän on käytettävä tuotesääntö ja tehosääntö:
L '( p ) = Σ xminäp-1 + Σ xminä (1 - p)n - Σ xminä- (n - Σ xminä ) pΣ xminä(1 - p)n-1 - Σ xminä
Me kirjoitamme uudelleen joitain negatiivisista eksponenteista ja olemme:
L '( p ) = (1/p) Σ xminäpΣ xminä (1 - p)n - Σ xminä- 1/(1 - p) (n - Σ xminä ) pΣ xminä(1 - p)n - Σ xminä
= [(1/p) Σ xminä - 1/(1 - p) (n - Σ xminä)]minäpΣ xminä (1 - p)n - Σ xminä
Nyt maksimointiprosessin jatkamiseksi asetamme tämän johdannaisen nollaksi ja ratkaisemme p:
0 = [(1/p) Σ xminä - 1/(1 - p) (n - Σ xminä)]minäpΣ xminä (1 - p)n - Σ xminä
Siitä asti kun p ja (1- p) ovat nollia, joita meillä on
0 = (1/p) Σ xminä - 1/(1 - p) (n - Σ xminä).
Kertomalla yhtälön molemmat puolet p(1- p) antaa meille:
0 = (1 - p) Σ xminä - p (n - Σ xminä).
Laajennamme oikeaa reunaa ja näemme:
0 = Σ xminä - p Σ xminä - pn + pΣ xminä = Σ xminä - pn.
Siten Σ xminä = pn ja (1 / n) xminä = s. Tämä tarkoittaa, että suurimman todennäköisyyden arvioija on p on näytteen keskiarvo. Tarkemmin sanottuna tämä on näytteen osuus itäneistä siemenistä. Tämä on täysin linjassa sen kanssa, mitä intuitio kertoisi meille. Itävien siementen osuuden määrittämiseksi on ensin tutkittava mielenkiinnon kohteena olevasta populaatiosta otettu näyte.
Vaiheet vaiheisiin
Edellä olevaan luetteloon on joitain muutoksia. Esimerkiksi, kuten olemme nähneet yllä, on tyypillisesti kannattavaa viettää aikaa käyttämällä jotakin algebraa yksinkertaistaakseen todennäköisyysfunktiota. Syynä tähän on tehdä erottelusta helpompaa.
Toinen muutos yllä olevaan luetteloon on harkita luonnollisia logaritmeja. Funktion L maksimi esiintyy samassa pisteessä kuin se tapahtuu L: n luonnolliselle logaritmille. Siten ln L: n maksimointi vastaa funktion L maksimointia.
L: n eksponentiaalisten funktioiden esiintymisen takia L: n luonnollisen logaritmin ottaminen yksinkertaistaa monesti työtämme huomattavasti.
esimerkki
Näemme kuinka käyttää luonnollista logaritmia tarkistamalla esimerkki ylhäältä. Aloitamme todennäköisyysfunktiolla:
L ( p ) = pΣ xminä(1 - p)n - Σ xminä .
Käytämme sitten logaritmilakia ja näemme, että:
R ( p ) = ln L ( p ) = Σ xminä ln p + (n - Σ xminä) ln (1 - p).
Näemme jo, että johdannainen on paljon helpompi laskea:
R '( p ) = (1/p) Σ xminä - 1/(1 - p)(n - Σ xminä) .
Nyt, kuten aiemmin, asetamme tämän johdannaisen nollaksi ja kerrotaan molemmat puolet p (1 - p):
0 = (1- p ) Σ xminä - p(n - Σ xminä) .
Me ratkaisemme p ja löydä sama tulos kuin ennen.
L (p): n luonnollisen logaritmin käyttö on hyödyllistä toisella tavalla. On paljon helpompaa laskea R (p): n toinen johdannainen varmistaaksemme, että meillä todella on maksimia pisteessä (1 / n) Σ xminä = s.
esimerkki
Oletetaan, että meillä on satunnainen näyte X toisessa esimerkissä1, X2,... Xn populaatiosta, jota mallinnamme eksponentiaalisella jakautumisella. Yhden satunnaismuuttujan todennäköisyystiheysfunktio on muotoa f( x ) = θ-1e -x/θ
Todennäköisyysfunktion antaa yhteinen todennäköisyystiheysfunktio. Tämä on tuote useille näistä tiheysfunktioista:
L (θ) = Π θ-1e -xminä/θ = θ-ne -Σxminä/θ
Jälleen kerran on hyödyllistä tarkastella todennäköisyysfunktion luonnollista logaritmia. Tämän erottaminen vaatii vähemmän työtä kuin todennäköisyysfunktion erottaminen:
R (θ) = ln L (θ) = ln [θ-ne -Σxminä/θ]
Käytämme logaritmilakia ja saamme:
R (θ) = ln L (θ) = - n Ln θ + -Σxminä/θ
Erotamme suhteessa θ: een ja meillä on:
R '(θ) = - n / θ + Σxminä/θ2
Aseta tämä johdannainen nollaan ja näemme, että:
0 = - n / θ + Σxminä/θ2.
Kerro molemmat puolet θ2 ja tulos on:
0 = - n θ + Σxminä.
Käytä nyt algebraa ratkaistaksesi solve:
θ = (1 / n) Σxminä.
Näemme tästä, että näyte tarkoittaa sitä, mikä maksimoi todennäköisyysfunktion. Parametrin θ sopivaksi mallimme tulisi olla yksinkertaisesti kaikkien havaintoidemme keskiarvo.
liitännät
On olemassa muun tyyppisiä estimaattoreita. Yksi vaihtoehtoinen estimointityyppi on nimeltään puolueeton arvioija. Tälle tyypille meidän on laskettava tilastomme odotettu arvo ja määritettävä, vastaako se vastaavaa parametria.