Suoritettaessa merkitystesti tai hypoteesitesti, on olemassa kaksi numeroa, jotka on helppo sekoittaa. Nämä numerot sekoitetaan helposti, koska ne ovat molemmat luvut nollan ja yhden välillä, ja ovat molemmat todennäköisyyksiä. Yhtä lukua kutsutaan testitilastojen p-arvoksi. Toinen kiinnostava lukumäärä on merkitsevyystaso tai alfa. Tutkimme näitä kahta todennäköisyyttä ja määrittelemme ero niiden välillä.
Alfa-arvot
Alfa-luku on kynnysarvo, jonka mittaamme p-arvot vastaan. Se kertoo meille, kuinka äärimmäisten havaittujen tulosten on oltava, jotta voidaan hylätä merkitsevyystestin nollahypoteesi.
Alfa-arvo liittyy testin luotettavuustasoon. Seuraavassa luetellaan joitain luottamustasoja niihin liittyvien alfa-arvojen kanssa:
- Tuloksille, joiden luotettavuustaso on 90 prosenttia, alfa-arvo on 1 - 0,90 = 0,10.
- Tuloksille 95 prosenttia luottamustaso, alfa-arvo on 1 - 0,95 = 0,05.
- Tuloksille, joiden luotettavuustaso on 99 prosenttia, alfa-arvo on 1 - 0,99 = 0,01.
- Ja yleensä tuloksille, joiden luotettavuustaso on C prosenttia, alfa-arvo on 1 - C / 100.
Vaikka teoriassa ja käytännössä useita numeroita voidaan käyttää alfaan, yleisimmin käytetty on 0,05. Syynä tähän on sekä siksi, että konsensus osoittaa, että tämä taso on sopiva monissa tapauksissa, ja historiallisesti se on hyväksytty standardiksi. On kuitenkin monia tilanteita, joissa tulisi käyttää pienempää alfa-arvoa. Ei ole yhtä arvoa alfa joka määrittelee aina tilastollisen merkitsevyyden.
Alfa-arvo antaa meille todennäköisyyden a tyypin I virhe. Tyypin I virheitä tapahtuu, kun hylkäämme todellisen totta nollahypoteesin. Siksi pitkällä tähtäimellä testi a merkitsevyystaso 0,05 = 1/20, todellinen nollahypoteesi hylätään yksi jokaisesta 20 kertaa.
P-arvot
Toinen luku, joka on osa merkitsevyyskoetta, on p-arvo. P-arvo on myös todennäköisyys, mutta se tulee eri lähteestä kuin alfa. Jokaisella testitilastoilla on vastaava todennäköisyys tai p-arvo. Tämä arvo on todennäköisyys, että havaittu tilasto tapahtui pelkästään sattumanvaraisesti olettaen, että nollahypoteesi on totta.
Koska testitilastoja on useita, on olemassa useita eri tapoja löytää p-arvo. Joissakin tapauksissa meidän on tiedettävä todennäköisyysjakauma väestöstä.
Testitilastojen p-arvo on tapa sanoa, kuinka äärimmäinen tämä tilastotieto on näytteillemme. Mitä pienempi p-arvo, sitä epätodennäköisempi havaittu näyte.
Ero P-arvon ja alfan välillä
Jotta voidaan määrittää, onko havaittu tulos tilastollisesti merkitsevä, vertaamme alfa- ja p-arvoja. Esiin tulee kaksi mahdollisuutta:
- P-arvo on pienempi tai yhtä suuri kuin alfa. Tässä tapauksessa hylkäämme nollahypoteesin. Kun tämä tapahtuu, sanomme, että tulos on tilastollisesti merkittävä. Toisin sanoen, olemme melko varmoja siitä, että pelkän sattuman lisäksi on jotain, joka antoi meille havaitun näytteen.
- P-arvo on suurempi kuin alfa. Tässä tapauksessa emme hylkää nolla hypoteesi. Kun tämä tapahtuu, sanomme, että tulos ei ole tilastollisesti merkitsevä. Toisin sanoen, olemme melko varmoja siitä, että havaitut tiedot voidaan selittää pelkästään sattumalta.
Edellä esitetyn merkitys on, että mitä pienempi on alfa-arvo, sitä vaikeampaa on väittää, että tulos on tilastollisesti merkitsevä. Toisaalta, mitä suurempi alfa-arvo on, sitä helpompaa on väittää, että tulos on tilastollisesti merkitsevä. Yhdessä tämän kanssa on kuitenkin suurempi todennäköisyys, että havaitsemme voidaan katsoa sattuneeksi.