Błąd pierwszego i błąd drugiego rodzaju – Decyzja statystyczna.

Błąd pierwszego i błąd drugiego rodzaju – Decyzja statystyczna. Ponieważ – jak już się dowiedzieliśmy – test istotności statystycznej jest testem hipotezy zerowej, decyzję statystyczną podejmuje się właśnie w odniesieniu do niej. Hipoteza zerowa może być albo prawdziwa (populacje gimnazjalistów ze środowisk wielkomiejskich i wiejskich nie różnią się poziomem agresji), albo fałszywa (populacje gimnazjalistów ze środowisk wielkomiejskich i wiejskich różnią się poziomem agresji). W efekcie przeprowadzonego testu statystycznego można tę hipotezę albo odrzucić (uznać, że te populacje różnią się poziomem agresji), albo jej nie odrzucać (uznać, że populacje analizowaną cechą się nie różnią). Jeżeli odrzucimy fałszywą hipotezę zerową, to będzie to decyzja prawidłowa.

Prawidłową decyzję statystyczną podejmiemy również wtedy, gdy nie odrzucimy prawdziwej hipotezy zerowej.

Jednak przy podejmowaniu decyzji statystycznej w odniesieniu do hipotezy zerowej możliwe jest popełnienie błędu dwojakiego rodzaju. Otóż możemy odrzucić hipotezę zerową, gdy jest ona prawdziwa, albo nie odrzucić hipotezy zerowej, gdy jest ona fałszywa. W pierwszym wypadku mówimy

0 błędzie pierwszego rodzaju (type I error), w drugim zaś o błędzie drugiego rodzaju (type II error). Prawdopodobieństwo popełnienia błędu pierwszego rodzaju oznaczamy symbolem a, a prawdopodobieństwo popełnienia błędu drugiego rodzaju – symbolem b.

Błąd pierwszego i błąd drugiego rodzaju – Decyzja statystyczna.  – Prawdopodobieństwo popełnienia błędu pierwszego rodzaju nazywane jest również poziomem istotności (significance level) testu.

Na podstawie tej właśnie wielkości podejmujemy decyzję statystyczną , czy odrzucimy hipotezę zerową, czy też nie. Powszechnie przyjmuje się, że H0 odrzucamy wtedy, gdy prawdopodobieństwo popełnienia tego rodzaju błędu jest mniejsze lub równe wartości 0,05 lub wartości 0,01. Mówimy wtedy, że różnica pomiędzy średnimi (rangami czy liczebnościami oczekiwanymi i obserwowanymi) jest istotna na poziomie 0,05 lub 0,01. Błąd pierwszego i błąd drugiego rodzaju – Decyzja statystyczna.  – Warto jednak pamiętać, że podane liczby są czysto umowne.Wielkość dopuszczalnego błędu we wnioskowaniu zależy między innymi od rodzaju badań empirycznych, przedmiotu owych badań oraz od dziedziny, w jakiej się je prowadzi. I tak, na przykład w badaniach pilotażowych czy też czysto eksploracyjnych poziom istotności może sięgnąć nawet wartości 0,1. W tych dziedzinach, w których lepiej niż w naukach społecznych da się kontrolować czynniki uboczne i zakłócające, dopuszczalne prawdopodobieństwo dla błędu pierwszego rodzaju może być znacznie niższe od wartości 0,01. Jeżeli praktyczne konsekwencje odrzucenia prawdziwej hipotezy zerowej są poważne (na przykład przy ocenie skuteczności działania nowego leku, który ma zostać wprowadzony na rynek), to poziom istotności równy 0,01, czy nawet 0,001, może okazać się zbyt wysoki.

Błąd pierwszego i błąd drugiego rodzaju – Decyzja statystyczna.  Tak czy inaczej, ścisłe trzymanie się ustalonej (do pewnego stopnia arbitralnie) wartości nie jest działaniem charakteryzującym świadomego badacza.

Jeżeli w kilku niezależnych analizach testujących te same związki czy różnice konsekwentnie uzyskuje się zbliżone, lecz nieco wyższe od wartości 0,05 prawdopodobieństwa, to upieranie się przy utrzymaniu hipotezy zerowej nie jest rozsądne. Jednak -wyposażeni w wiedzę chociażby tylko na temat zjawiska zmienności próby – powinniśmy pamiętać o tym, że uzyskanie przez badacza nawet bardzo istotnego związku, czy też różnicy (p < 0,001) wymaga potwierdzenia w niezależnych badaniach empirycznych.

Błąd pierwszego i błąd drugiego rodzaju – Decyzja statystyczna.  – Podsumujmy więc to, co zostało powiedziane wcześniej.

Statystyka testu określa, na ile prawdopodobna jest hipoteza zerowa. Pojawienie się niewielkich różnic między badanymi grupami możemy przypisać zmienności próby. Jednak coraz wyższa wartość owej statystyki wskazuje na coraz mniejsze prawdopodobieństwo, że badane populacje rzeczywiście nie różnią się między sobą. Jeżeli wartość wyniku analizy statystycznej przekroczy punkt, który nazywamy wartością krytyczną, uznajemy, że hipotezę zerową o braku różnic możemy odrzucić na rzecz hipotezy alternatywnej. Ów punkt krytyczny wyznaczamy na podstawie prawdopodobieństwa popełnienia błędu pierwszego rodzaju, a więc odrzucenia prawdziwej hipotezy zerowej. Jeżeli prawdopodobieństwo takiego zdarzenia wynosi 0,05 lub mniej (albo 0,01 lub mniej), uznajemy, że uzyskana empirycznie różnica przypuszczalnie nie jest wynikiem jakiegoś błędu związanego z pobieraniem prób, ale efektem różnic pomiędzy badanymi populacjami. Te różnice zaś zostały wywołane – jeżeli badanie miało charakter eksperymentalny – zastosowaną przez psychologa manipulacją eksperymentalną. Błąd pierwszego i błąd drugiego rodzaju przedstawia poniższy obrazek

P.s. Nowe podejście do analizy statystycznej danych takie jakie podejście Bayesowskie podchodzi do weryfikacji zupełnie inaczej. Odmiana tej statystyki określa to która hipoteza jest bardziej prawdopodobna. Więcej informacji na ten temat czytelnik znajdzie tu (Współczynnik Bayesa).