Zrozumienie Bayesa: Dowody & Wnioski. Statystyka Bayesowska.

meto

 

Zrozumienie Bayesa: Dowody & Wnioski

W tej odsłonie ustaleń Bayesa omówiony zostanie charakter dowodów i wniosków oraz jak czynniki bayesowskie powinny być interpretowane w kontekście.

Jak obliczyć współczynnik Bayesa?

Mam zamiar zacząć od przykładu, aby pokazać charakter czynnika Bayesa. Wyobraź sobie, że mam 2 kosze z czarnymi i białymi kulkami. W koszu A znajduje się 5 białych i 5 czarnych kulek. W koszu B znajduje się 10 kulek białych. Poza kolorem, kulki są całkowicie nie do odróżnienia. Poniżej znajduje się rysunek przedstawiający problem.

bayes factor basket

Wybierz kosz i przynieś go do mnie. Kosze nie są oznakowane, więc nie mogę powiedzieć, ze względu na swój wygląd, który z nich przyniosłeś. Mówisz mi, że aby dowiedzieć się, który kosz mam, wolno mi wziąć piłkę z jednego na raz, a następnie ją zwrócić i wymieszać kulki. Jakie efekty są tutaj możliwe? W tym przypadku jest to bardzo prosta: mogę wyciągnąć kulkę białą albo czarną.

Gdybym wyciągnął czarną bilę od razu wiem, że mam Kosz A, ponieważ jest to niemożliwe w koszu B.

Jeśli wyciągam białą piłkę niczego nie mogę wykluczyć, ale wyciągnięcie jej jest bardziej prawdopodobne z kosza B niż z kosza A ponieważ bila biała występuje z prawdopodobieństwem 1, jeżeli mam kosz B i z prawdopodobieństwem 0,5 jeśli mam kosz A, więc ze względu na aksjomat prawdopodobieństwa mam dowody na przewagę wylosowania białej kuli z kosza B nad koszem A, a współczynnik ten wynosi 2.

sample bayes factor

Kontynuując mój przykład, mam następujące obserwacje {W, W, W, W, W, W}. Istnieje dwukrotnie większa szansa, że wylosowana bila będzie bilą z kosza B niż z A.  A więc moje dowody wyglądają następująco: {2, 2, 2, 2, 2, 2}. Gdy pomnożymy je przez siebie, moje całkowite dowody na przewagę kosza B nad A wyniosą 2 ^ 6, lub 64. Interpretacja jest prosta: 64 razy bardziej prawdopodobne jest wylosowanie białej kuli z kosza B niż z kosza A. Liczba ta reprezentuje prosty czynnik Bayesa lub wskaźnik wiarygodności.

Jak interpretować współczynnik Bayesa

W pewnym sensie, współczynnik Bayesa ma zawsze taką samą interpretację w każdym problemie: Jest to stosunek jaki tworzą prawdopodobieństwa danych w ramach każdej hipotezy. To wszystko na temat przepowiedni.  Im większy czynnik Bayesa tym jedną hipotezę przewiduje się bardziej.

Ale w innym sensie interpretacji, i naszej reakcji, polegając na kontekście problemu, który jest reprezentowany przez inną część maszynerii Bayesa, współczynnik Bayesa jest czynnikiem, dzięki któremu dane przesunięcie równowagi dowodów od jednej do drugiej hipotezy.

Wyobraźmy sobie, że zanim przyniosłeś mi jeden z koszy, powiedziałeś że wyciągnął byś kartę z przemieszanej talii kart. Działając według reguły: Przynieś mi kosz B, jeśli wylosowana karta ma symbol czarny i przynieś kosz A jeśli kolor symbolu jest czerwony. Wybierasz kartę i nie mówiąc mi, co to było przynosisz mi kosz. Który kosz przyniosłeś? Jakie informacje mam o koszu zanim wyciągnąć z niego próbkę?

Wiem, że istnieje 50% szans, że wybierzesz czarną kartę, więc istnieje 50% szans, że przyniesiesz mi kosz B i 50% ze kosz A. Wstępne prawdopodobieństwa w tym scenariuszu są po 50% dla każdego kosza, a więc wcześniejsze założenia dla kosza A vs Kosza B są 1 do 1. (Aby obliczyć szanse należy po prostu podzielić prawdopodobieństwo jednej hipotezy przez drugą.)

prior odds

Załóżmy, że mamy zwrócić naszą próbkę i uzyskać takie same wyniki jak poprzednio: {W, W, W, W, W, W}. Dowód jest taki sam {2, 2, 2, 2, 2, 2}, podobnie jak współczynnik Bayesa, 2 ^ 6 = 64. Co możemy z tego wywnioskować? Należy stwierdzić, że mamy kosz A czy B?

Konkluzja nie jest reprezentowana przez czynnik Bayesa, ale przez posterior odds. Współczynnik Bayesa jest tylko jednym elementem układanki, a mianowicie dowodem zawartym w naszej próbce.

Aby dojść do jakiegoś wniosku, czynnik Bayesa musi zostać  połączony z prior odds to obtain posterior odds. Musimy wziąć pod uwagę informacje, które mieliśmy przed rozpoczęciem pobierania próbek. Powtarzam: posterior odds są tam, gdzie znajduje się konkluzja, a nie czynnik Bayesa.

Posterior odds (lub prawdopodobieństwa) i wnioski.

W podanym przykładzie, posterior odds dorównały czynnikowi Bayesa, ponieważ prior odds były 1 do 1, mnożymy przez współczynnik Bayesa od 1 do 64, w celu uzyskania posterior odds od 1 do 64 faworyzując  kosz B. Oznacza to, że gdy są to jedyne dwa możliwe kosze prawdopodobieństwo kosza A maleje z 50% do 2%, a prawdopodobieństwo kosza B wzrasta z 50% do 98%. (Aby przekonwertować odds do prawdopodobieństwa należy podzielić odds przez odds + 1). Taki jest wniosek, i to niekoniecznie zależy od wcześniejszych przypisywanych szans.

prior odd 2

Załóżmy, że mamy inną regułę zbierania koszy. Powiedzmy, że tym razem wyciągając kartę przynosisz mi kosz B, jeśli wyciągnąłeś króla (dowolnego koloru) i przynosisz kosz A jeśli wyciągnąłeś jakąkolwiek inną kartę. Teraz prior odds są od 48 do 4 albo od 12 do 1 na korzyść kosza A.

Dane w naszym przykładzie są takie same, {W, W, W, W, W, W} czynnik Bayesa także: 2 ^ 6 = 64. Wniosek jest jakościowo taki sam, z posterior odds od 1 do -5,3 na korzyść kosza B. Oznacza to, że znów rozważając je jako jedyne dwa możliwe kosze, prawdopodobieństwo wyboru kosza A zostało zmniejszone z 92% do 16%, a prawdopodobieństwo kosza B wzrosło z 8% do 84%, Współczynnik Bayesa jest taki sam, ale jesteśmy mniej pewni naszych wniosków. prior odds silnie preferują Kosz A, więc potrzeba więcej dowodów w celu otrzymania tak silnych wniosków, jak poprzednio.

prior odd 4

Co się stanie, gdy po raz kolejny zmienimy regułę: Przynieś mi kosz B jeśli wylosujesz króla kier i kosz A jeśli wyciągniesz inną kartę. Teraz prior odds są od 51 do 1 na korzyść wyboru A. Dane są takie same, a współczynnik Bayesa jest nadal równy 64. Teraz posterior odds są od 1 do 1,3 na korzyść kosza B. Prawdopodobieństwo kosza A zostało zmniejszone z 98% do 43%, kosza B wzrosło z 2% do 57%. Dowody i współczynnik Bayesa, są dokładnie taki same – ale konkluzja jest całkowicie dwuznaczna.

 prior odds 5

Dowody vs. Konkluzja

W każdym przypadku rozważaliśmy dokładnie takie same dowody: 6 wylosowanych kul, wszystkie białe. Jako następstwo dyskusji powyżej, jeśli starasz się dojść do wniosków opartych tylko na czynniku Bayesa wtedy niejawnie zakładasz prior odds od 1 do 1. Myślę, że jest to nieuzasadnione w większości przypadków. Kiedy ktoś patrzy na średnie do dużych czynników Bayesa w studium, które zakłada, że „smutek zaburza percepcję kolorów” (lub studium jakiejś innej „uroczej” metafory opublikowanej w naukach psychologicznych) i myśli: „Nie kupuję tego,” oni wstrzykują swoje wcześniejsze prior odds w równania. Ich niejawna konkluzja brzmi: „Moja posterior odds dla tego badania nie są korzystne.” Taka jest konkluzja. Współczynnik Bayesa nie jest konkluzja.

Liczne badania opierają się na wcześniejszych pracach, więc możemy dać korzystne prior odds; Tak więc, gdy widzimy czynnik Bayesa 5 lub 10 „kupujemy, co badanie sprzedaje”, że tak powiem. Albo badanie może być testować coś zupełnie nowego, więc możemy dać niekorzystne prior odds; Tak więc, gdy widzimy czynnika Bayesa 5 lub 10 pozostajemy sceptyczni. Jest to kolejny sposób na powiedzenie, że możemy racjonalnie wymagać więcej dowodów dla nadzwyczajnych twierdzeń.

Kiedy zaprzestać zbierania danych.

Z powyższej dyskusji wynika również, że czasami dość znaczy dość. Chodzi mi o to, że czasami konkluzja dla racjonalnych prior odds jest na tyle silna, że zbieranie większej ilości danych nie jest warte czasu, pieniędzy i energii. W ramach reguły Bayesa zasada zatrzymania się nie ma wpływu na jego czynnik, ani na posterior odds. Biorąc pod uwagę drugi przykład, gdzie dajesz mi kosz B, jeśli wyciągnąłeś króla. Miałem prior odds od 12 do 1 na korzyść wyboru A, zwracając 6 białych piłek z rzędu i kończąc z od 1 do 5,3 posterior odds na korzyść kosza B. Przełożyło się to na późniejsze prawdopodobieńśtwo równe 84% dla kosza B.

Jeśli wylosuję o 2 piłki więcej i są one białe, mój czynnik Bayesa wzrasta do 2 ^ 8 = 256 (i to nie powinno być skorygowane o wielokrotne porównania lub tak zwane „uzupełnianie”). Moje posterior odds wzrosło do około od 1 do 21 na korzyść wyboru B, a prawdopodobieństwo wynosi od 84% do 99%. Powiedziałbym, że to wystarczająco dużo danych, dla mnie, aby to stwierdzić to jednoznacznie. Ale ktoś inny może mieć inne istotne informacje na temat tego problemu i mogą dojść do innego wniosku.

Wnioski są osobiste

Nie ma powodu, żeby kolejny obserwator dochodził do tego samego wniosku co ja. Mógł rozmawiać z Tobą i mogłeś mu powiedzieć, że rzeczywiście wylosowałeś trzy karty (z wymianą i przetasowaniem) i że przyniósłbyś mi kosz B, tylko jeśli wylosowałbyś trzech króli z rzędu. Ma inną informację niż ja, więc naturalnie, że ma inne prior odds (1728 do 1 na korzyść kosza A). Doszłaby do innego wniosku niż ja, mianowicie że ja prawdopodobnie losowałem z kosza A – jego posterior odds są mniej więcej od 7 do 1 na korzyść wyboru A. Stosujemy te same dowody, czynnik Bayesa 2 ^ 8 = 256, ale dochodzimy do odmiennych wniosków.

Oto dlaczego ja i inni opowiadają się za użyciem czynnika Bayesa w eksperymentach. Nie dlatego, że mówi komuś jaka ma być konkluzja, ale dlatego że pozwala im podjąć informacje zawarte w danych i dojść do własnych wniosków. Kiedy używamy własnych czynników Bayesa w swojej dyskusji można rozważyć, jak ludzie z różnych prior odds zareagują na Twoje dowody. Jeśli czynnik Bayesa nie jest wystarczająco silny, aby pokonać sceptyczne prior odds, wtedy można rozważyć zebranie większej ilości danych. Jeśli skończyły Ci się zasoby, a współczynnik Bayesa nie jest wystarczająco silny, aby pokonać prior odds umiarkowanego sceptyka, to nie ma nic złego w uznaniu, że inni ludzie mogli zasadnie dojść do różnych wniosków w swoim badaniu. Czy to nie tak działa nauka?

Podsumowanie.

Jeśli chcesz, aby dojść do wniosku, potrzebujesz posterior. Jeśli chcesz dokonać prognozy dotyczącej przyszłego pobierania próbek potrzebujesz posterior. Jeśli chcesz, podejmować decyzje potrzebujesz posteriori. Jeśli spróbujesz zrobić to wszystko przy użyciu jedynie czynnika Bayesa wtedy niejawnie zakładasz uprzednie prior odds – które prawie nigdy nie są właściwe. (O ile zignorujesz prior and posterior, to nie zdziw się, gdy twoje symulacje czynnika Bayesa uzyskają dziwne wyniki.)

U Bayesa każdy element ma swoje miejsce. Jego czynniki są ważnym elementem układanki, ale nie są jej jedynym elementem.

 Są to po prostu najbardziej podstawowym kawałkiem z mojego punktu widzenia, ponieważ stanowią one dowody, które zgromadziłeś w próbce. Kiedy trzeba zrobić coś innego niż podsumowanie dowodów trzeba rozwinąć swój arsenał statystyczny.

Zastrzeżenia techniczne

Ważne jest, aby pamiętać, że wszystko jest względne i bazuje na ramach Bayesa. Prawdopodobieństwa posteriori, o których wspominałem w tym poście są po prostu prawdopodobieństwami koszy przy założeniu, że są to jedyne odpowiednie hipotezy.

Nie są to absolutne prawdopodobieństwa. Innymi słowy, zamiast pisać posterior prawdopodobieństwo jako P (H | D), to naprawdę powinienem napisać P (H | D, M), gdzie M jest warunkowane tym, że jedyna rozważana hipoteza znajduje się w Modelu: M = {A, B, … K). Dlatego ja osobiście wolę używać odds notation, ponieważ to sprawia, że względność staje się wyraźniejsza.

Więcej na:

Czy jest testowanie hipotez? Podstawy metodologii badań naukowych.

Wskazówki dotyczące pisania raportu statystycznego.

Najczęściej wykonywane analizy statystyczne w pracach magisterskich i doktorskich

Analiza statystyczna Warszawa, Trójmiasto, Gdańsk, Poznań, Wrocław, Kraków, Szczecin, Łódź