analiza statystyczna metodolog

Odkrywanie / eksploracja zmiennych.

Metodolog.pl – Analiza Statystyczna w nauce

Firma statystyczna METODOLOG

Odkrywanie / eksploracja zmiennych.

Odkrywanie i eksploracja zmiennych polega na wykryciu w zbiorze danych spójnych lub sensownych wzorców informacji metodami statystycznymi. Stosuje się to w momencie kiedy dokładnie nie wiemy konkretnie z czym mamy do czynienia w zbiorze danych, ale nasza wiedza ekspercka lub intuicja podpowiada, że coś w niej sensownego może być. Odpowiednimi metodami statystycznymi możemy wykryć np. grupy obserwacji różniące się między sobą różnymi cechami (np. grupa osób optymistycznych i pesymistycznych, wyróżnionych ze względu na poziom zadowolenia z życia, dochodów, zdrowia, i poziomu zrównoważenia emocjonalnego), możemy odkryć strukturę kwestionariusza mierzącego preferencje zawodowe (preferencja aktywności z danymi, preferencja aktywności z ludźmi, preferencja aktywności fizycznych i artystycznych). Jednym słowem odkrywanie wiedzy z danych to eksplorowanie zbioru w poszukiwaniu sensu i spójności w danych różnymi metodami statystycznymi.

pomoc, usługi i analizy statystyczne metodolog

Budowa wskaźników

 

Budowa wskaźników.

W bazie znajdują się zmienne które trzeba poddać przekształceniom mającym na celu utworzenie zagregowanego wskaźnika. Wskaźnikiem może być wartość BMI=(waga/wzrost*wzrost), logarytm naturalny z zarobków, zsumowany lub uśredniony wyniki z kilku pytań kwestionariusza mierzącego postawy wobec pieniędzy lub różnica wieku wyrażonego w latach ze stażem pracy (czyli miara rozpoczęcia pracy zawodowej).

statystyka medyczna, biostatystyka

Analiza danych w medycynie – czyli jaką rolę odgrywa Big Data w badaniach nad Parkinsonem.

Analiza danych w medycynie – czyli jaką rolę odgrywa Big Data

Analiza danych w medycynie – czyli jaką rolę odgrywa Big Data w badaniach nad Parkinsonem.

W ostatnich latach, coraz większą popularnością cieszą się urządzenia monitorujące nasze zdrowie. Smartwatche i smartbandy zyskują kolejnych użytkowników, którzy wykorzystują je w celu zbierania informacji na temat stanu swojego zdrowia. Przy ich pomocy możemy zebrać dane np. na temat snu, bądź jeżeli uprawiamy sport, to małe urządzenie na nadgarstku pomoże usystematyzować dane o osiągnięciach i dostarczyć nowych cennych informacji.


Nie trzeba było długo czekać, by znaleźć poważniejsze zastosowanie dla tych technologii. Intel we współpracy z Fundacją Michaela J. Foxa, podjął się badań nad chorobą Parkinsona przy pomocy urządzeń typu „wearables”. Odzież technologiczna jest w stanie dyskretnie zbierać i przekazywać obiektywne dane empiryczne w czasie rzeczywistym, 24 godziny na dobę, siedem dni w tygodniu. Jest to duży postęp w diagnozowaniu i leczeniu Parkinsona. Dzięki zastosowaniu sensorów badacze pozyskają ogrom danych do analizy Big Daty. Nie trudno się domyślić, że w porównaniu z dotychczas stosowanymi metodami monitorowania przebiegu choroby u pacjenta, przeskok w ilości danych będzie ogromny. Jednakże dopiero taka masa danych dostarczy badaczom materiał, na podstawie którego będą w stanie zgłębić istotę problemu choroby Parkinsona i wykryć wzorce. Big Data odgrywa w tym kluczową rolę.


Ze względu na obszerność danych Intel opracował platformę analityczną do big data, która wykorzystuje różne rodzaje oprogramowania, w tym Cloudera CDH — platformę open source, która gromadzi i przechowuje dane oraz nimi zarządza.  Platforma big data obsługuje aplikację analityczną do przetwarzania oraz wykrywania zmian w danych w czasie rzeczywistym. Poprzez wykrywanie anomalii i zmiany w czujniku, może dostarczyć naukowcom obiektywną metodę pomiaru progresji choroby. Zaawansowane możliwości analizy danych udostępnione przez Big data Intel z pewnością okażą się pomocne w dalszych badaniach nad chorobą.


statystyczna analiza przeżycia kaplana mayera krzywe życia analiza danych medycznych

Informacje o statystycznej analizie przeżycia. Techniki obliczeniowe w biostatystyce.

meto

Analiza przeżycia

Informacje ogólne

Te techniki były pierwotnie rozwijane w medycznych i biologicznych badaniach (biostatystyka), ale mają też szerokie zastosowanie w naukach społecznych i ekonomicznych, tak samo jak w inżynierii (rzetelność i analiza przeżycia).

Wyobraź sobie, że jesteś badaczem w szpitalu, który sprawdza efektywność nowego leku na nieuleczalną chorobę. Główną interesującą nas zmienną jest liczba dni, którą przeżyją poszczególni pacjenci. Zasadniczo, można użyć standardowej parametrycznej i nieparametrycznej statystyki by opisać przeciętną długość przetrwania, i aby porównać nowy lek z poprzednimi metodami. Jednakże, na koniec badania, znajdą się pacjenci którzy przetrwali przez cały okres, szczególnie pośród tych, których przyjęto do szpitala (i projektu badawczego) w późnym momencie badania; będą też pacjenci z którymi stracimy kontakt. Zapewne nikt nie będzie chciał ich wykluczyć z badania uznając ich za brak danych (jako, że większość z nich przetrwała i dlatego są odzwierciedleniem sukcesu nowej metody badawczej). Te obserwacje, które zawierają jedynie częściowe informacje nazywa się obserwacjami uciętymi (np. „pacjent A przetrwał przynajmniej 4 miesiące zanim go przeniesiono i straciliśmy z nim kontakt”, określenie ucinania zostało po raz pierwszy użyte przez Halda w 1949).

Obserwacje ucięte

Generalnie, obserwacje ucięte pojawiają się gdy nasza zmienna zależna reprezentuje czas do śmierci klinicznej, i kiedy czas trwania badania jest ograniczony. Obserwacje ucięte mogą w różnych obszarach badania. Na przykład, w badaniach społecznych można sprawdzać „przeżywalność” małżeństw, oceny w momencie bycia wyrzucanym ze szkoły, zwolnienia w korporacjach itd. W każdym przypadku, pod koniec badania, niektóre pary pozostaną małżeństwem, niektórzy nie zostaną wyrzuceni ze szkoły, albo będą ciągle pracować w korporacji; zatem te przypadki są reprezentowane przez obserwacje ucięte.

W ekonomii można zbadać „przeżywalność” nowych biznesów albo okres używalności produktów takich jak pojazdy. W badaniu kontroli jakości, częstą praktyką jest sprawdzanie żywotności części pod obciążeniami (analiza żywotności)

Techniki analityczne

Głównie, metody oferowane przez Analizę przetrwania dotykają tych samych pytań badawczych co wiele innych procedur; jednakże, wszystkie metody a Analizie przetrwania poradzą sobie z obserwacjami uciętymi. Tablice trwania życia, rozkład przeżycia, estymacja funkcji przeżycia to wszystko opisowe metody by oszacować rozkład przeżycia czasów z próbki. Niektóre techniki są zdolne do porównywania przeżywalności w dwóch lub więcej grupach. W końcu, analiza przeżycia oferuje kilka modeli regresji by oszacować związek zmiennych ciągłych z czasami przeżycia.

Tablice trwania życia

Najbardziej bezpośrednim sposobem by opisać przeżywalność w próbce jest obliczenie tablic trwania życia. Jest to jedna ze starszych metod służących do analizy przeżywalności danych. Ta tablica może być uważana za „poszerzony” rozkład częstości. Rozkład czasów przeżycia jest podzielony na pewną liczbę przedziałów. Na każdy przedział możemy obliczyć liczbę i proporcję przypadków albo obiektów, które weszły w poszczególny przedział „żywe”, liczbę i proporcje przypadków, które zniszczyły się w poszczególnym przedziale (np. liczba zdarzeń krańcowych, albo przypadków, które „zmarły”), i liczbę przypadków, które zaginęły albo zostały ucięte w poszczególnym interwale.

Bazując na tych liczbach i proporcjach, można obliczyć kilka dodatkowych statystyk:

Liczba przypadków ryzyka – jest to liczba przypadków, które mieszczą się w poszczególnym przedziale żywych, odjąć połowę przypadków straconych lub uciętych w poszczególnym przedziale.

Proporcja porażek – ta proporcja jest wyliczana jako stosunek liczby przypadków zniszczonych w poszczególnym przedziale, dzielonych przez liczbę przypadków ryzyka w tym przedziale.

Proporcja przeżyć – ta proporcja jest liczona jako 1 odjąć proporcję porażek

Łączna proporcja przetrwania (funkcja przeżycia) – jest to łączna proporcja przypadków potrafiących przeżyć aż do odpowiedniego przedziału. Jako że prawdopodobieństwa przetrwania są przypuszczalnie niezależne pomiędzy przedziałami, to prawdopodobieństwo jest wyliczane przez dzielenie prawdopodobieństw pomiędzy wszystkimi poprzednimi przedziałami. Powstająca funkcja jest także zwana przeżywalnością lub funkcją przeżycia.

Prawdopodobieństwo zawartości – jest to oszacowane prawdopodobieństwo porażki w poszczególnym przedziale, obliczone w jednostce czasu, czyli:

Fi = (Pi-Pi+1) /hi

W tym wzorze, Fi jest danym prawdopodobieństwem zawartości w przedziale i, Pi jest oszacowaną łączną proporcją przeżycia na początku przedziału i (na końcu przedziału i-1), Pi+1 jest łączną proporcją przeżycia na końcu przedziału i, a hi jest szerokością danego przedziału.

Stawka ryzyka – stawka ryzyka jest definiowana prawdopodobieństwo w jednostce czasu, że przypadek, który przeżył do początku danego przedziału zginą w tym przedziale. Dokładniej rzecz biorąc, jest wyliczane jako liczba zniszczonych w jednostkach czasu w danym przedziale, podzielona przez średnią liczbę żyjących przypadków w środku przedziału.

Średni czas przeżycia – jest to czas przeżycia, w którym łączna funkcja przeżycia wynosi 0,5. Inne percentyle (25, 75) z łącznej funkcji przeżycia mogą być obliczane równolegle. Zauważ, że percentyl 50 (średni) dla łącznej funkcji przeżycia zwykle nie jest taki sam jak punkt w czasie gdzie przeżywa 50% próbki (tak byłoby tylko w przypadku gdzie nie wystąpiłyby obserwacje ucięte).

Wymagana wielkość próbki – aby polegać na wiarygodnych oszacowaniach z tych 3 najważniejszych funkcji (przeżywalność, prawdopodobieństwo zawartości i ryzyko) i ich typowe błędy za każdym razem minimalna rekomendowana wielkość próbki wynosi 30.

czerwony alarm pogotowie statystyczne

Kryterium informacyjne

meto

 

Kryterium informacyjne

Jeśli chcemy w prosty sposób wybrać zmienne, które mają największą moc predykcyjną w stosunku do naszej zmiennej zależnej warto jest wziąć pod uwagę kryterium informacyjne. Jest to bardzo prosty do obliczenia współczynnik i w przypadku gdy naszą zmienną zależną jest dobry/zły kredytobiorca możemy bez używania skomplikowanych narzędzi przeprowadzić w ten sposób prostą selekcję zmiennych. A w przypadku gdy stosujemy później modele vintage’owe taki wybór zmiennych okazuje się często być wystarczający.

Zatem jak obliczyć wartość IV?  Najpierw musimy zdecydować jaki klient jest dobry a jaki zły. Następnie obliczamy WOE (Weight of Evidence). WOE = ln (%złych/%dobrych). Natomiast wzór na IV przedstawia się następująco:

IV = ∑(%złych – %dobrych)*WOE

Prosty przykład wyznaczania IV przedstawia poniższa tabela.

 

IV------>
0,36178
Przedziały
Liczba złych k.
Liczba dobrych k.
% złych
% dobrych
WOE
MIV
0-1k
197
354
11%
31%
-1,01919
0,20192
1-3k
450
367
26%
32%
-0,22921
0,01509
3-5k
582
234
33%
20%
0,47805
0,06004
5k+
532
187
30%
16%
0,61243
0,08473
Łącznie
1761
1142

Ogólnie przyjmuje się, że wartość IV poniżej 0,02 świadczy o braku zdolności predykcyjnej danej cechy a wartości powyżej 0,3 świadczą już o dużej wartości predykcyjnej.

Wystarczy zatem wyliczyć IV dla posiadanych zmiennych i wybrać te z najwyższą IV.  W pakiecie R z pomocą przychodzi nam funkcja iv.mult z pakietu woe, która przyjmuje parametry  iv.mult(nazwa zbioru danych, nazwa zmiennej zależnej, TRUE (jeśli chcemy wyświetlić wartości IV)).

Więcej info na:

Modelowanie ryzyka kredytowego czym jest ryzyko kredytowe credit scoring analiza ryzyka kredytowego
Ryzyko kredytowe
Metody oceny zdolności kredytowej
Drzewa decyzyjne
Liniowa analiza dyskryminacji
Analiza regresji logistycznej

Ryzyko kredytowe i psychologia. Psychologia zachowań i osobowości w ocenie zdolności kredytowej Credit Risk & Personality/