Data mining – zapomniane dziecko. W zależności od tego czyją definicję się czyta, lista działań, które obejmują wydobywanie danych będzie się różnić, ale pierwsze dwie pozycje zawsze są takie same

meto

Metodolog.pl – Analiza Statystyczna w nauce

Firma statystyczna METODOLOG

Data mining – zapomniane dziecko

W zależności od tego czyją definicję się czyta, lista działań, które obejmują wydobywanie danych będzie się różnić, ale pierwsze dwie pozycje zawsze są takie same …

Numer 1: Prognozowanie

Najczęstszą funkcją eksploracji danych, jak dotąd, jest prognozowanie (lub, bardziej ezoterycznie nadzorowane uczenia się), które jest czasem wymienione dwa razy, w zależności od rodzaju zmiennych, które są przewidywane: klasyfikacja (gdy cel jest kategorialny) vs. regresja (gdy cel jest numeryczny). Modele prognozowania wyciągnięte przez maszyny z przykładów historycznych z łatwością zajmują większość z prawie każdego środka eksploracji danych: czasu, pieniędzy, dokumentów technicznych publikowanych, pakietów programowych itp. Hiperbola marketerów i obawy krytyków eksploracji danych także są najczęściej związane z prognozowaniem.

Numer 2: Grupowanie

Drugą najczęstszą funkcją eksploracji danych w praktyce jest grupowanie (czasami znane pod pseudonimem uczenia bez nadzoru). Gromadzenie rzeczy w „naturalnych” grupach ma długą historię w niektórych dziedzinach (statystyka w biologii (biostatystyka), na przykład), poprzez tworzenie klastrów „nie ma dobrych lub złych odpowiedzi” jakość prawdopodobnie będzie cementować jego ciągłość na drugim miejscu. Mimo że jest to drugi sposób przewidywania, grupowanie cieszy się szerokim zastosowaniem i jest dobrze poznany nawet w kręgach nietechnicznych. Jaki marketer nie lubi dobrej segmentacji?

„… I cała reszta!”

Co jeszcze wchodzi w zestaw narzędzi do eksploracji danych? Definicje są różne, ale następne dwa najczęściej wymienione zadania są anomalią wykrywania i regułą odkrywania. Zostały uwzględnione też inne zadania, takie jak wizualizacja danych, mimo że zakres danych sięga ponad stu lat i wyraźnie cieszy się zdrowym istnieniem poza zakresem eksploracji danych.

Wykrywanie anomalii (rozszerzenie wykrywania odchyleń statystycznych) wyszukuje obserwacjie, które naruszają wzorce danych. Ogólnie rzecz biorąc, te wzory są odkryte (jawnie lub nie) za pomocą przewidywania lub klastrów. Biorąc pod uwagę szeroki wachlarz technik predykcyjnych lub klastrów jaki może być stosowany,

wzory zawarte są w obrębie jednego zestawu danych będą się różnić, co oznacza, że obserwacje oznaczone jako anomalne będą się różnić. Pozostaje wykrywanie anomalii w towarzystwie klastrów w sensie „ma dobrych lub złych odpowiedzi”. Mimo to, wykrywanie anomalii może być niezwykle przydatne. Z dwóch powszechnych aplikakcji wykrywa się oszustwa i czyści dane. Autor wykorzystał prosty proces wykrywania anomalii, aby pomóc w znalezieniu błędów w implementacji modelu predykcyjnego kodu.

Odkrywanie asocjacji/związków próbuje zidentyfikować wzorce spośród elementów danych, które wykazują powiązania ze sobą. Klasycznym przykładem są poszczególne pozycje towarów w otoczeniu detalicznym (analiza koszykowa): Każdy zakup reprezentuje związek wielu różnych elementów ze sobą. Po wystarczającej ilości zakupów można zauważyć relacje między elementami. Np. częste zakupy kawy z cukrem. Relacje między ludźmi, o czym świadczą przypadki kontaktu telefonicznego lub elektronicznego, również zostały zbadane zarówno w celach marketingowych oraz w zakresie egzekwowania prawa.

Dalsza lektura :

metodologia badań

badanie

weryfikacja i przetestownie statystyczne hipotezy

weryfikacja hipotez

analiza statystyczna

pomoc statystyczna

analiza danych

usługi statystyczne

opracowanie statystyczne

wykonanie analizy statystycznej

zastosowanie testów statystycznych w praktyce

raport statystyczny jak dokonać opisu raportu statystycznego

opracowanie statystyczne wyników

Leave a comment

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *