Badania ewaluacyjne – definicja, analiza statystyczna wyników i ocena Metodolog.pl

Wprowadzenie do Ewaluacji

Badania ewaluacyjnemetodologicznym obszarem, który jest blisko związany, ale rozróżnialny od bardziej tradycyjnych badań społecznych. Ewaluacja używa wielu podobnych metodologii używanych w tradycyjnych badaniach społecznych, ale z powodu oceny mającej miejsce w politycznym i organizacyjnym kontekście wymaga umiejętności pracy w grupie, zdolności zarządzania, politycznej mądrości wrażliwości na różne stanowiska o innych umiejętności. W tym wpisie wprowadzimy idee oceny, kilka terminów i kwestii w tym obszarze.

Definicje badań ewaluacyjnych.

Prawdopodobnie najczęściej używaną definicją jest:

Ewaluacja jest systematycznym ocenianiem wartości i zasług jakiegoś przedmiotu.

Ta definicja jest bardzo perfekcyjna. Są różne typy ewaluacji, które niekoniecznie doprowadzają do oceny wartościowości lub zasług badanych przedmiotów np. badania opisowe, analizy wdrożeniowe i formowanie ocen itd.

Ewaluacja jest systematycznym nabywaniem i ocenianiem informacji w celu dostarczenia użytecznych informacji zwrotnych o podjętych działaniach.

Obie definicje zgadzają się, że ewaluacja jest systematycznym dążeniem i obie używają rozmyślnie dwuznacznego terminu „Obiekt oceny”, który może odnosić się do programu, polityki, technologii, osoby, potrzeb, aktywności i tak dalej, i tak dalej. Ostatnia definicja podkreśla bardziej nabywanie i ocenianie informacji niż ocenianie wartości ponieważ cała ewaluacyjna praca zawiera zbieranie i przesiewanie danych, podejmowanie decyzji o ważność informacji i wnioskowaniu z nich o tym czy osiągnięto rezultaty czy nie.

Cele ewaluacji

Najważniejszym celem większości ewaluacji jest dostarczenie „użytecznej informacji zwrotnej” do zróżnicowanego typu obserwatorów włączając w to sponsorów, dawców, grup klientów, administratorów, służb i innych. Jeszcze częściej, informacja zwrotna jest postrzegana jako użyteczna jeśli pomaga w podejmowaniu decyzji. Niemniej związek pomiędzy ewaluacją a i jej wpływem nie jest rzeczą prostą – studia które uważane są za kluczowe czasem prowadzą do błędnych decyzji. Pomimo tego jest szeroka zgodność, że głównym celem ewaluacji powinno być wpłynięcie na podjęcie decyzji lub sformułowanie polityki poprzez zaopatrzenie empirycznie kierowanej informacji zwrotnej.

Strategie badań ewaluacyjnych.

Strategie ewaluacji znaczą szeroką, nadrzędną perspektywę ewaluacji. Obejmują one większość głównych wartości lub ewaluatorów, choć w najlepszym wypadku praca ewaluacyjna czerpie bardzo dużo z metodologii badań społecznych. Cztery główne grupy strategii ewaluacji będą tutaj dyskutowane.

Naukowe modele eksperymentalne

Są prawdopodobnie najbardziej dominującymi strategiami badań ewaluacyjnych. Czerpanie z ich wartości i dostarcza pożądanych, niezależnych, dokładnych, obiektywnych i ważnych informacji. Ujęte w naukowych modelach eksperymentalnych są tradycję eksperymentalne i quasi eksperymentalne, które wywodzą się z badań edukacyjnych. Ekonometrycznie zorientowane perspektywy włączają efektywne kosztowo analizy statystyczne. Ponad to zaletą tego podejścia jest artykulacja kierowanej teorią ewaluacji.

Modele zorientowane na zarządzanie

Jest to druga klasa strategii. Dwie najbardziej znane to strategia PERT  – Program Ewaluacji i Przegląd Technik (Program evaluation and review  technique) oraz CPM  – Metoda Krytycznej Ścieżki (Critical path method) Obydwie miały szerokie zastosowanie w biznesie i rządzie.

Modele jakościowe/ antropologiczne

Podkreślają one ważność obserwacji, potrzebę zachowania fenomenologicznej jakości kontekstu oceny oraz wartość subiektywnej ludzkiej interpretacji w procesie ewaluacji. Zawarte w tej kategorii są znane podejścia takie jak Krytyczna Generacja, Krytyczna teoria i podejście sztuki krytycznej.

Typy badań ewaluacyjnych.

Jest wiele różnych typów ewaluacji zależących od obiektu będącego ewaluowanym oraz celu ewaluacji. Wiele najbardziej podstawowych różnic można znaleźć w różnicy między formatywnymi i podsumowującymi badaniami ewaluacyjnymi. Formowane badania ewaluacyjne wzmacniają lub polepszają obiekt ewaluacji – pomagają one  z tym by badać dostarczenie programu lub technologii, jakości tej implementacji i oceny organizacyjnego kontekstu, personelu, procedur itd. Podsumowujące badania ewaluacyjne w kontraście, badać efekty lub wyniki obiektu poddawanego ocenie – podsumowują to przez opisanie, co stało się po dostarczeniu programu lub technologii, ocenia czy obiekt badania wpływał na wynik, determinował ogólny wpływ przyczynowego czynnika w bezpośrednich celach wynikowych lub szacuje względne koszta związane z obiektem badania.

Formatywne badania ewaluacyjne zawierają wiele typów ewaluacji

  • ewaluacja potrzeb  ustalają to kto potrzebuje programu, jak duże są te potrzeby i jak można pracować by zaspokoić tę potrzebę
  • ocena ewaluacji  ustala czy interesariusze określają program lub technologię do populacji docelowej
  • ewaluacja implementacji  monitoruje dokładność programu lub technologii
  • ewaluacja przebiegu – bada proces dostarczenia programu lub technologii, włączając w to alternatywne procedury dostarczenia

Podsumowujące badania ewaluacyjne mogą być podzielone na:

  • ewaluacje wyników które badają czy program lub technologia powoduje widoczne efekty w specyficznie zdefiniowanym wyniku
  • ewaluacja wpływu jest szerokim ocenianiem ogólnych lub sieciowych efektów – intencjonalnych lub nieintencjonalnych programu lub technologii
  • meta analiza integruje wyniki oszacowane z różnych badań i dołącza to jako całościowe lub zsumowane sądy odnośnie pytań ewaluacji