M3.07. Realizacja ewaluacji procesu mentoringu

2. Użycie metod ilościowych

Określenie, czy należy użyć metod ilościowych.

W zależności od odpowiedzi na zadane pytanie, metody ilościowe, takie jak badania lub oceny, powinny być odpowiednie. Może się okazać, że lepiej będą pasować metody jakościowe, takie jak wywiady lub grupy fokusowe.

Rodzaje pytań, na jakie metody ilościowe mogą pomóc odpowiedzieć

Metody ilościowe dotyczą ogólnie tego, co, kto i kiedy. Dlatego też należy uwzględnić metody ilościowe, jeżeli pytania do ewaluacji obejmują zapytania o to, kto uczestniczył i skorzystał z programu, jaki był wpływ programu, jakie zmiany program spowodował i kiedy doszło do zmian.

Przykłady danych ilościowych uwzględniają:

  • Liczbę osób, które uczestniczyły w działaniach programu przez rok (wskaźnik partycypacji)
  • To, czy uczestnicy programu uzyskali nową wiedzę i umiejętności (zmiana procentowa w obszarze wiedzy i umiejętności przed i po udziale)

Główny odbiorca wyników
Metody ilościowe generują dane, które przemawiają do osób preferujących informacje kwantyfikujące wpływ i zapewniające „rezultat”.

Potencjalni respondenci i rozmiar próbki
Metody ilościowe mogą być korzystne, ponieważ mogą być bardziej opłacalne. Np. ankietę można rozprowadzić wśród 50 osób, które odpowiedzą na nią w dogodnym czasie, podczas gdy 30-minutowy wywiad z każdą z 50 osób trwałoby znacznie dłużej.

Należy też uwzględnić słabe strony metody ankietowej względem wywiadów twarzą w twarz. Przeprowadzanie wywiadów lub grup fokusowych z mniejsza liczbą respondentów może być faktycznie preferowane, ponieważ można zebrać dane lepszej jakości, nawet jeżeli trwa to dłużej.

Czas na zbieranie i analizę danych
Metody ilościowe są przydatne, jeżeli czas na zbieranie i analizę danych jest bardzo ograniczony. Ankieta z pytaniami zamkniętymi (tj. z zapewnionymi opcjami odpowiedzi, które respondent może wybrać), w której ludzie mając coś ocenić, trwa krócej niż przygotowanie, zaplanowanie i przeprowadzenie wywiadów i grup fokusowych. Dane z kwestionariuszy wymagają mniej czasu na analizę – obliczanie częstotliwości, średnich czy procentów trwa krócej niż przegląd, kodowanie i analiza danych jakościowych (tj. uwag z dyskusji i wywiadów). Metody ilościowe są równie użyteczne, jeżeli program jest długoterminowy, gdyż można porównać dane bazowe z danymi późniejszymi.

Budżet i inne zasoby
Ogólnie, w porównywalnych warunkach (tj. czas na zbieranie danych, rozmiar próbki), metody ilościowe mogą być tańsze niż metody jakościowe i mieszane (wykorzystujące połączenie metod ilościowych i jakościowych), a to z kilku przyczyn. Dane drugorzędne, takie jak rejestry obecności na kursie szkoleniowym, można uzyskać zazwyczaj w bardzo krótkim czasie lub małym kosztem. Ankietami można zarządzać elektronicznie, co również może kosztować mniej niż typowe zasoby, które mogą wymagać podróżowania w celu przeprowadzenia wywiadu czy grupy fokusowej. Analityk potrzebuje mniej czasu na obliczenie częstotliwości i procesów, niż na przeczytanie i kodowanie tekstu z wywiadu i grup fokusowych. Do wykonania tych obliczeń potrzebny jest też inny zestaw umiejętności niż do kodowania tekstu i wygenerowania tematów.