M3.07. Realizacja ewaluacji procesu mentoringu

1. Zbieranie danych

O co trzeba spytać przed zbieraniem jakichkolwiek danych
Są różne metody zbierania danych, każda o innych zaletach i wadach, więc zanim zaczniesz proces zbierania danych, ważne, abyś ocenił te czynniki i zdecydował, która metoda gromadzenia danych jest najlepiej dopasowana (np. w czasie i w granicach dostępnych zasobów). Jednym ze sposobów oceny tych czynników jest praca ewaluatora, wraz z odpowiednimi interesariuszami, w zakresie odpowiedzi na poniższe pytania.

Niezbędne pytania do zadania przed zbieraniem danych

Cel ewaluacji

• Czym są pytania do ewaluacji? Jakie metody pomogą w odpowiedzi na nie i zapewnią najbardziej rzetelne i ważne dane?
• Kto jest głównym odbiorcą wyników? Jakie rodzaje danych mają największy sens i są najbardziej użyteczne?

Źródła danych

• Kto zapewnia dane? Ile informacji jest potrzebnych dla rzetelnego wyniku ewaluacji?

Czas

• Jak długo trwa program mentoringu?
• Kiedy program mentoringu się zaczął/na jakim etapie jego cyklu życia zostanie przeprowadzona ewaluacja?
• Ile czasu zapewniono w budżecie na zbieranie i analizę danych?
• Kiedy jest odpowiedni czas na zbieranie danych?
• Kiedy rezultaty staną się dostępne do zgłoszenia ich interesariuszom?

Zasoby

• Jaki jest budżet ewaluacji? Jaka jego część jest przeznaczona na zbieranie i analizę danych, konta raportowanie i rozpowszechnianie wyników?
• Kto powinien zbierać dane? Czy pracownicy mają czas i umiejętności? Czy należy zatrudnić zewnętrznego ewaluatora?

Po odpowiedzeniu na te pytania, uzyskasz wyraźniejszy obraz procesu ewaluacji i sposobu gromadzenia potrzebnych informacji. Można wybrać metody jakościowe lub ilościowe – lub też ich połączenie.

2. Użycie metod ilościowych

Określenie, czy należy użyć metod ilościowych.

W zależności od odpowiedzi na zadane pytanie, metody ilościowe, takie jak badania lub oceny, powinny być odpowiednie. Może się okazać, że lepiej będą pasować metody jakościowe, takie jak wywiady lub grupy fokusowe.

Rodzaje pytań, na jakie metody ilościowe mogą pomóc odpowiedzieć

Metody ilościowe dotyczą ogólnie tego, co, kto i kiedy. Dlatego też należy uwzględnić metody ilościowe, jeżeli pytania do ewaluacji obejmują zapytania o to, kto uczestniczył i skorzystał z programu, jaki był wpływ programu, jakie zmiany program spowodował i kiedy doszło do zmian.

Przykłady danych ilościowych uwzględniają:

• Liczbę osób, które uczestniczyły w działaniach programu przez rok (wskaźnik partycypacji)
• To, czy uczestnicy programu uzyskali nową wiedzę i umiejętności (zmiana procentowa w obszarze wiedzy i umiejętności przed i po udziale)

Główny odbiorca wyników
Metody ilościowe generują dane, które przemawiają do osób preferujących informacje kwantyfikujące wpływ i zapewniające „rezultat”.

Potencjalni respondenci i rozmiar próbki
Metody ilościowe mogą być korzystne, ponieważ mogą być bardziej opłacalne. Np. ankietę można rozprowadzić wśród 50 osób, które odpowiedzą na nią w dogodnym czasie, podczas gdy 30-minutowy wywiad z każdą z 50 osób trwałoby znacznie dłużej.

Należy też uwzględnić słabe strony metody ankietowej względem wywiadów twarzą w twarz. Przeprowadzanie wywiadów lub grup fokusowych z mniejsza liczbą respondentów może być faktycznie preferowane, ponieważ można zebrać dane lepszej jakości, nawet jeżeli trwa to dłużej.

Czas na zbieranie i analizę danych
Metody ilościowe są przydatne, jeżeli czas na zbieranie i analizę danych jest bardzo ograniczony. Ankieta z pytaniami zamkniętymi (tj. z zapewnionymi opcjami odpowiedzi, które respondent może wybrać), w której ludzie mając coś ocenić, trwa krócej niż przygotowanie, zaplanowanie i przeprowadzenie wywiadów i grup fokusowych. Dane z kwestionariuszy wymagają mniej czasu na analizę – obliczanie częstotliwości, średnich czy procentów trwa krócej niż przegląd, kodowanie i analiza danych jakościowych (tj. uwag z dyskusji i wywiadów). Metody ilościowe są równie użyteczne, jeżeli program jest długoterminowy, gdyż można porównać dane bazowe z danymi późniejszymi.

Budżet i inne zasoby
Ogólnie, w porównywalnych warunkach (tj. czas na zbieranie danych, rozmiar próbki), metody ilościowe mogą być tańsze niż metody jakościowe i mieszane (wykorzystujące połączenie metod ilościowych i jakościowych), a to z kilku przyczyn. Dane drugorzędne, takie jak rejestry obecności na kursie szkoleniowym, można uzyskać zazwyczaj w bardzo krótkim czasie lub małym kosztem. Ankietami można zarządzać elektronicznie, co również może kosztować mniej niż typowe zasoby, które mogą wymagać podróżowania w celu przeprowadzenia wywiadu czy grupy fokusowej. Analityk potrzebuje mniej czasu na obliczenie częstotliwości i procesów, niż na przeczytanie i kodowanie tekstu z wywiadu i grup fokusowych. Do wykonania tych obliczeń potrzebny jest też inny zestaw umiejętności niż do kodowania tekstu i wygenerowania tematów.

2.1. Zalety i wady metod ilościowych

2.2. Ankiety

Są dwa główne sposoby zbierania danych ilościowych: (a) ankiety i (b) testy oraz oceny.

Ankiety to jeden z najpopularniejszych sposobów na zbieranie danych ilościowych. Kwestionariusz rozprowadza się wśród grupy osób, która ma go wypełnić. Takie kwestionariusze mogą zawierać pytania otwarte, ale do zebrania danych ilościowych używa się zazwyczaj pytań zamkniętych. Zaletą tego jest to, że analizę statystyczną można łatwo zastosować do odpowiedzi na pytania zamknięte.

Metody dostarczenia ankiety
Po opracowaniu ankiety ewaluacyjnej, trzeba podjąć decyzję na temat metody jej przekazania. Jest kilka metod dostarczenia ankiety do uwzględnienia podczas ewaluacji programu mentoringu.

3. Użycie metod jakościowych

Określenie, czy należy użyć metod jakościowych.
W zależności od odpowiedzi na pytania o czynnik ewaluacji, można zdecydować, że odpowiednia będzie metoda jakościowa.
Rodzaje pytań, na jakie metody jakościowe mogą pomóc odpowiedzieć
Na najbardziej podstawowym poziomie, metody jakościowe odpowiadają na pytania dlaczego i jak, dlatego też są użyteczne dla dogłębnej analizy konkretnego problemu, zamiast dla szerokiego badania. W związku z tym, jeżeli pytania do ewaluacji zawierają kwestie tego, jak uczestnicy w programie zastosowali to, czego się nauczyli w celu osiągnięcia rozwoju kariery, lub czy spotkania mentor/podopieczny odznaczały się niskim współczynnikiem obecności, należy użyć metod jakościowych.

Główny odbiorca wyników
Metody jakościowe generują dane adresowane do odbiorców, którzy są ciekawi tego, co kryje się za statystyką, lub jakie są przyczyny konkretnego trendu danych.

Potencjalni respondenci i rozmiar próbki
Metody jakościowe są użyteczne, gdy pracuje się z mniejszą grupą ludzi, głównie dlatego, że prowadzenie wywiadów i grup fokusowych z dużą liczba ludzi może być drogie i czasochłonne. Metody jakościowe są też pomocne, gdy ludzie, od których chcemy zebrać informacje, czują się bardziej komfortowo, wyrażając opinie werbalnie, a nie na piśmie.

Długość programu i czas na zbieranie danych
Metody jakościowe mogą być przydatne bez względu na długość programu, jednak plan ewaluacji powinien umożliwiać wystarczająco dużo czasu na analizę danych, ponieważ analizowanie danych z metod jakościowych jest bardziej czasochłonne niż obliczanie danych z metod ilościowych.

Budżet i inne zasoby
Ogólnie, w porównywalnych warunkach (tj. długość programu, czas na zbieranie danych, rozmiar próbki), metody jakościowe mogą być droższe niż ilościowe lub mieszane z różnych przyczyn. Mogą być też koszty podróży osoby zbierającej dane i respondentów, lub mogą być wymagane specjalistyczne umiejętności zlecane zewnętrznie. Analityk potrzebuje więcej czasu na przeczytanie i kodowanie tekstu z wywiadu i grup fokusowych oraz notatek z obserwacji.

3.1. Zalety i wady metod jakościowych

3.2. Różne rodzaje metod zbierania danych jakościowych

Zbierając dane jakościowe, można skorzystać z wielu metod, z których każda ma swoje wady i zalety.

• Wywiady (ustrukturyzowane i częściowo ustrukturyzowane).
  W wywiadach ustrukturyzowanych pytania są rozpisane dokładnie w taki sposób, jak powinny być zadawane, a ankieter powinien zadać każdemu respondentowi pytania w takiej samej kolejności. W wywiadzie częściowo ustrukturyzowanym tematy są spisane w formie listy, a przykłady prób zapewnione i wywiad staje się bardziej formą dyskusji.
• Grupy fokusowe
  Grupy fokusowe to ustrukturyzowane dyskusje, mające na celu zrozumienie perspektyw, doświadczeń lub wiedzy innych osób na konkretny temat. Moderator sugeruje tematy i ułatwia dyskusję. Celem jest odkrycie „jak" i „dlaczego" danej rzeczy, aby zdobyć raczej odpowiedzi kontekstowe niż „tak" lub „nie".
• Obserwacje
  Obserwacje to ustrukturyzowane środki rejestrowania działań i interakcji uczestników ewaluacji. Dają możliwość zebrania danych na temat szeregu zachowań, uchwycenia interakcji i otwartego odkrywania tematu zainteresowania podczas ewaluacji.
• Analiza produktów (np. dokumenty, nagrania, wideo)
  Metoda ta jest ważna, ponieważ produkty mogą stanowić źródło danych do ewaluacji.
  Takie materiały mogą umożliwić zdobycie wiedzy na temat ważnych zmian w rozwoju programu lub dojrzewania. Analizy dokumentów mogą też pomóc w formułowaniu pytań do ankiety lub wywiadu.
• Stosowanie metod mieszanych
  Trend w ewaluacji przesuwa się w stronę mieszania metod ilościowych i jakościowych i łączenia ich w jedną ewaluację, zwaną ewaluacją metodą mieszaną. To podejście ma sens, ponieważ każda metoda ma swoje mocne i słabe strony. Ich połączenie może prowadzić ewaluacji mocniejszej, pełniejszej niż zwykła ewaluacja korzystająca tylko z jednej metody.

Poufność i anonimowość
Poufność i anonimowość to kwestie zasadnicze dla Ciebie i ewaluatora. Należy bacznie strzec
prywatności swoich respondentów. Np. nazwiska uczestników nie mogą nigdy zostać ujawnione w raporcie z ewaluacji. Terminy „anonimowość" i „poufność" mają różne znaczenia i nie powinny być stosowane zamiennie.

• Anonimowość wymaga od Ciebie i ewaluatora braku wiedzy na temat tego, kim są uczestnicy. Np. nie prosisz respondentów o to, aby wpisali imiona na ankiecie lub przedstawili się grupie fokusowej.
• Poufność oznacza, że Ty i ewaluator wiecie, kim są uczestnicy, ale nie łączycie odpowiedzi z respondentami. Wszelkie posiadane informacje, które zawierają nazwisko danej osoby lub jej dane osobowe należy trzymać w zamkniętej szufladzie lub przechowywać w pliku elektronicznym chronionym hasłem.

4. Analiza i interpretacja danych

Po zebraniu wszystkich danych potrzebujesz czasu na analizę i interpretację danych, aby postępować zgodnie z tym, czego się dowiedziałeś. Proces ten może być złożony i czasem technicznie trudny.

4.1. Analiza danych ilościowych i interpretacja wyników

Analiza statystyczna opisowa.
Przeprowadzając analizę ilościową, musisz mieć pewne podstawowe umiejętności w zakresie analizy statystycznej.
Kiedy obliczasz liczbę i procent odpowiedzi na dane pytanie lub obliczasz średnią ocenę dla pytań o przydatność szkolenia, zaczynasz realizować analizę statystyczną opisową. Służy ona do badania odpowiedzi na pytanie poprzez obliczenia i przyjrzenie się następującym elementom:

• Dystrybucja odpowiedzi lub rozkład częstotliwości (np. jak wiele osób zaznaczyło odpowiedź opcja 1, odpowiedź opcja 2, odpowiedź opcja 3 itp.).
• Wartość przeciętna lub średnia (tj. przyjrzenie się średniej ocenie wśród ocen uczestników).
• Najczęstsza odpowiedź lub tryb.
• Liczba w samym środku zbioru danych lub mediana.

Analiza statystyczna opisowa zapewnia także kolejny element informacji, zwany technicznie zmiennością, który odnosi się do:

• Rozkład rezultatów, w tym przedział (różnica pomiędzy najwyższą i najniższą wartością).
• Wariancja (pokazuje, jak bardzo osoby w grupie różnią się pod względem swoich odpowiedzi).
• Odchylenie standardowe (jak blisko lub daleko konkretna odpowiedź znajduje się od odpowiedzi przeciętnej).

Interpretacja
Wyniki ilościowe trzeba zinterpretować w kontekście organizacji/programu, a interpretacją mogą kierować następujące pytania:

• Jaki jest zakres oddziaływania programu, lub jak skuteczny był program?
• Jeżeli miałeś dużo brakujących danych lub niski współczynnik odpowiedzi, dlaczego i co można zrobić inaczej, aby zwiększyć wskaźnik odpowiedzi w przyszłości?
• Czy wyniki są zgodne z tym, czego oczekiwałeś podczas planowania programu? Jeżeli nie, co Twoim zdaniem wpłynęło na wyniki? Czy masz dane jakościowe, które mogą zapewnić dalszy wgląd w wyniki?
• Czy wyniki są istotne dla programu mentoringu, czy nie, bez względu na istotność statystyczną, i co to znaczy? Np. różnica w odpowiedziach dwóch grup nie musi być statystycznie istotna, ale wciąż może być wystarczająco duża, aby motywować zmianę działań programu.
• Jakie implikacje dla programu niosą ze sobą wyniki? Jakie działania trzeba podjąć, jeżeli dotyczy?

4.2. Analiza danych jakościowych i interpretacja wyników

Dane jakościowe mają zazwyczaj formę tekstową. Analiza danych jakościowych dzieli się na cztery główne etapy, opisane poniżej.

• Przegląd danych
  Przed przeprowadzeniem analizy danych należy przeczytać i zrozumieć zebrane dane, usunąć dane niejasne/brakujące/niewystarczające i uzyskać jasność, przed zakodowaniem danych.
• Organizacja danych
  Zorganizuj dane w sposób, który ułatwia odwołanie, np. organizacja danych według rodzaju pytania lub rodzaju respondenta, lub obydwa.
• Kodowanie danych
  Są dwie podstawowe metody kodowania. Można użyć jednej z nich lub obu:

• • Kodowanie otwarte – Gdy przypisuje się kody na podstawie tego, co wynika z danych.
  • Kodowanie zamknięte – Gdy już ma się wcześniej przygotowane kody na podstawie pytań, na które chce się odpowiedzieć.

Kodowanie to proces łączenia danych w tematy, idee i kategorie, a następnie zaznaczanie podobnych ustępów tekstu etykieta kodu, aby można je było łatwo znaleźć na etapie późniejszym w celu dalszego porównania i analizy. Kodowanie danych ułatwia wyszukiwanie danych, porównywanie i identyfikację wzorców wymagających dalszego badania.

• Identyfikacja i generowanie tematów
  Po zakodowaniu danych, można zacząć identyfikować tematy pochodzące z zakodowanych informacji. To może być trudne, gdyż może wymagać wielokrotnego odzyskiwania zakodowanego tekstu, aby określić temat, który odpowiednio odzwierciedla dane. Przydatne jest też przedstawianie egzemplarzy stwierdzeń i obserwacji wspierających temat oraz, w celu uchwycenia tego, jak silny jest dany temat, można zgłaszać liczbę i procent zakodowanych odpowiedzi, wspierających dany temat.

Interpretacja wyników
Kolejny krok uwzględnia porównywanie rezultatów z oczekiwanymi wynikami, oryginalnymi pytaniami do ewaluacji, celami i zamierzeniami programu oraz obecną najnowocześniejsza wiedzą (np. badania na temat programów mentoringu). Niektóre pytania kierujące interpretacją to:

• Czy któreś ze zidentyfikowanych trendów lub wzorców były niespodziewane?
• Jakie czynniki mogą wyjaśniać odchylenia?
• Jeżeli zebrałeś dane ilościowe i jakościowe, czy wyniki jakościowe wspierają wyniki ilościowe? Jeżeli nie, jakie czynniki mogą wyjaśniać różnice (np. próbkowanie, sposób zadawania pytań w ankiecie w porównaniu z wywiadami itp.)?
• Czy jakieś ciekawe wzorce wynikają z odpowiedzi?
• Czy rezultaty sugerują zalecenia względem ulepszenia programu?
• Czy rezultaty prowadzą do dodatkowych pytań na temat programu? Czy sugerują, że potrzebne mogą być dane dodatkowe?
• Czy następnym razem trzeba zmienić sposób zbierania danych?

Starając się zrozumieć dane, rób to w sposób przemyślany. Nie śpiesz się z wnioskami lub założeniami na temat tego, co uczestnicy mieli na myśli.
Angażowanie innych osób (np. personelu programu) do dyskusji nad tym, co oznaczają wyniki może pomóc w zrozumieniu danych.

5. Podsumowanie, komunikacja i refleksja na temat wyników ewaluacji

Wyniki ewaluacji można przekazywać na wiele różnych sposobów, aby rozpowszechniać jej rezultaty i opowiadać historię programu. Musisz mieć standardowy format wykorzystywany do przedstawiania wyników ewaluacji, niemniej jednak trzeba wiedzieć, dlaczego niektóre formaty przedstawiania i przekazywania wyników mogą być skuteczniejsze niż inne.

Są też różne opcje wyświetlania wyników ewaluacji, a obszar wizualizacji danych i analizy wizualnej zwiększył się z powodu dostępności dużych ilości danych, wraz z rozwojem technologii w zakresie dostępu, obsługi i wyświetlania danych. W końcu trzeba pozostać skupionym na tym, co chcemy przekazać, dlaczego i komu.
Uczestnictwo na tym etapie procesu ewaluacji jest kluczowe, bo skuteczne podsumowania i komunikacja wyników ewaluacji pomoże:

• Rozpowszechnić wiedzę
• Ułatwić zrozumienie
• Potwierdzić lub podważyć teorie lub dotychczasowe sposoby myślenia
• Świadomie podejmować decyzje i działania

Nie trzeba czekać do końca programu, aby podzielić się wynikami i wglądem. Można dzielić się wynikami w środku programu, dopóki precyzuje się, że to są wyniki pośrednie i wstępne.

Komunikacja i zgłaszania wyników ewaluacji
O co spytać przed podsumowaniem wyników
Po zebraniu i analizie danych trzeba określić, jak skutecznie podsumowywać wyniki, aby można było wystarczająco dobrze przekazać wyniki interesariuszom. Czasem można mieć znacznie więcej danych niż jest się w stanie skutecznie przekazać.
Aby ułatwić ten proces, wypełnij poniższą tabelkę.

Prostota
Najważniejszą zasadą skutecznej komunikacji wyników jest dbanie o prostotę prezentacji. Unikaj zakłócania informacji liniami, kolorami, cieniami lub czymkolwiek innym, co może zwiększyć atrakcyjność, ale odciąga uwagę od treści. Aby ułatwić rozumienie materiału czytelnikowi, uwzględniaj tylko istotne, krytyczne informacje.

Sposoby prezentacji danych z ewaluacji
Jeżeli masz plan komunikacyjny i rozumiesz znaczenie prostego przedstawienia wyników, możesz omówić najlepszy sposób na prezentację wyników według danych jakościowych i ilościowych. Wizualizacja danych to rosnący obszar i pojawia się wiele materiałów na temat skutecznego przekazywania danych. Gdy prezentujesz wyniki, warto pamiętać o następujących elementach:

• Zwróć uwagę oglądającego na treść, a nie na metodę, projekt graficzny itp.
• Unikaj wszelkiego fałszywego przedstawienie danych.
• Zapewniaj czytelne etykiety.
• Unikaj małego druczku.

Wykresy
Wykresy skutecznie pokazujące wzorce lub trendy w czasie uwzględniają grafiki przedstawiające czas na jednym wymiarze (np. oś x), a pozycję, dla której obserwuje się zmianę na drugim wymiarze (np. oś y).
Wykresy skutecznie pokazujące rozkład odpowiedzi w dwóch wymiarach, w tym wykresy rozrzutu i histogramu
Wykresy pomagające w porównaniu dwóch lub więcej grup uwzględniają wykresy kolumnowe, wykresy słupkowe grupowane, wykresy kolumnowe równoczesne i zebrane wykresy kolumnowe

Refleksja na temat sposobów prezentacji danych z ewaluacji
Interesariusze chętniej wykorzystują wyniki ewaluacji, jeżeli rozumieją jej cel i wnoszą wkład w jej projekt, wdrożenie, interpretację i zastosowanie wyników.
Nie wystarczy jednak tylko podsumować i przekazać wyniki. Ważne jest podjęcie kolejnego kroku, który uwzględnia refleksję nad wynikami i ich implikacje, jak również planowanie sposobów ich użycia. W przeciwnym razie, cały proces ewaluacji traci wartość. Pamiętaj, że ewaluacja musi zapewniać przydatne informacje, aby umożliwić podejmowanie świadomych decyzji i kształtować program tak, by był możliwie najskuteczniejszy.
Istnieją jednak przeszkody w refleksji nad wynikami i planowaniu sposobów na ich użycie, w tym:

• Lęk przed byciem ocenianym przez interesariuszy – szczególnie, jeżeli dostarcza się niekorzystne wyniki.
• Zaniepokojenie z powodu czasu i wysiłku włożonego w to, by zebrać interesariuszy celem omówienia i analizy wyników.
• Niechęć do zmian, która może wpłynąć na sposób, w jaki rzeczy robiono kiedyś.
• Nieodpowiednia komunikacja i system dzielenia się wiedzą, które wpływają na to, jak, kiedy i z kim informacja zostanie udzielona.
• Pracownicy niezainteresowani wynikami z wielu przyczyn.
• Ograniczenia organizacyjne, takie jak niewielki budżet i możliwości personelu w zakresie realizacji innych funkcji uważa się za ważniejsze.
• Zaniepokojenie wynikami negatywnymi.

Użycie wyników ewaluacji
Po uzyskaniu wyników, trzeba się zgodzić na to, jak będą wykorzystywane. Np.:

• Doskonalenie strategii, inicjatywy lub programu
• Wzrost odpowiedzialności
• Edukacja lub budowanie świadomości
• Wykorzystywanie wsparcia (np. dodatkowe finansowanie)
• Generowanie nowej wiedzy (tj. poprawić skuteczną praktykę)
• Replikowanie i skalowanie programu
• Opracowanie zaleceń do kolejnych etapów
• Dostosowanie projektu ewaluacji i procesu