M3.06. Przygotowanie ewaluacji procesu mentoringu
5. Plan ewaluacji
Korzystając z modelu logicznego, pytań do ewaluacji i narzędzia ram pomiaru jako podstawowych elementów, można teraz zacząć opracowywać plan ewaluacji, który łączy wszystkie te komponenty.
Dobry plan ewaluacji powinien zawierać następujące elementy:
- Informacje podstawowe o programie
- Pytania do ewaluacji: Konkretne, mierzalne pytania.
- Projekt ewaluacji: Metody gromadzenia danych; rodzaje zbieranych danych; procedury pobierania próbek; podejście do analizy; kroki wykonane w celu zapewnienia dokładności, ważności i solidności; ograniczenia.
- Harmonogram: Daty ukończenia i przedziały czasowe dla najważniejszych etapów i produktów.
- Plan przekazywania wyników i wykorzystywania rezultatów
- Ewaluator/zespół ds. ewaluacji: Określ, kto jest odpowiedzialny za prowadzenie procesu ewaluacji i co obejmuje ta rola. Może to być zewnętrzny ewaluator, wewnętrzny ewaluator lub wewnętrzny ewaluator z zewnętrznym konsultantem.
- Informacje budżetowe: Mogą obejmować koszty czasu pracy personelu, doradców, podróże, komunikację, dostawy i inne koszty (np. zachęty dla uczestników, tłumaczenia pisemne i ustne).
Części planu ewaluacji można kopiować i wykorzystywać, aby napisać raport z ewaluacji. Tabela poniżej pokazuje zarys ogólny planu ewaluacji oraz raport z ewaluacji.
Plan ewaluacji | Raport z ewaluacji |
Strona tytułowa: Zawiera czytelny tytuł, nazwę i lokalizację strategii, inicjatywy lub programu, okres podlegający ewaluacji. | Strona tytułowa: Zawiera czytelny tytuł, nazwę i lokalizację strategii, inicjatywy lub programu, okres podlegający tytuł lub datę ukończenia ewaluacji. |
Informacje podstawowe na temat działania: Cel ewaluacji, źródło i cele działania, aktywności i usługi, w tym teoria zmiany i model logiczny. | Podsumowanie: Krótki, samodzielny opis programu, zarys ogólny celu ewaluacji, metody, podsumowanie wyników i zalecenia. |
Pytania do ewaluacji: Konkretne pytania, które są mierzalne, mogą potrzebować ułożenia według priorytetów, aby skupić zasoby i móc zarządzać ewaluacją. | Wprowadzenie i tło: Cel ewaluacji, źródło i cele działania, grupa docelowa, aktywności i usługi, analiza powiązanych badań, pytania do ewaluacji i zarys ogólny oraz opis raportu. |
Projekt ewaluacji: Metody zbierania danych, rodzaje zbieranych danych, procedury pobierania próbek, podejście do analizy, kroki podjęte w celu zapewnienia dokładności, ważności i solidności, ograniczenia. | Projekt ewaluacji: Metody zbierania danych, rodzaje zbieranych danych, procedury pobierania próbek, podejście do analizy, kroki podjęte w celu zapewnienia dokładności, ważności i niezawodności, ograniczenia (w tym teoria zmiany i model logiczny). |
Harmonogram: Daty ukończenia i przedziały czasowe dla najważniejszych etapów i produktów. | Wyniki ewaluacji: Wyniki ewaluacji, analizowane pytania do ewaluacji, wizualne przedstawienie wyników (np. tabele, wykresy itp.). |
Plan przekazywania wyników i wykorzystywania rezultatów do dalszej pracy: Informacje szczegółowe dotyczące tego, jakie produkty będą opracowywane i co będzie ujęte w każdym produkcie. Potencjalni użytkownicy i docelowi odbiorcy, z uwzględnieniem personelu i administracji programu, uczestnicy programu, liderzy społeczności, fundatorzy, urzędnicy państwowi i organizacje partnerskie. | Podsumowanie, wniosek i zalecenia: Podsumowanie wyników, implikacje rezultatów, czynniki, które mogły kształtować wyniki, czytelne i możliwe do wdrożenia zalecenia. |
Informacje budżetowe: Mogą uwzględniać koszty czasu pracy personelu, konsultantów, podróże, komunikację, dostawy i inne koszty administracyjne. (Jeżeli plan ma być wspólny dla szerszej grupy osób, informacje o czasie pracy personelu i konsultantów mogą być wykluczone.) | |
Ewaluator i zespół ds. ewaluacji: Specyfikacje dotyczące tego, kto jest odpowiedzialny za prowadzenie procesu ewaluacji i co obejmuje ta rola. Może to być zewnętrzny ewaluator, wewnętrzny ewaluator lub wewnętrzny ewaluator z zewnętrznym konsultantem. |
Czas trwania wdrożenia i realizacji ewaluacji może zależeć od różnych, zaskakujących rzeczy. Opracowując zarys ogólny ewaluacji, należy uwzględnić następujące potencjalne przeszkody:
- Niechęć do uczestnictwa w procesie ewaluacji przez interesariuszy
- Brak gwarancji uczciwości odpowiedzi podczas ewaluacji
- Dawanie negatywnych odpowiedzi może być trudne dla uczestników
- Anonimowość jest trudniejsza do osiągnięcia w małym programie mentoringu
- Autorefleksja może być trudna dla uczestników
- Strategia programu może być niejasna lub nieadekwatna
- Niski wskaźnik odpowiedzi na ankiety
- Trudniej jest określić długoterminowe powodzenie rezultatów, gdy ewaluację przeprowadza się wcześnie w cyklu życia programu mentoringu