M3.06. Przygotowanie ewaluacji procesu mentoringu

1. Czym jest ewaluacja

Celem ewaluacji jest ułatwienie oceny programu mentoringu oraz, poprzez analizę zebranych danych, opracowanie wniosków na temat jakości, wartości, znaczenia i istoty programu. Efekty te można rozpowszechniać wśród podmiotów mających żywotny interes w programie (interesariusze) oraz wykorzystywać do poprawy jakości programu.
Ewaluacja to najważniejszy etap programu mentoringu; rezultaty ewaluacji mogą determinować los programu. Dlatego też konieczne jest prawidłowe przeprowadzenie ewaluacji i uniknięcie następujących pułapek:

• Nieuczciwe oceny przez ewaluatora
• Zastosowanie nieprawidłowych metod ewaluacji
• Niezrozumienie zebranych danych
• Fałszywe przedstawienie zebranych danych
• Z powodu braku doświadczenia/zasobów w procesie ewaluacji idzie się na skróty

Ewaluacja to wartościowy proces, ponieważ daje szansę na użycie jej wyników w celu dokonania pozytywnych zmian bieżącego programu mentoringu lub może stanowić zachętę do uruchomienia programu pilotażowego w większej liczbie działów.
Programy mentoringu wdrażane w organizacji mogą różnić się wielkością i konstrukcją. Ta różnica może wynikać z wielu czynników, np.:

• Rozmiar organizacji
• Liczba działów w organizacji
• Dostrzegana potrzeba programu mentoringu
• Dostępność zasobów
• Czas obecności programu mentoringu (tj. może być pilotażowy w jednym lub dwóch działach, przed jego uruchomieniem w całej organizacji)

Poniższe schematy pokazują potencjalne różnice pomiędzy dwoma różnymi strukturami programu mentoringu.

Schemat pokazujący program mentoringu w trzech działach

Schemat pokazujący mały program mentoringu

Proces ewaluacji wykorzystujący myślenie krytyczne to podejście systemowe, które:

• Identyfikuje założenia, zgodnie z którymi Twoja strategia, inicjatywa lub program będzie działać.
• Określa, jakiej zmiany się spodziewasz podczas wdrożenia zaplanowanych działań i po nim.
• Zbiera i analizuje dane, aby zrozumieć, co się stało.
• Komunikuje, interpretuje i analizuje rezultaty.
• Pozwala podejmować świadome decyzje o wprowadzeniu ulepszeń.

Myślenie krytyczne to systemowy proces zbierania i analizowania danych w celu opowiedzenie historii o swojej strategii, inicjatywy, programie, polityce lub organizacji.

Ewaluacja to podejście kolaboracyjne, które uwzględnia kilku interesariuszy, w tym:

• Strony zaangażowane w finansowanie programu
• Personel organizacyjny
• Uczestnicy programu mentoringu
• Członkowie zarządu
• Organizacje uczestniczące (np. zaangażowani ewaluatorzy zewnętrzni)
• Decydenci

Proces ewaluacji powinien się koncentrować na użyteczności, tj. efekty ewaluacji powinny być praktyczne i przydatne dla użytkowników końcowych/interesariuszy. Dlatego też ewaluacja powinna uwzględniać:

• Wdrożenie i oddziaływanie jako ciągły proces oraz to, na czym powinny się opierać działania, a nie co zastępować
• Istniejące systemy informacyjne wspierające ulepszenia, które mogą trwać w czasie
• Dotychczasowe lekcji zdobyte podczas badań, wraz z bieżącymi oczekiwaniami interesariuszy
• Oczekiwane efekty i to, jak rzeczywistość może się różnić od teorii
• Wartość efektów, które zostaną uzyskane w procesie ewaluacji

Program mentoringu wdrożony w organizacji wpłynie na strategię monitorowania i ewaluacji. Mały program z niewielką liczbą aktywnych użytkowników (np. mentor, podopieczny, kierownik mentoringu) będzie potrzebował innego podejścia do ewaluacji niż np. program mentoringu dla organizacji, z wieloma uczestnikami i poziomami. Dodatkowo, program mentoringu może być formalny lub nieformalny, niezależnie od liczby zaangażowanych osób.

Formalny program mentoringu częściej ma zasady i procedury, które będą wartościowe przy planowaniu monitorowania i ewaluacji. W tym punkcie omówione zostaną metody i techniki oceny programu mentoringu. Umożliwi to podjęcie świadomej decyzji podczas opracowywania własnego planu ewaluacji.

2. Zasady i metody ewaluacji procesu mentoringu

Ewaluację można przeprowadzać z użyciem oceny formatywnej lub sumatywnej.

Ocena formatywna:	Ocena formatywna to ciągła forma monitorowania przez cały program mentoringu.
Ocena sumatywna:	Ocena sumatywna to ocena przeprowadzana na koniec programu mentoringu.

Ewaluację formatywną i sumatywną można przeprowadzać z zastosowaniem dwóch najważniejszych metod: procesu i rezultatu.

Ewaluacja procesu skupia się na tym, czy program jest wdrażany zgodnie z zamierzeniem, jak jest odbierany i jakie zmiany są potrzebne, aby rozwiązać problemy (np. trudności w rekrutacji i zatrzymaniu mentorów, duża rotacja podopiecznych, wysoki koszt zarządzania programem).

Ewaluacja rezultatu skupia się na tym, czy program ma efekty i jakie. Projekty mogą np. porównywać cele z efektami lub badać różnice pomiędzy podejściami do mentoringu. Informacja tego typu jest istotna dla samomonitorowania i może odnosić się do kilku pytań na temat programów i relacji.
Ewaluację procesu i rezultatu można przeprowadzać z użyciem:

• Oceny jakościowej; lub
• Oceny ilościowej

Ocena ilościowa: Metody ilościowe to te, które wyrażają swoje efekty w liczbach. Zdają się odpowiadać na takie pytania, jak „Ile?" lub „Jak często?".
Ocena jakościowa: Metody jakościowe nie dają wyników numerycznych. Mogą uwzględniać proszenie ludzi o odpowiedzi „eseistyczne" na temat często złożonych kwestii lub obserwowanie interakcji w złożonych sytuacjach.

Metody jakościowe i ilościowe tak naprawdę się uzupełniają. Każda z nich ma mocne i słabe strony, a razem mogą dawać czytelny obraz sytuacji, jakiego żadna z nich osobno by nie dała. Często najdokładniejsze informacje uzyskuje się poprzez wykorzystanie kilku odmian każdej metody. Nie zawsze jest to możliwe, ale jeżeli jest, może dać najlepsze rezultaty.

Metody oceny ewaluacji

Określając strategię ewaluacji, należy wziąć pod uwagę relacje mentoringu. Zasadniczo, celem programu mentoringu jest wspieranie rozwoju i satysfakcji uczestników.
Relacje mentoringu są udane i zadowalające dla wszystkich zaangażowanych stron, gdy ustanowi się kilka czynników, a mentor i podopieczny odgrywają aktywne role.

Poniższe czynniki sugeruje się jako kluczowe wskaźniki dla uczestników programu mentoringu do oceny skuteczności ich rezultatów mentoringu.

1. Cel:

• Oboje partnerzy mają jasność co do powodów, dla których się spotykają
• Role i cele zostały umówione i uzgodnione przez obie strony
• Oboje partnerzy poznają, gdy już zrealizują swój cel

2. Komunikacja:

• Mentor i podopieczny komunikują się za pomocą metod, które oboje preferują
• Nawiązują ze sobą kontakt w ramach czasowych, które uzgodnili
• Obie strony słuchają uważnie i zapamiętują informacje
• Wymiana informacji i konwersacja jest dwustronna
• Mowa niewerbalna jest monitorowana (np. język ciała wspiera konwersację werbalną)

3. Zaufanie:

• Informacje są mile widziane i zachowywane w poufności
• Zaangażowanie jest doceniane, a odwołanie nie następuje bez istotnych powodów
• Partnerzy nie wyrażają się o sobie negatywnie i nie są niesprawiedliwie krytyczni
• Wraz z rozwojem relacji i zaufania, coraz więcej informacji jest wymienianych

4. Proces:

• Spotkanie odbywają się regularnie, w czasie pasującym obu stronom
• Sesje mają zazwyczaj odpowiednią długość
• Obie strony powinny mieć przyjemność ze spotkania
• Mentor i podopieczny powinni mieć świadomość czterech etapów mentoringu formalnego (budowanie wzajemnego zrozumienie, określenie kierunku, trwały postęp i zakończenie części współpracy polegającej na formalnym mentoringu) i pracować w ich ramach.
• Obie strony powinny być zadowolone z dopasowania i powinny regularnie je oceniać, aby zapewnić kompatybilność

5. Postęp:

• Podopieczny w relacji określił odpowiednie cele życiowe i dokonuje istotnych postępów w zakresie budowania kompetencji, aby te cele osiągnąć
• Obie strony identyfikują interesujące doświadczenia edukacyjne i wspólnie przetwarzają ich rezultaty

6. Informacje zwrotne:

• Obie strony omawiają i uzgadniają format informacji zwrotnych
• Informacji zwrotnych należy udzielać w szczery i taktowny sposób, tak często, jak to uzgodniono
• Informacje zwrotne powinny być mile widziane i żadna ze stron nie powinna być defensywna, ale zamiast tego powinna natychmiast podjąć działania w celu ich wdrożenia

Dzięki zastosowaniu tych sześciu parametrów można określić pytania do ewaluacji, a następnie utworzyć ramy pomiaru, aby zidentyfikować źródła danych, częstotliwość gromadzenia danych oraz jakościowe i ilościowe pomiary zmiany. Informacje te, wraz z metodami gromadzenia danych, strategiami analiz i planami raportowania oraz komunikowania wyników, są zbierane, aby utworzyć plan ewaluacji.

Po przygotowaniu planu ewaluacji można rozpocząć zbieranie danych i ich analizę.
Niektóre analizy mogą być liniowe i bezpośrednie. Np. jeżeli celem ewaluacji jest określenie oddziaływania programu mentoringu organizacji, kolejność działania jest mniej więcej liniowa, jak pokazano poniżej.

• Zbierz dane od interesariuszy przed rozpoczęciem programu.
• Zbierz dane w połowie programu lub na jego końcu (lub obie opcje).
• Analizuj dane z użyciem statystyki (np. procenty) i zakodowanych danych jakościowych.

Wskazówki dotyczące analizy: Jeżeli zbierasz dane z badań, przejrzyj i „wyczyść” dane przed rozpoczęciem analizy (tj. badania zdalne z niepełnymi lub brakującymi danymi (np. niektóre osoby nie odpowiedziały na wszystkie pytania) z użyciem metod ręcznych lub specjalistycznego oprogramowania). Jeżeli zbierasz dane jakościowe, przejrzyj notatki i w razie potrzeby skontaktuj się z daną osobą lub przeanalizuj sytuację, aby wypełnić luki w informacjach. Zarezerwuj dość czasu i pieniędzy na analizę. Analiza jakościowa wymaga więcej zasobów, ponieważ czytanie, kodowanie i podsumowanie tekstu trwa dłużej niż wprowadzenie danych i obliczenie procentów czy innych statystyk uwzględnionych w analizie ilościowej.

Kolejne kilka etapów po zbieraniu danych i analizie wiąże się z komunikacją i interpretacją wyników oraz podejmowaniem świadomych decyzji na temat usprawnień i kolejnych kroków. Raportowanie, interpretacja i refleksja na temat wyników ewaluacji zostaną omówione dogłębnie w punkcie „Realizacja ewaluacji procesu mentoring".

2.1. Centrum zainteresowania analizy

Centrum zainteresowania analizy tprzedmiot analizy ewaluacji, obejmujący organizację, personel, model programu, politykę lub strategię itp. Ewaluacja nie ogranicza się do jednego przedmiotu i może uwzględniać jeden lub więcej tematów jednocześnie.

W zależności od zakresu i ram czasowych wysiłku i oczekiwań wszystkich najważniejszych interesariuszy, można zdecydować centrum zainteresowania ewaluacji.

Kiedy centrum zainteresowania analizy jest osoba indywidualna:

• Dokumentujesz zmianę, której doświadczają osoby indywidualne.
• Twoja ewaluacja będzie zazwyczaj chciała oceniać dwie rzeczy:
  1. stopień odpowiedniegwdrożenia strategii, inicjatywy lub programu, oraz
  2. to, czy indywidualni uczestnicy doświadczyli pożądanych rezultatów.

Kiedy centrum zainteresowania analizy jest organizacja:

• Ewaluacja zmian priorytetów, polityk i praktyk organizacji.
• Proces ewaluacji powinien służyć gromadzeniu i analizie danych na temat kluczowych wskaźników rezultatu, takich jak poziom sukcesu organizacji w obszarze:
  • Angażowania i podtrzymywania zaangażowania różnych grup ludzi
  • Zapewniania zasobów dprogramu mentoringu
  • Opracowywania kluczowej dokumentacji i wskazówek (tj. polityka i strategia) dla programu
  • Zapewnienie oraz/lub wspieranie rozwoju i możliwości dla podopiecznych

Kiedy centrum zainteresowania analizy jest program mentoringu:

• W celu oceny nowych lub dostosowanych inicjatyw lub programów, można przeprowadzić badanie, aby zrozumieć:
  • Jak wdrożondziałanie.
  • Jakie elementy sprawiły, że jest skuteczne.
  • Czadziałało, a cnie zadziałałi dlaczego.
  • Jaka wiedza, umiejętności i inne zdolności są wymagane względem personelu, aby wdrożyć działanie.
  • Cnajważniejsze, jak udoskonalić działanie.
• Wiele z zebranych danych może być jakościowych. Kiedy elementy inicjatywy lub programy stały się końcowe i stabilne, można przeprowadzić ewaluację rezultatu lub sumatywną i połączyć użycie planu quasi-eksperymentalneg z zastosowaniem powyższej metodologii, aby ocenić jegskuteczność.

Plan quasi-eksperymentalny ocenia związki przyczynowo skutkowe programu, porównując dwie grupy uczestników (grupę „badaną" i grupę „porównawczą") lub porównując dane zebrane od jednej grupy uczestników przed ich uczestnictwem w programie i po nim.

2.2. Ewaluacja wewnętrzna a zewnętrzna

Ewaluację wewnętrzną prowadzi członek personelu organizacji, która prowadzi program lub podmiotu ocenianego, podczas gdy ewaluację zewnętrzną prowadzi ewaluator, który nie jest pracownikiem tej organizacji.
To, czy organizacja przeprowadzi ewaluację wewnętrzną lub zewnętrzną zależy zazwyczaj od dostępnych zasobów, kwalifikacji ewaluatora wewnętrznego lub zewnętrznego, zakresu ewaluacji lub wymogów sponsora. Przy podejmowaniu decyzji równie ważne są też jednak inne czynniki:

• Ewaluatorzy zewnętrzni mogą zapewnić szerszą perspektywę, podczas gdy ewaluatorzy wewnętrzni zdają się mieć wiedzę tajemną na temat kontekstu, w obrębie którego strategia, inicjatywa lub program działają.
• Ewaluatorów zewnętrznych można postrzegać jako zagrażających, podczas gdy ewaluatorzy wewnętrznie mogą być postrzegani jako mniej obiektywni.

Czasem nie ma wyboru, bo sponsor wymaga ewaluacji zewnętrznej. Bez względu na wybór ewaluatora zewnętrznego czy wewnętrznego, od początku należy ustalić wyraźne granice odpowiedzialności.

3. Interesariusze

W ewaluację zaangażowanych jest wielu interesariuszy, więc trzeba dokładnie się zastanowić, jak informacje i wyniki udzielone interesariuszom, w tym ewaluatorowi, mogą zostać wykorzystane (lub nadużyte). Dlatego też należy zapewnić, ze dane zebrane do ewaluacji nie mogą zostać wyrwane z kontekstu lub błędnie zinterpretowane. W przypadku, gdy ewaluator jest wskazany, należy pracować z nim nad tą kwestią.
Pierwszym krokiem w procesie identyfikacji i angażowania interesariuszy jest odpowiedź na pytanie:

Należy wziąć pod uwagę, kto jest zainteresowany informacją o ewaluacji programu i określić, kto jest zainteresowany odpowiedziami na takie pytania, jak:

• Czy program mentoringu jest zgodny z tym, co planowano? Kto skorzysta lub straci na sposobie realizacji programu?
• Czy uczestniczy odnoszą taką korzyść z wdrożenia programu, jak chciano?
• Kto skorzysta lub straci w przypadku pozytywnej i negatywnej odpowiedzi?
• Czy program mentoringu wywiera wpływ? Kto skorzysta lub straci w przypadku pozytywnej i negatywnej odpowiedzi?
• Czy wyniki oddziałują na zasady? Kto skorzysta lub straci w przypadku pozytywnej i negatywnej odpowiedzi?

Uwzględnienie różnych rodzajów interesariuszy
Poniższa tabelka może pomóc w identyfikacji potrzeb interesariuszy względem programu mentoringu w organizacji:

Interesariusze	Dlaczego są zainteresowani dowiedzeniem się, jak przebiega realizacja programu?
Organy finansujące	Chcą wiedzieć, czy ich inwestycje zostały dobrze spożytkowane. Jeżeli program mentoringu nie spełnia oczekiwań, chcą wiedzieć, dlaczego i podejmować decyzje o kontynuowaniu finansowania programu lub rozwijaniu możliwości programu (lub nie) na podstawie wyników.
Personel programu	Chce wiedzieć, czy wykonuje swoją pracę prawidłowo i czy dają podopiecznym pozytywne zmiany, jak określono w planie mentoringu. Jeżeli nie, chce użyć informacji, aby udoskonalić program.
Członkowie zarządu	Chcą się dowiedzieć o postępach programu i oddziaływaniu, jakie wywiera (lub nie) na pracowników (podopiecznych). Jeżeli wywiera wpływ, chcą użyć tej informacji w celu zdobywania środków. Jeżeli nie, chcą rozwiązać problemy, których program doświadcza.
Uczestnicy programu	Podopieczni chcą Ci powiedzieć, czy i jak program pomaga im w realizacji ich celów zawodowych. Chcą wiedzieć, czy wyniki pasują do tego, czego doświadczyli. Jeżeli nie, chcą pomóc programowi w lepszym uchwyceniu rezultatów, których doświadczyli.

Wykorzystanie ewaluacji przez różne rodzaje interesariuszy
Różni interesariusze prawdopodobnie użyliby ewaluacji do różnych celów, wytwarzając pewne
korzyści, ale też potencjalne ryzyka, których można by było uniknąć, mając najpierw odpowiednią strategię.
Poniższa tabela zawiera ogólne przykłady pomagające w zrozumieniu korzyści i ryzyk dla każdej grupy raz tego, jak można uniknąć ryzyk, najlepiej jak się potrafi, gdyż każda sytuacja jest inna.

Korzyści i potencjalne zagrożenia ewaluacji

Grupa interesariuszy	Wyniki ewaluacji mogą pomóc tej grupie poprzez...	Wyniki ewaluacji mogą zaszkodzić tej grupie poprzez...	Aby zmniejszyć ryzyko, należy...
Organy finansujące	Pokazanie, że granty były przydatne i zostały skutecznie wykorzystane.	Podkreślenie, że organ finansujący nie może finansować grantów, które nie działają i cofnąć środki.	Zaangażować uczestników programu wcześniej, aby zrozumieć, co uważają za sukces i omówić ich potrzeby w zakresie informacji.
Personel programu	Pokazanie, że ich wysiłki w programie mają znaczenie.	Pokazanie, że ich wysiłki w programie nie mają znaczenia. Może to prowadzić do cięć budżetowych, a nawet redukcji personelu.	Wcześniej pracować z personelem, aby zapewnić, że pytania ewaluacyjne pasują do wymogów dotyczących zasobów.
Członkowie zarządu	Identyfikację obszarów, w których organizacja robi różnicę.	Identyfikację słabszych obszarów w przywództwie organizacji non-profit, jej systemach administracyjnych i finansowych oraz codziennych działaniach.	Zaangażować członków zarządu w projekt i wdrożenie ewaluacji.
Podopieczni	Wzmocnienie, kontynuację lub rozszerzenie programów, w których mogą nadal uczestniczyć i czerpać z nich korzyści.	Wyeliminowanie możliwości oferowanych przez programy.	Zaangażować ich wcześniej, aby mogli wyobrazić sobie, jak wygląda udany program mentoringu, i aby pokazać im, jakie korzyści da im uczestnictwo w nim.

Korzystając z drugiej tabeli jako przykładu, wypełnij tabelę dotyczące ryzyka. Należy pracować z każdą grupą interesariuszy, aby zaplanować i podjąć kroki w celu zapobieżenia nieporozumieniom dotyczącym ewaluacji i niewłaściwego użycia wyników.

3.1. Jak identyfikować kluczowych interesariuszy

Określając, kto kwalifikowałby się jako interesariusz, należy sprecyzować, jakie są Twoje potrzeby, aby ocenić, kogo trzeba zaangażować. Jako że interesariusze przedstawiają różne rodzaje wartości, powody zaproszenia pewnych osób lub grup do uczestnictwa powinny uwzględniać, co następuje:

• Znają ewaluowany program (np. pracownicy i zatrudnienie eksperci-doradcy).
• Zapewniają różnorodność perspektyw i doświadczeń
• Program na nich wpływa (np. uczestnicy programu).
• Mają wpływ (np. członkowie zarządu, organy finansujące).
• Są zwolennikami procesu ewaluacji i są zaangażowanie w projekt i wdrożenie ewaluacji
• Są odpowiedzialni za decyzje na temat ewaluacji i programu (np. dyrektor programu, zarząd).

4. Opracowanie pytań do ewaluacji, ram pomiarów i planu ewaluacji

Ewaluacja to najważniejsze narzędzie, które będzie używane w całym cyklu życiu programu mentoringu, dlatego ważne, aby narzędzia używane w tym celu umożliwiały przeprowadzenie skutecznego procesu.
Zastosowanie modelu logicznego skutkuje skutecznym planem działań i zapewnia lepsze możliwości uczenia się, lepszą dokumentację rezultatów oraz dzielenie się wiedzą na temat tego, co działa i dlaczego. Co ważniejsze, model logiczny pomaga zapewnić, że myślenie krytyczne jest wkomponowane w projekt i wdrożenie ewaluacji.

Model logiczny to graficzne przedstawienie teorii zmiany, ilustrujące relację pomiędzy zasobami, działaniami, wynikami i krótko-, średnio- oraz długoterminowymi rezultatami.

Model logiczny pomaga rozłożyć wdrożenie programu w sposób systematyczny, poprzez podkreślenie połączeń pomiędzy potrzebami, zasobami programu, działaniami, wynikami, rezultatami i długoterminowym oddziaływaniem programu mentoringu. W ten sposób można odpowiedzieć na pytania do ewaluacji, np.:

• Jak program powinien działać?
• Jakie są różnice pomiędzy zaplanowanym procesem do wdrożenia a rzeczywistością?
• Gdzie są luki lub nierealistyczne oczekiwania w strategii wdrożenia?
• Które obszary modelu logicznego zdają się dawać najmocniejsze rezultaty lub relacje?
• Które obszary modelu nie działają w praktyce?
• Czy są kluczowe czynniki, które nie zostały osadzone w strategii programu, a powinny być?

Organizując pytania do ewaluacji na podstawie modelu logicznego, możesz lepiej określić,
które pytania zawrzeć w ewaluacji.

Podczas opracowywania pytań do ewaluacji, jest jeszcze inny element. Pytania zależą też od rodzaju ewaluacji, jaką chcesz prowadzić - ewaluacji wyników, ewaluacji procesu lub formatywnej czy ewaluacji rezultatu lub sumatywnej.
Ewaluacji wyników dotyczy:

• Zapewnienie odpowiedzialności
• Pokazanie, że zasobów użyto zgodnie z zamierzeniem, i że są dobrze zarządzane
• Monitorowanie i raportowanie w sprawie postępów w kierunku ustalonych celów
• Przekazanie kierownictwu wczesnego ostrzeżenia o problemach

Ewaluacji procesów lub formatywnej dotyczy:

• Zrozumienie, czy program jest wdrażany tak, jak planowano i zgodnie z harmonogramem
• Ocena, czy program wytwarza zamierzone rezultaty
• Identyfikacja mocnych i słabych stron programu
• Informowanie o zmianach w trakcie kursu

Ewaluacji rezultatu lub sumatywnej dotyczy:

• Badanie, czy program osiągnął pożądane rezultaty, i czy był skuteczny, czy też nieskuteczny
• Uskutecznianie wprowadzania zmian w trakcie kursu
• Ocena, czy wysiłek jest trwały i możliwy do odtworzenia

4.1. Dwa różne sposoby formułowania pytań do ewaluacji na temat programu

Oto metoda pomagająca w formułowaniu pytań do ewaluacji. Przyjrzyj się modelowi logicznemu i zacznij od poniższych pięciu elementów:

• Kto - Komu miała przynieść korzyść Twoja inicjatywa w zakresie strategii lub program?
• Co - Co wysiłek miał zrobić? Jaki był kontekst, w którym działanie zostało podjęte, i jak wpłynęło na jego wdrożenie i rezultaty?
• Kiedy - Kiedy działania miały miejsce? Kiedy pożądane zmiany zaczęły następować?
• Dlaczego - Dlaczego działanie jest ważne dla Twojej organizacji lub społeczności? Dlaczego może być ważne dla ludzi w innych organizacjach lub społecznościach?
• Jak - Jak działanie ma wpłynąć na pożądane zmiany lub przynieść pożądane rezultaty?

Oto przykłady pytań do ewaluacji do zadania w poprzednim przykładowym scenariuszu. Inną metodą formułowania odpowiedzi do ewaluacji jest uwzględnianie różnych aspektów strategii, inicjatywy lub programu oraz generowanie pytań na temat wszystkich tych aspektów.

Używając modelu logicznego i znając pytania, na które szukasz odpowiedzi, możesz opracować ramy pomiaru, jako narzędzie planowania ewaluacji. Opracowanie ram pomiaru umożliwi określenie, jak oceniać postęp w kierunku osiągnięcia rezultatów i odpowiadać na pytania do ewaluacji.
Mając ramy pomiaru dla swojego działania, otrzymujesz czytelny obraz tego, jak realizować ewaluację. Ramy pomiaru zapewniają interesariuszom kolejną możliwość dalszego definiowania rezultatów. Z nimi, można uwzględnić, co rezultat znaczy w bardziej konkretnych kategoriach.

Najważniejsze elementy ram pomiaru
Ramy pomiaru obejmują siedem najważniejszych elementów:

• Rezultaty to bezpośrednie produkty działań i mogą uwzględniać rodzaje, poziomy i cele usług, które strategia, inicjatywa lub program mają realizować.
• Rezultaty to bezpośrednie, pośrednie i długoterminowe zmiany lub korzyści, które trzeba udokumentować. Rezultaty te powinny być takie same, jak te określone w modelu logicznym.
• Wskaźniki to znaczniki postępu w kierunku zmiany, którą masz nadzieję uczynić dzięki swojej strategii, inicjatywy lub programu.
• Miernikami zmiany są wartości - ilościowe i jakościowe - których można użyć do oceny, czy dokonano postępu.
• Metody zbierania danych to strategie zbierania danych. Mogą one uwzględniać metody ilościowe, takie jak prowadzenie badań lub analiza istniejących danych, lub metody jakościowe, takie jak prowadzenie wywiadów lub analiza dokumentów.
• Źródła danych to miejsca, z których (np. krajowa baza danych, badanie programu) lub osoby, od których (np. uczestnicy programu) uzyskuje się dane.
• Częstotliwość zbierania danych to to, jak często planuje się gromadzić dane.

Jak korzystać z ram pomiaru
Po zidentyfikowaniu wyników oraz bezpośrednich, pośrednich i długoterminowych rezultatów,
można wymienić każdy wynik i rezultat w ramach pomiaru w pierwszej kolumnie. Po wymienieniu wszystkich pozycji można przygotować czytelny plan oceny postępów w zakresie konkretnego wyniku lub rezultatu. Uwzględnia się tu przechodzenie pomiędzy rzędami ram pomiaru z lewej strony na prawą, aby określić wskaźniki, pomiary zmiany, metody zbierania danych, źródła danych i częstotliwość gromadzenia danych dla każdego rezultatu. Należy wziąć pod uwagę, że po wypełnieniu ram pomiaru niektóre elementy mogą zawierać pokrywające się odpowiedzi. Np. źródła danych dla dwóch rezultatów może być takie same.

Opracowując pytania do ewaluacji, należy wziąć pod uwagę następujące cztery kategorie do pomiaru programów mentoringu:

• Procesy relacji
• Procesy programu
• Rezultaty relacji
• Rezultaty programu

Poniższa tabela ilustruje obszary ewaluacji dla tych kategorii.

Kategoria	Ewaluacja
Procesy relacji	Co się dzieje w relacji? Np. jak często ta para się spotyka? Czy wypracowali wystarczające zaufanie? Czy w relacji panuje czytelne poczucie kierunku? Czy mentor lub podopieczny ma wątpliwości na temat własnego lub czyjegoś innego wkładu w relację?
Procesy programu	Np. ile osób uczestniczyło w szkoleniu? Jak skuteczne było szkolenie? W niektórych przypadkach, procesy programu będą też obejmować dane pozyskane z dodania pomiarów z poszczególnych relacji, aby uzyskać szerszy obraz sytuacji
Rezultaty relacji	Czy mentor i podopieczny osiągnęli ustalone cele? Wraz z rozwojem okoliczności może być potrzebna pewna korekta, a cele muszą się nieco zmienić.
Rezultaty programu	Czy program np. zwiększył utrzymanie kluczowego personelu lub zwiększył kompetencje podopiecznych?

5. Plan ewaluacji

Korzystając z modelu logicznego, pytań do ewaluacji i narzędzia ram pomiaru jako podstawowych elementów, można teraz zacząć opracowywać plan ewaluacji, który łączy wszystkie te komponenty.
Dobry plan ewaluacji powinien zawierać następujące elementy:

• Informacje podstawowe o programie
• Pytania do ewaluacji: Konkretne, mierzalne pytania.
• Projekt ewaluacji: Metody gromadzenia danych; rodzaje zbieranych danych; procedury pobierania próbek; podejście do analizy; kroki wykonane w celu zapewnienia dokładności, ważności i solidności; ograniczenia.
• Harmonogram: Daty ukończenia i przedziały czasowe dla najważniejszych etapów i produktów.
• Plan przekazywania wyników i wykorzystywania rezultatów
• Ewaluator/zespół ds. ewaluacji: Określ, kto jest odpowiedzialny za prowadzenie procesu ewaluacji i co obejmuje ta rola. Może to być zewnętrzny ewaluator, wewnętrzny ewaluator lub wewnętrzny ewaluator z zewnętrznym konsultantem.
• Informacje budżetowe: Mogą obejmować koszty czasu pracy personelu, doradców, podróże, komunikację, dostawy i inne koszty (np. zachęty dla uczestników, tłumaczenia pisemne i ustne).

Części planu ewaluacji można kopiować i wykorzystywać, aby napisać raport z ewaluacji. Tabela poniżej pokazuje zarys ogólny planu ewaluacji oraz raport z ewaluacji.

Plan ewaluacji	Raport z ewaluacji
Strona tytułowa: Zawiera czytelny tytuł, nazwę i lokalizację strategii, inicjatywy lub programu, okres podlegający ewaluacji.	Strona tytułowa: Zawiera czytelny tytuł, nazwę i lokalizację strategii, inicjatywy lub programu, okres podlegający tytuł lub datę ukończenia ewaluacji.
Informacje podstawowe na temat działania: Cel ewaluacji, źródło i cele działania, aktywności i usługi, w tym teoria zmiany i model logiczny.	Podsumowanie: Krótki, samodzielny opis programu, zarys ogólny celu ewaluacji, metody, podsumowanie wyników i zalecenia.
Pytania do ewaluacji: Konkretne pytania, które są mierzalne, mogą potrzebować ułożenia według priorytetów, aby skupić zasoby i móc zarządzać ewaluacją.	Wprowadzenie i tło: Cel ewaluacji, źródło i cele działania, grupa docelowa, aktywności i usługi, analiza powiązanych badań, pytania do ewaluacji i zarys ogólny oraz opis raportu.
Projekt ewaluacji: Metody zbierania danych, rodzaje zbieranych danych, procedury pobierania próbek, podejście do analizy, kroki podjęte w celu zapewnienia dokładności, ważności i solidności, ograniczenia.	Projekt ewaluacji: Metody zbierania danych, rodzaje zbieranych danych, procedury pobierania próbek, podejście do analizy, kroki podjęte w celu zapewnienia dokładności, ważności i niezawodności, ograniczenia (w tym teoria zmiany i model logiczny).
Harmonogram: Daty ukończenia i przedziały czasowe dla najważniejszych etapów i produktów.	Wyniki ewaluacji: Wyniki ewaluacji, analizowane pytania do ewaluacji, wizualne przedstawienie wyników (np. tabele, wykresy itp.).
Plan przekazywania wyników i wykorzystywania rezultatów do dalszej pracy: Informacje szczegółowe dotyczące tego, jakie produkty będą opracowywane i co będzie ujęte w każdym produkcie. Potencjalni użytkownicy i docelowi odbiorcy, z uwzględnieniem personelu i administracji programu, uczestnicy programu, liderzy społeczności, fundatorzy, urzędnicy państwowi i organizacje partnerskie.	Podsumowanie, wniosek i zalecenia: Podsumowanie wyników, implikacje rezultatów, czynniki, które mogły kształtować wyniki, czytelne i możliwe do wdrożenia zalecenia.
Informacje budżetowe: Mogą uwzględniać koszty czasu pracy personelu, konsultantów, podróże, komunikację, dostawy i inne koszty administracyjne. (Jeżeli plan ma być wspólny dla szerszej grupy osób, informacje o czasie pracy personelu i konsultantów mogą być wykluczone.)
Ewaluator i zespół ds. ewaluacji: Specyfikacje dotyczące tego, kto jest odpowiedzialny za prowadzenie procesu ewaluacji i co obejmuje ta rola. Może to być zewnętrzny ewaluator, wewnętrzny ewaluator lub wewnętrzny ewaluator z zewnętrznym konsultantem.

Czas trwania wdrożenia i realizacji ewaluacji może zależeć od różnych, zaskakujących rzeczy. Opracowując zarys ogólny ewaluacji, należy uwzględnić następujące potencjalne przeszkody:

• Niechęć do uczestnictwa w procesie ewaluacji przez interesariuszy
• Brak gwarancji uczciwości odpowiedzi podczas ewaluacji
• Dawanie negatywnych odpowiedzi może być trudne dla uczestników
• Anonimowość jest trudniejsza do osiągnięcia w małym programie mentoringu
• Autorefleksja może być trudna dla uczestników
• Strategia programu może być niejasna lub nieadekwatna
• Niski wskaźnik odpowiedzi na ankiety
• Trudniej jest określić długoterminowe powodzenie rezultatów, gdy ewaluację przeprowadza się wcześnie w cyklu życia programu mentoringu

5.1. Rodzaj ewaluacji

Pożądany rodzaj ewaluacji zależy od etapu, na którym jest strategia, inicjatywa lub program oraz od celu ewaluacji. Rodzaj ewaluacji to nie to samo, co metodologia ewaluacji. Po określeniu rodzaju, który powinien zostać użyty – i w zależności od tego, co chce się osiągnąć od procesu ewaluacji – można zdecydować o zastosowaniu danego podejścia.
Zasadniczo wyróżniamy trzy główne rodzaje ewaluacji, a każdy z nich pełni określoną funkcję i
odpowiada na pewne pytania:

• Monitorowanie wyników
• Ewaluacja procesu lub formatywna
• Ewaluacja rezultatu lub sumatywna

Czasem niezbędne jest przeprowadzenie tych trzech rodzajów ewaluacji jednocześnie.
Poniżej znajduje się tabela przedstawiająca kluczowe rodzaje ewaluacji, ich cel, rodzaje informacji, które gromadzą, oraz czas ich przeprowadzenia.

	Cel	Rodzaje pytań, na które odpowiada	Czas
Monitorowanie wyników	Zapewnia odpowiedzialność za działania programu. Pokazuje, że zasoby w programie są użyte zgodnie z zamierzeniem, i że są dobrze zarządzane. Monitoruje i raportuje w sprawie postępów w kierunku wcześniej ustalonych celów. Przekazuje kierownictwu wczesne ostrzeżenia o problemach.	Czy działania w programie przeprowadzono zgodnie z planem? Czy produkty i usługi zostały wygenerowane i zapewnione w drodze działania zgodnie z planem? Czy działanie zrealizowało to, co miało zrealizować?	Monitorowanie wyników może być przeprowadzone przez czas trwania strategii, inicjatywy lub programu, od początku do końca.
Ewaluacja procesu lub formatywna	Chce zrozumieć, czy program jest wdrażany tak, jak planowano i zgodnie z harmonogramem. Ocenia, czy program wytwarza zamierzone rezultaty. Identyfikuje mocne i słabe strony programu. Kluczowe dla wprowadzania zmian w programie.	Czy program wdrażano zgodnie z planem, a jeżeli nie, to dlaczego? Co zadziałało, a co nie zadziałało i dlaczego? Co trzeba poprawić i jak?	Ewaluacja procesu lub formatywna powinna być przeprowadzona na etapie rozruchu i gdy elementy programu są wciąż dostosowywane.
Ewaluacja rezultatu lub sumatywna	Bada, czy program osiągnął pożądane rezultaty Ocenia, co sprawiło, że program był skuteczny lub nieskuteczny. Ocenia, czy działanie jest trwałe i możliwe do odtworzenia.	Jakie zmiany program wprowadził lub do jakich się przyczynił? Jakie zmiany działanie wprowadziło lub do jakich się przyczyniło? Jak działanie będzie utrwalone lub odtworzone?	Ewaluacja rezultatu lub sumatywna powinna być przeprowadzana, gdy oczekuje się powstania rezultatów pośrednich i bezpośrednich, zwłaszcza, gdy działanie trwało trochę czasu, lub uważa się je za „dojrzałe” lub „stabilne” (tj. nie jest już dostosowywane i korygowane.)

5.2. Plan ewaluacji

Cel i zakres
Z zasady, celem ewaluacji powinno być ustanowenie rezultatów lub wartości programu, jakie się zapewnia i znalezienie sposobów na poprawę programu. Należy zaprojektować ewaluację formatywną i sumatywną.
Zdefiniowanie celu ewaluacji pomoże się skoncentrować i opisać inne kroki w procesie ewaluacji. Należy też wyznaczyć zakres ewaluacji. Może być wąski lub szeroki, może się skupiać na wszystkich uczniach lub na grupach docelowych. Wąska, skoncentrowana ewaluacja może szukać odpowiedzi na takie pytania, jak:

• Jak udało się dopasowanie par mentor/podopieczny?
• Jaki był wpływ szkolenia mentora?
• Czy mentor/podopieczny osiągnęli cele ustanowione w ich planach mentoringu? (pomiar wyniku mentora/podopiecznego)
• Czy program miał pozytywne oddziaływanie np. na kompetencję pracowników?

Zakres ewaluacji może być też bardzo szeroki, np. pomiar sukcesu i oddziaływania programu mentoringu.
Zakres ewaluacji często wyznacza ilość dostępnych zasobów. Im większa i bardziej zaangażowana ewaluacja, tym bardziej kosztowna będzie w kategoriach czasu i pieniędzy. Jeżeli dostępne są minimalne zasoby, warto wziąć pod uwagę bardziej skoncentrowany i mniej zaangażowany proces ewaluacji.

Metoda
W planie ewaluacji należy zdecydować, jakie informacje chce się poznać, jakie metody zostaną zastosowane do uzyskania tych informacji oraz jakich dowodów użyje się do wsparcia informacji. Np.:

Kryteria ewaluacji	Metoda ewaluacji	Dowód wspierający
Czy podopieczni uznają program mentoringu za przydatne narzędzie?	Kwestionariusz/ Pytania	90% podopiecznych skorzystało w jakiś sposób z programu 90% podopiecznych chciałoby kontynuować program 85% podopiecznych odczuło, że program mentoringu zwiększył ich szanse zawodowe w firmie
Czy program mentoringu poprawił rozwój kariery podopiecznego w firmie?	Analiza danych	75% wzrost partycypacji podopiecznych w programach szkoleniowych 30% wzrost partycypacji podopiecznych w konferencjach 90% wzrost zaangażowania podopiecznych w „Zielony System” naszej organizacji
Czy mentor spełnił wszystkie ich oczekiwania?	Kwestionariusz samooceny Formularz informacji zwrotnych podopiecznego	100% wskaźnik zwrotu kwestionariuszy samooceny – 98% zadowolenia mentorów, 93% zadowolenia podopiecznych
Czy podopieczny spełnił wszystkie ich oczekiwania?	Kwestionariusz samooceny Formularz informacji zwrotnych mentora	90% wskaźnik zwrotu kwestionariuszy samooceny – 88% zadowolenia mentorów, 90% zadowolenia podopiecznych

Dane
Pytania do ewaluacji determinują źródła danych. Po wyszczególnieniu pytań, kolejny etap to wyznaczenie, kto lub co może najlepiej zapewnić informacje prowadzące do odpowiedzi na pytania. Potencjalne źródła danych obejmują następujące podmioty:

• Mentor
• Podopieczny
• Kierownik liniowy mentora
• Współpracownicy
• Kierownictwo wyższego szczebla

Źródła danych mogą też uwzględniać rejestry programu, takie jak liczba wykonanych i podpisanych planów rozwoju kariery lub czas poświęcony na plan rozwoju kariery. Źródła danych mogą też uwzględniać analizę dokumentacji prowadzonej przez inne podmioty, takie jak:

• Uczestnictwo w programach szkoleniowych
• Uczestnictwo w konferencjach i wydarzeniach związanych z ich rolą zawodową