M3.06. Przygotowanie ewaluacji procesu mentoringu
2. Zasady i metody ewaluacji procesu mentoringu
Ewaluację można przeprowadzać z użyciem oceny formatywnej lub sumatywnej.
Ocena formatywna: | Ocena formatywna to ciągła forma monitorowania przez cały program mentoringu. |
Ocena sumatywna: | Ocena sumatywna to ocena przeprowadzana na koniec programu mentoringu. |
Ewaluację formatywną i sumatywną można przeprowadzać z zastosowaniem dwóch najważniejszych metod: procesu i rezultatu.
Ewaluacja procesu skupia się na tym, czy program jest wdrażany zgodnie z zamierzeniem, jak jest odbierany i jakie zmiany są potrzebne, aby rozwiązać problemy (np. trudności w rekrutacji i zatrzymaniu mentorów, duża rotacja podopiecznych, wysoki koszt zarządzania programem).
Ewaluacja rezultatu skupia się na tym, czy program ma efekty i jakie. Projekty mogą np. porównywać cele z efektami lub badać różnice pomiędzy podejściami do mentoringu. Informacja tego typu jest istotna dla samomonitorowania i może odnosić się do kilku pytań na temat programów i relacji.
Ewaluację procesu i rezultatu można przeprowadzać z użyciem:
- Oceny jakościowej; lub
- Oceny ilościowej
Ocena ilościowa: Metody ilościowe to te, które wyrażają swoje efekty w liczbach. Zdają się odpowiadać na takie pytania, jak „Ile?" lub „Jak często?".
Ocena jakościowa: Metody jakościowe nie dają wyników numerycznych. Mogą uwzględniać proszenie ludzi o odpowiedzi „eseistyczne" na temat często złożonych kwestii lub obserwowanie interakcji w złożonych sytuacjach.
Metody jakościowe i ilościowe tak naprawdę się uzupełniają. Każda z nich ma mocne i słabe strony, a razem mogą dawać czytelny obraz sytuacji, jakiego żadna z nich osobno by nie dała. Często najdokładniejsze informacje uzyskuje się poprzez wykorzystanie kilku odmian każdej metody. Nie zawsze jest to możliwe, ale jeżeli jest, może dać najlepsze rezultaty. |
Metody oceny ewaluacji
Określając strategię ewaluacji, należy wziąć pod uwagę relacje mentoringu. Zasadniczo, celem programu mentoringu jest wspieranie rozwoju i satysfakcji uczestników.
Relacje mentoringu są udane i zadowalające dla wszystkich zaangażowanych stron, gdy ustanowi się kilka czynników, a mentor i podopieczny odgrywają aktywne role.
Poniższe czynniki sugeruje się jako kluczowe wskaźniki dla uczestników programu mentoringu do oceny skuteczności ich rezultatów mentoringu.
1. Cel:
- Oboje partnerzy mają jasność co do powodów, dla których się spotykają
- Role i cele zostały umówione i uzgodnione przez obie strony
- Oboje partnerzy poznają, gdy już zrealizują swój cel
2. Komunikacja:
- Mentor i podopieczny komunikują się za pomocą metod, które oboje preferują
- Nawiązują ze sobą kontakt w ramach czasowych, które uzgodnili
- Obie strony słuchają uważnie i zapamiętują informacje
- Wymiana informacji i konwersacja jest dwustronna
- Mowa niewerbalna jest monitorowana (np. język ciała wspiera konwersację werbalną)
3. Zaufanie:
- Informacje są mile widziane i zachowywane w poufności
- Zaangażowanie jest doceniane, a odwołanie nie następuje bez istotnych powodów
- Partnerzy nie wyrażają się o sobie negatywnie i nie są niesprawiedliwie krytyczni
- Wraz z rozwojem relacji i zaufania, coraz więcej informacji jest wymienianych
4. Proces:
- Spotkanie odbywają się regularnie, w czasie pasującym obu stronom
- Sesje mają zazwyczaj odpowiednią długość
- Obie strony powinny mieć przyjemność ze spotkania
- Mentor i podopieczny powinni mieć świadomość czterech etapów mentoringu formalnego (budowanie wzajemnego zrozumienie, określenie kierunku, trwały postęp i zakończenie części współpracy polegającej na formalnym mentoringu) i pracować w ich ramach.
- Obie strony powinny być zadowolone z dopasowania i powinny regularnie je oceniać, aby zapewnić kompatybilność
5. Postęp:
- Podopieczny w relacji określił odpowiednie cele życiowe i dokonuje istotnych postępów w zakresie budowania kompetencji, aby te cele osiągnąć
- Obie strony identyfikują interesujące doświadczenia edukacyjne i wspólnie przetwarzają ich rezultaty
6. Informacje zwrotne:
- Obie strony omawiają i uzgadniają format informacji zwrotnych
- Informacji zwrotnych należy udzielać w szczery i taktowny sposób, tak często, jak to uzgodniono
- Informacje zwrotne powinny być mile widziane i żadna ze stron nie powinna być defensywna, ale zamiast tego powinna natychmiast podjąć działania w celu ich wdrożenia
Dzięki zastosowaniu tych sześciu parametrów można określić pytania do ewaluacji, a następnie utworzyć ramy pomiaru, aby zidentyfikować źródła danych, częstotliwość gromadzenia danych oraz jakościowe i ilościowe pomiary zmiany. Informacje te, wraz z metodami gromadzenia danych, strategiami analiz i planami raportowania oraz komunikowania wyników, są zbierane, aby utworzyć plan ewaluacji.
Po przygotowaniu planu ewaluacji można rozpocząć zbieranie danych i ich analizę.
Niektóre analizy mogą być liniowe i bezpośrednie. Np. jeżeli celem ewaluacji jest określenie oddziaływania programu mentoringu organizacji, kolejność działania jest mniej więcej liniowa, jak pokazano poniżej.
- Zbierz dane od interesariuszy przed rozpoczęciem programu.
- Zbierz dane w połowie programu lub na jego końcu (lub obie opcje).
- Analizuj dane z użyciem statystyki (np. procenty) i zakodowanych danych jakościowych.
Wskazówki dotyczące analizy: Jeżeli zbierasz dane z badań, przejrzyj i „wyczyść” dane przed rozpoczęciem analizy (tj. badania zdalne z niepełnymi lub brakującymi danymi (np. niektóre osoby nie odpowiedziały na wszystkie pytania) z użyciem metod ręcznych lub specjalistycznego oprogramowania). Jeżeli zbierasz dane jakościowe, przejrzyj notatki i w razie potrzeby skontaktuj się z daną osobą lub przeanalizuj sytuację, aby wypełnić luki w informacjach. Zarezerwuj dość czasu i pieniędzy na analizę. Analiza jakościowa wymaga więcej zasobów, ponieważ czytanie, kodowanie i podsumowanie tekstu trwa dłużej niż wprowadzenie danych i obliczenie procentów czy innych statystyk uwzględnionych w analizie ilościowej. |
Kolejne kilka etapów po zbieraniu danych i analizie wiąże się z komunikacją i interpretacją wyników oraz podejmowaniem świadomych decyzji na temat usprawnień i kolejnych kroków. Raportowanie, interpretacja i refleksja na temat wyników ewaluacji zostaną omówione dogłębnie w punkcie „Realizacja ewaluacji procesu mentoring".