M3.06. Przygotowanie ewaluacji procesu mentoringu

2. Zasady i metody ewaluacji procesu mentoringu

Ewaluację można przeprowadzać z użyciem oceny formatywnej lub sumatywnej.

Ocena formatywna: Ocena formatywna to ciągła forma monitorowania przez cały program mentoringu.
Ocena sumatywna: Ocena sumatywna to ocena przeprowadzana na koniec programu mentoringu.

Ewaluację formatywną i sumatywną można przeprowadzać z zastosowaniem dwóch najważniejszych metod: procesu i rezultatu.

Ewaluacja procesu skupia się na tym, czy program jest wdrażany zgodnie z zamierzeniem, jak jest odbierany i jakie zmiany są potrzebne, aby rozwiązać problemy (np. trudności w rekrutacji i zatrzymaniu mentorów, duża rotacja podopiecznych, wysoki koszt zarządzania programem).

Ewaluacja rezultatu skupia się na tym, czy program ma efekty i jakie. Projekty mogą np. porównywać cele z efektami lub badać różnice pomiędzy podejściami do mentoringu. Informacja tego typu jest istotna dla samomonitorowania i może odnosić się do kilku pytań na temat programów i relacji.
Ewaluację procesu i rezultatu można przeprowadzać z użyciem:

  • Oceny jakościowej; lub
  • Oceny ilościowej

Ocena ilościowa: Metody ilościowe to te, które wyrażają swoje efekty w liczbach. Zdają się odpowiadać na takie pytania, jak „Ile?" lub „Jak często?".
Ocena jakościowa: Metody jakościowe nie dają wyników numerycznych. Mogą uwzględniać proszenie ludzi o odpowiedzi „eseistyczne" na temat często złożonych kwestii lub obserwowanie interakcji w złożonych sytuacjach.

Metody jakościowe i ilościowe tak naprawdę się uzupełniają. Każda z nich ma mocne i słabe strony, a razem mogą dawać czytelny obraz sytuacji, jakiego żadna z nich osobno by nie dała. Często najdokładniejsze informacje uzyskuje się poprzez wykorzystanie kilku odmian każdej metody. Nie zawsze jest to możliwe, ale jeżeli jest, może dać najlepsze rezultaty.

Metody oceny ewaluacji

Określając strategię ewaluacji, należy wziąć pod uwagę relacje mentoringu. Zasadniczo, celem programu mentoringu jest wspieranie rozwoju i satysfakcji uczestników.
Relacje mentoringu są udane i zadowalające dla wszystkich zaangażowanych stron, gdy ustanowi się kilka czynników, a mentor i podopieczny odgrywają aktywne role.

Poniższe czynniki sugeruje się jako kluczowe wskaźniki dla uczestników programu mentoringu do oceny skuteczności ich rezultatów mentoringu.

1. Cel:

  • Oboje partnerzy mają jasność co do powodów, dla których się spotykają
  • Role i cele zostały umówione i uzgodnione przez obie strony
  • Oboje partnerzy poznają, gdy już zrealizują swój cel

2. Komunikacja:

  • Mentor i podopieczny komunikują się za pomocą metod, które oboje preferują
  • Nawiązują ze sobą kontakt w ramach czasowych, które uzgodnili
  • Obie strony słuchają uważnie i zapamiętują informacje
  • Wymiana informacji i konwersacja jest dwustronna
  • Mowa niewerbalna jest monitorowana (np. język ciała wspiera konwersację werbalną)

3. Zaufanie:

  • Informacje są mile widziane i zachowywane w poufności
  • Zaangażowanie jest doceniane, a odwołanie nie następuje bez istotnych powodów
  • Partnerzy nie wyrażają się o sobie negatywnie i nie są niesprawiedliwie krytyczni
  • Wraz z rozwojem relacji i zaufania, coraz więcej informacji jest wymienianych

4. Proces:

  • Spotkanie odbywają się regularnie, w czasie pasującym obu stronom
  • Sesje mają zazwyczaj odpowiednią długość
  • Obie strony powinny mieć przyjemność ze spotkania
  • Mentor i podopieczny powinni mieć świadomość czterech etapów mentoringu formalnego (budowanie wzajemnego zrozumienie, określenie kierunku, trwały postęp i zakończenie części współpracy polegającej na formalnym mentoringu) i pracować w ich ramach.
  • Obie strony powinny być zadowolone z dopasowania i powinny regularnie je oceniać, aby zapewnić kompatybilność

5. Postęp:

  • Podopieczny w relacji określił odpowiednie cele życiowe i dokonuje istotnych postępów w zakresie budowania kompetencji, aby te cele osiągnąć
  • Obie strony identyfikują interesujące doświadczenia edukacyjne i wspólnie przetwarzają ich rezultaty

6. Informacje zwrotne:

  • Obie strony omawiają i uzgadniają format informacji zwrotnych
  • Informacji zwrotnych należy udzielać w szczery i taktowny sposób, tak często, jak to uzgodniono
  • Informacje zwrotne powinny być mile widziane i żadna ze stron nie powinna być defensywna, ale zamiast tego powinna natychmiast podjąć działania w celu ich wdrożenia

Dzięki zastosowaniu tych sześciu parametrów można określić pytania do ewaluacji, a następnie utworzyć ramy pomiaru, aby zidentyfikować źródła danych, częstotliwość gromadzenia danych oraz jakościowe i ilościowe pomiary zmiany. Informacje te, wraz z metodami gromadzenia danych, strategiami analiz i planami raportowania oraz komunikowania wyników, są zbierane, aby utworzyć plan ewaluacji.

Po przygotowaniu planu ewaluacji można rozpocząć zbieranie danych i ich analizę.
Niektóre analizy mogą być liniowe i bezpośrednie. Np. jeżeli celem ewaluacji jest określenie oddziaływania programu mentoringu organizacji, kolejność działania jest mniej więcej liniowa, jak pokazano poniżej.

  • Zbierz dane od interesariuszy przed rozpoczęciem programu.
  • Zbierz dane w połowie programu lub na jego końcu (lub obie opcje).
  • Analizuj dane z użyciem statystyki (np. procenty) i zakodowanych danych jakościowych.

Wskazówki dotyczące analizy:

Jeżeli zbierasz dane z badań, przejrzyj i „wyczyść” dane przed rozpoczęciem analizy (tj. badania zdalne z niepełnymi lub brakującymi danymi (np. niektóre osoby nie odpowiedziały na wszystkie pytania) z użyciem metod ręcznych lub specjalistycznego oprogramowania).

Jeżeli zbierasz dane jakościowe, przejrzyj notatki i w razie potrzeby skontaktuj się z daną osobą lub przeanalizuj sytuację, aby wypełnić luki w informacjach.

Zarezerwuj dość czasu i pieniędzy na analizę. Analiza jakościowa wymaga więcej zasobów, ponieważ czytanie, kodowanie i podsumowanie tekstu trwa dłużej niż wprowadzenie danych i obliczenie procentów czy innych statystyk uwzględnionych w analizie ilościowej.

Kolejne kilka etapów po zbieraniu danych i analizie wiąże się z komunikacją i interpretacją wyników oraz podejmowaniem świadomych decyzji na temat usprawnień i kolejnych kroków. Raportowanie, interpretacja i refleksja na temat wyników ewaluacji zostaną omówione dogłębnie w punkcie „Realizacja ewaluacji procesu mentoring".