M3.07. Svolgimento della valutazione del processo di mentoring

1. Raccolta dei dati

Cosa chiedere prima di raccogliere qualunque dato

Esistono diversi metodi di raccolta dei dati, ciascuno con vantaggi e svantaggi diversi. Pertanto prima di iniziare il processo di raccolta dei dati è importante valutare questi fattori e decidere quale metodo di raccolta dei dati è il più adatto (ad esempio, per il tempo a disposizione e nei limiti delle risorse disponibili). Un modo per valutare questi fattori è di far sì che il valutatore, insieme agli stakeholder, risponda alle seguenti domande.

Domande essenziali da porre prima della raccolta dei dati

Finalità della valutazione

• Quali sono le domande di valutazione? Quali metodi faciliteranno le risposte e forniranno i dati più validi e affidabili?
• Chi sono i principali fruitori dei risultati? Quali tipi di dati avranno più senso e saranno più utili per loro?

Fonti di dati

• Chi fornisce i dati? Quante informazioni sono necessarie per ottenere un risultato di valutazione affidabile?

Tempistiche

• Quanto dura il programma di mentoring?
• Quando è iniziato il programma di mentoring/in quale fase del ciclo di vita sarà effettuata la valutazione?
• Quanto tempo è stato previsto per la raccolta e l'analisi dei dati?
• Qual è il momento giusto per raccogliere i dati?
• Quando saranno disponibili i risultati per la rendicontazione agli stakeholder?

Risorse

• Qual è il budget a disposizione per la valutazione? Qual è il rapporto tra raccolta e analisi dei dati, da un lato, e comunicazione e diffusione dei risultati, dall'altro?
• Chi dovrebbe raccogliere i dati? Il personale dispone del tempo e delle competenze necessari? È consigliabile assumere un valutatore esterno?

Una volta risposto a queste domande, avrete un quadro più chiaro del processo di valutazione e del metodo di raccolta delle informazioni necessarie. Si possono scegliere metodi qualitativi o quantitativi, o forse una combinazione di entrambi.

2. Uso di metodi quantitativi

Determinare se usare metodi quantitativi.

In funzione delle risposte alle domande poste, metodi quantitativi quali sondaggi o valutazioni potrebbero essere quelli giusti per voi. Oppure sono i metodi qualitativi, ad esempio interviste o gruppi di discussione, che possono soddisfare meglio le vostre esigenze.

Tipi di domande alle quali i metodi quantitativi possono dare una risposta
In generale, i metodi quantitativi riguardano cosa, chi e quando. Pertanto, è opportuno considerare i metodi quantitativi se le vostre domande di valutazione puntano a sapere chi ha partecipato e chi ha beneficiato del programma, qual è stato l'impatto del programma, quali sono stati i cambiamenti prodotti dal programma e quando si sono verificati.

Esempi di dati quantitativi includono:

• Numero di persone che hanno partecipato alle attività del programma nel corso dell'anno (tasso di partecipazione)
• Sviluppo o meno di nuove conoscenze e competenze da parte dei partecipanti al programma (variazione percentuale delle conoscenze e delle competenze prima e dopo la partecipazione)

Principali destinatari dei risultati
I metodi quantitativi generano i dati preferiti da chi desidera informazioni che quantifichino l'impatto e "tirino le somme".

Potenziali intervistati e dimensione del campione
I metodi qualitativi possono essere vantaggiosi perché sono più efficienti sotto il profilo dei costi. Ad esempio, un sondaggio può essere distribuito a 50 persone da completare nel tempo libero, mentre un'intervista di 30 minuti con ciascuna di queste 50 persone richiederebbe molto più tempo.
Tuttavia, è necessario considerare anche gli svantaggi del sondaggio rispetto alle interviste personali. Colloqui o gruppi di discussione con un minor numero di intervistati possono essere preferibili perché potrebbero produrre dati di migliore qualità, pur richiedendo più tempo.

Tempo impiegato per la raccolta e l'analisi dei dati
I metodi quantitativi sono utili se il tempo disponibile per la raccolta e l'analisi dei dati è molto limitato. Un sondaggio con domande chiuse (cioè con opzioni di risposta che gli intervistati possono selezionare), in cui si chiede di dare un voto a qualcosa, richiede meno tempo rispetto alla programmazione e alla conduzione di interviste e gruppi di discussione. I dati dei questionari richiedono meno tempo per l'analisi. Il calcolo di frequenze, medie o percentuali generalmente è più rapido rispetto alla revisione, codifica e analisi dei dati qualitativi (ad esempio, gli appunti dei dibattiti e delle interviste). I metodi quantitativi sono altrettanto utili se il programma è a lungo termine, poiché è possibile confrontare i dati della baseline con i dati successivi.

Budget e altre risorse
In generale, in condizioni comparabili (ad esempio, tempo disponibile per la raccolta dei dati, dimensioni del campione), I metodi quantitativi possono essere meno costosi dei metodi qualitativi o misti (che utilizzano una combinazione di metodi quantitativi e qualitativi) per diversi motivi. Dati secondari quali i dati sulla frequenza per i corsi di formazione, possono essere ottenuti di solito in breve tempo o a costi ridotti. I sondaggi possono essere gestiti elettronicamente, risparmiando rispetto alle risorse normalmente necessarie per intervenire a un colloquio o a un gruppo di discussione. A un analista occorre meno tempo per calcolare le frequenze e le percentuali che per leggere e codificare testi tratti da interviste e gruppi di discussione. Inoltre, per eseguire questi calcoli è necessaria una serie di competenze diverse rispetto alla codifica dei testi e alla definizione dei temi.

2.1. Vantaggi e svantaggi dei metodi quantitativi

2.2. Surveys

Esistono due metodi principali per raccogliere dati quantitativi: a) sondaggi e b) test e valutazioni.

I sondaggi sono uno dei metodi più popolari per raccogliere dati quantitativi. In un sondaggio viene distribuito a un gruppo di persone un questionario da compilare. Tali questionari potrebbero includere domande aperte, poiché le domande chiuse sono in genere utilizzate per raccogliere dati quantitativi. Le domande chiuse presentano il vantaggio di consentire una facile applicazione dell'analisi statistica alle risposte.

Metodi di conduzione del sondaggio
Una volta sviluppato il sondaggio di valutazione, è necessario decidere il metodo di conduzione. Quando si valuta un programma di mentoring occorre considerare alcuni metodi per la conduzione del sondaggio.

3. Uso di metodi qualitativi

Determinare se usare metodi qualitativi.
A seconda delle risposte alle domande di valutazione, si può stabilire che un metodo qualitativo è quello più indicato.
Tipi di domande alle quali i metodi qualitativi possono dare una risposta
Al livello più basilare, i metodi qualitativi riguardano il perché e il come e sono quindi utili per uno studio approfondito di una particolare questione anziché per un ampio studio. Pertanto, se ad esempio le domande di valutazione includono domande su come i partecipanti al programma hanno applicato ciò che hanno appreso al fine di ottenere una crescita professionale o perché il tasso di partecipazione agli incontri tra mentor e mentee è stato basso, è opportuno prendere in considerazione un metodo qualitativo.

Principali destinatari dei risultati
I metodi qualitativi generano i dati preferiti da chi è curioso di sapere cosa c'è dietro le statistiche o cosa causa una specifica tendenza nei dati.

Potenziali intervistati e dimensione del campione
I metodi qualitativi sono utili se si lavora con un numero ridotto di persone, principalmente perché partecipare a colloqui e gruppi di discussione con molte persone può essere dispendioso in termini di tempo e denaro. I metodi qualitativi aiutano anche se le persone da cui si desiderano raccogliere informazioni si sentono più a proprio agio ad esprimere le loro opinioni a voce o per iscritto.

Durata del programma e durata della raccolta dei dati
I metodi qualitativi possono essere utili indipendentemente dalla durata del programma, ma il piano di valutazione dovrebbe prevedere tempo sufficiente per analizzare i dati, perché analizzare i dati con metodi qualitativi richiede più tempo che non calcolare i dati con metodi quantitativi.

Budget e altre risorse
In generale, in condizioni comparabili (ad esempio, durata del programma, durata della raccolta dei dati, dimensione del campione), i metodi qualitativi possono essere più costosi dei metodi quantitativi o misti per diversi motivi. Potrebbe essere necessario coprire spese di viaggio per il responsabile della raccolta dei dati e per gli intervistati o coprire i costi del ricorso a competenze specialistiche di figure esterne. Un analista ha anche bisogno di più tempo per leggere e codificare i testi dei colloqui, le trascrizioni dei gruppi di discussione e gli appunti di osservazione.

3.1. Vantaggi e svantaggi dei metodi qualitativi

3.2. Diversi tipi di metodi qualitativi di raccolta dei dati

Quando si raccolgono dati qualitativi, è possibile utilizzare diversi metodi, ciascuno con i propri vantaggi e svantaggi.

• Colloqui (strutturati e semi-strutturati). Nei colloqui strutturati, le domande vengono formulate per iscritto esattamente come devono essere poste e l'intervistatore deve fare a ogni intervistato le domande nello stesso ordine. Nei colloqui semi-strutturati, vengono elencati gli argomenti e forniti esempi per tastare il terreno, e il colloquio si sviluppa più come discussione.
• Gruppi di discussione
  I gruppi di discussione sono dibattiti strutturati finalizzati a comprendere le prospettive, le esperienze o le conoscenze delle persone su un argomento specifico. Un moderatore suggerisce gli argomenti e agevola la discussione. L'obiettivo è di scoprire il come e il perché di qualcosa, per ottenere risposte contestuali anziché risposte tipo "sì" o "no".
• Osservazioni
  Le osservazioni sono mezzi strutturati per registrare le azioni e le interazioni dei partecipanti a una valutazione. Offrono l'opportunità di raccogliere dati su una serie di comportamenti, cogliere le interazioni ed esplorare apertamente l'argomento di interesse per la valutazione.
• Esame dei documenti, delle registrazioni, dei video, ecc. prodotti
  Questo metodo è importante perché i materiali prodotti possono essere una fonte di dati per la valutazione.
  Tali materiali consentono di prendere conoscenza di importanti cambiamenti nello sviluppo o nella maturazione del programma. L'esame dei documenti può inoltre aiutare la formulazione di domande per un sondaggio o un colloquio.
• Uso di metodi misti
  Nella valutazione, ci si è tendenzialmente spostati verso una combinazione dei metodi quantitativi e qualitativi in un unico tipo di valutazione chiamata valutazione a metodo misto. Questo approccio ha una sua logica perché ogni metodo ha i suoi punti di forza e di debolezza. Combinandoli, è possibile ottenere una valutazione più forte e completa rispetto a una valutazione convenzionale che ricorre a un solo metodo.

Riservatezza e anonimato
La riservatezza e l'anonimato sono considerazioni essenziali sia per voi che e per il valutatore. La privacy degli intervistati va tutelata attentamente. Ad esempio, i nomi dei partecipanti non devono mai essere rivelati in una relazione di valutazione. I termini "anonimato" e "riservatezza" significano cose diverse e non vanno usati in modo intercambiabile.

• L'anonimato richiede che voi e il valutatore non sappiate chi sono i partecipanti. Ad esempio, non chiedete agli intervistati di indicare il proprio nome in un sondaggio o di identificarsi in un gruppo di discussione.
• La riservatezza richiede che voi e il valutatore sappiate chi sono i partecipanti, ma non colleghiate le risposte agli intervistati. Qualsiasi informazione in vostro possesso con il nome della persona o altri dati personali va conservata in un cassetto sotto chiave o in un file elettronico protetto da password.

4. Analisi e interpretazione dei dati

Una volta raccolti i dati, vi occorre tempo per analizzarli e interpretarli, per agire su ciò che avete appreso. Questo processo può presentare complessità e, a volte, tecnicità specifiche.

4.1. Analisi quantitativa dei dati e interpretazione dei risultati

Analisi statistica descrittiva.
Nell'eseguire un'analisi quantitativa, è necessario possedere alcune competenze di base in materia di analisi statistica.
Quando si calcola il numero e la percentuale delle risposte a una particolare domanda o si calcola il punteggio medio delle domande relative all'utilità della formazione, si inizia un'analisi statistica descrittiva, usata per esaminare le risposte a una domanda, calcolando e osservando quanto segue:

• Distribuzione delle risposte o distribuzione delle frequenze (ad esempio, quante persone hanno scelto la risposta 1, quante la risposta 2, quante la risposta 3, ecc.).
• Valore medio o media (cioè, esaminando il valore medio tra i valori dei partecipanti).
• La risposta più comune o la modalità.
• Il numero posto esattamente a metà della serie di dati ovvero la mediana.

L'analisi statistica descrittiva fornisce anche un'altra informazione, definita tecnicamente "variabilità", che si riferisce a quanto segue:

• La distribuzione dei risultati, compreso l'intervallo (differenza tra i punteggi più alti e più bassi).
• La varianza (mostra il grado di diversità delle risposte dei componenti di un gruppo).
• La deviazione standard (quanto è vicina o lontana una particolare risposta dalla risposta media).

Interpretazione
I risultati quantitativi devono essere interpretati nel contesto dell'organizzazione/del programma e queste domande possono guidare la vostra interpretazione:

• Qual è la portata dell'impatto del programma o quanto è stato efficace il programma?
• Se molti dati sono mancanti o se il tasso di risposta è insufficiente, come mai è successo? Cosa si può fare di diverso per aumentare il tasso di risposta in futuro?
• I risultati sono quelli attesi al momento della pianificazione del programma? In caso contrario, cosa pensate abbia influito sui risultati? Disponete di dati qualitativi in grado di fornire ulteriori approfondimenti sui risultati?
• A prescindere dalla rilevanza statistica, i risultati sono significativi oppure no, per il programma di mentoring? E in che senso? Ad esempio, la differenza tra le risposte di due gruppi di persone potrebbe non essere statisticamente significativa, ma potrebbe comunque essere abbastanza grande da motivare un cambiamento nell'ambito delle attività del programma.
• Quali sono le implicazioni dei risultati sul programma? Quali azioni è necessario intraprendere, eventualmente?

4.2. Analisi qualitativa dei dati e interpretazione dei risultati

I dati qualitativi si presentano generalmente sotto forma testuale. L'analisi qualitativa dei dati si sviluppa in quattro fasi principali, descritte di seguito.

• Esame dei dati
  Prima di effettuare l'analisi dei dati, è necessario leggere e comprendere i dati raccolti, rimuovere i dati che sono non chiari/mancanti/insufficienti e ottenere chiarezza prima di codificarli.
• Organizzazione dei dati
  Organizzare i dati in modo da potervi fare riferimento agevolmente; ad es., organizzare i dati per tipo di domanda, per tipo di intervistato o per entrambi.
• Codificare i dati
  Esistono fondamentalmente due metodi di codifica. Se ne può usare uno o si possono usare entrambi.
  
  • Codifica aperta – L'assegnazione di codici in base a ciò che emerge dai dati.
  • Codifica chiusa – Quando si dispone già di codici preparati in anticipo in base alle domande per le quali si desidera ottenere una risposta.

La codifica è il processo che consiste nel vagliare i dati per temi, idee e categorie e nel contrassegnare passaggi simili di testo con codice per consentirne l'agevole recupero in un secondo momento, per ulteriori

• Identificazione e generazione di temi
  Dopo aver codificato i dati, è possibile iniziare a individuare i temi derivati dalle informazioni codificate. Ciò potrebbe risultare difficile, in quanto potrebbe essere necessario rivedere il testo codificato più volte per definire un tema che rispecchi accuratamente i dati. È anche utile per fornire esempi di dichiarazioni e osservazioni a sostegno del tema e, per sottolineare la forza di un tema, è possibile riportare il numero e la percentuale di risposte codificate che lo supportano.

Interpretare gli esiti
La fase successiva consiste nel confrontare i risultati con quelli attesi, con le domande di valutazione originali, con gli scopi e gli obiettivi del programma e con lo stato attuale delle conoscenze (ad esempio, con la ricerca sui programmi di mentoring). Alcune domande per guidare l'interpretazione includono:

• Ci sono stati andamenti o modelli inattesi, tra quelli individuati?
• Quali fattori possono spiegare le deviazioni?
• Se avete raccolto dati sia qualitativi che quantitativi, i risultati qualitativi supportano i risultati quantitativi? In caso contrario, quali fattori possono spiegare le differenze (ad es., il campionamento, il modo in cui sono state poste le domande durante il sondaggio rispetto ai colloqui, ecc.)?
• Dalle risposte emergono modelli interessanti?
• I risultati suggeriscono raccomandazioni per migliorare il programma?
• I risultati portano a porre ulteriori domande sul programma? Suggeriscono la necessità di dati supplementari?
• È necessario modificare il metodo di raccolta dei dati per la prossima volta?

Quando interpretate i dati, fate attenzione. Non saltate alle conclusioni e non fate
ipotesi su ciò che i partecipanti intendevano dire.
Coinvolgere altre persone (ad es. il personale del programma) per discutere il significato dei risultati può aiutarvi a dare un senso ai dati.

5. Summarise, Communicate and Reflect on Evaluation Findings

I risultati della valutazione possono essere comunicati in molti modi diversi per raccontare la storia del programma. Per presentare i risultati della valutazione, potreste disporre di un formato standard. Tuttavia, dovreste sapere perché alcuni formati per visualizzare e comunicare gli esiti potrebbero essere più efficaci di altri.

Vi sono anche varie opzioni per visualizzare gli esiti della valutazione, e il campo della visualizzazione dei dati e dell'analisi visiva è cresciuto grazie alla disponibilità di grandi quantità di dati e ai progressi tecnologici nell'accessibilità, nella gestione e nella visualizzazione dei dati. In definitiva è necessario rimanere concentrati su ciò che si vuole comunicare, perché e a chi.
La partecipazione a questa fase del processo di valutazione è fondamentale perché aiuta una sintesi e una comunicazione efficaci dei risultati della valutazione:
• Diffondere conoscenza
• Agevolare la comprensione
• Confermare o mettere in discussione teorie o modi di pensare precedenti
• Fornire informazioni per il processo decisionale e l'azione

Non è necessario attendere la fine del programma per condividere risultati e approfondimenti. È possibile condividere i risultati a metà del programma a condizione che si chiarisca che si tratta di risultati intermedi preliminari.

Comunicare e riferire gli esiti della valutazione
Cosa chiedere prima di mettere insieme gli esiti
Dopo la raccolta e l'analisi dei dati, è necessario determinare come riassumere in modo efficace i risultati, in modo da poterli comunicare in modo adeguato agli stakeholder. A volte, si hanno molti più dati di quanti se ne possano condividere in modo efficace.
Per svolgere più agevolmente il processo, completate la seguente tabella.

Le risposte a queste domande vi aiuteranno a determinare i contenuti e l'impostazione per riassumere e comunicare gli esiti e l'impatto del programma.

Semplicità
Un principio chiave per una comunicazione efficace degli esiti consiste nel presentarli in modo semplice. Evitare di appesantire le informazioni con linee, colori, sfumature o qualunque altra cosa suscettibile di migliorare l'attrattiva, ma tale da distogliere l'attenzione dai contenuti. Per rendere il materiale facile da comprendere per il lettore, includete solo le informazioni essenziali e rilevanti.

Come visualizzare gli esiti della valutazione
Se si dispone di un piano di comunicazione e si comprende l'importanza di presentare i risultati in modo semplice, è possibile discutere il modo migliore per visualizzare i risultati sulla base dei dati quantitativi e qualitativi. La visualizzazione dei dati è un campo in crescita ed esistono numerose risorse che illustrano come trasmettere i dati in modo efficace. Quando si visualizzano i risultati, l'intenzione è di:

• Dirigere l'attenzione dei destinatari sui contenuti, anziché sul metodo, sulla grafica o su altro.
• Evitare qualsiasi travisamento dei dati.
• Fornire chiare classificazioni.
• Scrivere chiaramente a grandi lettere.

Grafici
I grafici efficaci per mostrare modelli o tendenze nel tempo sono i grafici che mostrano la dimensione temporale su un asse (ad esempio x) e l'elemento di cui si osservano le variazioni sull'altro asse (ad esempio y).
I grafici che mostrano efficacemente la distribuzione delle risposte su due dimensioni includono diagrammi a dispersione e istogrammi.
I grafici che aiutano a confrontare due o più gruppi includono grafici a barre, grafici a barre raggruppate, grafici a barre affiancate e grafici a barre sovrapposte.

Interpretare gli esiti della valutazione
È più probabile che gli stakeholder utilizzino i risultati della valutazione se ne comprendono la finalità e se hanno contribuito alla loro concezione, attuazione, interpretazione e utilizzo.
Tuttavia, riassumere e comunicare gli esiti non è sufficiente. È importante intraprendere il passo successivo, che comporta un'interpretazione dei risultati e delle loro implicazioni e un piano per metterli in pratica. In caso contrario l'intero processo di valutazione perde valore. Ricordate, la valutazione deve fornire informazioni utili per consentirvi di prendere decisioni informate e rendere i vostri programmi il più efficaci possibile.
Tuttavia, vi sono ostacoli all'interpretazione dei risultati e alle modalità di pianificazione per utilizzarli, ad esempio:

• Timore di essere giudicati dagli stakeholder, soprattutto se si devono presentare risultati negativi.
• Preoccupazione per il tempo e gli sforzi necessari a radunare gli stakeholder per discutere e interpretare i risultati.
• Resistenza al cambiamento che potrebbe influenzare le prassi seguite in passato.
• Sistemi inadeguati per la comunicazione e la condivisione delle conoscenze che incidono su come, quando e con chi le informazioni sono condivise.
• Disinteresse del personale per i risultati dovuto a vari motivi.
• Limitazioni organizzative quali budget limitato e capacità del personale di svolgere altre funzioni ritenute più importanti.
• Preoccupazione per esiti negativi.

Uso degli esiti della valutazione
Una volta che si dispone degli esiti, è necessario concordare sulle finalità di utilizzo degli stessi. Ad esempio:

• Migliorare la strategia, l'iniziativa o il programma
• Aumentare la responsabilità
• Creare o aumentare la sensibilizzazione
• Ottenere supporto (ad es., finanziamenti supplementari)
• Generare nuove conoscenze (ad esempio migliorare prassi efficaci)
• Replicare il programma ed effettuarne adattamenti di scala
• Elaborare raccomandazioni per le fasi successive
• Regolare il progetto e il processo della valutazione