M3.06. Preparazione della valutazione del processo di mentoring

1. Cos’è la valutazione

La valutazione ha lo scopo di inquadrare la bontà di un programma di mentoring. Attraverso l’analisi dei dati raccolti, si traggono conclusioni sulla qualità, sul valore, sull’importanza e sul merito del programma. Questi risultati possono essere trasmessi a coloro che hanno un interesse personale nel programma (stakeholder) e possono essere utilizzati per migliorare la qualità del programma stesso.

La valutazione è una fase fondamentale del programma di mentoring; i risultati della valutazione potrebbero determinare il destino del programma. È pertanto essenziale che la valutazione sia effettuata correttamente e che vengano evitate le seguenti insidie:

• Valutazioni inique da parte del valutatore
• Utilizzo di metodi di valutazione errati
• Non comprensione dei dati raccolti
• Travisamento dei dati raccolti
• Uso di “scorciatoie” durante il processo di valutazione per mancanza di esperienza/risorse.

 

La valutazione è un processo prezioso perché offre l’opportunità di utilizzare i risultati per apportare cambiamenti positivi al programma di mentoring in corso o perché può fornire l’incentivo per estendere un programma pilota a più dipartimenti.

I programmi di mentoring attuati all’interno di un’organizzazione possono variare in termini di dimensioni e struttura. Questa differenza può essere dovuta a diversi fattori:

• Dimensioni dell’organizzazione
• Numero di reparti all’interno dell’organizzazione
• Necessità percepita di un programma di mentoring
• Risorse disponibili
• Da quanto tempo il programma di mentoring è in atto (può essere pilotato in uno o due reparti, prima di essere esteso a tutta l’organizzazione).

 

I seguenti organigrammi mostrano le possibili differenze tra due diverse strutture del programma di mentoring.

Organigramma che mostra il programma di mentoring in tre reparti

Organigramma che mostra un programma di mentoring di dimensioni ridotte

Il processo di valutazione è un approccio sistematico che, utilizzando il pensiero valutativo:

• Formula ipotesi sui motivi per cui si ritiene che la strategia, l’iniziativa o il programma funzionerà.
• Determina i cambiamenti attesi durante e dopo l’implementazione delle azioni previste.
• Raccoglie e analizza i dati per capire cosa è successo.
• Comunica, interpreta e riflette sui risultati.
• Prende decisioni informate per apportare miglioramenti.

Il pensiero valutativo è un processo sistematico di raccolta e analisi dei dati per illustrare la strategia, l’iniziativa, il programma, la politica o l’organizzazione.

La valutazione è un approccio collaborativo che coinvolge diversi stakeholder, tra cui:

• Soggetti coinvolti nel finanziamento del programma
• Personale organizzativo
• Partecipanti al programma di mentoring
• Membri del CdA
• Organizzazioni partecipanti (ad esempio valutatori esterni in subappalto)
• Soggetti che definiscono le politiche organizzative

 

Il processo di valutazione deve essere incentrato sull’utilità. In altre parole, i risultati della valutazione devono essere pratici e utili per gli utenti finali/stakeholder. Pertanto, la valutazione deve prendere in considerazione:

• L’attuazione e l’impatto come processo continuo e ciò che le proprie azioni devono rafforzare, anziché sostituire
• Sistemi informativi esistenti per promuovere miglioramenti sostenibili nel tempo
• Precedenti insegnamenti tratti dalla ricerca e attuali aspettative degli stakeholder
• Risultati attesi e capacità della realtà di differire dalla teoria
• Il valore dei risultati ottenuti attraverso il processo di valutazione

 

Il programma di mentoring implementato all’interno dell’organizzazione influenzerà la strategia di monitoraggio e valutazione. Un piccolo programma con pochi utenti attivi (ad esempio mentor, mentee, manager di mentoring) richiederà un approccio di valutazione diverso rispetto, ad esempio, a un programma di mentoring che interessa l’intera organizzazione con molti partecipanti e molti livelli. Inoltre, un programma di mentoring può essere formale o informale, indipendentemente dal numero di soggetti coinvolti.

 

Un programma formale di mentoring ha più probabilità di utilizzare politiche e procedure che saranno preziose per la pianificazione del monitoraggio e della valutazione. In questa sezione verranno trattati metodi e tecniche di valutazione di un programma di mentoring. Questo vi permetterà di prendere una decisione informata quando svilupperete il vostro piano di valutazione.

2. Principi e metodi per la valutazione del processo di mentoring

La valutazione può essere di tipo formativo o sommativo.

Valutazione formativa:	La valutazione formativa è una forma continua di monitoraggio, per l’intera durata del programma di mentoring.
Valutazione sommativa:	La valutazione sommativa è una valutazione condotta al termine del programma di mentoring.

La valutazione formativa e quella sommativa possono essere effettuate utilizzando due metodi chiave di valutazione: dei processi e dei risultati.

Le valutazioni dei processi si concentrano sull’attuazione di un programma come previsto, sul modo in cui viene vissuto e sulla necessità di apportare modifiche per affrontare eventuali problemi (ad esempio, difficoltà nell’assumere e mantenere tutor, elevato avvicendamento dei mentee, costi elevati di gestione del programma).

Le valutazioni dei risultati si concentrano sugli eventuali effetti prodotti dai programmi. È possibile, ad esempio, confrontare gli obiettivi con i risultati o esaminare le differenze tra gli approcci di mentoring. Informazioni di questo genere sono essenziali per l’automonitoraggio e possono fornire risposte a domande chiave sui programmi e sulle relazioni.

Le valutazioni dei processi e dei risultati possono essere effettuate utilizzando:

• la valutazione qualitativa, oppure;
• la valutazione quantitativa

 

Valutazione quantitativa: i metodi quantitativi sono quelli che esprimono i risultati in cifre. Tendono a rispondere a domande come “Quanti?” o “Quanto?” o “Quante volte?”

Valutazione qualitativa: i metodi qualitativi non forniscono di per sé risultati numerici. Possono comportare la stesura di “saggi” su questioni complesse da parte dei soggetti valutati oppure l’osservazione di interazioni in situazioni difficili.

 

Di fatto, i metodi qualitativi e quantitativi si integrano tra loro. Entrambi presentano punti di forza e di debolezza complementari rispetto all’altro e, insieme, possono presentare un quadro più chiaro della situazione. Spesso le informazioni più accurate si ottengono utilizzando diverse versioni di ciascun metodo. Non è sempre possibile, ma quando accade, si possono ottenere i risultati migliori.

Metodi di valutazione

Nel determinare la strategia di valutazione, si deve tenere conto del rapporto di mentoring. Lo scopo del programma di mentoring è essenzialmente quello di promuovere la crescita e la soddisfazione dei partecipanti.

I rapporti di mentoring hanno successo e sono soddisfacenti per tutte le parti coinvolte quando vengono stabiliti determinati fattori e sia il mentor che il mentee assumono ruoli attivi.

 

I fattori riportati di seguito sono consigliati come indicatori chiave per i partecipanti al programma di mentoring al fine di valutare l’efficacia dei risultati.

 

1.  Finalità:

• Entrambe le parti hanno chiaro il motivo per cui stanno interagendo
• I ruoli e gli obiettivi sono stati discussi e concordati da entrambe le parti
• Entrambe le parti sapranno quando avranno raggiunto le finalità prefissate

2.  Comunicazione:

• Il mentor e il mentee comunicano come preferiscono
• Riferiscono reciprocamente secondo tempistiche concordate
• Entrambe le parti ascoltano attentamente e ricordano le informazioni
• Lo scambio di informazioni e la conversazione sono bidirezionali
• Il linguaggio non verbale viene monitorato (ad esempio il linguaggio del corpo supporta la conversazione verbale)

3.  Fiducia:

• Le informazioni sono gradite e tenute riservate
• Gli impegni sono rispettati e, salvo motivi impellenti, non vengono annullati
• Nessuna delle parti parla negativamente ad altri, né è ingiustamente critica
• Con il progressivo sviluppo della relazione e della fiducia, la condivisione delle informazioni aumenta

4.  Processo:

• Gli incontri sono regolari e si svolgono all’ora stabilita dalle parti
• Le sessioni sono solitamente di lunghezza appropriata
• Gli incontri devono essere proficui per entrambe le parti
• Il mentor e il mentee devono essere consapevoli delle quattro fasi del mentoring formale (instaurare il rapporto, stabilire la direzione, sostenere il progresso e terminare la parte formale del rapporto di mentoring) e devono lavorare attraverso di esse
• Entrambe le parti devono essere soddisfatte dell’abbinamento e devono valutarlo regolarmente per garantirne la compatibilità

5.  Progresso:

• Il mentee ha identificato obiettivi di vita appropriati e sta compiendo progressi significativi verso il conseguimento di competenze per raggiungere tali obiettivi
• Entrambe le parti individuano esperienze di apprendimento interessanti e ne elaborano insieme i risultati

6.  Feedback:

• Entrambe le parti discutono e concordano il formato del feedback
• Il feedback deve essere fornito con onestà e tatto e con la frequenza concordata
• Il feedback dovrebbe essere accolto con favore e nessuna delle parti deve mettersi sulla difensiva, ma deve anzi adottare misure immediate per agire in base ad esso

 

Utilizzando questi sei parametri chiave, è possibile determinare le domande di valutazione e creare un quadro di misurazione per identificare le fonti dei dati, la frequenza di raccolta dei dati e le misure qualitative e quantitative del cambiamento. Queste informazioni, insieme ai metodi di raccolta dei dati, alle strategie di analisi e ai piani per la segnalazione e la comunicazione dei risultati, vengono raccolte per elaborare il piano di valutazione.

 

Una volta completato il piano di valutazione, è possibile avviare la raccolta dei dati e quindi analizzarli.

Alcune analisi possono essere semplici e lineari. Ad esempio, se l’obiettivo della valutazione è scoprire l’impatto del programma di mentoring attuato dall’organizzazione, la sequenza delle attività è più o meno lineare, come indicato di seguito.

• Raccolta di dati dagli stakeholder prima dell’avvio del programma
•  Raccolta di dati a metà programma o alla fine dello stesso (o in entrambi i punti)

Analisi dei dati tramite statistiche (ad esempio percentuali) e dati qualitativi codificati

Suggerimenti per l’analisi Se state raccogliendo dati tramite sondaggio, rivedete e “pulite” i dati prima di iniziare l’analisi (cioè rimuovete i sondaggi con dati incompleti o mancanti – ad esempio, chi non ha risposto a tutte le domande – manualmente oppure tramite software specializzato). Se state raccogliendo dati qualitativi, rivedete gli appunti e, se necessario, sentite il soggetto interessato o esaminate la situazione per colmare eventuali lacune informative. Organizzate tempo e denaro sufficienti per l’analisi. L’analisi qualitativa richiede più risorse perché occorre un tempo maggiore per leggere, codificare e riassumere testi anziché inserire i dati e calcolare le percentuali o altre statistiche, come nell’analisi quantitativa.

Le fasi successive alla raccolta e all’analisi dei dati riguardano la comunicazione e l’interpretazione dei risultati e l’adozione di decisioni informate in merito ai miglioramenti e alle fasi seguenti. La rendicontazione, l’interpretazione e l’esame dei risultati della valutazione sono approfonditi nella sezione “Valutazione del processo di mentoring”. 

2.1. Oggetto dell’analisi

L’oggetto dell’analisi sono l’organizzazione, il personale, il modello di programma, la politica o la strategia, ecc. La valutazione non si limita a un solo argomento e ne può comprendere uno o più allo stesso tempo.

 

In base alla portata e alle tempistiche dell’impegno e delle aspettative di tutti i principali stakeholder, è possibile decidere l’obiettivo della valutazione.

Quando l’oggetto dell'analisi è il singolo:

• Si documentano i cambiamenti sperimentati dal singolo.
• La valutazione di solito verterà su due aspetti:

1. il grado di attuazione della strategia, dell’iniziativa o del programma e
2. se i singoli partecipanti hanno ottenuto i risultati desiderati.

Quando l’oggetto dell'analisi è l’organizzazione:

• Valutazione dei cambiamenti nelle priorità, nelle politiche e nelle prassi dell’organizzazione.
• Il processo di valutazione va utilizzato per raccogliere e analizzare i dati sugli indicatori chiave di risultato, ad esempio il grado di successo dell’organizzazione sotto questi aspetti:
  • Coinvolgere e assistere il coinvolgimento di diversi gruppi di persone
  • Fornire le risorse per un programma di mentoring
  • Sviluppare la documentazione e gli orientamenti chiave (ad esempio politiche e strategie) per il programma
  • Fornire e/o sostenere la crescita e le opportunità per i mentee

Quando l’oggetto dell'analisi è il programma di mentoring:

• Per valutare queste iniziative o programmi, nuovi o adattati, è possibile condurre uno studio per capire:
  • Come è stata attuata l’iniziativa.
  • Quali elementi l’hanno resa efficace.
  • Cosa ha funzionato e cosa no e perché.
  • Quali conoscenze, competenze e altre capacità sono richieste al personale per attuare l’iniziativa.
  • Cosa più importante, come affinare l’iniziativa.
• Gran parte dei dati raccolti potrebbe essere di tipo qualitativo. Quando gli elementi dell’iniziativa o del programma sono diventati definitivi e stabili, è possibile condurre una valutazione dei risultati o sommativa e combinare l’uso di un progetto quasi sperimentale utilizzando la metodologia di cui sopra per valutarne l’efficacia.

Un progetto quasi sperimentale valuta gli effetti causali di un programma confrontando due gruppi di partecipanti (un gruppo di “trattamento” e un gruppo di “confronto”) o confrontando i dati raccolti da un gruppo di partecipanti prima e dopo la loro partecipazione al programma

2.2. Valutazione interna ed esterna a confronto

La valutazione interna viene condotta da un dipendente dell’organizzazione che sta attuando il programma o dell’entità oggetto della valutazione, mentre una valutazione esterna viene condotta da un valutatore che non è un dipendente di tale organizzazione.

Il fatto che un’organizzazione conduca una valutazione interna o esterna dipende solitamente dalle risorse disponibili, dalle qualifiche del valutatore interno o esterno, dalla portata della valutazione e dalle esigenze del finanziatore. Tuttavia, questa decisione dipende anche da altri fattori altrettanto importanti:

• I valutatori esterni possono offrire una prospettiva più ampia, mentre i valutatori interni tendono ad avere una conoscenza approfondita del contesto operativo della strategia, dell’iniziativa o del programma.
• I valutatori esterni possono essere percepiti come una minaccia, mentre i valutatori interni possono essere percepiti come meno obiettivi.

A volte, non si ha scelta perché il finanziatore richiede una valutazione esterna. Indipendentemente dal fatto che si scelga un valutatore interno o esterno, occorre definire chiaramente le linee di responsabilità fin dall’inizio.

3. Stakeholders

Poiché la valutazione coinvolge più stakeholder, dovete considerare attentamente come le informazioni e i risultati condivisi con questi ultimi, incluso il vostro valutatore, possono essere usati (o usati impropriamente). Pertanto, è necessario assicurarsi che i dati raccolti per la valutazione non possano essere interpretati fuori contesto o in modo errato. Se esiste un valutatore designato, è opportuno collaborare con lui su questo tema.

Il primo passo nel processo di identificazione e coinvolgimento degli stakeholder è quello di rispondere alla domanda:

È necessario considerare chi è interessato a conoscere la valutazione del programma e individuare chi è interessato alle risposte a domande quali:

• Il programma di mentoring si svolge come previsto? Chi trarrà vantaggi e chi no dal modo in cui il programma viene gestito?
• I partecipanti traggono vantaggio dall’attuazione del programma, come auspicato?
• Chi ne trarrà vantaggio e chi no, se lo faranno o meno?
• Il programma di mentoring sta producendo un impatto? Chi ne trarrà vantaggio e chi no, se produce o non produce un impatto?
• I risultati possono produrre un impatto sulle politiche? Chi ne trarrà vantaggio e chi no, se lo farà o meno?

 

Considerazione dei diversi tipi di stakeholder

La seguente tabella può aiutare a identificare le esigenze degli stakeholder per il programma di mentoring della vostra organizzazione.

Stakeholder	Perché sono interessati a conoscere i progressi del vostro programma?
Organi di finanziamento	Desiderano sapere se i loro investimenti sono stati utilizzati bene. Se il programma di mentoring non è all’altezza delle aspettative, vogliono sapere perché e sulla base dei risultati poter decidere se proseguire (o meno) il finanziamento del programma o lo sviluppo delle capacità del programma.
Personale del programma	Vuole sapere se sta svolgendo correttamente il proprio lavoro e se sta producendo cambiamenti positivi nei mentee, come indicato nel piano di mentoring. In caso contrario, può utilizzare le informazioni per migliorare il programma.
Membri del CdA	Desiderano conoscere lo stato di avanzamento del programma e l’impatto che sta (o non sta) avendo sui loro dipendenti (mentee). Se sta avendo un impatto, possono usare queste informazioni per raccogliere fondi. In caso contrario, essi possono cercare di risolvere i problemi che il programma sta incontrando.
Partecipanti al programma	I mentee desiderano dire se e come il programma li sta aiutando a raggiungere gli obiettivi di carriera. Desiderano sapere se i risultati corrispondono a ciò che hanno vissuto. In caso contrario, desiderano aiutare il programma a rilevare con maggiore precisione i risultati raggiunti.

Uso della valutazione da parte dei diversi tipi di stakeholder

I diversi stakeholder probabilmente utilizzano la valutazione per scopi diversi, dando luogo ad alcuni vantaggi, ma anche a rischi potenziali che possono essere evitati se si dispone già di una strategia per affrontarli.

La seguente tabella fornisce esempi generali per aiutarvi a valutare i vantaggi e i rischi per ogni gruppo e come evitarli, al meglio delle vostre capacità, dato che ogni situazione è diversa.

 

Vantaggi e rischi potenziali della valutazione

Gruppo di stakeholder	I risultati della valutazione possono aiutare questo gruppo…	I risultati della valutazione possono mettere a rischio questo gruppo…	Per ridurre i rischi, si dovrebbe...
Organi di finanziamento	Dimostrando che i finanziamenti sono stati utili e utilizzati in modo efficace.	Sottolineando che i finanziamenti erogati dall’organismo sono inefficaci e che il finanziamento può essere ritirato.	Coinvolgere tempestivamente i responsabili del programma per capire cosa considerano essere un successo e discutere le loro esigenze in termini di informazioni.
Personale del programma	Dimostrando che gli sforzi profusi nel programma hanno fatto la differenza.	Dimostrando che il lavoro svolto nell’ambito del programma non ha fatto la differenza. Ciò potrebbe portare a tagli di bilancio e forse anche di personale.	Collaborare tempestivamente con il personale per garantire che le domande di valutazione siano in linea con i requisiti delle risorse.
Membri del CdA	Indicando le aree in cui l’organizzazione sta facendo la differenza.	Indicando i punti deboli della leadership, dei sistemi amministrativi e finanziari e delle operazioni quotidiane dell’organizzazione no-profit.	Coinvolgendo i membri del CdA nella progettazione e nell’attuazione della valutazione.
Mentee	Rafforzando, continuando o ampliando programmi a cui possono continuare a partecipare e di cui possono ancora beneficiare.	Eliminando le opportunità offerte dai programmi.	Coinvolgerli tempestivamente per consentire loro di elaborare come si presenta un programma di mentoring di successo e mostrare loro i benefici di una partecipazione.

Prendetevi il tempo necessario per compilare una tabella di rischio, utilizzando la tabella 2 come esempio. Si consiglia di lavorare con ogni gruppo di stakeholder per pianificare e prendere provvedimenti onde evitare malintesi sulla valutazione e sull’uso improprio dei risultati

3.1. Come identificare i principali stakeholder

Nel determinare i requisiti per gli stakeholder, occorre definire le proprie esigenze di valutazione e chi coinvolgere. Poiché non tutti gli stakeholder hanno lo stesso valore, i motivi per invitare determinati individui o gruppi a partecipare dovrebbero includere quanto segue:

• Conoscono il programma oggetto di valutazione (ad esempio, il personale e i consulenti esperti che avete assunto).
• Rappresentano svariate prospettive ed esperienze.
• Sono interessati dal programma (ad esempio, i partecipanti al programma).
• Occupano posizioni di influenza (ad esempio, membri del CdA, organismi di finanziamento).
• Sono fautori del processo di valutazione e partecipano alla relativa progettazione e attuazione.
• Sono responsabili di decidere in merito alla valutazione e al programma (ad esempio, il direttore del programma, la direzione).

4. Sviluppo delle domande, del quadro e del piano di valutazione

La valutazione è uno strumento chiave che sarà utilizzato per tutta la durata di un programma di mentoring. Pertanto è essenziale che gli strumenti utilizzati per la valutazione consentano al processo di essere efficace.

L’utilizzo di un modello logico si traduce in un’efficace progettazione dell’iniziativa e offre maggiori opportunità di apprendimento, una migliore documentazione dei risultati e una conoscenza condivisa di ciò che funziona e perché. Ma soprattutto, il modello logico aiuta a garantire che il pensiero valutativo sia integrato nel progetto di valutazione e relativa implementazione.

Un modello logico è una rappresentazione grafica della teoria del cambiamento in cui si illustra la relazione tra risorse, attività, output e risultati a breve, medio e lungo termine.

Un modello logico aiuta a scomporre l’attuazione del programma in modo sistematico, evidenziando le connessioni tra esigenze, risorse del programma, attività, output, risultati e impatto a lungo termine di un programma di mentoring. In tal modo, si affronteranno questioni di valutazione quali:

• Come dovrebbe funzionare il programma?
• Quali sono le differenze tra il processo di attuazione previsto e la realtà?
• In quali aspetti la strategia di attuazione presenta lacune o aspettative non realistiche?
• Quali aree del modello logico sembrano produrre i più forti risultati o relazioni reciproci?
• Quali sono gli elementi del modello che nella pratica non funzionano?
• Vi sono fattori chiave che non sono stati integrati nella strategia del programma che dovrebbero esserlo?

 

Organizzando le domande di valutazione in base al modello logico, si è in grado di determinare meglio quali domande fare nell’ambito di una valutazione.

 

C’è un altro aspetto da tenere presente nello sviluppo delle domande di valutazione. Le domande dipendono anche dal tipo di valutazione che si desidera condurre: una valutazione delle prestazioni, una valutazione di processo o formativa o una valutazione di risultato o sommativa.

Una valutazione delle prestazioni verte su:

• Assicurare l’assunzione di responsabilità
• Dimostrare che le risorse vengono utilizzate come previsto e sono gestite in modo corretto
• Monitorare e riferire sui progressi compiuti in direzione degli obiettivi fissati
• Segnalare tempestivamente i problemi alla direzione

 

Una valutazione di processo o formativa verte su:

• Comprendere se un programma è in corso di attuazione come previsto e nei tempi previsti
• Valutare se il programma sta producendo gli output desiderati
• Individuare i punti di forza e di debolezza del programma
• Fornire informazioni per apportare rettifiche in corso d’opera

 

Una valutazione di risultato o sommativa verte su:

• Esaminare se il programma ha raggiunto i risultati auspicati e che cosa lo ha reso efficace o inefficace
• Apportare rettifiche all’iniziativa in corso d’opera
• Valutare se l’iniziativa è sostenibile e replicabile

4.1. Due modi diversi per formulare domande di valutazione sul programma

Ecco un metodo per agevolare la formulazione di domande di valutazione. Osservate il modello logico e iniziate con questi cinque elementi:

• Chi - Chi si è voluto beneficiare con la propria iniziativa, strategia o programma?
• Cosa - Cosa si è voluto raggiungere con l’iniziativa? In quale contesto si è svolta l’iniziativa e in che modo ciò può avere inciso sulla sua attuazione e sui suoi risultati?
• Quando - Quando si sono svolte le attività? Quando sono iniziate le modifiche desiderate?
• Perché - Perché l’iniziativa è importante per la vostra organizzazione o comunità? Perché potrebbe essere importante per le persone che fanno parte di altre organizzazioni o comunità?
• Come - In che modo l’iniziativa dovrebbe produrre i cambiamenti desiderati o ottenere i risultati auspicati?

Di seguito sono riportati alcuni esempi di domande di valutazione da porre per il precedente scenario campione:

Un altro metodo per formulare domande di valutazione consiste nel prendere in considerazione diversi aspetti della strategia, iniziativa o programma e generare domande su ciascuno di questi aspetti.

Usando il modello logico e conoscendo le domande per le quali si desidera una risposta, è possibile sviluppare un quadro di misurazione, come strumento di pianificazione della valutazione. Lo sviluppo di un quadro di misurazione permetterà di determinare la modalità di valutazione dei progressi verso il conseguimento dei risultati e di rispondere alle domande di valutazione.

Un quadro di misurazione per l’iniziativa fornisce un’idea chiara di come condurre la valutazione. Il quadro di misurazione offre agli stakeholder un’opportunità di definire ulteriormente i risultati. Con esso, è possibile valutare il risultato in termini più concreti.

Elementi principali del quadro di misurazione

Il quadro di misurazione è costituito da sette elementi principali:

• Gli output sono il prodotto diretto delle attività e possono includere il tipo, il livello e gli obiettivi dei servizi che devono essere realizzati dalla strategia, dall’iniziativa o dal programma.
• I risultati sono i cambiamenti o i benefici immediati, intermedi e a lungo termine che occorre documentare. Tali risultati devono essere gli stessi indicati nel modello logico.
• Gli indicatori segnalano i progressi compiuti verso il cambiamento che si spera di realizzare con la strategia, l’iniziativa o il programma.
• Le misurazioni di cambiamento sono valori – quantitativi e qualitativi – utilizzabili per valutare se sono stati compiuti progressi.
• I metodi di raccolta dei dati sono le strategie per la raccolta dei dati. Ciò può includere metodi quantitativi, come lo svolgimento di indagini o l’analisi di dati esistenti, o metodi qualitativi, come lo svolgimento di colloqui o di un’analisi documentale.
• Le fonti di dati sono i luoghi (ad esempio, database nazionali, indagini di programma) o le persone (ad esempio, i partecipanti al programma) da cui si ottengono i dati.
• La frequenza di raccolta dei dati è la frequenza con cui si prevede di raccogliere i dati.

Come utilizzare un quadro di misurazione

Una volta identificati i propri output e i risultati immediati, intermedi e di lungo termine, è possibile elencare ogni output e risultato nella prima colonna del quadro di misurazione. Dopo aver elencato ciascuno di essi, è possibile elaborare un piano chiaro per valutare i progressi compiuti verso quel particolare output o risultato. Ciò comporta il passaggio da sinistra a destra attraverso le righe del quadro di misurazione per identificare gli indicatori, le misure di cambiamento, i metodi di raccolta dei dati, le fonti e la frequenza di raccolta dei dati per ciascun risultato. Si noti che, una volta completato il quadro di misurazione, alcuni componenti potrebbero contenere risposte sovrapposte. Ad esempio, la fonte dei dati per due risultati può essere la stessa.

Nello sviluppare le domande di valutazione, vanno prese in considerazione queste quattro categorie per misurare i programmi di mentoring:

• Processi di relazione
• Processi del programma
• Risultati della relazione
• Risultati del programma

 

La tabella riportata di seguito illustra le aree di valutazione per queste categorie.

Categoria	Valutazione
Processi di relazione	Cosa succede nella relazione? Ad esempio: con quale frequenza mentor e mentee si incontrano? Hanno sviluppato sufficiente fiducia? Nel rapporto è presente un chiaro senso della direzione da seguire? Il mentor o il mentee nutrono preoccupazioni in merito al proprio contributo o a quello dell’altra persona alla relazione?
Processi del programma	Ad esempio, quante persone hanno partecipato alla formazione? Quanto è stata efficace la formazione? In alcuni casi, i processi del programma comprenderanno anche dati ottenuti sommando le misurazioni di relazioni individuali, per fornire un quadro generale della situazione
Risultati della relazione	Il mentor e il mentee hanno raggiunto gli obiettivi che si erano prefissati? Se le circostanze si evolvono e sono richieste leggere modifiche degli obiettivi, potrebbe essere necessario apportare qualche rettifica.
Risultati del programma	Il programma, ad esempio, ha aumentato la fidelizzazione del personale chiave o migliorato le competenze dei mentee?

5. Piano di valutazione

Utilizzando il modello logico, le domande di valutazione e lo strumento del quadro di misurazione come componenti di base, è ora possibile iniziare a sviluppare un piano di valutazione che riunisca tutti questi elementi e altri ancora.

Un buon piano di valutazione deve contenere i seguenti elementi:

• Informazioni di background sul programma.
• Domande di valutazione: domande specifiche e misurabili.
• Progettazione della valutazione: metodi per la raccolta dei dati; tipi di dati che saranno raccolti; procedure di campionamento; approccio di analisi; misure adottate per garantire l’accuratezza, la validità e l’affidabilità; limitazioni.
• Calendario: date di completamento e durate per le fasi principali e i deliverable.
• Piano per la comunicazione degli esiti e l’utilizzo dei risultati.
• Valutatore/team di valutazione: specificare chi è responsabile di condurre il processo di valutazione e cosa comporta tale ruolo. Può trattarsi di un valutatore esterno, di un valutatore interno o di un valutatore interno con un consulente esterno.
• Informazioni sul budget: possono includere il costo delle ore di lavoro del personale, il costo delle ore di lavoro dei consulenti, i viaggi, le comunicazioni, le forniture e altri costi (ad esempio, incentivi per i partecipanti, spese di traduzione e interpretariato).

Alcune parti del piano di valutazione possono essere copiate e utilizzate per scrivere il rapporto di valutazione. La tabella riportata di seguito illustra le linee generali del piano di valutazione e della relazione di valutazione.

Piano di valutazione	Relazione di valutazione
Copertina: include in modo chiaro titolo, nome e ubicazione della strategia, dell’iniziativa o del programma; il periodo preso in considerazione dalla valutazione.	Copertina: include in modo chiaro titolo, nome e ubicazione della strategia, dell’iniziativa o del programma; il periodo preso in considerazione dalla valutazione o la data di completamento della valutazione.
Informazioni di background dell’iniziativa: finalità della valutazione, l’origine e gli obiettivi dell’iniziativa, le attività e i servizi, inclusa la teoria del cambiamento e il modello logico.	Sintesi: breve descrizione autonoma del programma, descrizione delle finalità e degli obiettivi della valutazione, metodi, sintesi degli esiti e raccomandazioni.
Domande di valutazione: domande specifiche e misurabili che potrebbero richiedere di essere classificate in base alla priorità per mettere a fuoco le risorse e mantenere la valutazione gestibile.	Introduzione e background: finalità della valutazione, l’origine e gli obiettivi dell’iniziativa, i destinatari, le attività e i servizi, l’esame di ricerche correlate, domande e panoramica della valutazione, descrizione del rapporto.
Progettazione della valutazione: metodi di raccolta dei dati; tipi di dati da raccogliere; procedure di campionamento; approccio dell’analisi; misure adottate per garantire l’accuratezza, la validità e l’affidabilità; e limitazioni.	Progettazione della valutazione: metodi di raccolta dei dati; tipi di dati da raccogliere; procedure di campionamento; approccio dell’analisi; misure adottate per garantire l’accuratezza, la validità e l’affidabilità; e limitazioni (inclusi la teoria del cambiamento e il modello logico).
Calendario: date di completamento e durate per le fasi principali e i deliverable.	Risultati della valutazione: esiti della valutazione, risposte alle domande di valutazione, rappresentazioni visive dei risultati (ad es., diagrammi, grafici, ecc.).
Piano per la comunicazione degli esiti e l’utilizzo dei risultati per un lavoro informato: dettagli sui prodotti che verranno sviluppati e su ciò che verrà incluso in ciascun prodotto. Gli utenti potenziali e i destinatari desiderati includono il personale e l’amministrazione del programma, i partecipanti al programma, i leader di comunità, finanziatori, funzionari pubblici e organizzazioni partner.	Sintesi, conclusioni e raccomandazioni: sintesi dei risultati, implicazioni degli esiti, fattori che potrebbero aver influito sui risultati, raccomandazioni chiare e attuabili.
Informazioni sul budget: possono includere il costo delle ore di lavoro del personale, il costo delle ore di lavoro dei consulenti, i viaggi, le comunicazioni, le forniture e altri costi amministrativi. (Se il piano deve essere condiviso con un gruppo di persone più ampio, è possibile escludere le informazioni sul personale e sui consulenti.)
Valutatore e team di valutazione: indicazioni specifiche in merito a chi è responsabile della conduzione del processo di valutazione e i compiti di tale ruolo. Può trattarsi di un valutatore esterno, di un valutatore interno o di un valutatore interno con un consulente esterno.

Il tempo richiesto per implementare e completare una valutazione può essere influenzato dai fattori più diversi e sorprendenti. Quando si sviluppa lo schema della valutazione, è opportuno considerare le seguenti potenziali barriere:

• Riluttanza degli stakeholder a partecipare al processo di valutazione
• Impossibilità di garantire la sincerità delle risposte di valutazione
• I partecipanti potrebbero avere difficoltà a dare risposte negative
• In un programma di mentoring di piccole dimensioni è più difficile garantire l’anonimato
• I partecipanti possono avere difficoltà a riflettere su se stessi
• La strategia del programma potrebbe essere poco chiara o inadeguata
• Basso tasso di risposta ai sondaggi
• Il successo a lungo termine degli output è più difficile da determinare quando la valutazione viene effettuata nelle prime fasi del ciclo di vita del programma di mentoring

5.1. Tipo di valutazione

Il tipo di valutazione desiderato dipende dalla fase in cui si trova la strategia, iniziativa o programma e dallo scopo della valutazione. Il tipo di valutazione è una cosa diversa dalla metodologia di valutazione. Una volta determinato il tipo – e in base a ciò che si desidera realizzare con il processo di valutazione – è possibile decidere l’approccio da utilizzare.

Essenzialmente, esistono tre tipi principali di valutazione, ciascuno dei quali svolge una funzione specifica e risponde a determinate domande:

• Il monitoraggio delle prestazioni
• La valutazione del processo o formativa
• La valutazione dei risultati o sommativa

A volte è necessario condurre questi tre tipi di valutazione contemporaneamente.

Di seguito viene riportata una tabella che evidenzia i principali tipi di valutazione, le rispettive finalità, il tipo di informazioni raccolte e quando vengono svolti.

	Finalità	Tipi di domanda a cui viene data risposta	Tempistiche
Il monitoraggio delle prestazionig	Garantisce la responsabilità delle attività del programma. Dimostra che le risorse destinate al programma vengono utilizzate come previsto e sono gestite in modo corretto. Monitora e riferisce sui progressi compiuti in direzione degli obiettivi prefissati. Segnala tempestivamente la presenza di problemi per consentirne la gestione.	Le attività del programma sono state svolte come previsto? L’iniziativa ha generato e fornito i prodotti e i servizi come previsto? L’iniziativa ha portato a termine ciò che si era prefissa?	Il monitoraggio delle prestazioni può essere effettuato per tutta la durata della strategia, iniziativa o programma, dall’inizio alla fine.
La valutazione del processo o formativa	Cerca di comprendere se un programma è in corso di attuazione come previsto e nei tempi previsti. Valuta se il programma sta producendo gli output desiderati. Individua i punti di forza e le debolezze del programma. È di importanza critica per fornire le informazioni necessarie per apportare rettifiche al programma.	Il programma è stato attuato come previsto e, in caso negativo, per quale motivo? Che cosa ha funzionato, che cosa no e perché? Cosa occorre migliorare e in che modo?	La valutazione del processo o formativa deve essere condotta nella fase iniziale e quando gli elementi del programma sono ancora in corso di adattamento..
La valutazione dei risultati o sommativa	Esamina se il programma ha raggiunto i risultati desiderati. Valuta che cosa ha reso il programma efficace o inefficace. Valuta se l’iniziativa è sostenibile e replicabile.	Quali cambiamenti ha determinato il programma? O a quali cambiamenti ha contribuito? In che modo l’iniziativa ha determinato o contribuito ai cambiamenti? In che modo l’iniziativa verrà sostenuta e replicata?	La valutazione dei risultati o sommativa deve essere condotta quando ci si aspetta che si manifesteranno risultati immediati e intermedi, solitamente qualche tempo dopo che l’iniziativa è stata avviata oppure quando viene considerata “matura” o “stabile” (cioè non più soggetta ad adattamenti e rettifiche).

5.2. Piano di valutazione

Finalità e ambito

In generale, lo scopo della valutazione è di stabilire i risultati o il valore del programma in corso di attuazione e trovare il modo di migliorare il programma. Vanno elaborate sia una valutazione formativa che una valutazione riassuntiva.

Definire lo scopo della valutazione aiuta a focalizzare e delineare le altre fasi del processo di valutazione. È inoltre necessario determinare l’ambito della valutazione. Può essere ampio o ristretto, può concentrarsi su tutti gli studenti o gruppi mirati. Una valutazione ristretta e mirata potrebbe cercare risposte a domande come queste:

• Quanto successo ha avuto il team mentor/mentee?
• Qual è stato l’impatto della formazione dei mentor?
• Il mentor e il mentee hanno raggiunto gli obiettivi stabiliti nei loro piani di mentoring? (misurazione delle prestazioni mentor/mentee)
• Il programma ha prodotto un impatto positivo, ad esempio sulla competenza dei dipendenti?

L’ambito della valutazione può essere anche molto ampio, ad esempio misurare il successo e l’impatto del programma di mentoring. L’ambito di una valutazione è spesso determinato dalla quantità di risorse a disposizione. Più la portata della valutazione è ampia e inclusiva, più sarà costosa in termini di tempo e denaro. Se sono disponibili risorse minime, sarà necessario prendere in considerazione un processo di valutazione più mirato e meno complesso.

 Metodo

Nel piano di valutazione, è necessario decidere quali informazioni si desiderano conoscere, quali metodi si utilizzeranno per raccogliere tali informazioni e quali elementi di prova si utilizzeranno per supportarle. Ad esempio:

Criteri di valutazione	Metodo di valutazione	Elementi di prova a sostegno
I mentee hanno trovato il programma di mentoring uno strumento utile?	Questionario/ Domande	Il 90% degli allievi ha in qualche modo tratto beneficio dal programma Il 90% dei mentee desidera continuare con il programma L’85% dei mentee ritiene che il programma di mentoring abbia migliorato le sue opportunità di carriera all’interno dell’azienda
Il programma di mentoring ha migliorato lo sviluppo della carriera dei mentee all’interno dell’azienda?	Analisi dei dati	Aumento del 75% della partecipazione di mentee ai programmi di formazione Aumento del 30% della partecipazione di mentee alle conferenze Aumento del 90% del coinvolgimento di mentee nel “Green Scheme” dell’organizzazione
Il mentor ha soddisfatto tutte le loro aspettative?	Questionario per autocorrezione Modulo di feedback del mentee	100% return rate on the self-assessment questionnaires – 98% mentor satisfaction, 93% mentee satisfaction
Il mentee ha soddisfatto tutte le loro aspettative?	Questionario per autocorrezione Modulo di feedback del mentor	90% di risposte esatte sui questionari di autovalutazione 88% di soddisfazione del mentor, 90% di soddisfazione del mentee

 

Dati

Le domande di valutazione determinano l’origine dei dati. Una volta specificate le domande, l’azione successiva consiste nel determinare chi o cosa può fornire al meglio le informazioni che danno una risposta alle domande. Alcune fonti potenziali di dati includono:

• Mentor
• Mentee
• Manager di linea di mentoring
• Colleghi
• Dirigenza superiore

Le fonti di dati possono anche includere la documentazione relativa al programma, ad esempio il numero dei piani di sviluppo della carriera completati e firmati o il tempo dedicato a un piano di sviluppo della carriera. Le fonti di dati possono includere inoltre l’esame di documenti conservati da altri, ad esempio:

• Partecipazione ai programmi di formazione
• Partecipazione a convegni ed eventi collegati al proprio ruolo professionale