M3.07. Εφαρμογή αξιολόγησης της διαδικασίας mentoring

1. Συλλογή Δεδομένων

Τι χρειάζεται να ρωτήσετε πριν τη συλλογή οποιωνδήποτε δεδομένων

Υπάρχουν διαφορετικές μέθοδοι συλλογής δεδομένων, κάθε μία έχει διαφορετικά πλεονεκτήματα και μειονεκτήματα, οπότε πριν ξεκινήσετε τη διαδικασία συλλογής δεδομένων, είναι σημαντικό να αξιολογήσετε αυτούς τους παράγοντες και να αποφασίσετε ποια μέθοδο είναι η πλέον κατάλληλη (π.χ. όρια των διαθέσιμων πόρων). Ένας τρόπος αξιολόγησης αυτών των παραγόντων είναι από έναν αξιολογητή, μαζί με τα σχετικά ενδιαφερόμενα μέρη, γεγονός που θα καθορίσει την απάντηση στα ακόλουθα ερωτήματα.

Βασικά ερωτήματα που πρέπει να θέσετε ρωτήσετε πριν τη συλλογή δεδομένων

Σκοπός Αξιολόγησης

• Ποιες είναι οι ερωτήσεις αξιολόγησης; Ποιες μέθοδοι θα βοηθήσουν στην απάντησή τους και θα παράσχουν τα πιο αξιόπιστα και έγκυρα δεδομένα;
• Ποιο είναι το κύριο κοινό για τα ευρήματα; Ποιοι τύποι δεδομένων θα έχουν νόημα και θα είναι πιο χρήσιμοι για το αντίστοιχο κοινό;

Πηγές δεδομένων

• Ποιος παρέχει τα δεδομένα; Πόσες πληροφορίες χρειάζονται για ένα αξιόπιστο αποτέλεσμα αξιολόγησης;

Χρόνος

• Πόσο διαρκεί το πρόγραμμα mentoring;
• Πότε ξεκίνησε το πρόγραμμα mentoring / σε ποιο στάδιο του κύκλου ζωής του θα πραγματοποιηθεί η αξιολόγηση;
• Πόσος χρόνος προϋπολογίστηκε για τη συλλογή και ανάλυση δεδομένων;
• Πότε είναι η κατάλληλη στιγμή για τη συλλογή των δεδομένων;
• Πότε θα είναι διαθέσιμα τα αποτελέσματα για την υποβολή εκθέσεων στα ενδιαφερόμενα μέρη;

Πόροι

• Ποιος είναι ο προϋπολογισμός αξιολόγησης; Πόσος αντιστοιχεί στη συλλογή και την ανάλυση δεδομένων σε σχέση και πόσος στην αναφορά και τη διάχυση των αποτελεσμάτων;
• Ποιος πρέπει να συλλέξει τα δεδομένα; Το προσωπικό έχει το χρόνο και τις δεξιότητες; Πρέπει να προσληφθεί εξωτερικός αξιολογητής;

Μόλις απαντηθούν αυτές οι ερωτήσεις, θα έχετε μια σαφέστερη εικόνα της διαδικασίας αξιολόγησης και πώς θα συλλέξετε τις απαιτούμενες πληροφορίες. Μπορείτε να επιλέξετε ποιοτικές ή ποσοτικές μεθόδους - ή, ίσως, συνδυασμό και των δύο.

2. Χρήση Ποσοτικών Μεθόδων

Προσδιορισμός του αν θα πρέπει να χρησιμοποιήσετε ποσοτικές μεθόδους

Ανάλογα με τις απαντήσεις στα ερωτήματα που τέθηκαν, οι ποσοτικές μέθοδοι, όπως οι έρευνες ή οι αξιολογήσεις, θα μπορούσαν να ταιριάζουν στην αξιολόγησή σας. Ή οι ποιοτικές μέθοδοι, όπως συνεντεύξεις ή ομάδες εργασίας, μπορεί να ταιριάζουν καλύτερα στις ανάγκες σας.

Είδη ερωτήσεων που οι ποσοτικές μέθοδοι μπορούν να βοηθήσουν στην απάντηση

Γενικά, οι ποσοτικές μέθοδοι αφορούν στο τι, ποιος και πότε. Επομένως, θα πρέπει να λάβετε υπόψη τις ποσοτικές μεθόδους εάν οι ερωτήσεις αξιολόγησης περιλαμβάνουν ερωτήσεις σχετικά με το ποιοι συμμετείχαν και επωφελήθηκαν από το πρόγραμμά σας, ποιος ήταν ο αντίκτυπος του προγράμματος, ποιες αλλαγές προκάλεσε το πρόγραμμά σας και πότε συνέβησαν οι αλλαγές.

Παραδείγματα ποσοτικών δεδομένων περιλαμβάνουν:

• Αριθμός ατόμων που συμμετείχαν σε δραστηριότητες του προγράμματος κατά τη διάρκεια του έτους (ποσοστό συμμετοχής)
• Αν οι συμμετέχοντες στο πρόγραμμα έχουν αναπτύξει νέες γνώσεις και δεξιότητες (ποσοστιαία αλλαγή γνώσεων και δεξιοτήτων πριν και μετά τη συμμετοχή)

Πρωτογενές κοινό για τα ευρήματα

Οι ποσοτικές μέθοδοι δημιουργούν δεδομένα που απευθύνονται σε άτομα που προτιμούν πληροφορίες που ποσοτικοποιούν τις επιπτώσεις και παρέχουν τη “βασική πληροφορία”.

Δυνητικοί ερωτηθέντες και μέγεθος δείγματος

Οι ποιοτικές μέθοδοι μπορεί να είναι επωφελείς επειδή μπορούν να είναι πιο αποδοτικές οικονομικά. Για παράδειγμα, μια έρευνα μπορεί να διανεμηθεί σε 50 άτομα και να ολοκληρωθεί όποτε αυτά επιθυμούν, ενώ μια συνέντευξη 30 λεπτών με κάθε ένα από τα 50 άτομα θα πάρει πολύ περισσότερο χρόνο.

Ωστόσο, πρέπει επίσης να λάβετε υπόψη τα μειονεκτήματα της μεθόδου της έρευνας έναντι των προσωπικών συνεντεύξεων. Η διεξαγωγή συνεντεύξεων ή ομάδων εργασίας με λιγότερους ερωτηθέντες μπορεί στην πραγματικότητα να είναι προτιμότερη, διότι θα μπορούσε να αποφέρει καλύτερα δεδομένα από άποψη ποιότητας, ακόμη και αν χρονοβόρα.

Χρόνος συλλογής και ανάλυσης δεδομένων

Οι ποσοτικές μέθοδοι είναι χρήσιμες εάν ο χρόνος συλλογής και ανάλυσης δεδομένων είναι πολύ περιορισμένος. Μια έρευνα με ερωτήσεις κλειστού τύπου (δηλ. δίνετε πολλαπλές επιλογές απαντήσεων από τις οποίες οι ερωτηθέντες μπορούν να επιλέξουν) που ζητούν από τους χρήστες να αξιολογήσουν κάτι, παίρνει λιγότερο χρόνο από τον προγραμματισμό και τη διεξαγωγή συνεντεύξεων. Τα δεδομένα από τα ερωτηματολόγια χρειάζονται λιγότερο χρόνο για να αναλυθούν - ο υπολογισμός των συχνοτήτων, οι μέσοι όροι ή τα ποσοστά γενικά απαιτούν λιγότερο χρόνο από την ανασκόπηση, την κωδικοποίηση και την ανάλυση ποιοτικών δεδομένων (δηλ. σημειώσεις από συζητήσεις και συνεντεύξεις). Οι ποσοτικές μέθοδοι είναι εξίσου χρήσιμες αν το πρόγραμμα είναι μακροπρόθεσμο, αφού μπορείτε να συγκρίνετε τα βασικά δεδομένα με τα επόμενα δεδομένα.

Προϋπολογισμός και άλλοι πόροι

Γενικά, υπό παρόμοιες συνθήκες (δηλαδή, χρόνος συλλογής δεδομένων, μέγεθος δείγματος), οι ποσοτικές μέθοδοι μπορεί να είναι λιγότερο δαπανηρές από τις ποιοτικές ή μικτές μεθόδους (οι οποίες χρησιμοποιούν συνδυασμό ποσοτικών και ποιοτικών μεθόδων) για διάφορους λόγους. Δευτερεύοντα δεδομένα, όπως τα αρχεία παρακολούθησης μαθημάτων κατάρτισης, μπορούν να ληφθούν συνήθως σε πολύ λίγο χρόνο ή με πολύ λίγο κόστος. Οι έρευνες μπορούν να πραγματοποιηθούν ηλεκτρονικά που, επίσης, κοστίζουν λιγότερο από τους συνήθεις πόρους που μπορεί να χρειαστούν για να ταξιδέψει κάποιος για μια συνέντευξη ή μια ομάδα εργασίας. Ένας αναλυτής χρειάζεται λιγότερο χρόνο για να υπολογίσει τις συχνότητες και τα ποσοστά από το να διαβάσει και να κωδικοποιήσει κείμενο που προκύπτει από συνεντεύξεις και ομάδες εργασίας. Επίσης, απαιτείται ένα διαφορετικό σύνολο δεξιοτήτων για να κάνετε αυτούς τους υπολογισμούς παρά για να κωδικοποιήσετε κείμενο και να δημιουργήσετε ενότητες.

2.1. Πλεονεκτήματα και Μειονεκτήματα Ποσοτικών Μεθόδων

2.2. Έρευνες

Υπάρχουν δύο σημαντικοί τρόποι συλλογής ποσοτικών δεδομένων: (α) έρευνες και (β) δοκιμές και αξιολογήσεις.

Οι έρευνες είναι ένας από τους πιο δημοφιλείς τρόπους συλλογής ποσοτικών δεδομένων. Σε μια έρευνα, ένα ερωτηματολόγιο διανέμεται σε μια ομάδα ανθρώπων για να συμπληρωθεί. Ενώ τέτοια ερωτηματολόγια θα μπορούσαν να περιλαμβάνουν ερωτήσεις ανοικτού τύπου, καθώς οι ερωτήσεις κλειστού τύπου χρησιμοποιούνται συνήθως για τη συλλογή ποσοτικών δεδομένων. Το πλεονέκτημα τους είναι ότι η στατιστική ανάλυση μπορεί να εφαρμοστεί εύκολα σε απαντήσεις από ερωτήσεις κλειστού τύπου.

Μέθοδοι Διανομής της Έρευνας

Μόλις αναπτύξετε την αξιολόγηση σας, πρέπει τώρα να αποφασίσετε τον τρόπο διανομής. Υπάρχουν μερικές μέθοδοι για τη διανομή της έρευνας που πρέπει να ληφθούν υπόψη κατά την αξιολόγηση ενός προγράμματος mentoring.

3. Χρήση Ποιοτικών Μεθόδων

Προσδιορισμός εάν θα πρέπει να χρησιμοποιήσετε ποιοτικές μεθόδους

Ανάλογα με τις απαντήσεις στα ερωτήματα του παράγοντα αξιολόγησης, μπορεί να αποφασίσετε ότι μια ποιοτική μέθοδος θα μπορούσε να είναι σωστή για εσάς.

Τύποι ερωτήσεων που οι ποιοτικές μέθοδοι μπορούν να βοηθήσουν στην απάντηση

Στο πιο βασικό επίπεδο, οι ποιοτικές μέθοδοι ασχολούνται με το γιατί και το πώς και είναι επομένως χρήσιμες για μια εις βάθος μελέτη ενός συγκεκριμένου ζητήματος παρά μιας διευρυμένης μελέτης. Επομένως, εάν οι ερωτήσεις αξιολόγησης περιλαμβάνουν ερωτήσεις σχετικά με το πώς οι συμμετέχοντες στο πρόγραμμά σας εφαρμόζουν αυτό που έμαθαν για να επιτύχουν σταδιοδρομία ή το γιατί υπήρξε χαμηλό ποσοστό συμμετοχής στις συναντήσεις, για παράδειγμα, τότε θα πρέπει να εφαρμόσετε ποιοτικές μεθόδους.

Πρωτογενές κοινό για τα ευρήματα

Οι ποιοτικές μέθοδοι δημιουργούν δεδομένα που απευθύνονται σε ακροατήρια που είναι περίεργα να γνωρίζουν τι κρύβεται πίσω από τα στατιστικά στοιχεία ή η αιτία της τάσης συγκεκριμένων δεδομένων.

Δυνητικοί ερωτηθέντες και μέγεθος δείγματος

Οι ποιοτικές μέθοδοι είναι χρήσιμες αν εργάζεστε κυρίως με μικρότερο αριθμό ατόμων, επειδή η διεξαγωγή συνεντεύξεων και ομάδων εργασίας με πολλούς ανθρώπους μπορεί να είναι δαπανηρή και χρονοβόρα. Οι ποιοτικές μέθοδοι βοηθούν, επίσης, το άτομο που θέλετε να συλλέξει πληροφορίες να νιώθει πιο άνετα εκφράζοντας τις απόψεις του προφορικά παρά γραπτώς.

Διάρκεια προγράμματος και χρόνος συλλογής δεδομένων

Οι ποιοτικές μέθοδοι μπορούν να είναι χρήσιμες ανεξάρτητα από το μήκος του προγράμματος, ωστόσο το σχέδιο αξιολόγησης θα πρέπει να παρέχει αρκετό χρόνο για την ανάλυση των δεδομένων, διότι η ανάλυση των δεδομένων από ποιοτικές μεθόδους είναι πιο χρονοβόρα από την ανάλυση δεδομένων από ποσοτικές μεθόδους.

Προϋπολογισμός και άλλοι πόροι

Γενικά, υπό συγκρίσιμες συνθήκες (δηλαδή το μήκος του προγράμματος, το χρόνο συλλογής δεδομένων, το μέγεθος του δείγματος), οι ποιοτικές μέθοδοι μπορεί να είναι ακριβότερες από τις ποσοτικές ή τις μικτές μεθόδους για διάφορους λόγους. Μπορεί να υπάρχουν έξοδα ταξιδιού για τον συλλέκτη δεδομένων και για τους ερωτώμενους ή για ειδικές εξειδικευμένες δεξιότητες που ενδέχεται να απαιτούνται. Ένας αναλυτής χρειάζεται, επίσης, περισσότερο χρόνο για να διαβάσει και να κωδικοποιήσει κείμενο από τις συνεντεύξεις και τις μεταγραφές των ομάδων εργασίας και τις σημειώσεις παρατήρησης.

3.1. Πλεονεκτήματα και Μειονεκτήματα Ποιοτικών Μεθόδων

3.2. Διάφοροι τύπου ποιοτικών μεθόδων συλλογής δεδομένων

Κατά τη συλλογή ποιοτικών δεδομένων, υπάρχουν διάφορες μέθοδοι που μπορούν να χρησιμοποιηθούν, η κάθε μία με τα δικά της πλεονεκτήματα και μειονεκτήματα.

• Συνεντεύξεις (δομημένες και ημιδομημένες)
  Στις δομημένες συνεντεύξεις, οι ερωτήσεις γράφονται με τον ακριβή τρόπο που θα πρέπει να ερωτηθούν και ο συνεντευκτής πρέπει να ζητήσει από κάθε ερωτώμενο τις ερωτήσεις με την ίδια σειρά. Σε μια ημιδομημένη συνέντευξη, απαριθμούνται θέματα και παρέχονται παραδείγματα και η συνέντευξη έχει τη μορφή συζήτησης.

• Ομάδα εργασίας
  Οι ομάδες εργασίας είναι δομημένες συζητήσεις για να κατανοήσουν τις προοπτικές, τις εμπειρίες ή τις γνώσεις των ανθρώπων για ένα συγκεκριμένο θέμα. Ένας συντονιστής προτείνει θέματα και διευκολύνει τη συζήτηση. Ο στόχος είναι να ανακαλύψετε το πώς και το από κάτι, να δείτε τις αντιδράσεις με βάση τα συμφραζόμενα παρά να λάβετε απαντήσεις "ναι" ή "όχι".

• Παρατηρήσεις
  Οι παρατηρήσεις είναι δομημένα μέσα καταγραφής των ενεργειών και των αλληλεπιδράσεων των συμμετεχόντων σε μια αξιολόγηση. Παρέχουν την ευκαιρία να συλλεχθούν δεδομένα σχετικά με μια σειρά από συμπεριφορές, να καταγραφούν οι αλληλεπιδράσεις και να διερευνηθούν ανοιχτά θέματα που ενδιαφέρουν την αξιολόγηση.

• Αναθεώρηση προϊόντων (π.χ. εγγράφων, βίντεο)
  Αυτή η μέθοδος είναι σημαντική επειδή τα προϊόντα μπορούν να αποτελέσουν πηγή δεδομένων για την αξιολόγηση. Τέτοια υλικά μπορούν να σας επιτρέψουν να μάθετε για σημαντικές αλλαγές στην ανάπτυξη ή την ωρίμανση του προγράμματος. Οι αναθεωρήσεις εγγράφων μπορούν επίσης να σας βοηθήσουν να διατυπώσετε ερωτήσεις για μια έρευνα ή μια συνέντευξη.

• Χρήση μικτών μεθόδων
  Η τάση της αξιολόγησης μετατοπίζεται προς την ανάμιξη των ποσοτικών και ποιοτικών μεθόδων σε μία μόνο αξιολόγηση που ονομάζεται αξιολόγηση μεικτής μεθόδου. Αυτή η προσέγγιση έχει νόημα, διότι κάθε μέθοδος έχει τα δικά της πλεονεκτήματα και αδυναμίες. Ο συνδυασμός τους μπορεί να οδηγήσει σε μια ισχυρότερη, πληρέστερη αξιολόγηση από μια συμβατική αξιολόγηση που χρησιμοποιεί μόνο μία μέθοδο.

Εμπιστευτικότητα και ανωνυμία

Η εμπιστευτικότητα και η ανωνυμία αποτελούν ουσιώδη στοιχεία για εσάς και τον αξιολογητή. Η ιδιωτικότητα των ερωτηθέντων θα πρέπει να προστατεύεται με σεβασμό. Για παράδειγμα, τα ονόματα των συμμετεχόντων δε πρέπει ποτέ να αποκαλύπτονται σε έκθεση αξιολόγησης. Οι όροι "ανωνυμία" και "εμπιστευτικότητα" έχουν διαφορετικές έννοιες και δεν πρέπει να χρησιμοποιούνται εναλλακτικά.

• Η ανωνυμία απαιτεί από εσάς και τον αξιολογητή σας να μην γνωρίζετε ποιοι είναι οι συμμετέχοντες. Για παράδειγμα, δεν ζητάτε από τους ερωτηθέντες να προσθέσουν τα ονόματά τους σε μια έρευνα ή μια ομάδα εργασίας.
• Εμπιστευτικότητα σημαίνει ότι εσείς και ο αξιολογητής σας γνωρίζετε ποιοι είναι οι συμμετέχοντες, αλλά δεν συνδέετε απαντήσεις με ερωτηθέντες. Οποιεσδήποτε πληροφορίες έχετε που περιέχουν το όνομα ή τα προσωπικά στοιχεία του ατόμου πρέπει να φυλάσσονται σε κλειδωμένο συρτάρι ή να αποθηκεύονται σε ηλεκτρονικό αρχείο που προστατεύεται με κωδικό πρόσβασης.

4. Ανάλυση και Ερμηνεία Δεδομένων

Μόλις συλλέξετε τα δεδομένα σας, χρειάζεστε χρόνο για να αναλύσετε και να ερμηνεύσετε τα δεδομένα, προκειμένου να ενεργήσετε με βάση αυτό που μάθατε. Αυτή η διαδικασία μπορεί να είναι περίπλοκη και, κατά καιρούς, τεχνική.

4.1. Ανάλυση Ποσοτικών Δεδομένων και Παρουσίαση των Αποτελεσμάτων

Περιγραφική στατιστική ανάλυση

Κατά τη διεξαγωγή ποσοτικής ανάλυσης, θα χρειαστείτε κάποιες βασικές δεξιότητες στατιστικής ανάλυσης.

Όταν υπολογίζετε τον αριθμό και το ποσοστό των απαντήσεων σε μια συγκεκριμένη ερώτηση ή υπολογίζετε τη μέση βαθμολογία για ερωτήσεις σχετικά με τη χρησιμότητα της εκπαίδευσης, αρχίζετε να κάνετε περιγραφική στατιστική ανάλυση. Χρησιμοποιείται για να εξετάσει τις απαντήσεις σε μια ερώτηση υπολογίζοντας και εξετάζοντας τα εξής:

• Την κατανομή απαντήσεων ή συχνοτήτων (π.χ. πόσοι χρήστες έχουν επιλέξει την απάντηση 1, πόσοι τη 2, την 3 κοκ)
• Τη μέση τιμή ή το μέσο όρος (δηλαδή η εξέταση της μέσης βαθμολογίας στις αξιολογήσεις των συμμετεχόντων)
• Την πιο συνηθισμένη απάντηση
• Τον αριθμό στο ακριβές μέσο του συνόλου δεδομένων ή το διάμεσο

Η περιγραφική στατιστική ανάλυση παρέχει επίσης μια άλλη πληροφορία που αναφέρεται τεχνικά ως μεταβλητότητα, η οποία αναφέρεται στα ακόλουθα:

• Τη διασπορά των αποτελεσμάτων σας, συμπεριλαμβανομένου του εύρους (διαφορά μεταξύ της υψηλότερης και της χαμηλότερης βαθμολογίας)
• Την απόκλιση (δείχνει πόσο ποικίλλουν οι απαντήσεις από τα άτομα μιας ομάδας)
• Την τυπική απόκλιση (πόσο κοντά ή μακριά είναι μια συγκεκριμένη απάντηση από το μέσο όρο)

Ερμηνεία

Τα ποσοτικά ευρήματα πρέπει να ερμηνεύονται στο πλαίσιο της οργάνωσης / του προγράμματος και οι ερωτήσεις μπορούν να καθοδηγήσουν την ερμηνεία:

• Ποιο είναι το πεδίο εφαρμογής του προγράμματος ή πόσο αποτελεσματικό ήταν το πρόγραμμα;
• Εάν είχατε πολλά ελλιπή στοιχεία ή ένα χαμηλό ποσοστό απόκρισης, γιατί και τι μπορεί να γίνει διαφορετικά για να αυξηθεί το ποσοστό αυτό στο μέλλον;
• Είναι τα αποτελέσματα που περιμένατε όταν σχεδιάζατε το πρόγραμμα; Εάν όχι, τι πιστεύετε ότι επηρέασε τα αποτελέσματα; Έχετε ποιοτικά δεδομένα που μπορούν να σας δώσουν περισσότερες πληροφορίες για τα αποτελέσματα;
• Είναι τα αποτελέσματα σημαντικά για το πρόγραμμα mentoring ή όχι, ανεξάρτητα από τη στατιστική σημασία και τι σημαίνει αυτό; Για παράδειγμα, η διαφορά στις απαντήσεις από δύο ομάδες ανθρώπων μπορεί να μην είναι στατιστικά σημαντική, αλλά θα μπορούσε να είναι αρκετά μεγάλη ώστε να παρακινήσει την αλλαγή στο πλαίσιο των δραστηριοτήτων του προγράμματος.
• Τι επιπτώσεις έχουν τα αποτελέσματα στο πρόγραμμα; Τι ενέργειες πρέπει να κάνετε, αν υπάρχουν;

4.2. Ανάλυση Ποιοτικών Δεδομένων και Παρουσίαση των Αποτελεσμάτων

Τα ποιοτικά δεδομένα συνήθως λαμβάνουν τη μορφή κειμένου. Υπάρχουν τέσσερα σημαντικά βήματα στην ανάλυση ποιοτικών δεδομένων, τα οποία περιγράφονται παρακάτω.

• Έλεγχος δεδομένων
  Πριν από τη διεξαγωγή της ανάλυσης δεδομένων, πρέπει να διαβάσετε και να κατανοήσετε τα δεδομένα που συλλέξατε, να αφαιρέσετε τα δεδομένα που είναι ασαφή / ελλιπή / ανεπαρκή και να έχετε σαφήνεια πριν κωδικοποιήσετε τα δεδομένα.

• Οργάνωση δεδομένων
  Οργανώστε τα δεδομένα με τρόπο που σας διευκολύνει να γράψετε την αναφορά π.χ. να οργανώσετε τα δεδομένα ανά τύπο ερωτήματος ή με τύπο ερωτώμενου ή και τα δύο.

• Κωδικοποιήστε τα δεδομένα
  Υπάρχουν δύο βασικές μέθοδοι κωδικοποίησης και θα μπορούσατε να χρησιμοποιήσετε μια ή και τις δύο από αυτές:

• Ανοιχτή κωδικοποίηση - Όταν αντιστοιχίζετε κωδικούς βάσει των στοιχείων που προκύπτουν από τα δεδομένα.
• Κλειστή κωδικοποίηση - Όταν έχετε ήδη προετοιμάσει κώδικες βάσει των ερωτήσεων που θέλετε να απαντήσετε.

Η κωδικοποίηση είναι η διαδικασία συγχώνευσης των δεδομένων ανά θέμα, ιδέα και κατηγορία και στη συνέχεια η επισήμανση παρόμοιων κειμένων με μια ετικέτα, ώστε να μπορούν εύκολα να ανακτηθούν σε μεταγενέστερο στάδιο για περαιτέρω σύγκριση και ανάλυση. Η κωδικοποίηση των δεδομένων διευκολύνει την αναζήτηση των δεδομένων, τη σύγκριση και τον εντοπισμό τυχόν μοτίβων που απαιτούν περαιτέρω διερεύνηση.

• Προσδιορισμός και δημιουργία θεμάτων
  Μετά την κωδικοποίηση των δεδομένων, μπορείτε να αρχίσετε να προσδιορίζετε θέματα που προέρχονται από τις πληροφορίες που κωδικοποιήθηκαν. Αυτό μπορεί να είναι δύσκολο, καθώς μπορεί να χρειαστεί να επανεξετάσετε το κωδικοποιημένο κείμενο πολλές φορές, για να προσδιορίσετε ένα θέμα που αντικατοπτρίζει με ακρίβεια τα δεδομένα. Είναι, επίσης, χρήσιμο να δώσετε παραδείγματα δηλώσεων και παρατηρήσεων για να υποστηρίξετε το θέμα και για να καταγράψετε πόσο ισχυρό είναι ένα θέμα μπορείτε να αναφέρετε τον αριθμό και το ποσοστό των απαντήσεων που κωδικοποιήσατε για να υποστηρίξετε το θέμα.

Ερμηνεύστε τα ευρήματα

Το επόμενο βήμα περιλαμβάνει τη σύγκριση των αποτελεσμάτων σας με τα αναμενόμενα αποτελέσματά σας, τις αρχικές ερωτήσεις αξιολόγησης, τους στόχους του προγράμματος σας και τις τρέχουσες γνώσεις (π.χ. έρευνα για τα προγράμματα mentoring). Ορισμένες ερωτήσεις για την καθοδήγηση της διερμηνείας σας περιλαμβάνουν:

• Μήπως υπήρξαν απροσδόκητες τάσεις που εντοπίστηκαν;
• Ποιοι είναι οι παράγοντες που μπορούν να εξηγήσουν τις αποκλίσεις;
• Εάν συλλέξατε τόσο ποιοτικά όσο και ποσοτικά δεδομένα, τα ποιοτικά ευρήματα υποστηρίζουν τα ποσοτικά ευρήματα; Εάν όχι, ποιοι είναι οι παράγοντες που θα μπορούσαν να εξηγήσουν τις διαφορές (π.χ. δειγματοληψία, τρόπος με τον οποίο τέθηκαν οι ερωτήσεις στην έρευνα σε σύγκριση με τις συνεντεύξεις κ.λπ.);
• Εμφανίζονται τυχόν ενδιαφέρουσες τάσεις από τις απαντήσεις;
• Τα αποτελέσματα υποδηλώνουν τυχόν συστάσεις για τη βελτίωση του προγράμματος;
• Τα αποτελέσματα οδηγούν σε επιπλέον ερωτήσεις σχετικά με το πρόγραμμα; Θα χρειαστούν πρόσθετα δεδομένα;
• Πρέπει να αλλάξετε τον τρόπο με τον οποίο συλλέγονται τα δεδομένα την επόμενη φορά;

Να είστε προσεκτικοί όταν ερμηνεύετε δεδομένα. Μην βιάζεστε να βγάλετε συμπεράσματα ή να κάνετε υποθέσεις σχετικά με το τι εννοούν οι συμμετέχοντες/ουσες σας.

Η συμμετοχή άλλων ατόμων (π.χ. του προσωπικού του προγράμματος) για να συζητήσετε τι σημαίνουν τα ευρήματα μπορεί να σας βοηθήσει να κατανοήσετε τα δεδομένα.

5. Σύνοψη, Επικοινωνία και Αντίκτυπος των Αποτελεσμάτων

Τα ευρήματα αξιολόγησης μπορούν να κοινοποιηθούν με πολλούς διαφορετικούς τρόπους για τη διάδοση των αποτελεσμάτων της αξιολόγησης σας και για την εξέλιξη του προγράμματος σας. Μπορεί να έχετε μια τυποποιημένη μορφή που χρησιμοποιείτε για την παρουσίαση των ευρημάτων αξιολόγησης, ωστόσο, θα πρέπει να ξέρετε γιατί ορισμένες μορφές θα μπορούσαν να είναι πιο αποτελεσματικές από άλλες για την εμφάνιση και την επικοινωνία των ευρημάτων σας.

Υπάρχουν, επίσης, διάφορες επιλογές για την παρουσίαση των ευρημάτων αξιολόγησης και το πεδίο της οπτικοποίησης δεδομένων και των οπτικών αναλύσεων έχει αυξηθεί λόγω της διαθεσιμότητας εργαλείων και της τεχνολογικής εξέλιξης στην πρόσβαση, τον χειρισμό και την προβολή δεδομένων. Τελικά, πρέπει να παραμείνετε συγκεντρωμένοι σε αυτό που θέλετε να επικοινωνήσετε, γιατί και σε ποιον.

Η συμμετοχή σε αυτό το στάδιο της διαδικασίας αξιολόγησης είναι καθοριστικής σημασίας επειδή η αποτελεσματική περίληψη και η ανακοίνωση των ευρημάτων της αξιολόγησης βοηθά:

• Τη διάδοση της γνώσης
• Τη διευκόλυνση της κατανόησης
• Την επιβεβαίωση ή πρόκληση θεωριών ή προηγούμενων τρόπων σκέψης
• Τη διευκόλυνση της λήψης αποφάσεων και της δράσης

Δεν είναι απαραίτητο να περιμένετε μέχρι το τέλος του προγράμματος να μοιραστείτε τα ευρήματα και τις ιδέες. Μπορείτε να μοιραστείτε τα ευρήματα στη μέση του προγράμματός σας, αρκεί να διευκρινίσετε ότι είναι ενδιάμεσα προκαταρκτικά ευρήματα.

Επικοινωνήστε και αναφέρετε τα ευρήματα της αξιολόγησή σας

Τι πρέπει να ρωτήσετε πριν βάλετε τα ευρήματα μαζί

Μετά τη συλλογή και την ανάλυση δεδομένων, πρέπει να προσδιορίσετε πώς μπορείτε να συνοψίσετε αποτελεσματικά τα ευρήματά σας, ώστε να μπορείτε να γνωστοποιήσετε επαρκώς τα ευρήματά σας στους ενδιαφερόμενους. Μερικές φορές, θα μπορούσατε να έχετε πολύ περισσότερα δεδομένα από ό,τι μπορείτε ενδεχομένως να μοιραστείτε αποτελεσματικά.

Για να σας βοηθήσουμε στη διαδικασία, συμπληρώστε τον παρακάτω πίνακα.

Οι απαντήσεις σας σε αυτές τις ερωτήσεις θα σας βοηθήσουν να προσδιορίσετε το περιεχόμενο και τη μορφή συνοπτικής παρουσίασης και ανακοίνωσης των αποτελεσμάτων και των επιπτώσεων του προγράμματος.

Κρατήστε την απλή

Βασική αρχή για την αποτελεσματική επικοινωνία των ευρημάτων σας είναι να διατηρήσετε την παρουσίαση απλή. Αποφύγετε τη συσσώρευση πληροφοριών με γραμμές, χρώματα, αποχρώσεις ή οτιδήποτε άλλο που θα μπορούσε να βελτιώσει την ελκυστικότητα, αλλά κρατά την προσοχή μακριά από το περιεχόμενο. Για να καταστεί το υλικό εύκολο για τον αναγνώστη χρειάζεται να περιλαμβάνει μόνο τις απαραίτητες, κρίσιμες πληροφορίες.

Τρόποι εμφάνισης των ευρημάτων αξιολόγησης

Εάν διαθέτετε ένα σχέδιο επικοινωνίας και κατανοείτε τη σημασία της παρουσίασης των ευρημάτων απλά, μπορείτε να συζητήσετε τον καλύτερο τρόπο εμφάνισης των ευρημάτων βάσει ποσοτικών και ποιοτικών δεδομένων. Η οπτικοποίηση δεδομένων είναι ένα αναπτυσσόμενο πεδίο και υπάρχουν πολλοί τρόποι για το πώς να παρουσιάσετε τα δεδομένα σας αποτελεσματικά. Κατά την εμφάνιση των ευρημάτων, η πρόθεσή σας είναι:

• Να κρατήσετε την προσοχή του θεατή στραμμένη στο περιεχόμενο και όχι στη μέθοδο, το σχεδιασμό γραφικών ή σε κάτι άλλο
• Να αποφύγετε οποιαδήποτε παραπλανητική παρουσίαση των δεδομένων
• Να παρέχετε σαφείς ετικέτες
• Να αποφύγετε την εκτύπωση μικρής γραμματοσειράς

Παρουσίαση διαγραμμάτων

Τα διαγράμματα που είναι αποτελεσματικά για την εμφάνιση τάσεων με την πάροδο του χρόνου περιλαμβάνουν γραφικά που δείχνουν το χρόνο σε μία διάσταση (π.χ. άξονα x) και το στοιχείο για το οποίο παρατηρείται αλλαγή σε άλλη διάσταση (π.χ. άξονας y).

Τα διαγράμματα που δείχνουν αποτελεσματικά τον τρόπο με τον οποίο κατανέμονται οι απαντήσεις σε δύο διαστάσεις περιλαμβάνουν διαγράμματα διασποράς και ιστογράμματα

Τα διαγράμματα που βοηθούν στη σύγκριση δύο ή περισσοτέρων ομάδων περιλαμβάνουν γραφήματα γραμμών, διαγράμματα ιστογράμματα, συστοιχίες ιστογραμμάτων κα

Ανταπόκριση στα ευρήματά σας αξιολόγησης

Τα ενδιαφερόμενα μέρη είναι πιο πιθανό να χρησιμοποιήσουν τα ευρήματα αξιολόγησης εάν κατανοήσουν το σκοπό της αξιολόγησης και αν έχουν συμβάλει στο σχεδιασμό, την εφαρμογή, την ερμηνεία και τη χρήση των ευρημάτων.

Ωστόσο, δεν αρκεί να συνοψίζετε και να ανακοινώνετε τα ευρήματά σας. Είναι σημαντικό να προχωρήσετε στο επόμενο βήμα, το οποίο περιλαμβάνει την εξέταση των ευρημάτων και των συνεπειών τους και τον προγραμματισμό τρόπων χρήσης τους - διαφορετικά, η όλη διαδικασία αξιολόγησης χάνει την αξία της. Θυμηθείτε ότι η αξιολόγηση πρέπει να παρέχει χρήσιμες πληροφορίες για να σας εξοπλίσει ώστε να λαμβάνετε ενημερωμένες αποφάσεις και να διαμορφώνετε τα προγράμματά σας ώστε να είναι όσο το δυνατόν πιο αποτελεσματικά.

Ωστόσο, υπάρχουν εμπόδια για στη χρήση των ευρημάτων, όπως:

• Ο φόβος να κριθεί από τους ενδιαφερόμενους - ειδικά εάν πρέπει να αναφέρετε δυσμενείς επιπτώσεις.
• Ανησυχία για το χρόνο και την προσπάθεια που συνεπάγεται κλήση των ενδιαφερόμενων μερών για να συζητήσουν και να προβληματιστούν σχετικά με τα ευρήματα.
• Αντίσταση στην αλλαγή που θα μπορούσε να επηρεάσει τον τρόπο με τον οποίο έγιναν τα πράγματα στο παρελθόν.
• Ανεπαρκής συστήματα επικοινωνίας και ανταλλαγής γνώσεων που επηρεάζουν τον τρόπο, το χρόνο και σε ποιον μοιράζονται οι πληροφορίες.
• Το προσωπικό που δεν ενδιαφέρεται για τα ευρήματα για διάφορους λόγους.
• Οργανωτικοί περιορισμοί όπως ο περιορισμένος προϋπολογισμός και η ικανότητα του προσωπικού να ασκεί άλλες λειτουργίες που θεωρούνται πιο σημαντικές.
• Ανησυχία για αρνητικά ευρήματα.

Χρήση των πορισμάτων αξιολόγησης

Μόλις έχετε τα ευρήματά σας, τότε θα πρέπει να συμφωνήσετε για ποιο σκοπό θα τα χρησιμοποιήσετε. Για παράδειγμα;

• Βελτίωση της στρατηγικής, της πρωτοβουλίας ή του προγράμματος
• Βελτίωση της λογοδοσίας
• Εκπαίδευση ή οικοδόμηση συνειδητοποίησης
• Αξιοποίηση υποστήριξης (π.χ. επιπλέον χρηματοδότηση)
• Δημιουργία νέων γνώσεων (π.χ. βελτίωση της αποτελεσματικής πρακτικής)
• Αναπαραγωγή και κλιμάκωση του προγράμματος
• Ανάπτυξη συστάσεων για τα επόμενα βήματα
• Προσαρμογή του σχεδιασμού και της διαδικασίας αξιολόγησης