ݺߣ

ݺߣShare a Scribd company logo

Βαθμολόγηση εργασιών με crowdsourcing

•Download as PPTX, PDF•
•
Παναγιώτης Αρβανιτάκης
Παναγιώτης Αρβανιτάκης

Η παρουσίαση - σύνοψη της διπλωματικής μου εργασίας για την ολοκλήρωση του μεταπτυχιακού μου στα Πληροφοριακά Συστήματα.

1 of 17
Download to read offline
Βαθμολόγηση εργασιών με crowdsourcing Παναγιώτης Αρβανιτάκης ΠΛΗΣ Διπλωματική Εργασία Επιβλέπων: Αλέξανδρος Χατζηγεωργίου Μέλος ΕΚ: Συρμακέσης Σπυρίδων
Αντικείμενο εργασίας  Δημιουργία διαδικτυακής πλατφόρμας για:  Ανάρτηση εργασιών από διδάσκοντες  Υποβολή απαντήσεων από μαθητές  Διαχείριση του crowdsourcing.  Ανάθεση εργασιών  Συλλογή - επεξεργασία αποτελεσμάτων  Πρόταση αξιόπιστης βαθμολογίας  Αξιολόγηση βαθμολογητών 28/1/2017 Π. Αρβανιτάκης 2
Προηγούμενες προσπάθειες ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ 1960 έως σήμερα Εργασίες πληροφορικής- μαθηματικών Αντικειμενικού τύπου ή ελέγχου αποτελέσματος. 28/1/2017 Π. Αρβανιτάκης 3 ΜΗ ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ Συμμετοχή ανθρώπινου παράγοντα Βαθμολόγηση και από ομότιμους Εφαρμογή σε εργασίες πληροφορικής
Βασικές αδυναμίες αυτών 28/1/2017 Π. Αρβανιτάκης 4 ΜΗ ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ επίδραση ανθρώπινου παράγοντα (προκατάληψη) εμπειρία βαθμολογητών ύπαρξη απαραίτητου αριθμού αξιολογητών όχι άμεσο αποτέλεσμα ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ περιορισμένη εφαρμογή 1. προγραμματιστικές ασκήσεις 2. αντικειμενικού τύπου ασκήσεις έλεγχος αποτελέσματος και όχι συνολικής ποιότητας εργασίας έλλειψη ανατροφοδότησης γνώσης μη εφαρμογή σε θεωρητικές επιστήμες
Μεθοδολογία (γενικά)  Επισκόπηση συστημάτων αυτοματοποιημένης αξιολόγησης προγραμμάτων - συστημάτων με εφαρμογή του crowdsourcing  Επιλογή του moodle ως βάση της εφαρμογής μας, επεξεργασία – τροποποίησή του.  Μελέτη στατιστικών μεθόδων για την αξιόπιστη εξαγωγή προτεινόμενου βαθμού και αξιολόγηση βαθμολογητών 28/1/2017 Π. Αρβανιτάκης 5
Προβλήματα, αντιμετώπιση ΒΑΣΙΚΑ ΠΡΟΒΛΗΜΑΤΑ ΑΝΤΙΜΕΤΩΠΙΣΗ moodle: Μόνο ένας βαθμός ανά εργασία Δυνατότητα ύπαρξης πολλαπλών βαθμολογητών Έλεγχος αξιοπιστίας βαθμολόγησης 1. Στατιστική επεξεργασία προτεινόμενων βαθμών 2. Προτεινόμενος βαθμός εργασίας 1. Έλεγχος για ακραίους βαθμούς (outliers) 2. Επεξεργασία αυτών  Εξαίρεση ακραίων (outliers)  Εξαγωγή προτεινόμενου βαθμού Χειρισμός βαθμολογητών που αποκλίνουν 1. Αποστολή μηνύματος ή 2. Διαγραφή τους από το μάθημα – μη υπολογισμός των βαθμών τους 28/1/2017 Π. Αρβανιτάκης 6
Διάγραμμα δραστηριοτήτων 28/1/2017 Π. Αρβανιτάκης 7
Υλοποίηση: Ύπαρξη πολλαπλών βαθμολογητών  Δημιουργία νέας βάσης στο moodle με δύο νέους πίνακες  mdl_subgrades: Εκεί αποθηκεύονται οι βαθμοί κάθε καθηγητή για κάθε μάθημα και μαθητή.  sub_errors: Εκεί αποθηκεύονται οι καθηγητές που έδωσαν λάθος βαθμό και το σύστημα τους θεώρησε outliers. 28/1/2017 Π. Αρβανιτάκης 8
Υλοποίηση: Στατιστική επεξεργασία των βαθμών  Έλεγχος για ακραίους βαθμούς (outliers)  Χρήση των ορίων Tukey (διάστημα [Q1  1,5·Q, Q3  1,5·Q]) Q1=74 δ Q3=84 Παράδειγμα 1: Βαθμοί: 70, 70, 74, 74, 80, 82, 82, 83, 84, 85, 100 Δεκτοί στο διάστημα [59 , 99] Μέσος όρος δεκτών τιμών: 784/10= 78,4 Μέσος όρος όλων των τιμών: 884/11= 80,4 28/1/2017 Π. Αρβανιτάκης 9 0 1 2 3 59 70 74 80 82 83 84 85 99 100 Βαθμοί - όρια Tukey
Υλοποίηση: Επεξεργασία των βαθμών Εφόσον έχουμε τουλάχιστον 3 βαθμούς:  Εξαίρεση των ακραίων βαθμών (outliers)  Υπολογισμός της μέσης τιμής των υπολοίπων βαθμών  Προτεινόμενος βαθμός το προηγούμενο αποτέλεσμα Αν έχουμε 2 βαθμούς:  Καμία ιδιαίτερη επεξεργασία  Προτεινόμενος βαθμός η μέση τιμή των δύο Αν έχουμε 1 βαθμό ισχύει ο βαθμός αυτός. 28/1/2017 Π. Αρβανιτάκης 10
Υλοποίηση: Τρόπος χειρισμού καθηγητών outliers  Το σύστημα υπολογίζει κάθε βαθμό που χαρακτηρίζεται outlier και μετρά πόσες φορές έχει γίνει αυτό από τον κάθε βαθμολογητή.  Όταν ο αριθμός αυτός ξεπεράσει ένα όριο (στην εφαρμογή μας 2 φορές) ενημερώνεται ο διαχειριστής σχετικά. 28/1/2017 Π. Αρβανιτάκης 11
Υλοποίηση: Τρόπος χειρισμού καθηγητών outliers  Eπιλογές διαχειριστή (admin):  Αποστολή μηνύματος – επισήμανσης σφάλματος στον βαθμολογητή.  Εξαίρεση του βαθμολογητή από επόμενη βαθμολόγηση με αφαίρεση των βαθμών που είχε ως τότε καταθέσει σε κάθε μάθημα. Οι βαθμοί που έχουν ήδη οριστικοποιηθεί δεν αλλάζουν. Δυνατότητα επαναφοράς του βαθμολογητή από τον admin όποτε κρίνει εκείνος. 28/1/2017 Π. Αρβανιτάκης 12
Αποτελέσματα πειραματικής αξιολόγησης  Υπήρξαν 10 απαντήσεις εργασιών  10 βαθμολογητές τις αξιολόγησαν  Εξαιρέθηκαν οι outliers  Προέκυψαν αξιόπιστες προτάσεις βαθμών  Η πλατφόρμα λειτούργησε χωρίς προβλήματα 28/1/2017 Π. Αρβανιτάκης 13
Αποτελέσματα ερωτηματολογίου αξιολόγησης  Ερωτηματολόγιο 10 ερωτήσεων  Μικρή δυσκολία προσαρμογής στο σύστημα  Συμφωνία για τη χρήση crowdsourcing  Εμπιστοσύνη στα αποτελέσματά του  Αποδοχή εξαίρεσης outliers  Συμφωνία για χρησιμότητα πλατφόρμας 28/1/2017 Π. Αρβανιτάκης 14
Συμπεράσματα 28/1/2017 Π. Αρβανιτάκης 15 1. Θετική αξιολόγηση της πλατφόρμας 2. Αποδοχή χρήσης crowdsourcing από τους εκπαιδευτικούς 3. Εμπιστοσύνη στα εξαγόμενα αποτελέσματα 4. Σχετική ομοφωνία για εξαίρεση αποκλινόντων (outliers) 5. Απαραίτητη η σχετική εξοικείωση με το σύστημα – μικρός προβληματισμός εκπαιδευτικών χωρίς προηγούμενη εμπειρία 6. Μείωση όγκου δουλειάς (βαθμολόγησης)
Προτάσεις  Παρουσίαση στοιχείων βαθμολόγησης στον admin με γραφικά στοιχεία.  Αναβάθμιση αισθητικής  Ανάπτυξη αλγορίθμου για αυτόματη διαγραφή outliers βαθμολογητών  Μετατροπή του κώδικα σε plugin του moodle  Παροχή αμοιβής στους βαθμολογητές  Χρήση για βαθμολόγηση από ομότιμους 28/1/2017 Π. Αρβανιτάκης 16
Τέλος παρουσίασης… . 28/1/2017 Π. Αρβανιτάκης 17

More Related Content

Βαθμολόγηση εργασιών με crowdsourcing

  • 1. Βαθμολόγηση εργασιών με crowdsourcing Παναγιώτης Αρβανιτάκης ΠΛΗΣ Διπλωματική Εργασία Επιβλέπων: Αλέξανδρος Χατζηγεωργίου Μέλος ΕΚ: Συρμακέσης Σπυρίδων
  • 2. Αντικείμενο εργασίας  Δημιουργία διαδικτυακής πλατφόρμας για:  Ανάρτηση εργασιών από διδάσκοντες  Υποβολή απαντήσεων από μαθητές  Διαχείριση του crowdsourcing.  Ανάθεση εργασιών  Συλλογή - επεξεργασία αποτελεσμάτων  Πρόταση αξιόπιστης βαθμολογίας  Αξιολόγηση βαθμολογητών 28/1/2017 Π. Αρβανιτάκης 2
  • 3. Προηγούμενες προσπάθειες ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ 1960 έως σήμερα Εργασίες πληροφορικής- μαθηματικών Αντικειμενικού τύπου ή ελέγχου αποτελέσματος. 28/1/2017 Π. Αρβανιτάκης 3 ΜΗ ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ Συμμετοχή ανθρώπινου παράγοντα Βαθμολόγηση και από ομότιμους Εφαρμογή σε εργασίες πληροφορικής
  • 4. Βασικές αδυναμίες αυτών 28/1/2017 Π. Αρβανιτάκης 4 ΜΗ ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ επίδραση ανθρώπινου παράγοντα (προκατάληψη) εμπειρία βαθμολογητών ύπαρξη απαραίτητου αριθμού αξιολογητών όχι άμεσο αποτέλεσμα ΑΥΤΟΜΑΤΗ ΒΑΘΜΟΛΟΓΗΣΗ περιορισμένη εφαρμογή 1. προγραμματιστικές ασκήσεις 2. αντικειμενικού τύπου ασκήσεις έλεγχος αποτελέσματος και όχι συνολικής ποιότητας εργασίας έλλειψη ανατροφοδότησης γνώσης μη εφαρμογή σε θεωρητικές επιστήμες
  • 5. Μεθοδολογία (γενικά)  Επισκόπηση συστημάτων αυτοματοποιημένης αξιολόγησης προγραμμάτων - συστημάτων με εφαρμογή του crowdsourcing  Επιλογή του moodle ως βάση της εφαρμογής μας, επεξεργασία – τροποποίησή του.  Μελέτη στατιστικών μεθόδων για την αξιόπιστη εξαγωγή προτεινόμενου βαθμού και αξιολόγηση βαθμολογητών 28/1/2017 Π. Αρβανιτάκης 5
  • 6. Προβλήματα, αντιμετώπιση ΒΑΣΙΚΑ ΠΡΟΒΛΗΜΑΤΑ ΑΝΤΙΜΕΤΩΠΙΣΗ moodle: Μόνο ένας βαθμός ανά εργασία Δυνατότητα ύπαρξης πολλαπλών βαθμολογητών Έλεγχος αξιοπιστίας βαθμολόγησης 1. Στατιστική επεξεργασία προτεινόμενων βαθμών 2. Προτεινόμενος βαθμός εργασίας 1. Έλεγχος για ακραίους βαθμούς (outliers) 2. Επεξεργασία αυτών  Εξαίρεση ακραίων (outliers)  Εξαγωγή προτεινόμενου βαθμού Χειρισμός βαθμολογητών που αποκλίνουν 1. Αποστολή μηνύματος ή 2. Διαγραφή τους από το μάθημα – μη υπολογισμός των βαθμών τους 28/1/2017 Π. Αρβανιτάκης 6
  • 8. Υλοποίηση: Ύπαρξη πολλαπλών βαθμολογητών  Δημιουργία νέας βάσης στο moodle με δύο νέους πίνακες  mdl_subgrades: Εκεί αποθηκεύονται οι βαθμοί κάθε καθηγητή για κάθε μάθημα και μαθητή.  sub_errors: Εκεί αποθηκεύονται οι καθηγητές που έδωσαν λάθος βαθμό και το σύστημα τους θεώρησε outliers. 28/1/2017 Π. Αρβανιτάκης 8
  • 9. Υλοποίηση: Στατιστική επεξεργασία των βαθμών  Έλεγχος για ακραίους βαθμούς (outliers)  Χρήση των ορίων Tukey (διάστημα [Q1  1,5·Q, Q3  1,5·Q]) Q1=74 δ Q3=84 Παράδειγμα 1: Βαθμοί: 70, 70, 74, 74, 80, 82, 82, 83, 84, 85, 100 Δεκτοί στο διάστημα [59 , 99] Μέσος όρος δεκτών τιμών: 784/10= 78,4 Μέσος όρος όλων των τιμών: 884/11= 80,4 28/1/2017 Π. Αρβανιτάκης 9 0 1 2 3 59 70 74 80 82 83 84 85 99 100 Βαθμοί - όρια Tukey
  • 10. Υλοποίηση: Επεξεργασία των βαθμών Εφόσον έχουμε τουλάχιστον 3 βαθμούς:  Εξαίρεση των ακραίων βαθμών (outliers)  Υπολογισμός της μέσης τιμής των υπολοίπων βαθμών  Προτεινόμενος βαθμός το προηγούμενο αποτέλεσμα Αν έχουμε 2 βαθμούς:  Καμία ιδιαίτερη επεξεργασία  Προτεινόμενος βαθμός η μέση τιμή των δύο Αν έχουμε 1 βαθμό ισχύει ο βαθμός αυτός. 28/1/2017 Π. Αρβανιτάκης 10
  • 11. Υλοποίηση: Τρόπος χειρισμού καθηγητών outliers  Το σύστημα υπολογίζει κάθε βαθμό που χαρακτηρίζεται outlier και μετρά πόσες φορές έχει γίνει αυτό από τον κάθε βαθμολογητή.  Όταν ο αριθμός αυτός ξεπεράσει ένα όριο (στην εφαρμογή μας 2 φορές) ενημερώνεται ο διαχειριστής σχετικά. 28/1/2017 Π. Αρβανιτάκης 11
  • 12. Υλοποίηση: Τρόπος χειρισμού καθηγητών outliers  Eπιλογές διαχειριστή (admin):  Αποστολή μηνύματος – επισήμανσης σφάλματος στον βαθμολογητή.  Εξαίρεση του βαθμολογητή από επόμενη βαθμολόγηση με αφαίρεση των βαθμών που είχε ως τότε καταθέσει σε κάθε μάθημα. Οι βαθμοί που έχουν ήδη οριστικοποιηθεί δεν αλλάζουν. Δυνατότητα επαναφοράς του βαθμολογητή από τον admin όποτε κρίνει εκείνος. 28/1/2017 Π. Αρβανιτάκης 12
  • 13. Αποτελέσματα πειραματικής αξιολόγησης  Υπήρξαν 10 απαντήσεις εργασιών  10 βαθμολογητές τις αξιολόγησαν  Εξαιρέθηκαν οι outliers  Προέκυψαν αξιόπιστες προτάσεις βαθμών  Η πλατφόρμα λειτούργησε χωρίς προβλήματα 28/1/2017 Π. Αρβανιτάκης 13
  • 14. Αποτελέσματα ερωτηματολογίου αξιολόγησης  Ερωτηματολόγιο 10 ερωτήσεων  Μικρή δυσκολία προσαρμογής στο σύστημα  Συμφωνία για τη χρήση crowdsourcing  Εμπιστοσύνη στα αποτελέσματά του  Αποδοχή εξαίρεσης outliers  Συμφωνία για χρησιμότητα πλατφόρμας 28/1/2017 Π. Αρβανιτάκης 14
  • 15. Συμπεράσματα 28/1/2017 Π. Αρβανιτάκης 15 1. Θετική αξιολόγηση της πλατφόρμας 2. Αποδοχή χρήσης crowdsourcing από τους εκπαιδευτικούς 3. Εμπιστοσύνη στα εξαγόμενα αποτελέσματα 4. Σχετική ομοφωνία για εξαίρεση αποκλινόντων (outliers) 5. Απαραίτητη η σχετική εξοικείωση με το σύστημα – μικρός προβληματισμός εκπαιδευτικών χωρίς προηγούμενη εμπειρία 6. Μείωση όγκου δουλειάς (βαθμολόγησης)
  • 16. Προτάσεις  Παρουσίαση στοιχείων βαθμολόγησης στον admin με γραφικά στοιχεία.  Αναβάθμιση αισθητικής  Ανάπτυξη αλγορίθμου για αυτόματη διαγραφή outliers βαθμολογητών  Μετατροπή του κώδικα σε plugin του moodle  Παροχή αμοιβής στους βαθμολογητές  Χρήση για βαθμολόγηση από ομότιμους 28/1/2017 Π. Αρβανιτάκης 16