Απόδοση κειμένου: Συλβάνα Παπαϊωάννου για το #IFI
Αγγλικό κείμενο: Amazon kills its AI recruitment system as it exhibited bias against women
Το 2015 η εταιρεία κατάλαβε ότι το νέο της σύστημα έκανε έμφυλες διακρίσεις κατά την κατάταξη των υποψηφίων για θέσεις προγραμματιστών και τεχνικών.
Οι ειδικοί της Amazon στον τομέα της μηχανικής μάθησης ανακάλυψαν ένα σοβαρό πρόβλημα: ο αλγόριθμος που χρησιμοποιούν για την επιλογή προσωπικού δεν γουστάρει τις γυναίκες. Η αρμόδια ομάδα φτιάχνει προγράμματα από το 2014 για την αξιολόγηση υποψηφίων εργαζομένων και την αυτοματοποίηση στην επιλογής προσωπικού. Ο αυτοματισμός είναι, γενικότερα, βασικό συστατικό της κυριαρχίας της Amazon στη διαδικτυακή αγορά, είτε μέσα στις αποθήκες είτε στην τιμολογιακή πολιτική της.
Το πειραματικό αυτό εργαλείο για τις προσλήψεις χρησιμοποιούσε τεχνητή νοημοσύνη, ώστε να μπορεί να βαθμολογεί τους υποψήφιους σε κλίμακα από ένα έως πέντε αστέρια – σαν το σύστημα το οποίο χρησιμοποιούν οι πελάτες για να βαθμολογήσουν τα προϊόντα της Amazon. «Όλοι ήθελαν αυτό το άγιο δισκοπότηρο», δήλωσε ένας από τους εργαζόμενους, «ήθελαν μια μηχανή η οποία να ξεκαθαρίζει τους καλύτερους πέντε υποψήφιους, μέσα από εκατοντάδες βιογραφικά, και εμείς να τους προσλάβουμε».
Το 2015, η εταιρεία κατάλαβε ότι στο νέο αυτό σύστημα η αξιολόγηση, ειδικότερα για τις θέσεις προγραμματιστών και τεχνικών, δεν ήταν «αδιάφορη» ως προς το φύλο του υποψηφίου. Αυτό προέκυψε γιατί οι υπολογιστές της Amazon είχαν προγραμματιστεί να ελέγχουν τους υποψήφιους βάσει προτύπων τα οποία είχαν καθοριστεί μια δεκαετία πριν. Τα περισσότερα εκ των οποίων ήταν η «φιγούρα» ενός κυρίαρχου αρσενικού μέσα στη βιομηχανία της τεχνολογίας. Αυτό είχε ως αποτέλεσμα το σύστημα της Amazon να μάθει ότι οι άντρες υποψήφιοι ήταν προτιμότεροι.
Όσα βιογραφικά είχαν «γυναικεία» συνθετικά λάμβαναν αρνητική βαθμολόγηση, όπως π.χ. «Αρχηγός της γυναικείας ομάδας βόλεϊ». Κατέτασσε χαμηλά στη βαθμολογία, επίσης, και όλες τις αποφοίτους από δύο γυναικεία κολλέγια, σύμφωνα με πηγές εκ των έσω που δεν ανέφεραν όμως τα ονόματα των κολλεγίων. Η Amazon πραγματοποίησε κάποιες τροποποιήσεις στο πρόγραμμα ώστε να ουδετεροποιήσει τέτοιες συνθήκες, αλλά αυτό δεν ήταν απαραίτητα εγγύηση ότι το σύστημα δεν θα έβρισκε άλλους προκατειλημμένους τρόπους επιλογής προσωπικού.
Η εταιρεία τελικά διέλυσε την ομάδα στις αρχές του προηγούμενου έτους, καθώς τα στελέχη έχασαν την πίστη τους στο εγχείρημα. Οι υπεύθυνοι πρόσληψης προσωπικού, ούτως ή άλλως, εξέταζαν τις προτάσεις του συστήματος όταν αναζητούσαν νέο προσωπικό, αλλά δεν βασίζονταν απόλυτα σε αυτές τις αξιολογήσεις. Η Amazon απέφυγε να δηλώσει κάτι σχετικά, αλλά ανέφερε ότι έχουν δεσμευτεί να παρέχουν ένα περιβάλλον εργασίας απαλλαγμένο από διακρίσεις.
Το project αυτό της Amazon, σύμφωνα με το Reuters, είναι μια καλή μελέτη περίπτωσης όσο αφορά τους περιορισμούς της μηχανικής μάθησης. Υπήρξε, επίσης, ένα παράδειγμα προς αποφυγή για εταιρείες όπως η Hilton Worldwide Holdings Inc και η Goldman Sachs Group Inc, οι οποίες προσπαθούν να αυτοματοποιήσουν τις διαδικασίες επιλογής προσωπικού. Σύμφωνα με μια έρευνα, την οποία πραγματοποίησε το 2017 ή CareerBuilder, υπολογίζεται ότι μέσα στα επόμενα πέντε χρόνια το 55% της διαχείρισης προσωπικού στις Η.Π.Α θα προέρχεται από την τεχνητή νοημοσύνη. Οι εργοδότες ονειρεύονται χρόνια να αξιοποιήσουν την τεχνολογία, ώστε να αποφεύγουν τις υποκειμενικές εκτιμήσεις των υπευθύνων πρόσληψης. Όπως όμως τονίζει ο Nihar Shah, ο οποίος διδάσκει μηχανική μάθηση στο Carnegie Mellon University, υπάρχει ακόμη πολύς δρόμος, «το να εξασφαλίσουμε ότι ο αλγόριθμος είναι δίκαιος, κατανοητός και ερμηνεύσιμος είναι ακόμη μακριά».
Το project της Amazon ξεκίνησε σε καθοριστικό σημείο για τον κολοσσό του ηλεκτρονικού εμπορίου. Η μηχανική μάθηση κέρδιζε έδαφος συνεχώς στον κόσμο της τεχνολογίας και το τμήμα προσωπικού της Amazon ήταν έτοιμο να ξεκινήσει ένα όργιο προσλήψεων: από τον Ιούνιο του 2015, ο αριθμός των εργαζομένων είχε σχεδόν τριπλασιαστεί, φτάνοντας τους 575.700 εργαζόμενους. Έτσι, δημιούργησε μια ομάδα ειδικών, περίπου δώδεκα άτομα, στα γραφεία της στο Εδιμβούργο με κύρια αρμοδιότητα την ανάπτυξη της τεχνητής νοημοσύνης η οποία θα μπορούσε να ψαρεύει μέσα από το διαδίκτυο τους κατάλληλους υποψήφιους.
Η ομάδα δημιούργησε 500 υπολογιστικά μοντέλα εστιασμένα σε συγκεκριμένες εργασιακές λειτουργίες και τοποθεσίες. Έμαθαν στο κάθε ένα περίπου 50.000 όρους οι οποίοι είχαν εμφανιστεί σε παρελθοντικά βιογραφικά υποψηφίων. Οι αλγόριθμοι έδιναν ελάχιστη σημασία σε ικανότητες κοινές για τους πληροφορικάριους, όπως η γνώση κώδικα. Αντ’ αυτού ο αλγόριθμος προτιμούσε υποψήφιους οι οποίοι περιέγραφαν τις ικανότητές τους με ρήματα που συνηθίζουν οι άντρες στο βιογραφικό τους.
Οι έμφυλες διακρίσεις δεν ήταν το μοναδικό θέμα. Προβλήματα, επίσης, με τα δεδομένα τα οποία ενίσχυαν αυτή την επιλεκτική ικανότητα του αλγόριθμου οδηγούσε στην επιλογή ακατάλληλων υποψηφίων για συγκεκριμένες θέσεις. Με την επιστροφή αποτελεσμάτων να γίνεται τελικά σχεδόν τυχαία, η Amazon αποφάσισε να τερματίσει το project. Παρόλα αυτά άλλες εταιρείες προχωρούν αποφασιστικά, υπογραμμίζοντας την ανυπομονησία των εργοδοτών να εκμεταλλευτούν την τεχνητή νοημοσύνη.
