Μάθετε Τη Συμβατότητα Από Το Ζώδιο
Ανάλυση: Το πείραμα ελέγχου στοιχείων του Twitter αποκαλύπτει προβλήματα
Ανάλυση
Μια ανάλυση Poynter διαπίστωσε ότι λιγότεροι από τους μισούς χρήστες του Birdwatch περιλαμβάνουν πηγές και πολλές σημειώσεις ελέγχου δεδομένων περιέχουν κομματική ρητορική.
Μια έκδοση 14 Φεβρουαρίου του αλγόριθμου Birdwatch του Twitter ενίσχυσε ορισμένες σημειώσεις με παραπλανητικές πληροφορίες.
Στις 5 Φεβρουαρίου, το Twitter επισημάνθηκε μια ανάρτηση από τον αμφιλεγόμενο YouTuber Tim Pool που είπε ότι οι προεδρικές εκλογές των ΗΠΑ του 2020 ήταν νοθευμένες. Η πλατφόρμα σημείωσε ότι ο ισχυρισμός αμφισβητήθηκε και απενεργοποίησε την δέσμευση 'λόγω κινδύνου βίας'.
Αλλά, επάνω Ρολόι πουλιών , την πλατφόρμα κοινωνικής δικτύωσης πείραμα στον έλεγχο γεγονότων μέσω πληθώρας , οι χρήστες στη συντριπτική τους πλειοψηφία είπαν ότι το tweet δεν ήταν παραπλανητικό, σύμφωνα με ανάλυση των δεδομένων του Twitter στις 14 Φεβρουαρίου. Και οι περισσότεροι χρήστες του Birdwatch δήλωσαν στο εργαλείο ότι βρήκαν χρήσιμες και ενημερωτικές αυτές τις σημειώσεις που υποστήριζαν καταργημένες αξιώσεις.
«Σύμφωνα με την υπεύθυνη (sic) πηγή του TIME, υπήρχε μια καλά οργανωμένη ομάδα μυστικών συμμετεχόντων σε μια σκιώδη οργάνωση που ακούγεται σαν κλήρο που συνεργάστηκε για να επηρεάσει τις εκλογές υπέρ του Τζο Μπάιντεν», αναφέρεται σε ένα σημείωμα. Ενώ ο χρήστης περιλαμβάνει έναν σύνδεσμο προς άρθρο στο περιοδικό Time που χρησιμοποιεί όντως λέξεις όπως 'καβάλα' και 'συνωμοσία', το πλαίσιο του κομματιού - ότι ισχυρές ομάδες εργάζονταν στα παρασκήνια για να προστατεύσουν την εκλογική ακεραιότητα - χάθηκε.
ο Αλγόριθμος παρακολούθησης πουλιών , που στοχεύει στην εμφάνιση χρήσιμων σημειώσεων, έδωσε στον «έλεγχο γεγονότων» βαθμολογία εξυπηρετικότητας 0,68 — την υψηλότερη από τις σημειώσεις στο tweet, λίγο έξω από το κορυφαίο 10% των σημειώσεων που θεωρούνται από τον αλγόριθμο «αξιολογήθηκαν ως χρήσιμες» από το 14 Φεβρουαρίου. Οι σημειώσεις με χρήσιμη βαθμολογία αποτελούν περίπου το 7% των 2.695 σε αυτήν την ανάλυση και λιγότερα από τα δύο τρίτα αυτών περιέχουν έναν σύνδεσμο πηγής που δεν είναι άλλο ένα tweet.
Στις 17 Φεβρουαρίου, το Twitter άλλαξε τον αλγόριθμό του και οι σημειώσεις στο tweet του Pool δεν αξιολογούνται πλέον ως χρήσιμες, αν και εξακολουθούν να παρατίθενται κάτω από την ανάρτηση . Πριν από αυτήν την αλλαγή, υπήρχε ένα χαμηλότερο όριο για να θεωρηθεί χρήσιμο —μόλις 0,5 σε σύγκριση με το νέο όριο 0,84— και οι σημειώσεις χρειάζονταν μόνο τρεις βαθμολογίες για να θεωρηθούν χρήσιμες, με σειρά προτεραιότητας και επισήμανση με μπλε σημείωση.
Τώρα ένα σημείωμα πρέπει να συγκεντρώσει πέντε βαθμολογίες για να προωθήσει αυτό το tweet νέα καρτέλα 'αξιολογημένη χρήσιμη' στο Birdwatch . Και από αυτές τις σχεδόν 2.700 σημειώσεις στη βάση δεδομένων της πλατφόρμας, οι 126 πληρούσαν το νέο όριο - αυτό είναι λιγότερο από 5%. Τα τρία τέταρτα των νέων σημειώσεων με «αξιολόγηση χρήσιμες» περιείχαν μια πηγή εκτός Twitter.
Είναι μια έγκαιρη απεικόνιση ενός από τα προβλήματα που αντιμετωπίζει το μοντέλο Birdwatch: Μπορεί ένας αλγόριθμος που τροφοδοτείται από μια φαινομενικά τυχαία ομάδα ανθρώπων να «βαθμολογήσει» με ακρίβεια την αλήθεια;
Το Birdwatch, στην πιλοτική του φάση με λίγους περισσότερους από 1.000 χρήστες, επιτρέπει στους συμμετέχοντες να επισημαίνουν τα tweets ως παραπλανητικά και να προσθέτουν μια σημείωση που αναφέρει μια πηγή ή/και εξηγεί το πλαίσιο για τους οποίους μπορεί να είναι παραπλανητικό. Στη συνέχεια, οι χρήστες του Birdwatch μπορούν να ταξινομήσουν αυτές τις σημειώσεις με βάση τη χρησιμότητά τους (μετά από αυτό, ο αλγόριθμος αναλαμβάνει).
Τελικά, όλοι οι χρήστες του Twitter θα μπορούν φαινομενικά να δουν αυτές τις σημειώσεις ακριβώς κάτω από τα tweets, αλλά προς το παρόν, περιορίζονται σε ένα συγκεκριμένο τμήμα του ιστότοπου . Οι χρήστες του Birdwatch θα δημιουργήσουν επίσης τελικά μια βαθμολογία φήμης που θα τροφοδοτήσει τον αλγόριθμο εξυπηρετικότητας.
«Στόχος μας με το πιλοτικό Birdwatch είναι να δημιουργήσουμε ένα σύστημα στο οποίο ο καθένας μπορεί να συνεισφέρει, και αυτό φυσικά αυξάνει τις πληροφορίες που οι άνθρωποι βρίσκουν χρήσιμες», δήλωσε ο αντιπρόεδρος του προϊόντος του Twitter, Keith Coleman σε ένα email. «Πιστεύουμε ότι η διαφάνεια στο ποιος μπορεί να συνεισφέρει είναι σημαντική και ότι μέσω της συμβολής μιας διαφορετικής ομάδας, μπορούν να αυξηθούν οι πιο χρήσιμες σημειώσεις».
Όμως, μια ματιά στο σύστημα όπως είναι τώρα αποκαλύπτει προκλήσεις που έχουν εγείρει οι ελεγκτές δεδομένων σχετικά με το Birdwatch: έλλειψη εξειδίκευσης στον έλεγχο γεγονότων μεταξύ των χρηστών, δυσκολία δημιουργίας ενός αλγορίθμου που θα εμφανίζει με κάποιο τρόπο τις χρήσιμες σημειώσεις των πιο αξιόπιστων χρηστών και ερωτήσεις σχετικά με τα κομματικά κίνητρα των χρηστών.
«Δεν εκπλήσσομαι από αυτά τα ευρήματα, δεδομένης της πολωτικής φύσης των πλατφορμών μέσων κοινωνικής δικτύωσης και της διστακτικότητας των βασικών χρηστών να παρέχουν σχόλια σε τέτοιες ερωτήσεις που προσφέρονται από τις πλατφόρμες, ενώ οι χρήστες με κίνητρα και από τις δύο πλευρές του διαδρόμου βλέπουν τις πλατφόρμες ως πεδία μάχης για να προωθήσουν τις αφηγήσεις τους. άλλοι», δήλωσε ο Baybars Örsek, διευθυντής του Διεθνούς Δικτύου Ελέγχου Γεγονότων.
Η πλειονότητα των σημειώσεων των πιο παραγωγικών χρηστών του Birdwatch χαρακτηρίζουν tweets που επικρίνουν τη δεξιά ως «παραπλανητικά» και εκείνα που επικρίνουν την αριστερά ως «μη παραπλανητικά». (Για παράδειγμα, ο χρήστης σημείωσε ένα tweet που λέει ' Η ομάδα Μπάιντεν είναι μαλακή με την Κίνα ' από τον γερουσιαστή Ted Cruz and the Pool tweet ως 'μη παραπλανητικό'. ενώ άρθρο του Newsweek σχετικά με τους ακροδεξιούς εξτρεμιστές και το έπος του GameStop και ένα tweet συνδέοντας τον Πρόεδρο Ντόναλντ Τραμπ με την εξέγερση στο Καπιτώλιο επισημάνθηκαν ως «παραπλανητικές» και «επιβλαβείς».) Και λιγότερο από το ένα πέμπτο των 82 σημειώσεων του χρήστη περιλαμβάνουν μια πηγή, πολλά από τα οποία είναι άλλα tweets. (Αυτός ο χρήστης του Birdwatch δεν απάντησε σε αίτημα για συνέντευξη.)
Ο Coleman είπε ότι το Birdwatch μπορεί να παρακινηθεί να εξετάσει σημειώσεις που προέρχονται από ένα «διαφορετικό σύνολο συντελεστών». Επιπλέον, το σύστημα αξιολόγησης είναι ο κύριος μοχλός πίσω από την πλατφόρμα
«Πιστεύουμε ότι αυτά θα ανταμείψουν και θα δώσουν κίνητρα για συνεισφορές που πολλοί άνθρωποι θεωρούν πολύτιμες και θα αντιμετωπίσουν τον κίνδυνο να αναλάβει μια συγκεκριμένη ομάδα ή ιδεολογία το Birdwatch», είπε ο Coleman. «Αυτό είναι κάτι πάνω στο οποίο θα εργαστούμε ενεργά καθ’ όλη τη διάρκεια του πιλότου».
Και πράγματι, οι σημειώσεις που ο αλγόριθμος κατατάχθηκε ως οι πιο χρήσιμες μετά τις αλλαγές της 17ης Φεβρουαρίου δείχνουν πιο σταθερή πηγή και λιγότερο κομματική ρητορική από την επανάληψη μόλις μια μέρα νωρίτερα. Όμως, η αλλαγή ενός αλγορίθμου για ένα πιλοτικό πρόγραμμα με 1.000 χρήστες και λιγότερες από 2.700 σημειώσεις είναι ένα πράγμα, η αλλαγή ενός αλγορίθμου όταν το Birdwatch είναι διαθέσιμο για όλους τους χρήστες είναι άλλο — και ποιος ξέρει αν η αποτελεσματικότητα του αλγορίθμου θα διατηρηθεί καθώς οι χρήστες αρχίζουν να χύνονται στην πλατφόρμα, αναπαράγοντας ίσως τη συμπεριφορά μερικών από τους πιο παραγωγικούς συμμετέχοντες πιλότους.
«Προς το παρόν δεν έχουμε συγκεκριμένο χρονοδιάγραμμα για την κλιμάκωση, καθώς εργαζόμαστε για να μάθουμε όσο το δυνατόν περισσότερα και να επαναλάβουμε όσο ο πιλότος είναι μικρός», είπε ο Coleman. «Σκοπεύουμε να κλιμακώσουμε όσο μπορούμε να το κάνουμε με ασφάλεια και πότε μπορεί να βοηθήσει στη βελτίωση της μάθησης».
Ωστόσο, όπως και με τις σημειώσεις κάτω από το tweet του Pool, υπάρχουν παραδείγματα κομματικών ή απατηλή πληροφόρηση ακόμα ορατό ως κανονικές σημειώσεις.
Τέσσερις από τους πέντε πιο ενεργούς χρήστες, οι οποίοι αντιπροσωπεύουν περισσότερο από το 10% των συνολικών σημειώσεων, έχουν παρόμοια δραστηριότητα με τον πιο παραγωγικό χρήστη. Ένας από αυτούς ισχυρίζεται ότι ο θάνατος του Jeffrey Epstein δεν χαρακτηρίστηκε ποτέ ως αυτοκτονία. Ωστόσο, ο δεύτερος πιο παραγωγικός Birdwatcher αναφέρει μια πηγή σε κάθε σημείωμα, συμπεριλαμβανομένων συνδέσμων από τον Παγκόσμιο Οργανισμό Υγείας και FactCheck.org .
Κανένας από τους 10 κορυφαίους χρήστες, σύμφωνα με το βιογραφικό τους στο Twitter, δεν είναι επαγγελματίας ελεγκτής δεδομένων ή δημοσιογράφος.
«Ο έλεγχος δεδομένων είναι στην πραγματικότητα σκληρή δουλειά καθώς είναι διανοητικά απαιτητικός», δήλωσε η αρχισυντάκτρια του PolitiFact, Άντζι Χόλαν σε ένα email. «Πρέπει πραγματικά να συγκεντρωθείς και να πιέσεις μέσα από τη διανοητική αδράνεια για να εντοπίσεις ισχυρισμούς και μετά να βρεις καταιγισμό ιδεών για να τους απομυθοποιήσεις ή να τους επαληθεύσεις. Στη συνέχεια, πρέπει να συνεχίσετε με την αναζήτηση και, στη συνέχεια, να γράψετε τα ευρήματα. Δεν είναι μέρα στην παραλία, για να το πω ωμά. Και αν ένας ελεγκτής δεδομένων έχει κομματικό κίνητρο, αυτό κάνει μια διεξοδική και ισότιμη προσπάθεια ακόμη πιο δύσκολη».
Παρά τα προβλήματά του, το Birdwatch επισημαίνει παραπληροφόρηση που οι παραδοσιακοί ελεγκτές γεγονότων μπορεί να παραλείψουν ή να επιλέξουν να μην ελέγξουν λόγω πιθανής βλάβης — κάτι που θα μπορούσε να συμβάλει στην κάλυψη ορισμένων κενών στην ψηφιακή παραπληροφόρηση. Κατά τη διάρκεια της έπος διακοπής του παιχνιδιού , η παραπληροφόρηση σχετικά με τις μετοχές αυτής της εταιρείας εξαπλώθηκε γρήγορα σε όλες τις πλατφόρμες.
Snopes και PolitiFact δεν αξιολόγησε αξιώσεις σχετικά με το GameStop, ενώ Βαθμολογήθηκαν οι βασικές ιστορίες μία ανάρτηση στο Reddit. Αλλά στο Birdwatch, η σημείωση με την υψηλότερη βαθμολογία - με βαθμολογία εξυπηρετικότητας 1,00 - επισήμανε ένα παραπλανητικό tweet για το Reddit, όπου γινόταν συζήτηση για τη μετοχή. Υπήρχαν περίπου 50 σημειώσεις σχετικά με το Reddit, το GameStop και την επενδυτική εφαρμογή Robinhood, στις οποίες σημειώθηκε υψηλός όγκος συναλλαγών νωρίτερα αυτόν τον μήνα.
Και οι χρήστες του Birdwatch επισήμαναν σωστά έναν λογαριασμό που ισχυρίζεται ότι ανήκει στη γερουσιαστή της Βιρτζίνια Amanda Chase ως ψεύτικο, μετά από αυτόν ανέβασε στο Twitter , «… Έχουμε πρόβλημα με τα ναρκωτικά στη Βιρτζίνια και η νομιμοποίηση της μαριχουάνας θα οδηγήσει μόνο σε περισσότερες υπερβολικές δόσεις μαριχουάνας και θανάτους…»
Το crowdsourcing μπορεί να διευκολύνει τη ζωή των επαγγελματιών ελεγκτών δεδομένων ανιχνεύοντας παραπληροφόρηση, είπε ο Örsek.
Ο Κόλμαν είπε ότι το Twitter έχει δεσμευτεί να διατηρήσει τη διαφάνεια - κάτι που κατέστησε δυνατή αυτή την ανάλυση - και να ενσωματώσει τη συμβολή ειδικών για το μέλλον της πλατφόρμας.
«Από τη συνεργασία με ένα ενσωματωμένο μέλος της ομάδας από το Κέντρο του Πανεπιστημίου του Σικάγο για RISC , για τη φιλοξενία συνεδριών σχολίων με δημοσιογράφους και ερευνητές, εργαζόμαστε για να αξιοποιήσουμε τον τεράστιο όγκο τεχνογνωσίας και γνώσης που υπάρχει πέρα από το Twitter», είπε.
Οι Holan και Örsek προτείνουν κίνητρα και εκπαίδευση για τους χρήστες του Birdwatch, καθώς και τη χρήση επαγγελματικών ελεγκτών γεγονότων για τον έλεγχο σημειώσεων υψηλού επιπέδου.
«Αλλά αμφιβάλλω αρκετά για τις εταιρείες τεχνολογίας που πιστεύουν ότι οι χρήστες τους θα εποπτεύουν δωρεάν περιεχόμενο για αυτές», είπε ο Holan. 'Οι περισσότεροι χρήστες δεν θεωρούν ότι είναι δουλειά τους να βοηθούν τις πλατφόρμες να λειτουργούν τις δικές τους επιχειρήσεις.'