Οι ερευνητές της τεχνητής νοημοσύνης καταπολεμούν τον θόρυβο στρέφοντας στη βιολογία
Η τεχνητή νοημοσύνη βλέπει πράγματα που δεν βλέπουμε – συχνά εις βάρος της. Ενώ οι μηχανές έχουν γίνει απίστευτα καλές στην αναγνώριση εικόνων, εξακολουθεί να είναι εύκολο να τις ξεγελάσεις. Απλώς προσθέστε μια μικρή ποσότητα θορύβου στις εικόνες εισόδου, μη ανιχνεύσιμη στο ανθρώπινο μάτι και η τεχνητή νοημοσύνη ταξινομεί ξαφνικά τα σχολικά λεωφορεία, τους σκύλους ή τα κτίρια ως εντελώς διαφορετικά αντικείμενα, όπως οι στρουθοκάμηλοι.
Σε ένα άρθρο που δημοσιεύτηκε στο διαδίκτυο τον Ιούνιο, ο Nicolas Papernot από το Πανεπιστήμιο του Τορόντο και οι συνεργάτες του μελέτησαν διαφορετικά είδη μοντέλων μηχανικής μάθησης που επεξεργάζονται τη γλώσσα και βρήκαν έναν τρόπο να τα ξεγελάσουν ανακατεύοντας το κείμενο εισαγωγής τους σε μια διαδικασία αόρατη για τον άνθρωπο. Οι κρυφές οδηγίες φαίνονται από τον υπολογιστή μόνο όταν διαβάζει τον κώδικα πίσω από το κείμενο για να αντιστοιχίσει τα γράμματα σε byte στη μνήμη του. Η ομάδα του Papernot έδειξε ότι ακόμη και μικροσκοπικές προσθήκες, όπως μεμονωμένοι χαρακτήρες που κωδικοποιούν το λευκό διάστημα, μπορούν να προκαλέσουν όλεθρο στην κατανόηση του κειμένου από το μοντέλο. Και αυτές οι μπερδέματα έχουν συνέπειες και για τους ανθρώπους - σε ένα παράδειγμα, ένας μεμονωμένος χαρακτήρας έκανε τον αλγόριθμο να παράγει μια πρόταση που λέει στον χρήστη να στείλει χρήματα σε έναν εσφαλμένο τραπεζικό λογαριασμό.
Αυτές οι πράξεις εξαπάτησης είναι ένας τύπος επίθεσης που είναι γνωστός ως αντίθετα παραδείγματα, σκόπιμες αλλαγές σε μια είσοδο που έχει σχεδιαστεί για να εξαπατήσει έναν αλγόριθμο και να τον κάνει να κάνει λάθος. Αυτή η ευπάθεια έλαβε εξέχουσα θέση στην έρευνα της τεχνητής νοημοσύνης το 2013, όταν οι ερευνητές εξαπάτησαν ένα βαθύ νευρωνικό δίκτυο, ένα μοντέλο μηχανικής μάθησης με πολλά στρώματα τεχνητών «νευρώνων» που εκτελούν υπολογισμούς.
Προς το παρόν, δεν έχουμε αλάνθαστες λύσεις έναντι οποιουδήποτε μέσου αντιπάλων παραδειγμάτων - εικόνων, κειμένου ή άλλου είδους. Υπάρχει όμως ελπίδα. Για την αναγνώριση εικόνων, οι ερευνητές μπορούν να εκπαιδεύσουν σκόπιμα ένα βαθύ νευρωνικό δίκτυο με αντίθετες εικόνες, έτσι ώστε να είναι πιο άνετο όταν τις βλέπει. Δυστυχώς, αυτή η προσέγγιση, γνωστή ως αντίθετη εκπαίδευση, υπερασπίζεται καλά μόνο αντίθετα παραδείγματα που έχει δει το μοντέλο. Επιπλέον, μειώνει την ακρίβεια του μοντέλου σε μη αντίθετες εικόνες και είναι υπολογιστικά ακριβό. Πρόσφατα, το γεγονός ότι οι άνθρωποι τόσο σπάνια εξαπατούνται από αυτές τις ίδιες επιθέσεις έχει οδηγήσει ορισμένους επιστήμονες να αναζητήσουν λύσεις εμπνευσμένες από το δικό μας βιολογικό όραμα.
«Η εξέλιξη έχει βελτιστοποιήσει πολλούς, πολλούς οργανισμούς για εκατομμύρια χρόνια και έχει βρει μερικές αρκετά ενδιαφέρουσες και δημιουργικές λύσεις», δήλωσε ο Benjamin Evans, ένας υπολογιστικός νευροεπιστήμονας στο Πανεπιστήμιο του Μπρίστολ. "Μας αρμόζει να ρίξουμε μια ματιά σε αυτές τις λύσεις και να δούμε αν μπορούμε να τις αναστρέψεις."
Εστιάστε στο Fovea
Η πρώτη κραυγαλέα διαφορά μεταξύ της οπτικής αντίληψης σε ανθρώπους και μηχανές ξεκινά με το γεγονός ότι οι περισσότεροι άνθρωποι επεξεργάζονται τον κόσμο μέσα από τα μάτια μας και τα βαθιά νευρωνικά δίκτυα όχι. Βλέπουμε τα πράγματα πιο καθαρά στη μέση του οπτικού μας πεδίου λόγω της θέσης του βοθρίου μας, μιας μικροσκοπικής κοιλότητας που βρίσκεται στο κέντρο πίσω από την κόρη στο πίσω μέρος των βολβών μας. Εκεί, εκατομμύρια φωτοϋποδοχείς που ανιχνεύουν το φως είναι συσσωρευμένοι μαζί πιο πυκνά από οπουδήποτε αλλού.
"Πιστεύουμε ότι βλέπουμε τα πάντα γύρω μας, αλλά αυτό είναι σε μεγάλο βαθμό μια ψευδαίσθηση", δήλωσε ο Tomaso Poggio, ένας υπολογιστικός νευροεπιστήμονας στο Ινστιτούτο Τεχνολογίας της Μασαχουσέτης και διευθυντής του Κέντρου για Εγκεφάλους, Νους και Μηχανές.
Οι μηχανές «βλέπουν» αναλύοντας ένα πλέγμα αριθμών που αντιπροσωπεύουν το χρώμα και τη φωτεινότητα κάθε pixel σε μια εικόνα. Αυτό σημαίνει ότι έχουν την ίδια οπτική οξύτητα σε ολόκληρο το οπτικό τους πεδίο (ή μάλλον, το πλέγμα των αριθμών τους). Ο Poggio και οι συνεργάτες του αναρωτήθηκαν εάν η επεξεργασία εικόνων με τον τρόπο που κάνουν τα μάτια μας - με σαφή εστίαση και θολά όρια - θα μπορούσε να βελτιώσει την ανθεκτικότητα των αντιπάλων μειώνοντας την επίδραση του θορύβου στην περιφέρεια. Εκπαίδευσαν βαθιά νευρωνικά δίκτυα με εικόνες επεξεργασμένες για να εμφανίζουν υψηλή ανάλυση σε ένα μόνο μέρος, μιμούμενοι το σημείο που θα μπορούσαν να εστιάσουν τα μάτια μας, με τη μείωση της ανάλυσης να επεκτείνεται προς τα έξω. Επειδή τα μάτια μας κινούνται για να προσηλωθούν σε πολλά μέρη μιας εικόνας, περιλάμβαναν επίσης πολλές εκδόσεις της ίδιας εικόνας με διαφορετικές περιοχές υψηλής ανάλυσης.
Τα αποτελέσματά τους, που δημοσιεύθηκαν πέρυσι, υποδεικνύουν ότι τα μοντέλα που εκπαιδεύτηκαν με τις «φωτεινές» εικόνες τους οδήγησαν σε βελτιωμένη απόδοση έναντι αντίθετων παραδειγμάτων χωρίς πτώση στην ακρίβεια. Αλλά τα μοντέλα τους δεν ήταν ακόμα τόσο αποτελεσματικά ενάντια στις επιθέσεις όσο η αντίπαλη εκπαίδευση, η κορυφαία μη βιολογική λύση. Δύο μεταδιδακτορικοί ερευνητές στο εργαστήριο του Poggio, ο Arturo Deza και ο Andrzej Banburski, συνεχίζουν αυτή τη γραμμή εργασίας ενσωματώνοντας πιο σύνθετους υπολογισμούς με βάση το όργανο, με μεγαλύτερη έμφαση στους υπολογισμούς που εμφανίζονται στην περιφερειακή μας όραση.
Κατοπτρισμός οπτικών νευρώνων
Φυσικά, το φως που χτυπά τα κύτταρα στα μάτια μας είναι μόνο το πρώτο βήμα. Μόλις τα ηλεκτρικά σήματα από τους φωτοϋποδοχείς βγουν από το πίσω μέρος των ματιών μας, ταξιδεύουν κατά μήκος των νευρικών ινών μέχρι να φτάσουν στην έδρα της οπτικής επεξεργασίας στο πίσω μέρος του εγκεφάλου μας. Οι πρώτες ανακαλύψεις σχετικά με τον τρόπο με τον οποίο οι μεμονωμένοι νευρώνες οργανώνονται ιεραρχικά εκεί για να αντιπροσωπεύουν οπτικά χαρακτηριστικά, όπως ο προσανατολισμός μιας γραμμής, ενέπνευσαν τον επιστήμονα υπολογιστών Kunihiko Fukushima να αναπτύξει το πρώτο συνελικτικό νευρωνικό δίκτυο (CNN) το 1980. Αυτό είναι ένα είδος μοντέλου μηχανικής μάθησης τώρα χρησιμοποιείται ευρέως για την επεξεργασία εικόνας που έχει βρεθεί ότι μιμείται μέρος της εγκεφαλικής δραστηριότητας σε όλο τον οπτικό φλοιό.
Τα CNN λειτουργούν χρησιμοποιώντας φίλτρα που σαρώνουν εικόνες για να εξαγάγουν συγκεκριμένα χαρακτηριστικά, όπως τα άκρα ενός αντικειμένου. Ωστόσο, η επεξεργασία που συμβαίνει στον οπτικό μας φλοιό εξακολουθεί να είναι πολύ διαφορετική και πιο περίπλοκη, και ορισμένοι πιστεύουν ότι ο πιο στενός αντικατοπτρισμός της θα μπορούσε να βοηθήσει τις μηχανές να δουν περισσότερο σαν εμάς — μεταξύ άλλων και σε αντίθετα παραδείγματα.
Τα εργαστήρια του James DiCarlo στο MIT και του Jeffrey Bowers στο Πανεπιστήμιο του Μπρίστολ έκαναν ακριβώς αυτό. (Ο ΝτιΚάρλο λαμβάνει χρηματοδότηση από το Ίδρυμα Simons, το οποίο χρηματοδοτεί επίσης αυτήν την εκδοτικά ανεξάρτητη δημοσίευση.) Και τα δύο εργαστήρια έχουν προσθέσει ένα ειδικό φίλτρο που προσεγγίζει τον τρόπο με τον οποίο μεμονωμένοι νευρώνες εξάγουν οπτικές πληροφορίες σε μια περιοχή γνωστή ως πρωτεύων οπτικός φλοιός, και το εργαστήριο του ΝτιΚάρλο έχει προχωρήσει περισσότερο με Προσθέτοντας χαρακτηριστικά όπως μια γεννήτρια θορύβου με σκοπό την αναπαραγωγή των θορυβωδών νευρώνων του εγκεφάλου, οι οποίοι ενεργοποιούνται σε τυχαίες στιγμές. Αυτές οι προσθήκες έχουν κάνει την μηχανική όραση πιο ανθρώπινη, προστατεύοντας από την υπερβολική εξάρτηση από την υφή (ένα κοινό πρόβλημα τεχνητής νοημοσύνης) και τις δυσκολίες με παραμορφώσεις εικόνας όπως το θάμπωμα.
Όταν το εργαστήριο του DiCarlo δοκίμασε το ανεπτυγμένο CNN του ενάντια σε αντίθετα παραδείγματα, τα αποτελέσματα πρότειναν ότι οι τροποποιήσεις του έδωσαν τετραπλάσια ώθηση στην ακρίβεια στις αντίπαλες εικόνες, με ελάχιστη μόνο πτώση στην ακρίβεια σε καθαρές εικόνες σε σύγκριση με τα τυπικά μοντέλα CNN. Επίσης, ξεπέρασε την αντίθετη μέθοδο εκπαίδευσης, αλλά μόνο για τύπους αντίθετων εικόνων που δεν χρησιμοποιήθηκαν κατά τη διάρκεια της εκπαίδευσης. Διαπίστωσαν ότι όλες οι βιολογικά εμπνευσμένες προσθήκες τους συνεργάστηκαν για να αμυνθούν από επιθέσεις, με το πιο σημαντικό να είναι ο τυχαίος θόρυβος που προσέθεσε το μοντέλο τους σε κάθε τεχνητό νευρώνα.
Σε μια νέα εργασία συνεδρίου που δημοσιεύθηκε τον Νοέμβριο, το εργαστήριο του DiCarlo συνεργάστηκε με άλλες ομάδες για να μελετήσει περαιτέρω την επίδραση του νευρικού θορύβου. Πρόσθεσαν τυχαίο θόρυβο σε ένα νέο τεχνητό νευρωνικό δίκτυο, αυτή τη φορά εμπνευσμένο από το ακουστικό μας σύστημα. Ισχυρίζονται ότι αυτό το μοντέλο απέκρουσε επίσης επιτυχώς αντίθετα παραδείγματα για ήχους ομιλίας - και πάλι διαπίστωσαν ότι ο τυχαίος θόρυβος έπαιξε μεγάλο ρόλο. «Ακόμα δεν έχουμε καταλάβει γιατί ο θόρυβος αλληλεπιδρά με τα άλλα χαρακτηριστικά», είπε ο Joel Dapello, διδακτορικός φοιτητής στο εργαστήριο του DiCarlo και συν-επικεφαλής συγγραφέας στις εφημερίδες. "Αυτή είναι μια αρκετά ανοιχτή ερώτηση."
Μηχανές που κοιμούνται
Αυτό που κάνει ο εγκέφαλός μας όταν τα μάτια μας είναι κλειστά και ο οπτικός φλοιός μας δεν επεξεργάζεται τον έξω κόσμο μπορεί να είναι εξίσου σημαντικό για τη βιολογική μας θωράκιση ενάντια στις επιθέσεις. Ο Maksim Bazhenov, ένας υπολογιστικός νευροεπιστήμονας στο Πανεπιστήμιο της Καλιφόρνια στο Σαν Ντιέγκο, έχει περάσει περισσότερες από δύο δεκαετίες μελετώντας τι συμβαίνει στον εγκέφαλό μας ενώ κοιμόμαστε. Πρόσφατα, το εργαστήριό του άρχισε να διερευνά εάν η τοποθέτηση αλγορίθμων σε αδράνεια θα μπορούσε να διορθώσει μια σειρά από προβλήματα τεχνητής νοημοσύνης, συμπεριλαμβανομένων των αντίθετων παραδειγμάτων.
Η ιδέα τους είναι απλή. Ο ύπνος παίζει κρίσιμο ρόλο στην εδραίωση της μνήμης, με τον οποίο ο εγκέφαλός μας μετατρέπει τις πρόσφατες εμπειρίες σε μακροχρόνιες αναμνήσεις. Ερευνητές όπως ο Bazhenov πιστεύουν ότι ο ύπνος μπορεί επίσης να συμβάλει στην οικοδόμηση και αποθήκευση της γενικευμένης γνώσης μας σχετικά με τα πράγματα που συναντάμε καθημερινά. Εάν συμβαίνει αυτό, τότε τα τεχνητά νευρωνικά δίκτυα που κάνουν κάτι παρόμοιο μπορεί επίσης να βελτιωθούν στην αποθήκευση γενικευμένων γνώσεων σχετικά με το θέμα τους — και να γίνουν λιγότερο ευάλωτα σε μικρές προσθήκες θορύβου από αντίθετα παραδείγματα.
«Ο ύπνος είναι μια φάση κατά την οποία ο εγκέφαλος έχει πραγματικά χρόνο να απενεργοποιήσει την εξωτερική είσοδο και να ασχοληθεί με τις εσωτερικές του αναπαραστάσεις», είπε ο Bazhenov. "Και ακριβώς όπως ένα βιολογικό σύστημα, οι [μηχανές] μπορεί να χρειάζονται κάποια περίοδο ύπνου."
Σε μια εργασία συνεδρίου του 2020 με επικεφαλής τον μεταπτυχιακό φοιτητή Timothy Tadros, το εργαστήριο του Bazhenov έβαλε ένα τεχνητό νευρωνικό δίκτυο σε μια φάση ύπνου αφού το εκπαίδευσε να αναγνωρίζει εικόνες. Κατά τη διάρκεια του ύπνου, το δίκτυο δεν αναγκαζόταν πλέον να ενημερώνει τις συνδέσεις μεταξύ των νευρώνων του σύμφωνα με μια κοινή μέθοδο εκμάθησης που βασίζεται στην ελαχιστοποίηση του σφάλματος, γνωστή ως backpropagation. Αντίθετα, το δίκτυο ήταν ελεύθερο να ενημερώσει τις συνδέσεις του με τρόπο χωρίς επίβλεψη, μιμούμενο τον τρόπο που οι νευρώνες μας ενημερώνουν τις συνδέσεις τους σύμφωνα με μια ισχυρή θεωρία που ονομάζεται πλαστικότητα Hebbian. Μετά την αναστολή λειτουργίας, το νευρωνικό δίκτυο απαιτούσε να προστεθεί περισσότερος θόρυβος σε ένα αντίθετο παράδειγμα για να μπορέσει να εξαπατηθεί, σε σύγκριση με τα νευρωνικά δίκτυα που δεν κοιμόντουσαν. Ωστόσο, υπήρξε μια μικρή πτώση στην ακρίβεια για τις μη αντίπαλες εικόνες και για ορισμένους τύπους επιθέσεων, η εκπαίδευση των αντιπάλων ήταν ακόμα η ισχυρότερη άμυνα.
Ένα αβέβαιο μέλλον
Παρά την πρόσφατη πρόοδο στην ανάπτυξη βιολογικά εμπνευσμένων προσεγγίσεων για την προστασία από αντίθετα παραδείγματα, έχουν πολύ δρόμο να διανύσουν μέχρι να γίνουν αποδεκτές ως αποδεδειγμένες λύσεις. Ίσως είναι θέμα χρόνου να μπορέσει κάποιος άλλος ερευνητής να νικήσει αυτές τις άμυνες — ένα εξαιρετικά συνηθισμένο φαινόμενο στον τομέα της αντίπαλης μηχανικής μάθησης.
Δεν είναι όλοι πεπεισμένοι ότι η βιολογία είναι το σωστό μέρος για να ψάξετε.
«Δεν νομίζω ότι έχουμε κάτι σαν τον βαθμό κατανόησης ή εκπαίδευσης του συστήματός μας ώστε να γνωρίζουμε πώς να δημιουργήσουμε ένα βιολογικά εμπνευσμένο σύστημα που δεν θα επηρεαστεί αρνητικά από αυτήν την κατηγορία επιθέσεων», δήλωσε ο Zico Kolter, επιστήμονας υπολογιστών στο Πανεπιστήμιο Κάρνεγκυ Μέλλον. Ο Κόλτερ έχει διαδραματίσει μεγάλο ρόλο στο σχεδιασμό μεθόδων άμυνας που δεν εμπνέονται από βιολογική άποψη ενάντια σε αντίθετα παραδείγματα και πιστεύει ότι θα είναι ένα απίστευτα δύσκολο πρόβλημα να λυθεί.
Ο Kolter προβλέπει ότι η πιο επιτυχημένη πορεία προς τα εμπρός θα περιλαμβάνει την εκπαίδευση νευρωνικών δικτύων σε πολύ μεγαλύτερες ποσότητες δεδομένων — μια στρατηγική που επιχειρεί να αφήσει τις μηχανές να δουν τόσο μεγάλο μέρος του κόσμου όσο εμείς, ακόμα κι αν δεν τον βλέπουν με τον ίδιο τρόπο. /P>
