Τα τεχνητά νευρωνικά δίκτυα δίνουν επιτέλους ενδείξεις για το πώς μαθαίνουν οι εγκέφαλοι

Το 2007, ορισμένοι από τους κορυφαίους στοχαστές πίσω από τα βαθιά νευρωνικά δίκτυα οργάνωσαν μια ανεπίσημη «δορυφορική» συνάντηση στο περιθώριο ενός διάσημου ετήσιου συνεδρίου για την τεχνητή νοημοσύνη. Το συνέδριο είχε απορρίψει το αίτημά τους για επίσημο εργαστήριο. Τα βαθιά νευρωνικά δίκτυα απείχαν ακόμη λίγα χρόνια από την ανάληψη της τεχνητής νοημοσύνης. Ο τελευταίος ομιλητής της συνάντησης bootleg ήταν ο Geoffrey Hinton από το Πανεπιστήμιο του Τορόντο, ο γνωστικός ψυχολόγος και επιστήμονας υπολογιστών υπεύθυνος για μερικές από τις μεγαλύτερες ανακαλύψεις στα βαθιά δίχτυα. Ξεκίνησε με ένα αστείο:«Λοιπόν, πριν από περίπου ένα χρόνο, γύρισα στο σπίτι για δείπνο και είπα, «Νομίζω ότι επιτέλους κατάλαβα πώς λειτουργεί ο εγκέφαλος» και η 15χρονη κόρη μου είπε:«Ω, Μπαμπά, όχι ξανά.»

Το κοινό γέλασε. Ο Χίντον συνέχισε, «Λοιπόν, ορίστε πώς λειτουργεί». Ακολούθησε περισσότερο γέλιο.

Τα αστεία του Hinton διέψευσαν μια σοβαρή επιδίωξη:τη χρήση AI για την κατανόηση του εγκεφάλου. Σήμερα, τα βαθιά δίχτυα κυβερνούν την τεχνητή νοημοσύνη εν μέρει λόγω ενός αλγορίθμου που ονομάζεται backpropagation ή backprop. Ο αλγόριθμος δίνει τη δυνατότητα στα βαθιά δίκτυα να μαθαίνουν από δεδομένα, δίνοντάς τους τη δυνατότητα να ταξινομούν εικόνες, να αναγνωρίζουν ομιλία, να μεταφράζουν γλώσσες, να κατανοούν τις συνθήκες του δρόμου για αυτοοδηγούμενα αυτοκίνητα και να εκτελούν μια σειρά από άλλες εργασίες.

Αλλά οι πραγματικοί εγκέφαλοι είναι πολύ απίθανο να βασίζονται στον ίδιο αλγόριθμο. Δεν είναι μόνο ότι «οι εγκέφαλοι είναι σε θέση να γενικεύουν και να μαθαίνουν καλύτερα και γρηγορότερα από τα υπερσύγχρονα συστήματα τεχνητής νοημοσύνης», δήλωσε ο Yoshua Bengio, επιστήμονας υπολογιστών στο Πανεπιστήμιο του Μόντρεαλ, επιστημονικός διευθυντής του Mila, το Quebec Artificial. Intelligence Institute και ένας από τους διοργανωτές του εργαστηρίου του 2007. Για διάφορους λόγους, η οπίσθια διάδοση δεν είναι συμβατή με την ανατομία και τη φυσιολογία του εγκεφάλου, ιδιαίτερα στον φλοιό.

Ο Bengio και πολλοί άλλοι εμπνευσμένοι από τον Hinton έχουν σκεφτεί περισσότερους βιολογικά εύλογους μηχανισμούς μάθησης που θα μπορούσαν τουλάχιστον να ταιριάζουν με την επιτυχία της οπισθοδιάδοσης. Τρεις από αυτές — ευθυγράμμιση ανάδρασης, διάδοση ισορροπίας και προγνωστική κωδικοποίηση — έχουν δείξει ιδιαίτερη υποσχέσεις. Ορισμένοι ερευνητές ενσωματώνουν επίσης τις ιδιότητες ορισμένων τύπων νευρώνων του φλοιού και διεργασιών όπως η προσοχή στα μοντέλα τους. Όλες αυτές οι προσπάθειες μας φέρνουν πιο κοντά στην κατανόηση των αλγορίθμων που μπορεί να λειτουργούν στον εγκέφαλο.

«Ο εγκέφαλος είναι ένα τεράστιο μυστήριο. Υπάρχει μια γενική εντύπωση ότι αν μπορέσουμε να ξεκλειδώσουμε κάποιες από τις αρχές του, μπορεί να είναι χρήσιμο για την τεχνητή νοημοσύνη», είπε ο Bengio. "Αλλά έχει και αξία από μόνη της."

Μάθηση μέσω της οπίσθιας διάδοσης

Για δεκαετίες, οι θεωρίες των νευροεπιστημόνων για το πώς μαθαίνουν οι εγκέφαλοι καθοδηγούνταν κυρίως από έναν κανόνα που εισήχθη το 1949 από τον Καναδό ψυχολόγο Donald Hebb, ο οποίος συχνά παραφράζεται ως «Νευρώνες που πυροβολούν μαζί, συρματώνονται μαζί». Δηλαδή, όσο πιο συσχετισμένη είναι η δραστηριότητα των γειτονικών νευρώνων, τόσο ισχυρότερες είναι οι συναπτικές συνδέσεις μεταξύ τους. Αυτή η αρχή, με ορισμένες τροποποιήσεις, ήταν επιτυχής στην εξήγηση ορισμένων περιορισμένων τύπων εργασιών μάθησης και οπτικής ταξινόμησης.

Αλλά λειτούργησε πολύ λιγότερο καλά για μεγάλα δίκτυα νευρώνων που έπρεπε να μάθουν από τα λάθη. Δεν υπήρχε άμεσα στοχευμένος τρόπος για τους νευρώνες βαθιά μέσα στο δίκτυο να μάθουν για τα ανακαλυφθέντα σφάλματα, να ενημερώνονται και να κάνουν λιγότερα λάθη. "Ο κανόνας του Hebbian είναι ένας πολύ στενός, ιδιαίτερος και όχι πολύ ευαίσθητος τρόπος χρήσης πληροφοριών σφαλμάτων", δήλωσε ο Daniel Yamins, ένας υπολογιστικός νευροεπιστήμονας και επιστήμονας υπολογιστών στο Πανεπιστήμιο Stanford.

Ωστόσο, ήταν ο καλύτερος κανόνας μάθησης που είχαν οι νευροεπιστήμονες, και ακόμη και πριν κυριαρχήσει στη νευροεπιστήμη, ενέπνευσε την ανάπτυξη των πρώτων τεχνητών νευρωνικών δικτύων στα τέλη της δεκαετίας του 1950. Κάθε τεχνητός νευρώνας σε αυτά τα δίκτυα λαμβάνει πολλαπλές εισόδους και παράγει μια έξοδο, όπως το βιολογικό του αντίστοιχο. Ο νευρώνας πολλαπλασιάζει κάθε είσοδο με ένα λεγόμενο «συναπτικό» βάρος - έναν αριθμό που υποδηλώνει τη σημασία που αποδίδεται σε αυτήν την είσοδο - και στη συνέχεια συνοψίζει τις σταθμισμένες εισόδους. Αυτό το άθροισμα είναι η έξοδος του νευρώνα. Μέχρι τη δεκαετία του 1960, ήταν σαφές ότι τέτοιοι νευρώνες μπορούσαν να οργανωθούν σε ένα δίκτυο με ένα στρώμα εισόδου και ένα στρώμα εξόδου, και το τεχνητό νευρωνικό δίκτυο θα μπορούσε να εκπαιδευτεί για να λύσει μια συγκεκριμένη κατηγορία απλών προβλημάτων. Κατά τη διάρκεια της εκπαίδευσης, ένα νευρωνικό δίκτυο στάθηκε στα καλύτερα βάρη για τους νευρώνες του για να εξαλείψει ή να ελαχιστοποιήσει τα σφάλματα.

Ωστόσο, ήταν προφανές ακόμη και στη δεκαετία του 1960 ότι η επίλυση πιο περίπλοκων προβλημάτων απαιτούσε ένα ή περισσότερα «κρυμμένα» στρώματα νευρώνων που βρίσκονταν μεταξύ των στρωμάτων εισόδου και εξόδου. Κανείς δεν ήξερε πώς να εκπαιδεύει αποτελεσματικά τεχνητά νευρωνικά δίκτυα με κρυφά στρώματα — μέχρι το 1986, όταν ο Hinton, ο αείμνηστος David Rumelhart και ο Ronald Williams (τώρα του Northeastern University) δημοσίευσαν τον αλγόριθμο backpropagation.

Ο αλγόριθμος λειτουργεί σε δύο φάσεις. Στη φάση «προώθησης», όταν δίνεται μια είσοδος στο δίκτυο, συνάγει μια έξοδο, η οποία μπορεί να είναι λανθασμένη. Η δεύτερη "προς τα πίσω" φάση ενημερώνει τα συναπτικά βάρη, ευθυγραμμίζοντας περισσότερο την έξοδο με μια τιμή στόχο.

Για να κατανοήσετε αυτή τη διαδικασία, σκεφτείτε μια «συνάρτηση απώλειας» που περιγράφει τη διαφορά μεταξύ των συναγόμενων και των επιθυμητών εξόδων ως ένα τοπίο λόφων και κοιλάδων. Όταν ένα δίκτυο κάνει ένα συμπέρασμα με ένα δεδομένο σύνολο συναπτικών βαρών, καταλήγει σε κάποια τοποθεσία στο τοπίο απώλειας. Για να μάθει, πρέπει να κινηθεί προς τα κάτω στην κλίση ή την κλίση προς κάποια κοιλάδα, όπου η απώλεια ελαχιστοποιείται στο μέτρο του δυνατού. Η οπίσθια διάδοση είναι μια μέθοδος για την ενημέρωση των συναπτικών βαρών για την κάθοδο αυτής της κλίσης.

Ουσιαστικά, η προς τα πίσω φάση του αλγορίθμου υπολογίζει πόσο τα συναπτικά βάρη κάθε νευρώνα συμβάλλουν στο σφάλμα και στη συνέχεια ενημερώνει αυτά τα βάρη για να βελτιώσει την απόδοση του δικτύου. Αυτός ο υπολογισμός προχωρά διαδοχικά προς τα πίσω από το επίπεδο εξόδου στο επίπεδο εισόδου, εξ ου και το όνομα backpropagation. Κάντε αυτό ξανά και ξανά για σύνολα εισόδων και επιθυμητών εξόδων, και τελικά θα καταλήξετε σε ένα αποδεκτό σύνολο βαρών για ολόκληρο το νευρωνικό δίκτυο.

Αδύνατο για τον εγκέφαλο

Η εφεύρεση της οπίσθιας διάδοσης προκάλεσε αμέσως κατακραυγή από ορισμένους νευροεπιστήμονες, οι οποίοι είπαν ότι δεν θα μπορούσε ποτέ να λειτουργήσει σε πραγματικούς εγκεφάλους. Ο πιο αξιοσημείωτος αρνητής ήταν ο Φράνσις Κρικ, ο βραβευμένος με Νόμπελ συν-ανακαλύφτης της δομής του DNA που αργότερα έγινε νευροεπιστήμονας. Το 1989 ο Crick έγραψε:"Όσον αφορά τη διαδικασία μάθησης, είναι απίθανο ο εγκέφαλος να χρησιμοποιεί στην πραγματικότητα την αντίστροφη διάδοση."

Το Backprop θεωρείται βιολογικά απίθανο για πολλούς βασικούς λόγους. Το πρώτο είναι ότι ενώ οι υπολογιστές μπορούν εύκολα να εφαρμόσουν τον αλγόριθμο σε δύο φάσεις, αυτό για τα βιολογικά νευρωνικά δίκτυα δεν είναι ασήμαντο. Το δεύτερο είναι αυτό που οι υπολογιστικοί νευροεπιστήμονες αποκαλούν πρόβλημα μεταφοράς βάρους:Ο αλγόριθμος backprop αντιγράφει ή «μεταφέρει» πληροφορίες σχετικά με όλα τα συναπτικά βάρη που εμπλέκονται σε ένα συμπέρασμα και ενημερώνει αυτά τα βάρη για μεγαλύτερη ακρίβεια. Αλλά σε ένα βιολογικό δίκτυο, οι νευρώνες βλέπουν μόνο τις εξόδους άλλων νευρώνων, όχι τα συναπτικά βάρη ή τις εσωτερικές διεργασίες που διαμορφώνουν αυτή την έξοδο. Από τη σκοπιά ενός νευρώνα, «είναι εντάξει να γνωρίζετε τα δικά σας συναπτικά βάρη», είπε ο Yamins. "Αυτό που δεν είναι εντάξει είναι να γνωρίζετε το σύνολο συναπτικών βαρών κάποιου άλλου νευρώνα."

Οποιοσδήποτε βιολογικά εύλογος κανόνας μάθησης πρέπει επίσης να συμμορφώνεται με τον περιορισμό ότι οι νευρώνες μπορούν να έχουν πρόσβαση σε πληροφορίες μόνο από γειτονικούς νευρώνες. Το backprop μπορεί να απαιτεί πληροφορίες από πιο απομακρυσμένους νευρώνες. Οπότε, «εάν παίρνετε το backprop κατά γράμμα, φαίνεται αδύνατο για τους εγκεφάλους να υπολογίσουν», είπε ο Bengio.

Παρόλα αυτά, ο Hinton και μερικοί άλλοι ανέλαβαν αμέσως την πρόκληση να δουλέψουν πάνω σε βιολογικά εύλογες παραλλαγές της οπισθοδιάδοσης. «Η πρώτη δημοσίευση που υποστηρίζει ότι οι εγκέφαλοι κάνουν [κάτι σαν] οπίσθια διάδοση είναι περίπου τόσο παλιά όσο η οπίσθια διάδοση», δήλωσε ο Konrad Kording, ένας υπολογιστικός νευροεπιστήμονας στο Πανεπιστήμιο της Πενσυλβάνια. Την τελευταία δεκαετία περίπου, καθώς οι επιτυχίες των τεχνητών νευρωνικών δικτύων τα οδήγησαν να κυριαρχήσουν στην έρευνα τεχνητής νοημοσύνης, οι προσπάθειες για την εύρεση ενός βιολογικού ισοδύναμου για το backprop έχουν ενταθεί.

Μείνετε πιο ζωντανοί

Πάρτε, για παράδειγμα, μια από τις πιο περίεργες λύσεις στο πρόβλημα μεταφοράς βάρους, ευγενική προσφορά του Timothy Lillicrap του Google DeepMind στο Λονδίνο και των συναδέλφων του το 2016. Ο αλγόριθμός τους, αντί να βασίζεται σε έναν πίνακα βαρών που καταγράφηκαν από το πάσο προς τα εμπρός, χρησιμοποίησε ένα μήτρα αρχικοποιημένη με τυχαίες τιμές για το πέρασμα προς τα πίσω. Αφού εκχωρηθούν, αυτές οι τιμές δεν αλλάζουν ποτέ, επομένως δεν χρειάζεται να μεταφέρονται βάρη για κάθε πέρασμα προς τα πίσω.

Προς έκπληξη σχεδόν όλων, το δίκτυο έμαθε. Επειδή τα μπροστινά βάρη που χρησιμοποιούνται για την εξαγωγή συμπερασμάτων ενημερώνονται με κάθε πέρασμα προς τα πίσω, το δίκτυο εξακολουθεί να κατεβαίνει τη διαβάθμιση της συνάρτησης απώλειας, αλλά από διαφορετική διαδρομή. Τα μπροστινά βάρη ευθυγραμμίζονται αργά με τα τυχαία επιλεγμένα προς τα πίσω βάρη για να δώσουν τελικά τις σωστές απαντήσεις, δίνοντας το όνομά του στον αλγόριθμο:στοίχιση ανάδρασης.

"Αποδεικνύεται ότι, στην πραγματικότητα, αυτό δεν λειτουργεί τόσο άσχημα όσο νομίζετε ότι λειτουργεί", είπε ο Yamins - τουλάχιστον για απλά προβλήματα. Για προβλήματα μεγάλης κλίμακας και για βαθύτερα δίκτυα με περισσότερα κρυφά επίπεδα, η ευθυγράμμιση ανάδρασης δεν λειτουργεί τόσο καλά όσο το backprop:Επειδή οι ενημερώσεις στα μπροστινά βάρη είναι λιγότερο ακριβείς σε κάθε πέρασμα από ό,τι θα ήταν από πραγματικά αναδιπλούμενες πληροφορίες, χρειάζεται πολύ περισσότερα δεδομένα για την εκπαίδευση του δικτύου.

Οι ερευνητές έχουν επίσης εξερευνήσει τρόπους αντιστοίχισης της απόδοσης του backprop διατηρώντας παράλληλα την κλασική απαίτηση μάθησης Hebbian ότι οι νευρώνες ανταποκρίνονται μόνο στους τοπικούς γείτονές τους. Το Backprop μπορεί να θεωρηθεί ως ένα σύνολο νευρώνων που κάνουν το συμπέρασμα και ένα άλλο σύνολο νευρώνων που κάνουν τους υπολογισμούς για την ενημέρωση των συναπτικών βαρών. Η ιδέα του Hinton ήταν να εργαστεί σε αλγόριθμους στους οποίους κάθε νευρώνας έκανε και τα δύο σύνολα υπολογισμών. "Αυτό ήταν βασικά η συζήτηση του Geoff το 2007", είπε ο Bengio.

Με βάση το έργο του Hinton, η ομάδα του Bengio πρότεινε έναν κανόνα μάθησης το 2017 που απαιτεί ένα νευρωνικό δίκτυο με επαναλαμβανόμενες συνδέσεις (δηλαδή, εάν ο νευρώνας Α ενεργοποιεί τον νευρώνα Β, τότε ο νευρώνας Β ενεργοποιεί με τη σειρά του τον νευρώνα Α). Εάν δοθεί κάποια είσοδος σε ένα τέτοιο δίκτυο, ρυθμίζει το δίκτυο να αντηχεί, καθώς κάθε νευρώνας ανταποκρίνεται στην ώθηση και την έλξη των άμεσων γειτόνων του.

Τελικά, το δίκτυο φτάνει σε μια κατάσταση στην οποία οι νευρώνες βρίσκονται σε ισορροπία με την είσοδο και μεταξύ τους, και παράγει μια έξοδο, η οποία μπορεί να είναι λανθασμένη. Στη συνέχεια, ο αλγόριθμος ωθεί τους νευρώνες εξόδου προς το επιθυμητό αποτέλεσμα. Αυτό θέτει ένα άλλο σήμα που διαδίδεται προς τα πίσω μέσω του δικτύου, ενεργοποιώντας παρόμοια δυναμική. Το δίκτυο βρίσκει μια νέα ισορροπία.

«Η ομορφιά των μαθηματικών είναι ότι αν συγκρίνεις αυτές τις δύο διαμορφώσεις, πριν από την ώθηση και μετά την ώθηση, έχεις όλες τις πληροφορίες που χρειάζεσαι για να βρεις την κλίση», είπε ο Bengio. Η εκπαίδευση του δικτύου περιλαμβάνει απλώς την επανάληψη αυτής της διαδικασίας "διασποράς ισορροπίας" επαναληπτικά σε πολλά επισημασμένα δεδομένα.

Πρόβλεψη αντιλήψεων

Ο περιορισμός ότι οι νευρώνες μπορούν να μάθουν μόνο αντιδρώντας στο τοπικό τους περιβάλλον εκφράζεται επίσης σε νέες θεωρίες για το πώς αντιλαμβάνεται ο εγκέφαλος. Ο Μπέρεν Μίλιτζ, διδακτορικός φοιτητής στο Πανεπιστήμιο του Εδιμβούργου και επισκέπτης συνεργάτης στο Πανεπιστήμιο του Σάσεξ, και οι συνάδελφοί του συμβιβάζουν αυτή τη νέα άποψη της αντίληψης - που ονομάζεται προγνωστική κωδικοποίηση - με τις απαιτήσεις της οπισθοδιάδοσης. "Η προγνωστική κωδικοποίηση, εάν έχει ρυθμιστεί με συγκεκριμένο τρόπο, θα σας δώσει έναν βιολογικά εύλογο κανόνα μάθησης", είπε ο Millridge.

Η προγνωστική κωδικοποίηση υποστηρίζει ότι ο εγκέφαλος κάνει συνεχώς προβλέψεις σχετικά με τις αιτίες των αισθητηριακών εισροών. Η διαδικασία περιλαμβάνει ιεραρχικά στρώματα νευρωνικής επεξεργασίας. Για να παραχθεί μια συγκεκριμένη έξοδος, κάθε στρώμα πρέπει να προβλέψει τη νευρική δραστηριότητα του στρώματος παρακάτω. Εάν το υψηλότερο επίπεδο αναμένει να δει ένα πρόσωπο, προβλέπει τη δραστηριότητα του στρώματος από κάτω που μπορεί να δικαιολογήσει αυτήν την αντίληψη. Το παρακάτω επίπεδο κάνει παρόμοιες προβλέψεις σχετικά με το τι να περιμένετε από αυτό που βρίσκεται κάτω από αυτό και ούτω καθεξής. Το χαμηλότερο στρώμα κάνει προβλέψεις σχετικά με την πραγματική αισθητηριακή είσοδο — ας πούμε, τα φωτόνια που πέφτουν στον αμφιβληστροειδή. Με αυτόν τον τρόπο, οι προβλέψεις ρέουν από τα υψηλότερα επίπεδα προς τα κάτω.

Αλλά μπορεί να προκύψουν σφάλματα σε κάθε επίπεδο της ιεραρχίας:διαφορές μεταξύ της πρόβλεψης που κάνει ένα επίπεδο σχετικά με την είσοδο που αναμένει και της πραγματικής εισόδου. Το κατώτατο στρώμα προσαρμόζει τα συναπτικά του βάρη για να ελαχιστοποιήσει το σφάλμα του, με βάση τις αισθητηριακές πληροφορίες που λαμβάνει. Αυτή η προσαρμογή έχει ως αποτέλεσμα ένα σφάλμα μεταξύ του πρόσφατα ενημερωμένου χαμηλότερου στρώματος και του παραπάνω στρώματος, επομένως το υψηλότερο επίπεδο πρέπει να προσαρμόσει εκ νέου τα συναπτικά του βάρη για να ελαχιστοποιήσει το σφάλμα πρόβλεψής του. Αυτά τα σήματα σφάλματος κυματίζουν προς τα πάνω. Το δίκτυο πηγαίνει εμπρός και πίσω, έως ότου κάθε επίπεδο έχει ελαχιστοποιήσει το σφάλμα πρόβλεψής του.

Ο Millridge έχει δείξει ότι, με την κατάλληλη εγκατάσταση, τα δίκτυα πρόβλεψης κωδικοποίησης μπορούν να συγκλίνουν σχεδόν στις ίδιες κλίσεις μάθησης με το backprop. "Μπορείτε να πλησιάσετε πραγματικά, πραγματικά, πολύ κοντά στις κλίσεις του backprop", είπε.

Ωστόσο, για κάθε πέρασμα προς τα πίσω που κάνει ένας παραδοσιακός αλγόριθμος backprop σε ένα βαθύ νευρωνικό δίκτυο, ένα δίκτυο πρόβλεψης κωδικοποίησης πρέπει να επαναλαμβάνεται πολλές φορές. Το αν αυτό είναι βιολογικά εύλογο ή όχι εξαρτάται από το πόσο ακριβώς μπορεί να διαρκέσει αυτό σε έναν πραγματικό εγκέφαλο. Είναι πολύ σημαντικό, το δίκτυο να συγκλίνει σε μια λύση προτού αλλάξουν οι εισροές από τον εξωτερικό κόσμο.

«Δεν μπορεί να είναι σαν, «Έχω μια τίγρη να με πηδάει, επιτρέψτε μου να κάνω 100 επαναλήψεις μπρος-πίσω, πάνω-κάτω στον εγκέφαλό μου», είπε ο Μίλιτζ. Ωστόσο, εάν κάποια ανακρίβεια είναι αποδεκτή, η προγνωστική κωδικοποίηση μπορεί να καταλήξει σε γενικά χρήσιμες απαντήσεις γρήγορα, είπε.

Πυραμιδικοί νευρώνες

Μερικοί επιστήμονες ανέλαβαν το δύσκολο έργο της κατασκευής μοντέλων που μοιάζουν με backprop με βάση τις γνωστές ιδιότητες μεμονωμένων νευρώνων. Οι τυπικοί νευρώνες έχουν δενδρίτες που συλλέγουν πληροφορίες από τους άξονες άλλων νευρώνων. Οι δενδρίτες μεταδίδουν σήματα στο κυτταρικό σώμα του νευρώνα, όπου τα σήματα ενσωματώνονται. Αυτό μπορεί ή όχι να έχει ως αποτέλεσμα μια ακίδα ή δυναμικό δράσης, που βγαίνει στον άξονα του νευρώνα στους δενδρίτες των μετασυναπτικών νευρώνων.

Αλλά δεν έχουν όλοι οι νευρώνες ακριβώς αυτή τη δομή. Συγκεκριμένα, οι πυραμιδικοί νευρώνες - ο πιο άφθονος τύπος νευρώνων στον φλοιό - είναι σαφώς διαφορετικοί. Οι πυραμιδικοί νευρώνες έχουν μια δενδροειδή δομή με δύο ξεχωριστά σύνολα δενδριτών. Ο κορμός φτάνει ψηλά και διακλαδίζεται σε αυτό που ονομάζουμε κορυφαίο δενδρίτη. Η ρίζα φτάνει προς τα κάτω και διακλαδίζεται σε βασικούς δενδρίτες.

Μοντέλα που αναπτύχθηκαν ανεξάρτητα από τον Kording το 2001 και πιο πρόσφατα από τον Blake Richards του Πανεπιστημίου McGill και τον Mila και τους συνεργάτες του, έδειξαν ότι οι πυραμιδικοί νευρώνες θα μπορούσαν να σχηματίσουν τις βασικές μονάδες ενός δικτύου βαθιάς μάθησης κάνοντας ταυτόχρονα υπολογισμούς προς τα εμπρός και προς τα πίσω. Το κλειδί είναι ο διαχωρισμός των σημάτων που εισέρχονται στον νευρώνα για προοδευτικά συμπεράσματα και για σφάλματα που ρέουν προς τα πίσω, τα οποία θα μπορούσαν να αντιμετωπιστούν στο μοντέλο από τους βασικούς και τους κορυφαίους δενδρίτες, αντίστοιχα. Οι πληροφορίες και για τα δύο σήματα μπορούν να κωδικοποιηθούν στις αιχμές της ηλεκτρικής δραστηριότητας που ο νευρώνας στέλνει τον άξονά του ως έξοδο.

Στην τελευταία δουλειά από την ομάδα του Richards, «φτάσαμε στο σημείο όπου μπορούμε να δείξουμε ότι, χρησιμοποιώντας αρκετά ρεαλιστικές προσομοιώσεις νευρώνων, μπορείτε να εκπαιδεύσετε δίκτυα πυραμιδικών νευρώνων για να κάνετε διάφορες εργασίες», είπε ο Richards. "Και στη συνέχεια χρησιμοποιώντας ελαφρώς πιο αφηρημένες εκδόσεις αυτών των μοντέλων, μπορούμε να αποκτήσουμε δίκτυα πυραμιδικών νευρώνων για να μάθουμε το είδος των δύσκολων εργασιών που κάνουν οι άνθρωποι στη μηχανική μάθηση."

Ο ρόλος της προσοχής

Μια σιωπηρή απαίτηση για ένα βαθύ δίχτυ που χρησιμοποιεί backprop είναι η παρουσία ενός «δάσκαλου»:κάτι που μπορεί να υπολογίσει το σφάλμα που γίνεται από ένα δίκτυο νευρώνων. Αλλά «δεν υπάρχει δάσκαλος στον εγκέφαλο που να λέει σε κάθε νευρώνα στον κινητικό φλοιό, «Πρέπει να είσαι ενεργοποιημένος και απενεργοποιημένος», δήλωσε ο Pieter Roelfsema από το Ολλανδικό Ινστιτούτο Νευροεπιστήμης στο Άμστερνταμ.

Ο Roelfsema πιστεύει ότι η λύση του εγκεφάλου στο πρόβλημα βρίσκεται στη διαδικασία της προσοχής. Στα τέλη της δεκαετίας του 1990, αυτός και οι συνάδελφοί του έδειξαν ότι όταν οι πίθηκοι προσηλώνουν το βλέμμα τους σε ένα αντικείμενο, οι νευρώνες που αντιπροσωπεύουν αυτό το αντικείμενο στον φλοιό γίνονται πιο ενεργοί. Η πράξη του πιθήκου να εστιάζει την προσοχή του παράγει ένα σήμα ανάδρασης για τους υπεύθυνους νευρώνες. «Είναι ένα εξαιρετικά επιλεκτικό σήμα ανατροφοδότησης», είπε ο Roelfsema. «Δεν είναι σήμα σφάλματος. Απλώς λέει σε όλους αυτούς τους νευρώνες:Θα θεωρηθείς υπεύθυνος [για μια ενέργεια].»

Η επίγνωση του Roelfsema ήταν ότι αυτό το σήμα ανάδρασης θα μπορούσε να επιτρέψει τη μάθηση που μοιάζει με backprop όταν συνδυάζεται με διαδικασίες που αποκαλύπτονται σε ορισμένα άλλα νευροεπιστημονικά ευρήματα. Για παράδειγμα, ο Wolfram Schultz του Πανεπιστημίου του Cambridge και άλλοι έχουν δείξει ότι όταν τα ζώα εκτελούν μια ενέργεια που αποφέρει καλύτερα αποτελέσματα από τα αναμενόμενα, το σύστημα ντοπαμίνης του εγκεφάλου ενεργοποιείται. «Πλημμυρίζει ολόκληρο τον εγκέφαλο με νευρικούς ρυθμιστές», είπε ο Roelfsema. Τα επίπεδα ντοπαμίνης λειτουργούν σαν ένα παγκόσμιο σήμα ενίσχυσης.

Θεωρητικά, το σήμα ανάδρασης προσοχής θα μπορούσε να εκκινήσει μόνο εκείνους τους νευρώνες που είναι υπεύθυνοι για μια ενέργεια για να ανταποκριθούν στο παγκόσμιο σήμα ενίσχυσης ενημερώνοντας τα συναπτικά τους βάρη, είπε ο Roelfsema. Αυτός και οι συνεργάτες του χρησιμοποίησαν αυτή την ιδέα για να δημιουργήσουν ένα βαθύ νευρωνικό δίκτυο και να μελετήσουν τις μαθηματικές του ιδιότητες. «Αποδεικνύεται ότι λαμβάνετε αντίστροφη διάδοση σφαλμάτων. Βασικά παίρνετε την ίδια εξίσωση», είπε. "Αλλά τώρα έγινε βιολογικά εύλογο."

Η ομάδα παρουσίασε αυτήν την εργασία στο διαδικτυακό συνέδριο Neural Information Processing Systems τον Δεκέμβριο. «Μπορούμε να εκπαιδεύσουμε βαθιά δίκτυα», είπε ο Roelfsema. «Είναι μόνο κατά δύο έως τρεις συντελεστές πιο αργός από την οπισθοδιάδοση». Ως εκ τούτου, είπε, «ξεπερνά όλους τους άλλους αλγόριθμους που έχουν προταθεί ως βιολογικά εύλογοι».

Ωστόσο, συγκεκριμένες εμπειρικές αποδείξεις ότι οι ζωντανοί εγκέφαλοι χρησιμοποιούν αυτούς τους εύλογους μηχανισμούς παραμένουν άπιαστες. «Νομίζω ότι κάτι μας λείπει ακόμα», είπε ο Bengio. "Σύμφωνα με την εμπειρία μου, θα μπορούσε να είναι ένα μικρό πράγμα, ίσως μερικές ανατροπές σε μια από τις υπάρχουσες μεθόδους, που θα κάνει πραγματικά τη διαφορά."

Εν τω μεταξύ, ο Yamins και οι συνάδελφοί του στο Stanford έχουν προτάσεις για το πώς να προσδιορίσουν ποιος, εάν υπάρχει, από τους προτεινόμενους κανόνες μάθησης είναι ο σωστός. Αναλύοντας 1.056 τεχνητά νευρωνικά δίκτυα που εφαρμόζουν διαφορετικά μοντέλα μάθησης, διαπίστωσαν ότι ο τύπος του κανόνα μάθησης που διέπει ένα δίκτυο μπορεί να προσδιοριστεί από τη δραστηριότητα ενός υποσυνόλου νευρώνων με την πάροδο του χρόνου. Είναι πιθανό ότι τέτοιες πληροφορίες θα μπορούσαν να καταγραφούν από εγκεφάλους πιθήκων. "Αποδεικνύεται ότι εάν έχετε τη σωστή συλλογή παρατηρήσιμων στοιχείων, ίσως είναι δυνατό να καταλήξετε σε ένα αρκετά απλό σχήμα που θα σας επέτρεπε να προσδιορίσετε κανόνες μάθησης", είπε ο Yamins.

Δεδομένων τέτοιων προόδων, οι υπολογιστικοί νευροεπιστήμονες είναι αθόρυβα αισιόδοξοι. «Υπάρχουν πολλοί διαφορετικοί τρόποι με τους οποίους ο εγκέφαλος θα μπορούσε να κάνει backpropagation», είπε ο Kording. «Και η εξέλιξη είναι πολύ φοβερή. Η οπίσθια διάδοση είναι χρήσιμη. Υποθέτω ότι η εξέλιξη μας οδηγεί εκεί.»