Πόσο υπολογιστικά σύνθετος είναι ένας μεμονωμένος νευρώνας;
Ο χυλός εγκέφαλός μας φαίνεται να απέχει πολύ από τα τσιπ συμπαγούς πυριτίου στους επεξεργαστές υπολογιστών, αλλά οι επιστήμονες έχουν μακρά ιστορία να τα συγκρίνουν. Όπως το έθεσε ο Άλαν Τούρινγκ το 1952:«Δεν μας ενδιαφέρει το γεγονός ότι ο εγκέφαλος έχει τη συνοχή του κρύου χυλού». Με άλλα λόγια, το μέσο δεν έχει σημασία, μόνο η υπολογιστική ικανότητα.
Σήμερα, τα πιο ισχυρά συστήματα τεχνητής νοημοσύνης χρησιμοποιούν έναν τύπο μηχανικής μάθησης που ονομάζεται βαθιά μάθηση. Οι αλγόριθμοί τους μαθαίνουν επεξεργάζοντας τεράστιες ποσότητες δεδομένων μέσω κρυφών στρωμάτων διασυνδεδεμένων κόμβων, που αναφέρονται ως βαθιά νευρωνικά δίκτυα. Όπως υποδηλώνει το όνομά τους, τα βαθιά νευρωνικά δίκτυα εμπνεύστηκαν από τα πραγματικά νευρωνικά δίκτυα στον εγκέφαλο, με τους κόμβους να διαμορφώνονται σύμφωνα με πραγματικούς νευρώνες - ή, τουλάχιστον, σύμφωνα με όσα γνώριζαν οι νευροεπιστήμονες για τους νευρώνες στη δεκαετία του 1950, όταν ένα μοντέλο νευρώνων με επιρροή ονόμασε γεννήθηκε το perceptron. Από τότε, η κατανόησή μας για την υπολογιστική πολυπλοκότητα των μεμονωμένων νευρώνων έχει επεκταθεί δραματικά, επομένως οι βιολογικοί νευρώνες είναι γνωστό ότι είναι πιο περίπλοκοι από τους τεχνητούς. Αλλά κατά πόσο;
Για να το ανακαλύψουν, ο David Beniaguev, ο Idan Segev και ο Michael London, όλοι στο Εβραϊκό Πανεπιστήμιο της Ιερουσαλήμ, εκπαίδευσαν ένα τεχνητό βαθύ νευρωνικό δίκτυο για να μιμηθεί τους υπολογισμούς ενός προσομοιωμένου βιολογικού νευρώνα. Έδειξαν ότι ένα βαθύ νευρωνικό δίκτυο απαιτεί από πέντε έως οκτώ στρώματα διασυνδεδεμένων «νευρώνων» για να αντιπροσωπεύει την πολυπλοκότητα ενός μεμονωμένου βιολογικού νευρώνα.
Ακόμη και οι συγγραφείς δεν περίμεναν τέτοια πολυπλοκότητα. «Νόμιζα ότι θα ήταν πιο απλό και μικρότερο», είπε ο Beniaguev. Περίμενε ότι τρία ή τέσσερα επίπεδα θα ήταν αρκετά για να καταγράψουν τους υπολογισμούς που πραγματοποιήθηκαν μέσα στο κελί.
Ο Timothy Lillicrap, ο οποίος σχεδιάζει αλγόριθμους λήψης αποφάσεων στην εταιρεία τεχνητής νοημοσύνης που ανήκει στην Google, DeepMind, είπε ότι το νέο αποτέλεσμα υποδηλώνει ότι ίσως είναι απαραίτητο να ξανασκεφτούμε την παλιά παράδοση της χαλαρής σύγκρισης ενός νευρώνα στον εγκέφαλο με έναν νευρώνα στο πλαίσιο της μηχανικής μάθησης. . "Αυτό το έγγραφο βοηθά πραγματικά να αναγκάσει το ζήτημα να το σκεφτείς πιο προσεκτικά και να αντιμετωπίσεις σε ποιο βαθμό μπορείτε να κάνετε αυτές τις αναλογίες", είπε.
Η πιο βασική αναλογία μεταξύ τεχνητών και πραγματικών νευρώνων περιλαμβάνει τον τρόπο με τον οποίο χειρίζονται τις εισερχόμενες πληροφορίες. Και τα δύο είδη νευρώνων λαμβάνουν εισερχόμενα σήματα και, με βάση αυτές τις πληροφορίες, αποφασίζουν εάν θα στείλουν το δικό τους σήμα σε άλλους νευρώνες. Ενώ οι τεχνητοί νευρώνες βασίζονται σε έναν απλό υπολογισμό για να λάβουν αυτή την απόφαση, δεκαετίες έρευνας έχουν δείξει ότι η διαδικασία είναι πολύ πιο περίπλοκη στους βιολογικούς νευρώνες. Οι υπολογιστικοί νευροεπιστήμονες χρησιμοποιούν μια συνάρτηση εισόδου-εξόδου για να μοντελοποιήσουν τη σχέση μεταξύ των εισόδων που λαμβάνονται από τους μακρούς δενδρώδεις κλάδους ενός βιολογικού νευρώνα, που ονομάζονται δενδρίτες, και της απόφασης του νευρώνα να στείλει ένα σήμα.
Αυτή η συνάρτηση είναι αυτή που οι συγγραφείς της νέας εργασίας δίδαξαν να μιμείται ένα τεχνητό βαθύ νευρωνικό δίκτυο για να προσδιορίσει την πολυπλοκότητά του. Ξεκίνησαν δημιουργώντας μια τεράστια προσομοίωση της συνάρτησης εισόδου-εξόδου ενός τύπου νευρώνα με διακριτά δέντρα δενδριτικών κλαδιών στην κορυφή και στο κάτω μέρος του, γνωστά ως πυραμιδοειδής νευρώνας, από τον φλοιό ενός αρουραίου. Στη συνέχεια τροφοδότησαν την προσομοίωση σε ένα βαθύ νευρωνικό δίκτυο που είχε έως και 256 τεχνητούς νευρώνες σε κάθε στρώμα. Συνέχισαν να αυξάνουν τον αριθμό των επιπέδων έως ότου πέτυχαν ακρίβεια 99% στο επίπεδο του χιλιοστού του δευτερολέπτου μεταξύ της εισόδου και της εξόδου του προσομοιωμένου νευρώνα. Το βαθύ νευρωνικό δίκτυο προέβλεψε επιτυχώς τη συμπεριφορά της συνάρτησης εισόδου-εξόδου του νευρώνα με τουλάχιστον πέντε - αλλά όχι περισσότερα από οκτώ - τεχνητά στρώματα. Στα περισσότερα από τα δίκτυα, αυτό ισοδυναμούσε με περίπου 1.000 τεχνητούς νευρώνες για έναν μόνο βιολογικό νευρώνα.
«[Το αποτέλεσμα] σχηματίζει μια γέφυρα από βιολογικούς νευρώνες σε τεχνητούς νευρώνες», δήλωσε ο Αντρέας Τόλιας, ένας υπολογιστικός νευροεπιστήμονας στο Baylor College of Medicine.
Αλλά οι συγγραφείς της μελέτης προειδοποιούν ότι δεν είναι ακόμη μια απλή αλληλογραφία. «Η σχέση ανάμεσα στο πόσα επίπεδα έχετε σε ένα νευρωνικό δίκτυο και την πολυπλοκότητα του δικτύου δεν είναι προφανής», είπε ο Λονδίνο. Επομένως, δεν μπορούμε πραγματικά να πούμε πόσο περισσότερη πολυπλοκότητα αποκτάται μεταβαίνοντας από, για παράδειγμα, τέσσερα επίπεδα σε πέντε. Ούτε μπορούμε να πούμε ότι η ανάγκη για 1.000 τεχνητούς νευρώνες σημαίνει ότι ένας βιολογικός νευρώνας είναι ακριβώς 1.000 φορές πιο πολύπλοκος. Τελικά, είναι πιθανό η χρήση εκθετικά περισσότερων τεχνητών νευρώνων σε κάθε επίπεδο να οδηγήσει τελικά σε ένα βαθύ νευρωνικό δίκτυο με ένα μόνο επίπεδο — αλλά πιθανότατα θα απαιτούσε πολύ περισσότερα δεδομένα και χρόνο για να μάθει ο αλγόριθμος.
«Δοκιμάσαμε πολλές, πολλές αρχιτεκτονικές με πολλά βάθη και πολλά πράγματα, και ως επί το πλείστον αποτύχαμε», είπε ο Λονδίνο. Οι συγγραφείς έχουν μοιραστεί τον κώδικά τους για να ενθαρρύνουν άλλους ερευνητές να βρουν μια έξυπνη λύση με λιγότερα επίπεδα. Όμως, δεδομένου του πόσο δύσκολο ήταν να βρεθεί ένα βαθύ νευρωνικό δίκτυο που θα μπορούσε να μιμηθεί τον νευρώνα με ακρίβεια 99%, οι συγγραφείς είναι βέβαιοι ότι το αποτέλεσμά τους παρέχει μια ουσιαστική σύγκριση για περαιτέρω έρευνα. Η Lillicrap πρότεινε ότι μπορεί να προσφέρει έναν νέο τρόπο συσχέτισης δικτύων ταξινόμησης εικόνων, που συχνά απαιτούν πάνω από 50 επίπεδα, με τον εγκέφαλο. Εάν κάθε βιολογικός νευρώνας είναι σαν ένα τεχνητό νευρωνικό δίκτυο πέντε επιπέδων, τότε ίσως ένα δίκτυο ταξινόμησης εικόνων με 50 επίπεδα ισοδυναμεί με 10 πραγματικούς νευρώνες σε ένα βιολογικό δίκτυο.
Οι συγγραφείς ελπίζουν επίσης ότι το αποτέλεσμά τους θα αλλάξει την τρέχουσα αρχιτεκτονική βαθιάς τεχνολογίας αιχμής στο AI. «Ζητούμε την αντικατάσταση της τεχνολογίας του βαθιάς δικτύου για να γίνει πιο κοντά στον τρόπο λειτουργίας του εγκεφάλου αντικαθιστώντας κάθε απλή μονάδα στο βαθύ δίκτυο σήμερα με μια μονάδα που αντιπροσωπεύει έναν νευρώνα, ο οποίος είναι ήδη -από μόνος του- βαθύς», είπε. Segev. Σε αυτό το σενάριο αντικατάστασης, οι ερευνητές και οι μηχανικοί τεχνητής νοημοσύνης θα μπορούσαν να συνδέσουν ένα βαθύ δίκτυο πέντε επιπέδων ως «μίνι δίκτυο» για να αντικαταστήσουν κάθε τεχνητό νευρώνα.
Αλλά κάποιοι αναρωτιούνται αν αυτό θα ωφελούσε πραγματικά την τεχνητή νοημοσύνη. «Νομίζω ότι αυτό είναι ένα ανοιχτό ερώτημα, αν υπάρχει πραγματικό υπολογιστικό πλεονέκτημα», δήλωσε ο Anthony Zador, νευροεπιστήμονας στο Cold Spring Harbor Laboratory. "Αυτό το [έργο] θέτει τα θεμέλια για τη δοκιμή αυτού."
Εκτός των εφαρμογών τεχνητής νοημοσύνης, το νέο έγγραφο προσθέτει επίσης μια αυξανόμενη συναίνεση σχετικά με την ισχυρή υπολογιστική ισχύ των δενδριτικών δέντρων και, μέσω αντιπροσώπων, των μεμονωμένων νευρώνων. Το 2003, μια τριάδα νευροεπιστημόνων έδειξαν ότι τα δενδριτικά δέντρα ενός πυραμιδικού νευρώνα εκτελούν σύνθετους υπολογισμούς μοντελοποιώντας τον ως ένα τεχνητό νευρωνικό δίκτυο δύο επιπέδων. Στη νέα εργασία, οι συγγραφείς διερεύνησαν ποια χαρακτηριστικά του πυραμιδικού νευρώνα ενέπνευσαν την πολύ μεγαλύτερη πολυπλοκότητα στα βαθιά νευρωνικά δίκτυά τους πέντε έως οκτώ επιπέδων. Κατέληξαν στο συμπέρασμα ότι προήλθε από τα δενδριτικά δέντρα και από έναν συγκεκριμένο υποδοχέα που λαμβάνει χημικούς αγγελιοφόρους στην επιφάνεια των δενδριτών — ευρήματα που ήταν σύμφωνα με προηγούμενες εργασίες στο πεδίο.
Ορισμένοι πιστεύουν ότι το αποτέλεσμα σημαίνει ότι οι νευροεπιστήμονες θα πρέπει να θέσουν τη μελέτη μεμονωμένων νευρώνων μεγαλύτερη προτεραιότητα. «Αυτή η εργασία κάνει τη σκέψη για τους δενδρίτες και τους μεμονωμένους νευρώνες πολύ πιο σημαντική από ό,τι ήταν πριν», δήλωσε ο Konrad Kording, ένας υπολογιστικός νευροεπιστήμονας στο Πανεπιστήμιο της Πενσυλβάνια. Άλλοι, όπως ο Lillicrap και ο Zador, πρότειναν ότι η εστίαση σε νευρώνες μέσα σε ένα κύκλωμα θα είναι εξίσου σημαντική για την εκμάθηση του τρόπου με τον οποίο ο εγκέφαλος χρησιμοποιεί πραγματικά την υπολογιστική πολυπλοκότητα μεμονωμένων νευρώνων.
Ανεξάρτητα από αυτό, η γλώσσα των τεχνητών νευρωνικών δικτύων μπορεί να προσφέρει νέα εικόνα για τη δύναμη των νευρώνων και, τελικά, του εγκεφάλου. «Η σκέψη ως προς τα επίπεδα, τα βάθη και τα πλάτη μας δίνει μια διαισθητική αίσθηση υπολογιστικής πολυπλοκότητας», δήλωσε η Grace Lindsay, υπολογιστική νευροεπιστήμονας στο University College του Λονδίνου. Ωστόσο, η Lindsay προειδοποιεί επίσης ότι η νέα δουλειά εξακολουθεί να συγκρίνει μόνο ένα μοντέλο με ένα μοντέλο. Δυστυχώς, επί του παρόντος είναι αδύνατο για τους νευροεπιστήμονες να καταγράψουν την πλήρη συνάρτηση εισόδου-εξόδου ενός πραγματικού νευρώνα, επομένως είναι πιθανό να συμβαίνουν περισσότερα που το μοντέλο ενός βιολογικού νευρώνα δεν συλλαμβάνει. Με άλλα λόγια, οι πραγματικοί νευρώνες μπορεί να είναι ακόμη πιο περίπλοκοι.
«Δεν είμαστε σίγουροι ότι μεταξύ πέντε και οκτώ είναι πραγματικά ο τελικός αριθμός», είπε ο Λονδίνο.
