Τα σκληρά μαθήματα της μοντελοποίησης της πανδημίας του κορωνοϊού

Για μερικούς μήνες πέρυσι, ο Nigel Goldenfeld και ο Sergei Maslov, ένα ζευγάρι φυσικών στο Πανεπιστήμιο του Illinois, Urbana-Champaign, ήταν απίθανες διασημότητες στην απόκριση της πολιτείας τους στην πανδημία COVID-19 — δηλαδή μέχρι που όλα πήγαν στραβά.

Οι τυπικοί τομείς έρευνάς τους περιλαμβάνουν μοντέλα κατασκευής για τη φυσική συμπυκνωμένης ύλης, την εξέλιξη του ιού και τη δυναμική του πληθυσμού, όχι την επιδημιολογία ή τη δημόσια υγεία. Όμως, όπως πολλοί επιστήμονες από διαφορετικούς τομείς, εντάχθηκαν στην προσπάθεια μοντελοποίησης του COVID-19 τον Μάρτιο, όταν η απάντηση στις Ηνωμένες Πολιτείες ήταν ένας ανεμοστρόβιλος δραστηριότητας «όλα τα χέρια στο κατάστρωμα» απουσία οποιασδήποτε πραγματικής εθνικής κατεύθυνσης ή καθιερωμένων πρωτοκόλλων δοκιμών. Από τους ηγέτες της χώρας μέχρι τους τοπικούς αξιωματούχους, όλοι φώναζαν για μοντέλα που θα μπορούσαν να τους βοηθήσουν να αντιμετωπίσουν την έξαρση της πανδημίας - ελπίζοντας σε κάτι που θα μπορούσε να τους πει πόσο άσχημα θα γινόταν, πόσο γρήγορα και τι πρέπει να κάνουν για να φύγουν καταστροφή.

Εκείνους τους πρώτους μήνες του 2020, ο Γκόλντενφελντ και ο Μάσλοβ είχαν θετική κάλυψη από τον Τύπο για τη δουλειά τους στο μοντέλο COVID-19. Τα μοντέλα τους βοήθησαν το πανεπιστήμιό τους να κλείσει γρήγορα την πανεπιστημιούπολη την άνοιξη και να μεταβεί στην εκπαίδευση μόνο στο διαδίκτυο. Λίγο αργότερα, η δική τους ήταν μία από τις πολλές ομάδες μοντέλων που στρατολογήθηκαν για να αναφέρουν τα αποτελέσματά τους στο γραφείο του κυβερνήτη του Ιλινόις.

Έτσι, όταν οι Goldenfeld, Maslov και η υπόλοιπη ερευνητική τους ομάδα κατασκεύασαν ένα νέο μοντέλο για να καθοδηγήσουν τη διαδικασία επαναλειτουργίας του πανεπιστημίου τους, η εμπιστοσύνη σε αυτό έφτασε στα ύψη. Είχαν εξηγήσει διάφορους τρόπους με τους οποίους οι μαθητές μπορούσαν να αλληλεπιδράσουν - μελέτη, φαγητό, χαλάρωση, πάρτι και ούτω καθεξής - σε διάφορες τοποθεσίες. Είχαν υπολογίσει πόσο καλά θα μπορούσαν να λειτουργήσουν οι υπηρεσίες δοκιμών και απομόνωσης στην πανεπιστημιούπολη. Είχαν σκεφτεί ποιο ποσοστό του μαθητικού σώματος μπορεί να μην εμφανίσει ποτέ συμπτώματα κατά τη διάδοση του ιού. Για όλους αυτούς τους παράγοντες και περισσότερους, είχαν αντισταθμίσει ευρέως φάσματα πιθανών αβεβαιοτήτων και υποθετικών σεναρίων. Είχαν δημιουργήσει ακόμη και ένα επιπλέον επίπεδο λεπτομέρειας που δεν είχαν τα περισσότερα μοντέλα επαναλειτουργίας σχολείων, αντιπροσωπεύοντας τη φυσική της εξάπλωσης αεροζόλ:πόσα σωματίδια ιού μπορεί να εκπέμπει ένας μαθητής όταν μιλάει μέσα από μια μάσκα σε μια τάξη ή όταν πίνει και φωνάζει από πάνω η μουσική σε ένα γεμάτο μπαρ.

Ακολουθώντας τις οδηγίες του μοντέλου, το Πανεπιστήμιο του Ιλινόις διαμόρφωσε ένα σχέδιο. Θα δοκιμάζει όλους τους μαθητές του για τον κορωνοϊό δύο φορές την εβδομάδα, θα απαιτεί τη χρήση μάσκας και θα εφαρμόζει άλλους υλικοτεχνικούς λόγους και ελέγχους, συμπεριλαμβανομένου ενός αποτελεσματικού συστήματος ανίχνευσης επαφών και μιας τηλεφωνικής εφαρμογής ειδοποίησης έκθεσης. Τα μαθηματικά υποδεικνύουν ότι αυτός ο συνδυασμός πολιτικών θα ήταν επαρκής για να επιτραπεί η επανέναρξη της αυτοπροσώπως διδασκαλίας χωρίς να περιοριστεί η εκθετική εξάπλωση του ιού.

Αλλά στις 3 Σεπτεμβρίου, μόλις μία εβδομάδα μετά το φθινοπωρινό εξάμηνο, το πανεπιστήμιο αντιμετώπισε μια ζοφερή πραγματικότητα. Σχεδόν 800 από τους μαθητές του είχαν βρεθεί θετικοί στον κοροναϊό — περισσότεροι από ό,τι είχε προβλέψει το μοντέλο για την Ημέρα των Ευχαριστιών. Οι διαχειριστές έπρεπε να εκδώσουν μια άμεση αναστολή μη βασικών δραστηριοτήτων σε όλη την πανεπιστημιούπολη.

Τι είχε πάει στραβά; Οι επιστήμονες είχαν φαινομενικά συμπεριλάβει τόσα πολλά περιθώρια για λάθη, τόσα πολλά απρόοπτα για το πώς θα μπορούσαν να συμπεριφερθούν οι μαθητές. «Αυτό που δεν περιμέναμε ήταν ότι θα παραβίαζαν το νόμο», είπε ο Γκόλντενφελντ - ότι ορισμένοι μαθητές, ακόμη και αφού βγήκαν θετικοί και τους είπαν να μπουν σε καραντίνα, θα παρευρίσκονταν ούτως ή άλλως σε πάρτι. Αυτό αποδείχτηκε κρίσιμο:Δεδομένου του τρόπου με τον οποίο εξαπλώνεται ο COVID-19, ακόμη και αν μόνο λίγοι μαθητές παραβίαζαν τους κανόνες, το ποσοστό μόλυνσης θα μπορούσε να εκραγεί.

Οι επικριτές έσπευσαν να επιτεθούν στον Γκόλντενφελντ και στον Μάσλοφ, κατηγορώντας τους για αλαζονεία και αποτυχία να παραμείνουν στη λωρίδα τους — «μια συναίνεση [που] ήταν πολύ δύσκολο να νικηθεί, ακόμη και όταν οι άνθρωποι που είναι αναγνωρισμένοι ειδικοί συνηγόρησαν στην υπεράσπισή μας», είπε ο Μάσλοφ .

Εν τω μεταξύ, το Πανεπιστήμιο του Ιλινόις δεν ήταν καθόλου μοναδικό. Πολλά κολέγια σε όλη τη χώρα αναγκάστηκαν να υπολογίσουν παρόμοιες αποκλίσεις μεταξύ του τι έλεγαν τα δικά τους μοντέλα ότι μπορεί να συμβεί και του τι συνέβη στην πραγματικότητα — αποκλίσεις που αποδίδονται αργότερα σε μια ευρεία ποικιλία λόγων.

Τέτοια γεγονότα υπογράμμισαν μια σκληρή πραγματικότητα:Όσο απίστευτα χρήσιμα και σημαντικά κι αν είναι τα επιδημιολογικά μοντέλα, είναι ένα ατελές εργαλείο, ευαίσθητο στα δεδομένα που χρησιμοποιούν και στις υποθέσεις πάνω στις οποίες βασίζονται. Και λόγω αυτής της ευαισθησίας, οι επιδιωκόμενοι στόχοι και οι χρήσεις τους συχνά παρεξηγούνται.

Οι ερευνητές που αναπτύσσουν αυτά τα μοντέλα πρέπει να περιηγηθούν σε απίστευτα δύσκολο έδαφος, παρέχοντας απαντήσεις όπου συχνά δεν υπάρχουν, με βεβαιότητα ότι δεν μπορούν να εγγυηθούν. Πρέπει να κάνουν υποθέσεις όχι μόνο για τη βιολογία του ιού, η οποία απέχει πολύ από το να είναι πλήρως κατανοητή, αλλά και για την ανθρώπινη συμπεριφορά, η οποία μπορεί να είναι ακόμη πιο ολισθηρή και άπιαστη. Και πρέπει να τα κάνουν όλα με μεγάλη ταχύτητα, στριμώχνοντας ανάλυση εβδομάδων ή μηνών σε λίγες μέρες χωρίς να θυσιάζουν την ακρίβεια. Όλο αυτό το διάστημα, υποφέρουν από τις πολλές ώρες, τις άγρυπνες νύχτες και τον προσωπικό φόρο που ενεργούν ως επιστήμονες, επικοινωνιολόγοι, συνήγοροι και σύμβουλοι όλα σε ένα. (Για να μην αναφέρουμε τις συνήθεις ευθύνες τους, που επίσης μεγεθύνονται πολλαπλά από την κρίση:Σε τηλεφωνήματα με πολλούς από αυτούς τους επιστήμονες, υπάρχει μεγάλη πιθανότητα να ακούμε βρέφη να κλαίνε, σκυλιά να γαβγίζουν ή μια κακοφωνία άλλης δραστηριότητας στο παρασκήνιο.)

«Αυτή τη στιγμή, είμαι πολύ κουρασμένος», είπε ο Daniel Larremore, υπολογιστικός βιολόγος στο Πανεπιστήμιο του Κολοράντο, Boulder, του οποίου οι προσπάθειες μοντελοποίησης περιελάμβαναν τη σχεδίαση σεναρίων για το άνοιγμα της πανεπιστημιούπολης του κολεγίου του. «Δεν υπάρχει ξεκάθαρη καλύτερη λύση και οι άνθρωποι θα αρρωστήσουν. Και απλώς αναρωτιέμαι πώς [θα νιώσω] όταν ένας από τους συναδέλφους μου αρρωστήσει πραγματικά ή αν κάποιος πεθάνει». Θυμάται ότι αφού ο ίδιος και άλλοι στην ίδια θέση ομολόγησαν αυτήν την εξάντληση στο Twitter, κάποιος απάντησε ότι αυτά τα διακυβεύματα δεν είναι κάτι καινούργιο για τους ανθρώπους που εργάζονται στους τομείς της εθνικής ασφάλειας και της άμυνας — αλλά αυτό δεν βοηθά με την πίεση να αντιμετωπίζουν ζοφερές επιλογές και πρέπει να ψάξουμε για το λιγότερο ανυπόφορο ανάμεσά τους.

«Κάνεις ό,τι καλύτερο μπορείς με αυτό που σου δίνουν, αλλά δεν ξέρω», είπε. "Κοιτάω τους αριθμούς που έρχονται καθημερινά και αναρωτιέμαι… τι μας λείπει."

Στην παγκόσμια κρίση υγείας που προκλήθηκε από τον COVID-19, η επιδημιολογική μοντελοποίηση έπαιξε έναν άνευ προηγουμένου ρόλο — τόσο για τους επιστήμονες, τους υπεύθυνους λήψης αποφάσεων όσο και για το κοινό. Μόλις πριν από ένα χρόνο, όροι όπως «αριθμός αναπαραγωγής» και «σειριακό διάστημα» ήταν κάθε άλλο παρά κοινές φράσεις για τον μέσο άνθρωπο. Ακόμη και στην επιστημονική κοινότητα, η μοντελοποίηση μολυσματικών ασθενειών ήταν "ένα αρκετά εξειδικευμένο πεδίο έρευνας", δήλωσε ο Samuel Scarpino, επιστήμονας δικτύου και επιδημιολόγος στο Northeastern University.

Τον περασμένο χρόνο, τα μοντέλα άνοιξαν ένα παράθυρο στην εσωτερική λειτουργία του νέου κοροναϊού και στον τρόπο εξάπλωσής του. Έχουν προσφέρει καλά εστιασμένα στιγμιότυπα που δείχνουν τον αντίκτυπο της νόσου σε συγκεκριμένες στιγμές σε μυριάδες ρυθμίσεις και πρότειναν πώς αυτές οι καταστάσεις μπορούν να αλλάξουν στο μέλλον. Έχουν καθοδηγήσει αποφάσεις και πολιτικές, τόσο για το κλείσιμο τμημάτων της κοινωνίας όσο και για το άνοιγμα τους.

Ταυτόχρονα, οι επιστήμονες έπρεπε να υπολογίσουν τους περιορισμούς των μοντέλων ως εργαλεία - και με τη συνειδητοποίηση ότι οι πανδημίες μπορούν να ωθήσουν τη χρησιμότητα των μοντέλων στο οριακό σημείο. Οι καταστροφές των ασθενειών στην κοινωνία εντείνουν τους πονοκεφάλους που συνδέονται με τη λήψη αμερόληπτων, συνεπών δεδομένων ασθενών και ενισχύουν την ευστάθεια και τον παραλογισμό των ανθρώπινων συμπεριφορών που πρέπει να αντικατοπτρίζουν τα μοντέλα. Ίσως η μεγαλύτερη πρόκληση από όλες είναι απλώς να βεβαιωθείτε ότι οι υπεύθυνοι λήψης αποφάσεων κατανοούν πλήρως τι λένε και τι δεν λένε τα μοντέλα και πόσο αβέβαιες είναι οι απαντήσεις τους.

Αλλά αυτές οι προκλήσεις οδηγούν επίσης σε τεράστιες βελτιώσεις. Ο κόσμος της επιδημιολογικής μοντελοποίησης έχει δει «πολλές νέες σκέψεις, νέες μεθόδους», δήλωσε η Lauren Ancel Meyers, μαθηματικός βιολόγος στο Πανεπιστήμιο του Τέξας στο Ώστιν. "Θα τολμούσα ότι πιθανώς έχουμε προχωρήσει τόσο πολύ τους τελευταίους [10] μήνες όσο τα προηγούμενα έξι χρόνια."

Διάγνωση πανδημίας

Όταν οι ειδικοί στις μολυσματικές ασθένειες άρχισαν να ακούν στα τέλη Δεκεμβρίου 2019 και στις αρχές Ιανουαρίου 2020 ότι μια συστάδα ασθενειών που μοιάζουν με πνευμονία είχε εμφανιστεί στην Κίνα, έγιναν αμέσως άγρυπνοι. «Στον τομέα μας», είπε ο Adam Kucharski, επιδημιολόγος στο London School of Hygiene and Tropical Medicine, «μια πανδημία είναι πάντα στο ραντάρ ως απειλή». Πράγματι, τέσσερις επιδημίες — γρίπη H1N1, SARS, MERS και Έμπολα — ξέσπασαν μόνο τις τελευταίες δύο δεκαετίες και νέοι λοιμογόνοι παράγοντες εξελίσσονται συνεχώς.

Όμως, εκείνες τις πρώτες μέρες της επιδημίας του κορωνοϊού στην Κίνα, κανείς δεν γνώριζε αρκετά για να προβλέψει αν θα εκραγεί σε απειλή ή αν θα εξαφανιζόταν γρήγορα, όπως κάνουν τόσες πολλές ασθένειες. Ο ιός μεταδιδόταν από άτομο σε άτομο ή όλες οι λοιμώξεις προήλθαν από τις ίδιες ζωικές πηγές σε μια αγορά στο Wuhan; Θα μπορούσε το κλείσιμο των συνόρων να περιορίσει τη μόλυνση ή μπορεί να εξαπλωθεί παγκοσμίως;

Χωρίς ουσιαστικά δεδομένα στα χέρια και χωρίς πραγματική ιδέα ακόμα για το τι έκανε ή πώς λειτουργούσε ο ιός, οι ερευνητές έψαξαν σε μοντέλα για απαντήσεις.

Ο μοντελιστής μαθηματικών ασθενειών Joseph Wu, μέλος των ομάδων μολυσματικών ασθενειών και δημόσιας υγείας του Πανεπιστημίου του Χονγκ Κονγκ, εξέταζε προσεκτικά τον αριθμό των περιπτώσεων που αναφέρθηκαν μέσα και γύρω από τη Γουχάν. Η μετάδοση από άνθρωπο σε άνθρωπο είχε αρχίσει να φαίνεται εξαιρετικά πιθανή:Μια χούφτα κρουσμάτων είχαν εμφανιστεί πέρα ​​από τα σύνορα της Κίνας, πρώτα στην Ταϊλάνδη και μετά στην Ιαπωνία. Με βάση την αναφερόμενη εξάπλωση και τον όγκο ταξιδιών από την Κίνα σε άλλες χώρες, είπε ο Γου, ο ίδιος και οι συνάδελφοί του υπολόγισαν ότι «ο αριθμός των κρουσμάτων στη Γουχάν πρέπει να είναι πολύ, πολύ μεγαλύτερος από ό,τι είχαν ανακοινώσει εκείνη την εποχή». Ένα σημαντικά μεγαλύτερο μέγεθος εστίας θα σήμαινε ότι οι άνθρωποι μεταδίδουν τον ιό σε άλλους.

Ο Γου και η ομάδα του δεν ήταν οι μόνοι που κατέληξαν σε αυτά τα συμπεράσματα. Στις 10 Ιανουαρίου 2020, ο Παγκόσμιος Οργανισμός Υγείας φιλοξένησε μια τηλεδιάσκεψη για ομάδες ειδικών σε όλο τον κόσμο που έκαναν παρόμοιες αναλύσεις, συγκέντρωναν τα δικά τους μοντέλα για τη νόσο και εκφράζοντας τις ίδιες ανησυχίες.

Ωστόσο, ο όμιλος του Χονγκ Κονγκ ήθελε περισσότερα δεδομένα για να κατανοήσει καλύτερα την κατάσταση. Στις 23 Ιανουαρίου 2020, ο Γου και οι συνάδελφοί του επιβιβάστηκαν σε μια πτήση για το Πεκίνο, με σχέδια να συναντηθούν με μέλη του Κινεζικού Κέντρου Ελέγχου και Πρόληψης Νοσημάτων.

Τα κατάφεραν ακριβώς τη στιγμή που η κρίση έφτασε στο κεφάλι:Ενώ ήταν στον αέρα, η Γουχάν μπήκε σε επίσημο lockdown. (Τα νέα τα έμαθαν μόνο μετά την προσγείωση του αεροπλάνου τους.) Μετά από αρκετές ταραχώδεις ημέρες σε συνεργασία με ερευνητές στο κινεζικό CDC που είχαν περάσει τις προηγούμενες τρεις εβδομάδες συλλέγοντας δεδομένα, η αντιπροσωπεία του Χονγκ Κονγκ κατέληξε στο συμπέρασμα ότι το ξέσπασμα στη Γουχάν πρέπει να ήταν της σειράς δεκάδες χιλιάδες περιπτώσεις, όχι οι δύο χιλιάδες που είχαν αναφερθεί επίσημα σε εκείνο το σημείο. «Δεδομένου ότι κλείδωναν την πόλη ακόμη και πριν δούμε τα δεδομένα», είπε ο Γου, «κάπως ήδη ξέραμε».

Ακόμη πιο ανησυχητικό, αυτοί οι αριθμοί και οι επακόλουθες αναλύσεις υποδήλωναν όχι μόνο ότι ο ιός θα μπορούσε να εξαπλωθεί γρήγορα, αλλά ότι ένα μεγάλο ποσοστό των περιπτώσεων παρέμενε απαρατήρητο, γλιστρούσε μέσα από τις ρωγμές και σπορούσε επιδημίες αλλού. Μεγάλο μέρος της μετάδοσης συνέβαινε ακόμη και πριν οι άνθρωποι αρχίσουν να εμφανίζουν συμπτώματα. Ήταν καιρός να πω ότι επρόκειτο για πανδημία — μια πανδημία που δεν ήταν μόνο γρήγορη, αλλά και τουλάχιστον εν μέρει σιωπηλή.

«Φανταστείτε να γυρίσετε πίσω στα τέλη Ιανουαρίου, όταν ήταν κυρίως μόνο η Γουχάν», είπε ο Γου. «Όταν κάνουμε αυτή τη δήλωση, υπάρχει κάποια πίεση:Κι αν κάναμε λάθος;» Θα μπορούσαν να προκαλούν έναν παγκόσμιο πανικό άσκοπα. Και ίσως χειρότερα, θα μπορούσαν να βλάψουν τον τρόπο λήψης των επιδημιολογικών μοντέλων στο μέλλον, δημιουργώντας περισσότερες κρίσεις δημόσιας υγείας τα επόμενα χρόνια. Στο τέλος, αποφάσισαν ότι ο κίνδυνος ήταν αρκετά μεγάλος «που πρέπει να προχωρήσουμε και να προειδοποιήσουμε τον κόσμο, παρόλο που γνωρίζουμε ότι υπάρχει κάποια αβεβαιότητα στις προβλέψεις μας», είπε.

«Ως ερευνητής, φυσικά ελπίζω να συνεισφέρω», πρόσθεσε. "Αλλά την ίδια στιγμή, δεν έχω συνηθίσει να αναλαμβάνω τέτοιου είδους ευθύνη."

Μη αποκτήσιμοι αριθμοί

Σε όλο τον κόσμο, άλλοι επιδημιολογικοί μοντελιστές πάλευαν επίσης με αυτές τις νέες ευθύνες. Τα επίπεδα ασυμπτωματικής εξάπλωσης ήταν ιδιαίτερα δύσκολο να γίνουν αποδεκτά και να μοντελοποιηθούν. Τυπικά, μια λοίμωξη του αναπνευστικού μεταδίδεται μέσω του φτερνίσματος και του βήχα - δηλαδή, μέσω των συμπτωμάτων της λοίμωξης. Ο SARS-CoV-2 ταξίδεψε πιο κρυφά. «Δυσκολεύομαι πραγματικά να βρω άλλα παραδείγματα όπου υπάρχει τόσο υψηλό ποσοστό ασυμπτωματικής μετάδοσης», δήλωσε ο Nicholas Jewell, βιοστατολόγος στο Πανεπιστήμιο της Καλιφόρνια στο Μπέρκλεϋ.

Στην αρχή, με σχεδόν καθόλου γνώση του ποιες θα πρέπει να είναι οι παράμετροι για την περιγραφή του COVID-19, οι ερευνητές συμπλήρωσαν τα μοντέλα τους με αριθμούς από το επόμενο καλύτερο πράγμα:το SARS, μια άλλη επιδημική ασθένεια που προκαλείται από έναν κοροναϊό. Αλλά η χρήση χαρακτηριστικών του SARS για την αναπαράσταση της δυναμικής μετάδοσης του νέου κοροναϊού έδειξε ότι τα δύο ήταν πολύ, πολύ διαφορετικά.

Ο Meyers είναι ένας από τους επιστήμονες που το δοκίμασαν. Στα μοντέλα της ομάδας της, ακόμη και οι αρχικοί αριθμοί που βγήκαν από την Κίνα «έδειξαν τρία κρίσιμα πράγματα που ήταν κάπως εντυπωσιακά εκείνη την εποχή», είπε. Το ένα ήταν ότι, όπως είχε δει η ομάδα του Wu, η ασθένεια εξαπλώθηκε περίπου δύο φορές πιο γρήγορα από το SARS. Ένα σημαντικό μέρος αυτής της εξάπλωσης συνέβαινε επίσης σαφώς πριν οι άνθρωποι εμφανίσουν συμπτώματα. Και φάνηκε ότι ορισμένοι άνθρωποι θα μπορούσαν να παραμείνουν μολυσματικοί για δύο εβδομάδες αφότου αισθάνθηκαν για πρώτη φορά συμπτώματα, πράγμα που σημαίνει ότι οι άρρωστοι και εκείνοι που πιστεύεται ότι έχουν μολυνθεί θα πρέπει να τεθούν σε καραντίνα για μεγάλο χρονικό διάστημα.

Όταν ο Meyers έστειλε ένα email στα Κέντρα Ελέγχου και Πρόληψης Νοσημάτων των ΗΠΑ και σε άλλα σχετικά με αυτήν την ανακάλυψη τον Φεβρουάριο, «είχαν σαν, whaaat », υπενθύμισε — ιδιαίτερα σχετικά με τα πιθανά επίπεδα προσυμπτωματικής και ασυμπτωματικής μετάδοσης. «Όλοι βασικά είπαν, «Ω, πρέπει να κάνεις λάθος.» Αλλά μετά —θέλω να πω μέσα σε λίγες μέρες— ξαφνικά όλα αυτά τα δεδομένα έρχονταν από την Κίνα, όπου ήμασταν, «Θεέ μου , αυτό είναι πραγματικά, πολύ κακό. Αυτό το πράγμα έχει τις προϋποθέσεις για μια πανδημία που δεν θα μπορέσουμε να ελέγξουμε.»

Εν τω μεταξύ, άλλοι ειδικοί έβλεπαν προμήθειες περαιτέρω προκλήσεων.

Ο Sam Abbott, μοντελιστής μολυσματικών ασθενειών στη Σχολή Υγιεινής και Τροπικής Ιατρικής του Λονδίνου, απέκτησε το διδακτορικό του το φθινόπωρο του 2019 και μόλις είχε ξεκινήσει τη νέα του ερευνητική δουλειά στις 6 Ιανουαρίου 2020, αναπτύσσοντας στατιστικές μεθόδους για ανάλυση επιδημιών σε πραγματικό χρόνο. Το πρώτο του έργο έπρεπε να επικεντρωθεί σε ένα ξέσπασμα χολέρας στην Υεμένη — αλλά μόλις έξι ημέρες αργότερα, βρέθηκε να εργάζεται για το COVID-19.

Ο Abbott είχε συνηθίσει να χρησιμοποιεί ορισμένες στατιστικές τεχνικές για την εκτίμηση των παραγόντων που διέπουν τη μετάδοση ασθενειών. Αλλά αυτός και οι συνάδελφοί του κατέληξαν σταδιακά σε μια ανησυχητική συνειδητοποίηση:Τα συσσωρευμένα στοιχεία για ασυμπτωματική και προσυμπτωματική μετάδοση του COVID-19 σήμαιναν ότι αυτές οι τεχνικές δεν θα λειτουργούσαν πάντα. Για παράδειγμα, ο αριθμός αποτελεσματικής αναπαραγωγής μιας ασθένειας είναι ο μέσος αριθμός ατόμων που μολύνθηκαν από ένα κρούσμα σε μια δεδομένη στιγμή κατά τη διάρκεια μιας εστίας (με την πάροδο του χρόνου, ο αριθμός αυτός μπορεί να αλλάξει). Όμως, αν πολλές από τις περιπτώσεις μόλυνσης ήταν ουσιαστικά αόρατες, ανακάλυψαν οι ερευνητές, οι μέθοδοί τους για την εξαγωγή του αριθμού αναπαραγωγής έγιναν αναξιόπιστες.

Το πρόβλημα δεν ξεπήδησε αμέσως στους επιστήμονες γιατί «είναι ένα αρκετά λεπτό ζήτημα», είπε ο Άμποτ. «Χρειάστηκε λίγος χρόνος για να το σκεφτώ και οι άνθρωποι να στείλουν γραφήματα ο ένας στον άλλον». Η συνέπεια της ανακάλυψης, ωστόσο, ήταν ότι τουλάχιστον σε ορισμένα πλαίσια, οι ερευνητές θα χρειάζονταν εντελώς νέες προσεγγίσεις για να επεξεργαστούν τις απαραίτητες μεταβλητές και να δημιουργήσουν χρήσιμα μοντέλα.

Ωστόσο, ακόμη και με ατελή μοντέλα και ελλιπή δεδομένα, ήταν σαφές ότι ο SARS-CoV-2 διέσχιζε τα σύνορα γρήγορα και ότι η εξάπλωση έβγαινε εκτός ελέγχου. Όταν η ασθένεια έπληξε έναν οίκο ευγηρίας στην πολιτεία της Ουάσιγκτον τον Φεβρουάριο, σηματοδοτώντας την αρχή της κρίσης στις ΗΠΑ, «αυτή ήταν η στιγμή που ξέραμε ότι έπρεπε απλώς να εγκαταλείψουμε όλα όσα κάναμε», είπε η Katelyn Gostic. , μεταδιδακτορικός ερευνητής στην οικολογία στο Πανεπιστήμιο του Σικάγο που μελετά επιδημιολογικά προβλήματα. Οι ταξιδιώτες ελέγχου είχαν αποδειχθεί εντελώς αναποτελεσματικοί έναντι αυτού του ιού, ο οποίος ξαφνικά φαινόταν να είναι παντού, αφήνοντας τους επιστήμονες "απλώς να προσπαθούν να σβήσουν τη φωτιά ακριβώς μπροστά μας", είπε ο Larremore.

Ανέθεσε στον ΠΟΥ να κηρύξει επίσημα το COVID-19 πανδημία τον Μάρτιο του 2020. Η εργασία μοντελοποίησης είχε διαδραματίσει έναν από τους πρώτους κρίσιμους ρόλους της:διαπίστωσε ότι υπήρχε μια απειλή — εδώ, τώρα, παντού — και συμπλήρωση λεπτομερειών σχετικά με τη φύση της απειλή.

Και μόλις συνέβη αυτό, με δυνητικά εκατομμύρια ζωές στην ισορροπία, οι υπεύθυνοι χάραξης πολιτικής και το κοινό άρχισαν να απαιτούν περισσότερες απαντήσεις από αυτά τα μοντέλα - απαντήσεις για το τι θα συνέβαινε στη συνέχεια, και πότε και πώς θα έπρεπε να αντιδράσει η κοινωνία - απαντήσεις ότι τα μοντέλα συχνά δεν ήταν θέση να παρέχει, τουλάχιστον όχι με τη μορφή που τόσο απεγνωσμένα ήθελαν οι άνθρωποι.

Όχι Κρυστάλλινη Μπάλα

Επειδή τα επιδημιολογικά μοντέλα κάνουν δηλώσεις για το μέλλον, είναι δελεαστικό να τα παρομοιάζουμε με μετεωρολογικές προβλέψεις — αλλά είναι επίσης βαθιά λάθος. Τα δύο δεν είναι σε καμία περίπτωση συγκρίσιμα, όπως σπεύδουν να τονίσουν οι επιστήμονες που εργάζονται με τα μοντέλα. Ωστόσο, η λανθασμένη πεποίθηση ότι μπορούν να κάνουν παρόμοια είδη προβλέψεων βρίσκεται συχνά στο επίκεντρο της δημόσιας έντασης σχετικά με τις «αποτυχίες» του μόντελινγκ.

Η ποιότητα μιας πρόγνωσης καιρού βασίζεται στο πόσο με ακρίβεια και αξιοπιστία προβλέπει αν θα υπάρξει καταιγίδα αύριο (και πόσο θα διαρκέσει και πόσο μπορεί να βρέξει), παρά τις χίλιες μετεωρολογικές αβεβαιότητες. Αλλά όταν οι μετεωρολόγοι προβλέπουν την πορεία ενός τυφώνα, οι αποφάσεις των ανθρώπων στην περιοχή είτε να εκκενωθούν είτε να παραμείνουν, δεν επηρεάζουν το πού θα πάει ο τυφώνας ή το πόσο δυνατός θα είναι.

Αντίθετα, οι ενέργειες των ανθρώπων έχουν άμεσο αντίκτυπο στη μετάδοση ασθενειών. Το πρόσθετο επίπεδο αβεβαιότητας σχετικά με το πώς θα ανταποκριθούν οι άνθρωποι στην απειλή περιπλέκει τον κύκλο ανατροφοδότησης μεταξύ της ανθρώπινης συμπεριφοράς, των αποτελεσμάτων μοντελοποίησης και της δυναμικής μιας εστίας.

Γι' αυτό οι επιστήμονες —όχι μόνο στην επιδημιολογία, αλλά στη φυσική, την οικολογία, την κλιματολογία, την οικονομία και κάθε άλλο τομέα— δεν χτίζουν μοντέλα ως χρησμούς του μέλλοντος. Για αυτούς, ένα μοντέλο «είναι απλώς ένας τρόπος κατανόησης μιας συγκεκριμένης διαδικασίας ή μιας συγκεκριμένης ερώτησης που μας ενδιαφέρει», είπε ο Κουτσάρσκι, «και να επεξεργαστούμε τις λογικές συνέπειες των υποθέσεων μας». Πολλοί επιδημιολόγοι ερευνητές θεωρούν ότι η απόκτηση χρήσιμων γνώσεων σχετικά με μια ασθένεια και τη μετάδοσή της είναι ο πιο κρίσιμος σκοπός της μοντελοποίησης.

Ο Γκόλντενφελντ κατηγορεί την παρανόηση των μοντέλων από το κοινό για ορισμένες από τις περιφρονήσεις που εκσφενδόνισαν το έργο της ομάδας του για την επαναλειτουργία του Πανεπιστημίου του Ιλινόις. «Ο σκοπός του μοντέλου μας ήταν να δούμε αν [μια δεδομένη παρέμβαση] θα μπορούσε να λειτουργήσει. Δεν ήταν να προβλέψουμε στις 17 Νοεμβρίου 2020, θα έχετε 234 περιπτώσεις», είπε. «Το θέμα είναι να καταλάβουμε ποια είναι η τάση, ποιο είναι το ποιοτικό μήνυμα που παίρνετε από αυτό. Αυτό είναι το μόνο πράγμα που μπορείτε εύλογα να περιμένετε."

Αλλά αυτή η διάκριση μπορεί εύκολα να χαθεί, ιδιαίτερα όταν τα αποτελέσματα ενός μοντέλου είναι αριθμοί που μπορεί να ακούγονται απατηλά ακριβείς.

Στον πυρήνα τους, όλα τα μοντέλα είναι απλοποιημένες (αν και όχι απαραίτητα απλές) αναπαραστάσεις ενός συστήματος — σε αυτήν την περίπτωση, η εξάπλωση ενός ιού μέσω ενός πληθυσμού. Λαμβάνουν ορισμένα μετρήσιμα χαρακτηριστικά αυτού του συστήματος ως εισροές:τη διάρκεια της περιόδου επώασης του ιού, τον χρόνο που οι άνθρωποι παραμένουν μολυσματικοί, τον αριθμό των θανάτων που συμβαίνουν για κάθε περίπτωση, και ούτω καθεξής. Οι αλγόριθμοι στο μοντέλο συσχετίζουν αυτές τις εισροές μεταξύ τους και με άλλους παράγοντες, τις χειρίζονται κατάλληλα και παρέχουν μια έξοδο που αντιπροσωπεύει κάποια επακόλουθη συμπεριφορά του συστήματος — η εξάπλωση του ιού όπως αντικατοπτρίζεται στον αριθμό των κρουσμάτων, νοσηλεία, θανάτους ή κάποιον άλλο δείκτη .

Για να κατανοήσουν τις πανδημίες και άλλες εστίες ασθενειών, οι επιστήμονες στρέφονται σε δύο καθιερωμένες προσεγγίσεις για την ποσοτική επιδημιολογική μοντελοποίηση. Κάθε προσέγγιση έχει τις χρήσεις και τους περιορισμούς της και η καθεμία λειτουργεί καλύτερα σε διαφορετικές κλίμακες με διαφορετικά είδη δεδομένων. Σήμερα, οι επιδημιολόγοι συνήθως χρησιμοποιούν και τα δύο σε διάφορους βαθμούς, επομένως τα μοντέλα τους εμπίπτουν σε ένα φάσμα μεταξύ των δύο.

Στο ένα άκρο του φάσματος υπάρχουν μοντέλα ασθενειών που χωρίζουν έναν πληθυσμό σε «διαμερίσματα» με βάση το αν είναι ευαίσθητοι, μολυσμένοι ή ανάρρωστοι (S, I ή R) και χρησιμοποιούν συστήματα διαφορικών εξισώσεων για να περιγράψουν πώς οι άνθρωποι μπορούν να μετακινηθούν από ένα διαμέρισμα σε αλλο. Επειδή το COVID-19 έχει τόσο μεγάλη περίοδο επώασης - κάποιος μπορεί να μολυνθεί από τον ιό για αρκετές ημέρες πριν γίνει ικανός να τον μεταδώσει σε άλλους - τα μοντέλα του πρέπει επίσης να περιλαμβάνουν ένα "εκτεθειμένο" διαμέρισμα (E). Αυτά τα μοντέλα SEIR υποθέτουν γενικά ότι οι πληθυσμοί είναι αρκετά ομοιογενείς, ότι οι άνθρωποι αναμιγνύονται σχετικά ομοιόμορφα και ότι όλοι είναι εξίσου ευάλωτοι στον ιό.

Αλλά φυσικά αυτό δεν ισχύει στην πραγματικότητα:η ηλικία, το επάγγελμα, το ιατρικό ιστορικό, η τοποθεσία και άλλα χαρακτηριστικά κάποιου μπορεί να επηρεάσουν τα αποτελέσματα ενός ιού και τις πιθανότητες μετάδοσής του. Τα πιο γυμνά μοντέλα SEIR μπορούν επομένως να αντιπροσωπεύουν μόνο μια περιορισμένη σειρά συμπεριφορών. Για να μοντελοποιήσουν πιο περίπλοκες ή εξειδικευμένες καταστάσεις —όπως ένα σχέδιο επαναλειτουργίας του πανεπιστημίου, το οποίο απαιτεί χαρτογράφηση διαδικασιών όπως ο έλεγχος ασθενειών και ο εντοπισμός επαφών, καθώς και λεπτομερή πρότυπα αλληλεπιδράσεων μεταξύ ομάδων φοιτητών, καθηγητών και προσωπικού — οι ερευνητές πρέπει να απομακρυνθούν από απλούς μέσους όρους .

Για να το επιτύχουν αυτό, μπορούν να ωραιοποιήσουν τα μοντέλα SEIR προσθέτοντας περισσότερη δομή στον τρόπο εξάπλωσης της νόσου. Η ομάδα του Meyers, για παράδειγμα, κατασκεύασε ένα τεράστιο μοντέλο, που αποτελείται από διασυνδεδεμένα μοντέλα SEIR, που αντιπροσώπευε τη δυναμική μετάδοσης του ιού μέσα σε δεκάδες υποπληθυσμούς σε καθεμία από τις 217 μεγαλύτερες πόλεις των ΗΠΑ. αντιπροσώπευαν ακόμη και τις μετακινήσεις των ανθρώπων μεταξύ αυτών των πόλεων.

Καθώς οι ερευνητές προσθέτουν αυτά τα επίπεδα λεπτομέρειας, μετακινούνται στο άλλο άκρο του φάσματος επιδημιολογικής μοντελοποίησης:προς μοντέλα που βασίζονται σε παράγοντες, τα οποία δεν υπολογίζουν κατά μέσο όρο σε ομάδες ανθρώπων, αλλά προσομοιώνουν τα άτομα, συμπεριλαμβανομένων των αλληλεπιδράσεων, των καθημερινών δραστηριοτήτων και του τρόπου με τον οποίο ο ιός μπορεί να τους επηρεάσει εάν μολυνθούν. (Το μοντέλο που ανέπτυξαν οι Goldenfeld και Maslov για το Πανεπιστήμιο του Ιλινόις ήταν βασισμένο σε πράκτορες.) Αυτή η ευαισθησία επιτρέπει στο μοντέλο να συλλάβει μέρος της εγγενούς ετερογένειας και τυχαίας που αφαιρείται από τα πιο απλά μοντέλα SEIR — αλλά με κόστος:Οι επιστήμονες χρειάζονται να συγκεντρώσει περισσότερα δεδομένα, να κάνει περισσότερες υποθέσεις και να διαχειριστεί πολύ υψηλότερα επίπεδα αβεβαιότητας στα μοντέλα. Εξαιτίας αυτού του φόρτου, συνήθως δεν φιλοδοξούν σε αυτό το επίπεδο λεπτομέρειας εκτός εάν το απαιτεί απολύτως το ερευνητικό τους ερώτημα.

Αυτού του είδους τα μοντέλα μπορούν να αποκαλύψουν πολλά για τις ασθένειες συνάγοντας παραμέτρους όπως ο αριθμός αναπαραγωγής τους, η περίοδος επώασης ή ο βαθμός ασυμπτωματικής εξάπλωσής τους. Μπορούν όμως να κάνουν και πολλά περισσότερα. Για τον COVID-19, τέτοια μοντέλα υποδεικνύουν ότι οι άνθρωποι που είναι ασυμπτωματικοί ή έχουν ήπια συμπτώματα είναι μόνο περίπου οι μισοί τόσο μεταδοτικοί από τους εμφανώς άρρωστους, αλλά είναι υπεύθυνοι για περίπου το 80% των τεκμηριωμένων λοιμώξεων. Ομοίως, έχουν δείξει ότι τα μικρά παιδιά έχουν περίπου τις μισές πιθανότητες από τους ενήλικες να μολυνθούν εάν εκτεθούν σε κάποιον με COVID-19, αλλά ότι αυτή η ευαισθησία αυξάνεται γρήγορα για παιδιά ηλικίας άνω των 10 ετών. Η λίστα των παραδειγμάτων συνεχίζεται.

Έχοντας αυτές τις αξίες στα χέρια, τα μοντέλα μπορούν επίσης να προβάλλουν χαρτοφυλάκια με τι θα συμβεί:Εάν μια πόλη άρει τα μέτρα κλειδώματος σε καταστήματα αλλά όχι σε εστιατόρια, τι μπορεί να συμβεί με την καταμέτρηση υποθέσεων; Πόσο αποτελεσματικό πρέπει να είναι ένα πρόγραμμα ανίχνευσης επαφών για να επιτρέψει σε ένα σχολείο να ανοίξει ξανά ή να διασφαλίσει ότι το τοπικό νοσοκομειακό σύστημα δεν θα κατακλυστεί; Τα μοντέλα μπορούν επίσης να βοηθήσουν με πιο πρακτική και άμεση υποστήριξη λήψης αποφάσεων:Εάν η μετάδοση της νόσου φαίνεται με συγκεκριμένο τρόπο, πόσο εξοπλισμό ατομικής προστασίας πρέπει να αγοράσει ένα νοσοκομείο και πώς πρέπει να δοθεί προτεραιότητα στη διάδοση των εμβολίων;

Αλλά αυτά είναι προβλέψεις - όχι προβλέψεις. Εξαρτώνται από υποθέσεις που μπορούν να αλλάξουν από τη μια μέρα στην άλλη, και ως αποτέλεσμα είναι γεμάτες αβεβαιότητα.

Σίγουρα, αυτά τα προβλεπόμενα μελλοντικά συμβόλαια μπορούν ακόμα να οδηγήσουν σε απίστευτα χρήσιμες γνώσεις. Από μοντέλα για το πώς εξαπλώνεται ο COVID-19, για παράδειγμα, ο Kucharski και η ομάδα του έμαθαν ότι η ανίχνευση επαφών από μόνη της δεν θα ήταν αρκετή για να περιορίσει την ασθένεια. πρόσθετα μέτρα θα πρέπει να το υποστηρίξουν. Άλλες έρευνες έδειξαν πόσο σημαντικές ήταν οι δοκιμές, όχι μόνο για τη μέτρηση του εύρους της επιδημίας αλλά ως πραγματικό μέτρο μετριασμού:Μοντέλα του Larremore και άλλων έδειξαν ότι λιγότερο ευαίσθητες αλλά ταχύτερες δοκιμές θα ήταν πολύ προτιμότερες από ελαφρώς πιο αργές αλλά πιο ακριβείς. Άλλες ακόμη εργασίες μοντελοποίησης έπαιξαν καθοριστικό ρόλο στον καθορισμό του αριθμού πρόσθετου προσωπικού και κλινών που μπορεί να χρειαστεί ένα νοσοκομείο.

Ακόμα κι έτσι, είναι εύκολο να χαθεί η διάκριση μεταξύ προβολών και προβλέψεων όταν οι άνθρωποι αναζητούν απεγνωσμένα απαντήσεις. Οι ερευνητές έχουν δει αυτό να συμβαίνει σχεδόν σε κάθε πανδημία και το έχουν δει να συμβαίνει κατά τη διάρκεια αυτής της πανδημίας — ξεκινώντας από την πρώτη κιόλας μοντελοποίηση προβολής που συνήθως αποφασίζουν να δημοσιεύσουν:ένα σενάριο χειρότερης περίπτωσης.

Αντίδραση στη χειρότερη περίπτωση

Στα μέσα Μαρτίου, όταν μια ερευνητική ομάδα στο Imperial College του Λονδίνου ανακοίνωσε ότι το μοντέλο τους που βασίζεται σε πράκτορες είχε προβλέψει έως και μισό εκατομμύριο θανάτους από τον COVID-19 στο Ηνωμένο Βασίλειο και 2,2 εκατομμύρια θανάτους στις ΗΠΑ κατά τη διάρκεια της επιδημίας, ήταν μια εκτίμηση του αριθμού των νεκρών που θα μπορούσε να συμβεί εάν η κοινωνία δεν έκανε κυριολεκτικά τίποτα ως απάντηση. Ήταν μια υποθετική, μια συνειδητά μη ρεαλιστική προβολή που θα μπορούσε να αρχίσει να χαρτογραφεί το έδαφος του τι θα μπορούσε να συμβεί. Δεν έπρεπε ποτέ να ήταν μια πρόβλεψη.

Γιατί, λοιπόν, το δημοσίευσε το Imperial College; Εν μέρει επειδή βοήθησε στη δημιουργία μιας βάσης για την αξιολόγηση του πόσο καλά θα μπορούσε να λειτουργήσει οποιαδήποτε παρέμβαση. Αλλά και επειδή προκάλεσε δράση σε όλο τον κόσμο:Ήταν ένα από τα μοντέλα που έπαιξαν καθοριστικό ρόλο στο να κάνουν τις χώρες να κλειδώσουν και να εξετάσουν άλλα δραστικά μέτρα. «Είναι μια έγκυρη χρήση μοντέλων», είπε ο Μάθιου Φεράρι, ποσοτικός επιδημιολόγος στο Πολιτειακό Πανεπιστήμιο της Πενσυλβάνια, «για να σημάνουμε συναγερμούς και να ξεκινήσουμε ενέργειες, όπως κρατικά lockdown και εθνικές εντολές μάσκας και άλλα, που θα μπορούσαν να αποτρέψουν αυτό το μέλλον από το να συμβεί».

Αλλά αυτό το γαλβανιστικό αποτέλεσμα έρχεται με κίνδυνο παρερμηνείας. Ο Justin Lessler, επιδημιολόγος στο Πανεπιστήμιο Johns Hopkins, λέει ότι όταν συζητά μοντέλα σεναρίων για πανδημίες με μη ειδικούς, προσπαθεί να τονίσει ότι οι απαντήσεις είναι συχνά σωστές μόνο εντός μιας τάξης μεγέθους. «Είμαι πάντα πολύ ξεκάθαρος με τους ανθρώπους», είπε. «Πάντα ερμηνεύεται ως σωστή πρόβλεψη. Αλλά τουλάχιστον το λες.»

Έτσι, στις αρχές της άνοιξης, όταν τα στατιστικά στοιχεία θνησιμότητας στο Ηνωμένο Βασίλειο φαινόταν λιγότερο ζοφερά από τα στοιχεία του μοντέλου του Imperial College, η ασυμφωνία οδήγησε σε κατηγορίες για εντυπωσιασμό και κάποια δημόσια δυσπιστία.

«Οι άνθρωποι… είπαν ότι το μοντέλο είναι λάθος γιατί τα σενάρια που εξερευνήσατε δεν είναι αυτό που συνέβη», είπε ο Τζέιμς ΜακΚο, μαθηματικός βιολόγος και επιδημιολόγος στο Πανεπιστήμιο της Μελβούρνης στην Αυστραλία. «Αυτό συμβαίνει γιατί τα σενάρια μας τρόμαξαν και έτσι απαντήσαμε για να το αποφύγουμε. Κάτι που δεν είναι ότι το μοντέλο είναι λάθος, αλλά ότι απαντήσαμε."

Αυτό το είδος λανθασμένης αντίληψης δεν είναι καινούργιο στην επιδημιολογία. Κατά τη διάρκεια της επιδημίας Έμπολα το 2014 στη Δυτική Αφρική, οι μοντελιστές του CDC των ΗΠΑ δημοσίευσαν τα ανώτερα όρια στις προβλέψεις τους για το μέγεθος της επιδημίας. Υπέδειξαν ότι θα μπορούσαν να υπάρξουν περίπου 1 εκατομμύριο θάνατοι, αν και στον τελικό πίνακα, λιγότερα από 12.000 άτομα πέθαναν. Οι ομάδες που ανέφεραν αυτές τις εκτιμήσεις έπρεπε να αντιμετωπίσουν έντονες επικρίσεις για την υποτιθέμενη εντύπωση της επιδημίας. Αλλά οι κριτικές αγνόησαν το γεγονός ότι αυτό ήταν μόνο ένα σενάριο χειρότερης περίπτωσης, ένα σενάριο που τρόμαζε αρκετά τους ανθρώπους ώστε να προκαλέσουν απαντήσεις που απέτρεπαν τη χειρότερη πραγματικότητα.

Ο McCaw λέει ότι όταν η ομάδα του και οι συνάδελφοί του χρησιμοποίησαν εκτιμήσεις του χειρότερου σεναρίου για να μοντελοποιήσουν τη δική τους κατάσταση με τον COVID-19 στην Αυστραλία, άρχισαν να βλέπουν «μερικούς από τους πολύ τρομακτικούς αριθμούς που προέκυψαν από αυτό» και το μοντέλο έπαιξε ένα σημαντικό ρόλο στην απόφαση της χώρας να κλείσει τα σύνορά της. Στην πραγματικότητα, η Αυστραλία έκανε αυτό το κάλεσμα από νωρίς και επέβαλε γρήγορα αυστηρά μέτρα φυσικής απόστασης, επιβάλλοντας στους ανθρώπους να μην εγκαταλείπουν το σπίτι τους παρά μόνο να φροντίζουν για βασικές δραστηριότητες.

Εκ των υστέρων, η Αυστραλία επωφελήθηκε πολύ από αυτή την έξυπνη επιλογή:Η χώρα είδε ένα ξέσπασμα που ήταν σημαντικά μικρότερο και πιο εύκολο να ελεγχθεί από αυτό που εκτυλίχθηκε σε πολλά άλλα έθνη που χρειάστηκαν περισσότερο χρόνο για να δράσουν. Το ίδιο έκαναν και η Ταϊβάν, η Νότια Κορέα, η Σιγκαπούρη, η Νέα Ζηλανδία και άλλες περιοχές, ιδιαίτερα εκείνες που εφάρμοσαν τα διδάγματα που αντλήθηκαν κατά τη διάρκεια των επιδημιών SARS και MERS για να λάβουν γρήγορες και αποτελεσματικές απαντήσεις. Αλλά εκείνη την εποχή, «διάφορα μέρη σε όλο τον κόσμο επέκριναν την Αυστραλία γιατί το έκανε αυτό», είπε ο McCaw. Μόνο αργότερα, όταν έγινε φανερή η καταστροφή αλλού, κάποια από τις επικρίσεις έσβησε.

«Καταλήγεις με ανθρώπους που δεν εμπιστεύονται πραγματικά τα μοντέλα επειδή λένε:«Κλείνουμε μια χώρα 5 εκατομμυρίων ανθρώπων για χάρη 100 υποθέσεων», κάτι που φαίνεται γελοίο στην επιφάνεια», είπε ο Κέβιν Ρος, ο οποίος διευθύνει μια συλλογική προσπάθεια μεταξύ των τομέων υγείας και ακαδημαϊκών της Νέας Ζηλανδίας. "Αλλά δεν είναι για χάρη 100 περιπτώσεων, είναι για χάρη της αποφυγής 100.000 υποθέσεων."

Μια ιστορία που ήθελαν να πιστέψουν

Δυστυχώς, η σύγχυση της προβολής με την πρόβλεψη δεν περιορίστηκε στα χειρότερα σενάρια και οι παρερμηνείες δεν περιορίστηκαν στην κοινή γνώμη. Άλλες εκτιμήσεις μοντελοποίησης ελήφθησαν επίσης με λάθος τρόπο — και από άτομα με εξουσία λήψης αποφάσεων.

Ίσως δεν βοήθησε το γεγονός ότι υπήρξε υπερβολικός πολλαπλασιασμός μοντέλων από ερευνητές πολύ μακριά από την επιδημιολογία:μια έκρηξη προεκτυπώσεων από φυσικούς, οικονομολόγους, στατιστικολόγους και άλλους που είχαν τη δική τους εκτενή εμπειρία με πολύπλοκα μοντέλα και ήθελαν να βοηθήσουν στον τερματισμό της πανδημίας . “I think everybody who had a spreadsheet and had heard the words ‘S,’ ‘I’ and ‘R’ felt they should make a model,” Lessler said. “I don’t want to say none of them did a good job, but for the most part, it’s not so much about the math and the technical stuff. It’s more about understanding where you can go wrong in the assumptions.”

Scarpino agreed. “We have somehow managed to do this for every single pandemic and outbreak that ever happens,” he said of well-intended scientists entering the epidemiological modeling arena — and while that can be helpful, it also runs the risk that they might “just reinvent broken wheels.”

One of the first models to capture the ear of the White House was a statistical model published by the University of Washington’s Institute for Health Metrics and Evaluation (IHME). The IHME’s primary expertise is in analyzing the efficacy of health systems and interventions, but the organization wasn’t particularly experienced in epidemiological forecasting or infectious disease modeling as such.

As a result, their model technically qualified as epidemiological, but it didn’t take into account the virus’s mechanism of transmission or other key characteristics of the epidemic. Instead, it fit a curve to mortality data in the U.S. based on several basic premises:that the curve would take the same general shape as it did in China and Italy, where the infection rate was already declining; that people would generally comply with government-level policies and mandates; and that social distancing and other interventions would have the same impact as in China.

A key caveat, though, was that the IHME’s model relied entirely on those assumptions. If any of those conditions changed or weren’t quite right in the first place, the model’s outputs would no longer be relevant.

And many of the model’s assumptions were already not holding. People’s behavior wasn’t coupled to the implemented policies:They got scared and started social distancing long before governors announced stay-at-home orders. But “stay at home” and “social distancing” by U.S. standards also looked nothing like what was being enforced in China. While the epidemic in China followed a simple rise-and-fall progression, the U.S. was hitting a second peak before its first ended, forming a “double S” shape. Unguided by any underlying biological mechanism, the model had no way to account for that changing dynamic. As a result, its estimates fell overwhelmingly short of reality.

“Some of the original forecasts from the IHME group were using a method that had been thoroughly debunked before I probably was even born,” Scarpino said.

That might not have mattered in the long run if the model had been used properly. Typically, epidemiologists use a statistical model like the IHME’s as part of what’s known as an ensemble forecast. (Despite its name, an ensemble forecast is really like a model built from other models, and it too offers only projections, not predictions.) The IHME model’s results would be averaged and weighed mathematically with the outputs of dozens of other epidemiological models, each with its own shortcomings, to achieve the modeling equivalent of the “wisdom of the crowd.” One model in an ensemble might be better at handling unlikely events, another might excel at representing transmission when the caseload is higher, and so on; some models might be statistical, others might be SEIR types that stratify populations in different ways, still others might be agent-based.

“Consensus is not always what you’re after. You don’t want groupthink,” McCaw said. With so much uncertainty in the science and data, “it’s good to have multiple models in different perspectives.”

Comparisons among multiple models can also substitute to a degree for vetting their quality through peer review. “You can’t do peer review fast enough to help in an epidemic,” Goldenfeld said. “So you have to do peer review not sequentially … but in parallel.”

Unfortunately, Lessler said, “it took longer than it should” to get those ensembles up and running in the U.S. The lack of a coordinated national response may have been a root cause of the delay. Scientists were left to their own devices, without the resources they needed to pivot easily from their everyday work to the around-the-clock dedication that COVID-19 ended up requiring. Often, they essentially had to volunteer their time and effort without proper funding and had to establish networks of communications and collaboration as they worked. Much of the infrastructure that could have helped — a pandemic preparedness group in the White House, a centralized top-down organizational effort to connect expert modeling teams with other researchers and officials, and of course core funding — was entirely absent.

Without the ensembles, that left the IHME model, with its single perspective and other problems, as the most appealing strategic resource available to many decision-makers.

“When COVID emerged, the IHME model seemed to come out of nowhere and really got a ton of attention,” Meyers said. “It was being cited by Trump and the White House coronavirus task force, and they had a really nice, visually intuitive webpage that attracted public attention. And so I think it was really one of the most noticed and earliest forecasting models to really put forecasting on the radar in the public imagination.”

Epidemiologists grew alarmed when, in April and May, the IHME projections were used by the White House and others to say that the U.S. had passed the peak of its outbreak, and that case numbers and deaths would continue to decline. Such claims would hold true only if the U.S. stayed under lockdown.

But “people used those models [and others] to reopen their cities and justify relaxing a lot of the stay-at-home orders,” said Ellie Graeden, a researcher at the Georgetown University Center for Global Health Science and Security and the founder of a company that specializes in translating complex analysis into decision-making. “It suggested a degree of optimism that I think assuaged concern early in the event.”

Graeden thinks this made it much harder to get the public and decision-makers to heed more realistic scenarios. “It’s not that IHME was the only model out there,” she said. “It was a model that was showing people the story that they wanted to believe.”

The IHME has since revised its model repeatedly, and other research teams, including Meyers’ group, have used their epidemiological experience to build on some of its core machinery and improve its projections. (Those teams have also developed their own new models from scratch.) The current version of the IHME model is one of many used in an ongoing ensemble forecasting effort run by the CDC. And the IHME has since become more transparent about its assumptions and methods — which has been crucial, given the extent to which uncertainties in those assumptions and methods can propagate through any model.

After all, even the best models are dogged by uncertainties that aren’t always easy to recognize, understand or acknowledge.

Reckoning With Uncertainty

Models that rely on fixed assumptions are not the only ones that need to be navigated with care. Even complex epidemiological models with built-in mechanisms to account for changing conditions deal in uncertainties that must be handled and communicated cautiously.

As the epidemic emerged around her in Spain, Susanna Manrubia, a systems biologist at the Spanish National Center for Biotechnology in Madrid, became increasingly concerned about how the results of various models were being publicized. “Our government was claiming, ‘We’ll be reaching the peak of the propagation by Friday,’ and then ‘No, maybe mid-next week,’” she said. “And they were all systematically wrong, as we would have expected,” because no one was paying attention to the uncertainty in the projections, which caused wild shifts with every update to the data.

“It was clear to us,” Manrubia said, “that this was not something that you could just so carelessly say.” So she set out to characterize the uncertainty rooted in the intrinsically unpredictable system that everyone was trying to model, and to determine how that uncertainty escalated throughout the modeling process.

Manrubia and her team were able to fit their models very well to past data, accurately describing the transmission dynamics of COVID-19 throughout Spain. But when they attempted to predict what would happen next, their estimates diverged considerably, sometimes in entirely contradictory ways.

Manrubia’s group was discovering a depressing reality:The peak of an epidemic could never be estimated until it happened; the same was true for the end of the epidemic. Work in other labs has similarly shown that attempting to predict plateaus in the epidemic curve over the long term is just as fruitless. One study found that researchers shouldn’t even try to estimate a peak or other landmark in a curve until the number of infections is two-thirds of the way there.

“People say, ‘I can reproduce the past; therefore, I can predict the future,’” Manrubia said. But while “these models are very illustrative of the underlying dynamics … they have no predictive power.”

The consequences of the unpredictability of those peaks have been felt. Encouraged by what seemed like downturns in the COVID-19 numbers, many regions, cities and schools reopened too early.

Ferrari and his colleagues at Penn State, for instance, had to confront that possibility when they started making projections in March about what August might look like, to inform their more granular planning models for bringing students back to campus. At the time, it seemed as if the first wave of infections would be past its peak and declining by the summer, so Ferrari and the rest of the modeling team assumed that their focus should be on implementing policies to head off a second wave when the students returned for the fall.

“And then the reality was, as we got closer and closer, all of a sudden we’re in June and we’re in July, and we’re all yelling, ‘Hey, the first wave’s not going to be over,’” Ferrari said. But the reopening plans were already in motion. Students were coming back to a campus where the risk might be much greater than anticipated — which left the team scrambling to find an adequate response.

Chasing the Data

An unfortunate early lesson that COVID-19 drove home to many researchers was that their modeling tools and data resources weren’t always prepared to handle a pandemic on the fly. The biggest limitations on a model’s capabilities often aren’t in its mathematical framework but in the quality of the data it uses. “The best model could not account for our lack of knowledge about epidemiology, about the biology,” Wu said. Only good data can do that.

But gathering data on a pandemic as it happens is a challenge. “It’s just an entirely different ballgame, trying to produce estimates in real time,” Gostic said, “versus doing research in what I would describe as more of a peacetime scenario.”

“It’s a war,” McCaw agreed:one waged against chaos, against inaccuracies, against inconsistencies, against getting completely and utterly overwhelmed. “It’s really hard to get the right information.”

A key number that epidemiological modelers want to know when collecting data, for instance, is the total number of infections. But that’s an unobservable quantity:Some people never visit a doctor, often because they have mild symptoms or none at all. Others want to get tested to confirm infections but can’t because of an unavailability of tests or lack of testing infrastructure. And even among those who do get tested, there are false positives and false negatives to consider. Looking at the number of reported cases is the next best option, but it’s just the tip of the iceberg.

Gathering even that data in a timely way for COVID-19 was often nearly impossible early on. “I grew up in the information age, and so I guess I naively assumed at the start of this pandemic that state departments of public health would have some sort of button, and they could just press that button and data from hospitals around the state would just automatically be routed to some database,” Gostic said. “But it turns out that that button doesn’t exist.”

Scientists who had hoped to immediately start building useful models instead spent most of February and early March just trying to gain access to data. They spent weeks cold-calling and emailing hospitals, departments of public health, other branches of government and consulting companies — anyone they could think of. Researchers had to sort through texts, faxes, case reports in foreign languages and whatever else they could get their hands on, all the while worrying about where that data was coming from and how accurate it was.

It’s been “a real disappointment and a surprise,” said John Drake, an ecologist at the University of Georgia, “that as a country or globally, we’ve done such a poor job collecting data on this epidemic. … I genuinely thought that there would be a government response that would be effective and coordinated, and we haven’t had that.”

“None of us, I think, were prepared for the inconsistent data collection,” he added.

In those early days of the epidemic, case data in the U.S. and other regions was so unreliable and unrepresentative that it often became unusable. Case counts were missing large numbers of asymptomatic and mildly symptomatic infections. Testing and reporting were so scarce and inconsistent that it distorted the numbers that researchers obtained. Pinning those numbers down in real time was further complicated by the lag between when a person got infected and when they showed up in the reported case data. Even the very definition of a “case” of COVID-19 changed over time:At first, an infection was only considered an official case if a person had traveled to Wuhan, exhibited particular symptoms, and then tested positive (the tests were different then, too). But as weeks and then months passed, the criteria kept expanding to reflect new knowledge of the disease.

For some researchers, these problems meant turning to data on hospitalizations and deaths from COVID-19. The recordkeeping for those numbers had its own shortcomings, but in some ways it was more reliable. Yet that data captured still less of the full picture of the pandemic.

“Models aren’t a substitute for data,” Kucharski said.

It wasn’t until late April or May, with the establishment of more comprehensive testing (as well as more reliable pipelines for case data), that some scientists started feeling comfortable using it. Others tried to account for the issues with case data by applying various statistical techniques to translate those numbers into something more representative of reality. As always, there was no right answer, no obvious best path.

Because of these complications, it took months to pin down good estimates for some of the key variables describing COVID-19. During that time, for example, estimates of the proportion of asymptomatic cases jumped from 20% to 50%, then back down to 30%.

Modeling groups also put out diverse estimates of the infection fatality ratio — the number of people who die for every person who gets infected, an important parameter for estimating a potential death toll. Every aspect of the calculation of that figure had huge uncertainties and variability — including that the number itself can change over time, and that it differs based on the demographics of a population.

Unfortunately, the infection fatality ratio is also a number that has been heavily politicized in a way that demonstrates “an abuse of models,” Larremore said. Factions pushing for earlier reopening, for instance, emphasized the lower estimates while disregarding the related epidemiological considerations. “People have their conclusions set a priori, and then there’s a menu of possible models, and they can look at the one that supports their conclusions.”

Part of what built researchers’ confidence in the values they were getting was the emergence of special data sets that they could use as something like an experimental control in all the chaos. For example, one of the largest known COVID-19 outbreaks in February outside of China occurred on the Diamond Princess cruise ship, docked in quarantine off the coast of Japan, where more than 700 people were infected. Over time, scientists reconstructed practically a play-by-play of who was infected when and by whom; it was as close to a case study of an outbreak as they were likely to get. The Diamond Princess event, along with similar situations where the surveillance of populations captured the spread of the disease in extraordinary detail, told researchers what they needed to know to reduce the uncertainty in their estimates of the infection fatality ratio. That in turn helped improve their models’ projections of the total number of deaths to expect.

Some of the most comprehensive data came in the summer months and beyond, as testing became more prevalent, and as researchers designed serology studies to test people in a given population for antibodies. Those efforts gave a clearer snapshot of the total number of infections, and of how infection related to other factors.

But these parameters are ever-moving targets. In the U.S., for instance, researchers observed a drop in the infection fatality ratio as hospitals improved their treatments for the disease, and as changing behavior patterns in the population led to a higher proportion of infections among young people, who had a better chance of recovering. Only constant updates with high-quality data can help researchers keep up with these changes.

Obtaining good data on COVID-19 continues to be a problem, however, not just because of shortcomings in the data collection process but because of intrinsic characteristics of the virus that affect the data. Even the reproduction number has proved trickier to estimate than expected:Because COVID-19 mostly spreads through random, infrequent superspreader events, a simple average value for how quickly it’s transmitted isn’t as useful. Moreover, during past epidemics, modelers could estimate changes in the reproduction number over time from data about the onset of symptoms. But since so many COVID-19 infections occur asymptomatically or presymptomatically, symptom onset curves can be misleading. Instead, modelers need curves based on infection data — which for COVID-19 can only be inferred. This messiness makes it difficult to look back and analyze which interventions have worked best against the disease, or to draw other conclusions about apparent correlations.

The Biggest Problem Is Us

But by far, the biggest source of uncertainty in COVID-19 models is not how the virus behaves, but how people do. Getting that X-factor at least somewhat right is crucial, given just how much people’s actions drive disease transmission. But people are capricious and difficult to understand; they don’t always act rationally — and certainly not predictably.

“Modeling humans is really hard,” Graeden said. “Human behavior is idiosyncratic. It’s culture-specific,” with differences that show up not just between nations or demographics but between neighborhoods. Scarpino echoed that idea:“You walk across the street and it’s a different transmission dynamic, almost,” he said.

Ferrari and his colleagues have seen just that at Penn State. Since the fall, they’ve repeatedly conducted antibody tests on both university students and people who live and work near campus. They found that even though the outbreak infected 20%-30% of the 35,000 students, the surrounding community had very little exposure to COVID-19. Despite their proximity, the students and the townsfolk “really did experience completely different epidemic settings,” Ferrari said.

Those differences weren’t limited to behavioral or cultural practices but extended to systemic considerations, like the ability to work from home and access to resources and care. “I think most people, given the opportunity, would exhibit good individual behavior,” Ferrari said. “But many people can’t, because you first need the infrastructure to be able to do so. And I think those are the kinds of insights that we’re slowly moving towards trying to understand.”

A further complication is that past sociological studies of human behavior no longer apply:During a pandemic, people simply aren’t going to behave as they normally do.

“One of the big sort of ‘oh no’ moments,” Meyers said, “was when we realized that everything we’d been assuming about human contact patterns and human mobility patterns was basically thrown out the window when we locked down cities and sheltered in place. We didn’t have the data. We didn’t have the pre-baked models that captured this new reality that we were living in.”

Unfortunately, top-down regulations can’t be used as proxies for people’s actual behaviors. Anonymized data about people’s movements — from cell phones and GPS-based services — has shown that people mostly stopped moving around early in the pandemic, independently of whether lockdowns were in place in their region; people were scared, so they stayed at home. Meanwhile, interventions like mask mandates and bans on indoor dining were instituted but not always enforced, and people gradually moved around and interacted more as the months wore on, even as the number of deaths per day rose to unprecedented heights.

Those kinds of behaviors can significantly complicate the shapes of epidemic curves. But knowledge of those behaviors can also illuminate the deviations between what researchers observed and what they expected. For example, the modeling for the spread of COVID-19 through nursing homes and long-term care facilities didn’t initially match the observed data. Eventually, scientists realized that they also had to take into account the movement of staff members between facilities. But it took time to pinpoint that behavioral factor because such specific movements are usually abstracted away in simpler models.

“Confronting the link between behavior and transmission is difficult,” said Joshua Weitz, a biologist at the Georgia Institute of Technology, “but it has to be prioritized to improve forecasting, scenario evaluation, and ultimately to design campaigns to more effectively mitigate and control spread.”

This realization led researchers to pursue data from cell phones and other sources, to design comprehensive surveys about interactions and other activities outside and within households, and to integrate that information into epidemiological models at a massive scale. “We hadn’t actually really developed the technology to do that [before],” Meyers said, because there had been no urgent call for that data (or no access to it) before COVID-19. A new methodology was needed, along with new ways to assess the quality and representativeness of the data, which was often supplied by private companies not subject to the same scrutiny as other epidemiological data sources. “All of that we’ve developed in the last few months,” she said.

Uncertain Communications

These different types of uncertainty add up and have consequences down the line. Because small uncertainties can have exponentially bigger effects, “it’s a little bit like chaos,” Goldenfeld said. But communicating that uncertainty to decision-makers in a way that’s still useful and effective has proved a particularly difficult task.

“Decision-makers want answers,” Graeden said, but “a model cannot produce an answer. And it shouldn’t. It can get close. It can be suggestive.” To her, the pandemic has only highlighted a long-standing communications challenge. “There’s actually a culture clash here, where fundamentally the communication always will be broken, because the scientist has been trained not to give an answer, and the decision-maker’s only job is to provide one.”

Abbott recalls getting feedback from decision-makers about having too much uncertainty in some of his modeling work. “I’m not sure what the happy balance is,” he said. “You need what actually happens to be encapsulated by your estimates going forward; otherwise people lose confidence. But equally, if you’re too uncertain, people can’t make any decisions off your estimates.” When asked what he’d done since getting the feedback about reducing uncertainty, “I accidentally added more,” he said, a bit sheepishly.

One way researchers and decision-makers have tried to bridge that culture gap is to focus on qualitative narratives that emerge from all the models, rather than specific quantitative outcomes. Just knowing something as simple as whether the epidemic is growing or shrinking at a given time can be immensely helpful, even if different models spit out very different numbers to reflect it. The trend can be used to analyze which interventions have been most effective in various contexts, and to suggest which combinations of interventions might be best to try going forward.

“Trends are more robust than precise numbers, and can be used to plan responses,” Goldenfeld said. “Instead of saying, ‘Can you predict for me how many hospital beds am I going to need?’ what you can predict is, ‘What is the probability in the next, say, three weeks that the hospital capacity in this region is going to be exceeded … and by how much?’”

Relying on multiple models also allows researchers and decision-makers to address a variety of assumptions and approaches to bolster confidence in whatever conclusion they reach. Kucharski explained that if two completely different models both conclude that some level of contact tracing isn’t enough to control an outbreak, “then the difference in structure and the differences in precise estimates are less relevant than the fact that they both come to the same answer about that question.”

Even the uncertainty itself can be informative. In December, officials at Penn State, including Ferrari and his team, initially settled on reopening their campus in mid-January. But as 2020 drew to a close, they decided to push that plan back a month:Students will now be returning to campus on February 15. Because of factors such as the rise in levels of transmission in the surrounding county, there was “a real concern that we just wouldn’t be able to maintain operations at the level that was necessary to bring students back,” Ferrari said.

But the decision was also based on uncertainties in the projections of a model that Ferrari and his colleagues had been looking to for guidance — the CDC’s ensemble forecast, which aggregates the results of dozens of individual models. In December, the bounds on the uncertainties were so wide that “we didn’t really quite know what January was going to look like,” he said.

He and his team also noticed that many of the individual models in the ensemble were under-predicting the number of cases that would arise. “For the three to four weeks before that decision got made, we were seeing in reality worse outcomes than the models were projecting,” Ferrari said. “So that gave us pause and made us think that really, the coming three to four weeks are more likely to be on the pessimistic side of that confidence bound. And we just really couldn’t accept that.”

The trustworthiness of the models isn’t the only consideration in setting policy. According to McCaw, it also helps to have cultivated relationships with government officials and other policy-setters. He and members of his team have spent 15 years doing this in Australia, mostly through discussions about how best to respond to flu epidemics. “We’ve had hundreds and hundreds of meetings now,” he said. “We learn each other’s styles, we learn each other’s quirks, and we have a lot of trust.” Those long-term relationships have helped him figure out how to explain his work in a way that not only makes sense to whoever he’s interacting with, but also allows them to explain it to other policy leaders.

In line with that goal, over the past five years and more, McCaw and his colleagues have conducted workshops and programs to figure out how best to visualize and communicate their modeling. (Tables of numbers work surprisingly well. Though they “can feel a bit overwhelming and busy,” according to McCaw, “they’re a high-dimensional visualization of something, so they’re actually quite powerful.” Heat maps are less successful for anything other than geographical data. Graphs have their uses, but they need to be directed at a particular policy question.) Most importantly, the Australian team learned that “shying away from uncertainty is a disaster,” McCaw said. “So we embraced that.”

Other researchers have gone straight to social media instead, posting their preprints and models on Twitter to inform the public directly and to gain access to academics and government officials through less formal channels.

These forms of communication remain difficult and time-consuming, and many researchers have had to learn about them on the fly as the pandemic progressed. “It’s really made me wish that there were more communication lessons in STEM education,” said Kate Bubar, a graduate student in Larremore’s lab at the University of Colorado, Boulder who started pursuing her doctorate during the COVID-19 crisis.

The exchanges with policy-setters also benefit the scientists by illuminating decision-making processes, which can seem opaque when they go beyond the models’ math to consider other factors.

When case numbers at Penn State shot up after its reopening, Ferrari and others at first urged university officials to close the campus again immediately. But then, he recalls, the head of university housing told him, “Matt, do you understand what ‘shut it all down, send them all home’ means?” He pointed out that the school’s 40,000 students would not suddenly disperse; 30,000 of them would likely stay in the apartments they had rented. Moreover, the logistics of getting everyone off campus were intimidatingly hard and could even worsen the risk of spreading COVID-19.

“And I think each one of us went through cases like that,” Ferrari said, “where we got to the end of a really impassioned discussion and said, ‘OK, you know, I’m going to stand down because now that I can see the case from your perspective, I recognize all of the things that I was glossing over.’”

How Models Can Help Next

Epidemiological models will continue to be crucial in what everyone hopes will be the end stages of the pandemic, particularly as researchers look into the next big questions, such as how to prioritize the dissemination of vaccines. A common way to do so for the flu, for instance, is to target vaccines at children, which indirectly protects the rest of the population because kids are a major node in the network of flu transmission (though they do not seem to be for COVID-19).

Larremore and Bubar have been part of the ongoing effort to model what that should look like for COVID-19. Long before any vaccines were available, they considered an extensive list of uncertainties:about the disease dynamics, about whether a vaccine would block disease transmission, about how long immunity might last, and other factors. A big question was how effective a vaccine needed to be, and in what way that efficacy would manifest:If a vaccine was 50% effective, did that mean it worked perfectly but only in 5 out of 10 people, or that it cut everyone’s chances of infection in half?

They quickly found that in setting COVID-19 vaccination strategies, it’s necessary to choose between the goals of reducing deaths and reducing transmission. If they wanted to minimize mortality, direct vaccination of the elderly was the way to go, regardless of vaccine efficacy and other what-ifs. But if the goal was instead to reduce transmission (in places with large numbers of essential workers who couldn’t stay in lockdown, for instance), then adults between the ages of 20 and 50 should be vaccinated first instead:Their behaviors and interactions made them more of a hub for further spread. In that case, however, there would also be slight differences in allocation based on the efficacy of different vaccines, population demographics and contact patterns. “We got different results for Brazil, Belgium, Zimbabwe and the U.S.,” Larremore said.

Now that multiple vaccines have been approved in various countries around the world, researchers have been able to refine those models. But they’ve also had to expand on their work to account for new events that are shifting priorities again. One is the emergence of new SARS-CoV-2 mutations that have raised the transmission rate in many regions. Another is that the rollout of vaccines is happening much, much more slowly than had been anticipated.

Still, to Larremore, the basic calculus stays the same. “It’s a race,” he said. “It’s racing against the virus itself that’s hopping from person to person.” And so, “as you roll the vaccine out more and more slowly, it’s going to change what strategy you would use.”

In countries where rollout has been very slow compared to viral transmission, the models show that taking the direct approach and reducing mortality — by first vaccinating older people and others who are at higher risk — is the best way to move forward. But “if you’re South Korea, Taiwan, New Zealand” or somewhere else where transmission is under better control, Larremore said, “you have a totally different set of options” because the race against the virus looks so different. He and Bubar showed that similar shifts in strategy could rely on other factors, such as different reproduction numbers and overall transmission rates.

Now, though, the debate over vaccination concerns not just which people to vaccinate but also how and when to do it. The two approved vaccines in the U.S. each require two doses to deliver their full 95% efficacy. But given how slowly those vaccines are being distributed, researchers have begun modeling other scenarios, including giving as many people the first dose of the vaccine as possible, rather than setting aside half of the available doses to absolutely ensure that people who receive their first dose will receive their second on schedule.

That strategy has the advantage of ramping up baseline protection in a population:The first dose confers only about 52% protection, which isn’t satisfactory by the usual vaccine standards but could slow the spread of infections enough to prevent more cases and deaths in the long run. But it’s also gambling on the likelihood that enough second doses will be available when they are needed. People who receive their second dose later than intended may never get the full measure of vaccine immunity, and some researchers worry that widespread delays in producing full immunity could give the virus more opportunities to mutate and “escape” a vaccine’s control.

SEIR models have helped to quantify that gamble. Assuming certain dose efficacies, waning efficacy between doses over time, and other factors, the models have shown that trying to deploy as many first doses as possible can avert around 25% more COVID-19 cases (and sometimes more) over eight weeks than setting aside half of available doses can. In fact, the researchers found that only in the worst-case scenario — if the first dose of the vaccine had a very low efficacy and if the vaccine supply chain collapsed — would setting aside half the doses for the future be the better alternative.

Ferrari points out that this trade-off is nothing new:He’s seen it in his own work on measles and meningitis outbreaks, and in colleagues’ work on cholera, yellow fever, polio and other diseases. The mathematical models are straightforward, he says, and they show that in the midst of an outbreak, the emphasis should always be on quickly vaccinating as many people as possible, even if it means sacrificing some of the efficacy of the vaccination campaign.

Such models have been instrumental in leading the U.K. — and now the U.S. — to adopt that plan. Perhaps they wouldn’t have if the virus hadn’t “just put on rocket boots,” as Larremore put it, or if the vaccine rollouts had happened more efficiently in the first place. But that’s why models have to take into account so many possibilities and uncertainties. (There are other open questions, too, like how long immunity will last, and whether COVID-19 will be a one-time crisis or a seasonal ailment like the flu, which will affect future decisions about how many vaccines to continue buying and how to prioritize them.)

“The math is simple,” Ferrari said. “Where the math meets the real world is where the complications come in.”

Going forward, there are still questions about human behavior to reckon with. Because of disabilities, poverty or other obstacles, some people may not be able to get to a vaccine distribution center, or they may be hesitant about getting a vaccine at all. As vaccines protect those most susceptible to COVID-19, “we’ll see mortality drop — along with the coming of spring and the opening of more of the outdoors to people,” Larremore said. “I think we’re going to see a lot of pressure put on officials to really reopen things.” People will start to act differently regardless. Will they get less careful or take more risks after getting a first dose or a second, or after seeing more and more people receiving vaccines? How will that affect transmission and subsequent vaccination and intervention strategies?

As with so many decisions that have characterized the COVID-19 pandemic, it’s still true that, while one strategy might have a bigger impact for all of society, it might not be beneficial to certain individuals — say, those who could get a significantly delayed second dose. It places at odds “the perspectives of the medical doctor who sees the patient in front of her,” Larremore said, “and the public health modeler who sees how things are shifting at a very broad scale.”

That’s something that all modelers have encountered. “I can type in these numbers, or see the results saying this number of people might die if [these are] the groups that we choose to vaccinate,” Bubar said. “Just looking at it as a coding simulation, it feels very impersonal. But then we turn on the news and we see the number of actual people that have died every day, and it’s obviously very personal and very shocking.”

That’s why she and Larremore have also tried to incorporate questions about fairness and ethics into their vaccine prioritization models, including a strategy of combining vaccine rollout measures with antibody test results, particularly in areas hit hardest by the virus.

Meanwhile, the pandemic has stolen attention from other health issues, for instance through disruptions of major health care services — including, in many countries, vaccination programs for other diseases. Ferrari has been analyzing how these disruptions will affect measles outbreaks around the world over the next couple of years. Some of his work has already helped to prompt Ethiopia to move ahead with planned measles vaccination programs and other health care services; he’s currently doing more modeling work to determine when and how other regions should resume those practices.

Looking Forward, Looking Back

Researchers expect to be dissecting what happened during the COVID-19 pandemic for years to come. They will comb through the massive numbers of models that were generated and try to account for what worked, what didn’t and why. But there are key lessons they are already taking away from the experience in preparation for the inevitable next pandemic.

One is that they should take advantage of new, potentially rich streams of data from cell phones and other sources, which can provide detailed information about people’s real behaviors. Another is that certain kinds of problems are most easily conquered by dividing them up among teams, sometimes spanning several disciplines.

To make that possible, Manrubia and other researchers have called for national and worldwide programs dedicated to epidemiological forecasting and pandemic science. “We need to undertake a global program, similar to those meteorological institutes that you have in all countries,” Manrubia said. “This is something that doesn’t exist at the epidemiological level. And we need that, at the world scale.”

Such a program might guide the development of extensive systems for data collection and sharing, as well as infrastructure for rapid testing, contact tracing and vaccine production. It could frame more coherent strategies for when and how to use certain types of models for optimal results. It could also establish networks for helping experts in diverse fields to connect, and it could offer protocols for integrating their areas of expertise into informed decision-making processes. The COVID-19 pandemic has broken ground for building those capabilities.

But the other crucial lesson of COVID-19 has been that epidemiologists need to communicate the proper uses and limitations of their models more effectively to decision-makers and the public — along with an appreciation of what the uncertainties in those models mean. The frustrating challenge is that researchers are often already offering these explanations, but the public and its representatives tend to want more certainty than science can provide. And when governments decide to disregard researchers’ best counsel and clutch instead at specious but popular policies, it isn’t clear what scientists can do about it.

Drake says he had hoped that U.S. policy leaders understood how measures like lockdowns could create time to formulate a national response to the pandemic. “I thought we did the right thing by locking down. And then we squandered [it]. We bought ourselves a month,” he said. “But we didn’t do anything with that time.”

Jewell is also outraged at what he called the “shambolic” U.S. response. “There really should be a national strategy:If you’re in an area with this level of community transmission, this is what your schools could do,” he said. Instead, “there is no plan. There is no strategy. Everyone — every campus and every school system — is on their own.”

He points accusingly at “the shocking performance of the CDC.” He doesn’t blame individual researchers there, but “somehow, politically, the CDC has been completely compromised,” he said. “We always used to turn to the CDC:‘Give us advice! What do we do?’ They were getting the best quality data.” But during this pandemic, that hasn’t happened. “They’ve given terrible advice.”

Drake recognizes that “it’s a policy decision, not a scientific one, as to what tradeoff you’re willing to accept in terms of the cost to the country and the number of lives lost — how many deaths could have been averted, what are we willing to pay for those.”

“But from my vantage point,” he continued, “much of the death and illness that we’ve seen in fact could have been prevented.” The models can warn us about fatalities to come, but we have to be willing to learn how to listen to them.