Ιδιωτικά δεδομένα ανεβάζουν το OpenFold3 στο 52.1%

Τα μοντέλα τεχνητής νοημοσύνης μαθαίνουν από παραδείγματα και βελτιώνονται όσο περισσότερα συναφή δεδομένα επεξεργάζονται. Η αρχή ισχύει τόσο για την αναγνώριση προσώπων και τη μετάφραση κειμένων όσο και για την πρόβλεψη του τρόπου με τον οποίο τα μόρια ενός φαρμάκου αλληλεπιδρούν με τις πρωτεΐνες. Στην ανάπτυξη φαρμάκων, όμως, ορισμένα από τα χρησιμότερα παραδείγματα παραμένουν κλειδωμένα στις βάσεις δεδομένων των φαρμακευτικών εταιρειών και, επομένως, απρόσιτα στα δημόσια συστήματα ΤΝ.

Μια κοινοπραξία πέντε εταιρειών —των AbbVie, Astex Pharmaceuticals, Bristol Myers Squibb, Johnson & Johnson και Takeda— υποστηρίζει ότι κατάφερε να εκπαιδεύσει συλλογικά ένα μοντέλο με αυτά τα ιδιωτικά δεδομένα, χωρίς καμία εταιρεία να αποκαλύψει τα αρχεία της στις υπόλοιπες. Στη δοκιμή αξιολόγησης που πραγματοποίησε η ίδια η κοινοπραξία, το νέο μοντέλο ξεπέρασε αισθητά την αρχική, εκπαιδευμένη με δημόσια δεδομένα εκδοχή. Ωστόσο, δεν έχουν δημοσιοποιηθεί ούτε το μοντέλο ούτε τα δεδομένα της δοκιμής ούτε κάποια μελέτη που να έχει περάσει από αξιολόγηση ομοτίμων (Nature).

Εκπαίδευση του μοντέλου χωρίς συγκέντρωση των δεδομένων

Ως βάση χρησιμοποιήθηκε το OpenFold3 Preview 2, ένα σύστημα ανοικτού κώδικα που προβλέπει πώς οι πρωτεΐνες και τα μικρά μόρια με φαρμακευτικές ιδιότητες διατάσσονται μαζί στον τρισδιάστατο χώρο. Με απλά λόγια, επιχειρεί να προβλέψει τόσο το σχήμα μιας κλειδαριάς όσο και τον τρόπο με τον οποίο εφαρμόζει μέσα της το κλειδί (OpenFold3 repository).

Αντί να συγχωνεύσουν τις μοριακές δομές των πέντε εταιρειών σε μία κοινή βάση, κάθε επιχείρηση εκπαίδευσε τοπικά ένα αντίγραφο του μοντέλου με τα δικά της δεδομένα. Στον κεντρικό συντονιστή διαβιβάστηκαν μόνο οι αριθμητικές προσαρμογές που έμαθε το μοντέλο κατά την εκπαίδευση και όχι τα αρχεία των μορίων. Τον συντονισμό ανέλαβε η Apheris, με έδρα το Βερολίνο, χρησιμοποιώντας το ανοικτό πλαίσιο ομοσπονδιακής μάθησης της NVIDIA, ενώ το εργαστήριο του Mohammed AlQuraishi στο Columbia University παρείχε τεχνογνωσία για το μοντέλο. Σύμφωνα με την κοινοπραξία, χρησιμοποιήθηκαν 40 επεξεργαστές γραφικών NVIDIA H100 σε πέντε χωριστά εταιρικά περιβάλλοντα (Apheris, Nature).

Οι αρχικές δομές παρέμειναν πίσω από τα εταιρικά συστήματα ασφαλείας. Η κοινοπραξία, ωστόσο, δεν έχει παρουσιάσει επίσημες αποδείξεις ότι οι κοινόχρηστες ενημερώσεις του μοντέλου δεν επιτρέπουν την εξαγωγή πληροφοριών για τα δεδομένα εκπαίδευσης, έναν γνωστό θεωρητικό κίνδυνο της ομοσπονδιακής μάθησης.

Τι πρόσθεσαν οι ιδιωτικές δομές

Η εκπαίδευση βασίστηκε σε 20.167 ιδιόκτητες δομές συμπλεγμάτων πρωτεΐνης-φαρμάκου, ενώ η αξιολόγηση έγινε σε χωριστό ιδιωτικό σύνολο 1.056 δομών (Apheris). Ο βασικός δείκτης μετρούσε πόσο συχνά η διάταξη φαρμάκου και πρωτεΐνης που προέβλεπε το μοντέλο πλησίαζε εκείνη που είχε παρατηρηθεί πειραματικά. Το ομοσπονδιακό μοντέλο έδωσε προβλέψεις υψηλής ποιότητας στο 52,1 τοις εκατό των περιπτώσεων, έναντι 35,6 τοις εκατό για το αρχικό OpenFold3 και 40,9 τοις εκατό για το Boltz-2, ένα ακόμη προηγμένο ανοικτό μοντέλο (Apheris, Nature).

Ένα μοντέλο ελέγχου, το οποίο εκπαιδεύτηκε αποκλειστικά με επικαιροποιημένα δημόσια δεδομένα, δεν εμφάνισε ανάλογη βελτίωση. Η κοινοπραξία θεωρεί ότι αυτό δείχνει πως οι ιδιωτικές δομές περιείχαν πληροφορίες με προβλεπτική αξία, οι οποίες απουσιάζουν από τα δημόσια αρχεία (Apheris).

Η διαφορά μπορεί να οφείλεται στη σύνθεση των δεδομένων. Η δημόσια Protein Data Bank είναι εκτεταμένη, αλλά αντανακλά κυρίως τις πρωτεΐνες που επέλεξαν να μελετήσουν τα ακαδημαϊκά εργαστήρια. Αντίθετα, σύμφωνα με την κοινοπραξία και ανεξάρτητους σχολιαστές, τα αρχεία των φαρμακευτικών εταιρειών περιλαμβάνουν συνήθως συστηματικές σειρές στις οποίες ο ίδιος βιολογικός στόχος συνδυάζεται με πολλά συγγενικά υποψήφια φάρμακα, καταγράφοντας τις λεπτές διαφορές πρόσδεσης που καθορίζουν τον σχεδιασμό τους (Nature, C&EN). Η κοινοπραξία αναφέρει επίσης ότι το ομοσπονδιακό μοντέλο ξεπέρασε κάθε μοντέλο που εκπαιδεύτηκε από μία μόνο εταιρεία, αποτέλεσμα συμβατό με την εκτίμηση ότι η συνδυασμένη αξιοποίηση των δεδομένων απέδωσε πρόσθετο όφελος.

Τι δεν μπορούν ακόμη να επαληθεύσουν οι ανεξάρτητοι ερευνητές

Δεν έχει υποβληθεί επιστημονική μελέτη, ενώ παραμένουν απρόσιτες οι αριθμητικές παράμετροι που έμαθε το μοντέλο, οι δομές της δοκιμής και οι επιμέρους προβλέψεις. Επίσης, δεν έχουν δημοσιευθεί διαστήματα εμπιστοσύνης ή στατιστικοί έλεγχοι. Τόσο η κατάρτιση του συνόλου αξιολόγησης όσο και η αποτίμηση των αποτελεσμάτων έγιναν από τους οργανισμούς που κατασκεύασαν το σύστημα (Nature).

Η επιφύλαξη έχει πρακτική βάση. Μελέτη της ομάδας PoseBusters έδειξε ότι οι προβλέψεις άλλων μοντέλων ΤΝ για μοριακές δομές μπορεί να εμφανίζονται γεωμετρικά κοντά στη δομή αναφοράς, αλλά να τοποθετούν τα άτομα σε φυσικά αδύνατες διατάξεις, όπως χημικούς δεσμούς με γωνίες που δεν απαντούν σε πραγματικά μόρια (PoseBusters). Παραμένει άγνωστο αν οι προβλέψεις του AISB περνούν αυτούς τους ελέγχους.

Η ίδια η δοκιμή μετρά πόσο πιστά ανακατασκευάζει το μοντέλο γνωστές πειραματικές διατάξεις. Δεν εξετάζει αν η επίδοση αυτή βοηθά να εντοπιστούν ενώσεις που πράγματι προσδένονται στον στόχο τους μέσα σε έναν ζωντανό οργανισμό ούτε αν αυτές είναι ασφαλείς. Μια ακριβής πρόβλεψη της θέσης πρόσδεσης μπορεί να καθοδηγήσει τον χημικό στην επιλογή των ενώσεων που αξίζει να διερευνηθούν, αλλά η κοινοπραξία δεν έχει παρουσιάσει αποτελέσματα από επόμενα στάδια ανάπτυξης φαρμάκων.

Το δεκαμελές πρόγραμμα MELLODDY είχε ήδη δείξει ότι η ομοσπονδιακή μάθηση μπορεί να βελτιώσει την πρόβλεψη μοριακών ιδιοτήτων, ακόμη και όταν συνεργάζονται ανταγωνιστικές φαρμακευτικές εταιρείες (MELLODDY). Το AISB εφαρμόζει πλέον την ίδια αρχή στην πρόβλεψη τρισδιάστατων δομών. Για να αξιολογηθεί, όμως, αν η αναφερόμενη βελτίωση διατηρείται έξω από τις δοκιμές που ελέγχει η κοινοπραξία, χρειάζονται δημοσιευμένη μελέτη και επαρκή, ελέγξιμα δεδομένα για ανεξάρτητη εξέταση.