Fortrolige lægemiddeldata løfter AI til 52,1 %

AI-modeller lærer af eksempler, og deres præcision stiger som regel, når de får adgang til flere relevante data. Det gælder både ansigtsgenkendelse, maskinoversættelse og forudsigelser af, hvordan lægemiddelmolekyler binder sig til proteiner. I lægemiddeludviklingen ligger nogle af de mest værdifulde data imidlertid i medicinalvirksomhedernes lukkede databaser, hvor offentligt tilgængelige AI-systemer ikke kan bruge dem.

Et konsortium bestående af AbbVie, Astex Pharmaceuticals, Bristol Myers Squibb, Johnson & Johnson og Takeda mener at have fundet en metode, der lader virksomhederne træne en fælles model på deres private data uden at udlevere selve materialet til hinanden. På konsortiets egen test klarede modellen sig markant bedre end udgangspunktet, som kun var trænet på offentlige data. Hverken modellen, testmaterialet eller en fagfællebedømt artikel er dog offentliggjort (Nature).

Modellen lærer, mens data bliver hos virksomhederne

Grundmodellen var OpenFold3 Preview 2, et open source-system, der forudsiger, hvordan proteiner og små lægemiddellignende molekyler placerer sig sammen i tre dimensioner. Forenklet sagt forsøger modellen både at beregne låsens form og den måde, nøglen passer ind i den på (OpenFold3 repository).

De fem virksomheder samlede ikke deres molekylestrukturer i én database. I stedet trænede hver virksomhed en lokal kopi af modellen på sine egne data. Kun de numeriske justeringer, som modellen lærte under træningen, blev sendt til en central koordinator; de bagvedliggende oplysninger om molekylerne blev hos virksomhederne. Berlin-baserede Apheris styrede processen med NVIDIA's åbne system til fødereret læring, mens Mohammed AlQuraishis laboratorium på Columbia University bidrog med ekspertise i modellen. Ifølge konsortiet blev 40 NVIDIA H100-grafikprocessorer fordelt på fem separate virksomhedsmiljøer (Apheris, Nature).

De oprindelige strukturdata forlod dermed ikke virksomhedernes egne systemer. Konsortiet har dog ikke fremlagt formel dokumentation for, at de delte modelopdateringer umuligt kan afsløre oplysninger om træningsdataene. Det er en kendt teoretisk risiko ved fødereret læring.

Hvad de private strukturer føjede til modellen

Konsortiet trænede modellen på 20.167 private strukturer af protein-lægemiddel-komplekser og testede den på et separat, ligeledes privat datasæt med 1.056 strukturer (Apheris). Hovedmålet var, hvor ofte modellens beregnede placering af et lægemiddel i forhold til et protein lå tæt på den eksperimentelt observerede struktur. Den fødererede model leverede resultater af høj kvalitet i 52,1 % af testene. Det tilsvarende tal var 35,6 % for den oprindelige OpenFold3 og 40,9 % for Boltz-2, som er en anden førende åben model (Apheris, Nature).

En kontrolmodel, der alene blev trænet på opdaterede offentlige data, opnåede ikke samme forbedring. Konsortiet tolker det som tegn på, at virksomhedernes egne strukturer indeholder oplysninger med værdi for forudsigelserne, som ikke findes i de offentligt tilgængelige datasæt (Apheris).

En mulig forklaring ligger i dataenes sammensætning. Den offentlige Protein Data Bank er omfattende, men afspejler, hvilke proteiner akademiske laboratorier har valgt at undersøge. Medicinalvirksomhedernes samlinger indeholder ifølge konsortiet og eksterne kommentatorer oftere systematiske serier, hvor ét biologisk mål er undersøgt sammen med mange beslægtede lægemiddelkandidater. Netop sådanne serier registrerer de små forskelle i molekylernes binding, som kan afgøre det videre designarbejde (Nature, C&EN). Konsortiet oplyser desuden, at den fælles model klarede sig bedre end samtlige modeller, der kun var trænet hos én virksomhed. Det stemmer med forklaringen om, at datamængden på tværs af selskaberne gjorde forskellen.

Det kan uafhængige forskere endnu ikke kontrollere

Der er ikke indsendt nogen videnskabelig artikel. Modellens indlærte numeriske parametre, benchmarkets strukturer og de enkelte forudsigelser er heller ikke tilgængelige for eksterne forskere. Konsortiet har hverken offentliggjort konfidensintervaller eller statistiske test, og de samme organisationer har både bygget systemet, sammensat benchmarket og bedømt resultaterne (Nature).

Det er en væsentlig begrænsning, fordi strukturmodeller har en kendt faldgrube. PoseBusters-gruppen har vist, at forudsigelser fra andre AI-modeller kan ligne referencestrukturen geometrisk, men samtidig placere atomer på fysisk umulige måder, eksempelvis med bindingsvinkler, der ikke forekommer i virkelige molekyler (PoseBusters). Det vides ikke, om AISB's forudsigelser består den slags kontrol.

Benchmarket måler desuden, hvor godt modellen kan rekonstruere allerede kendte eksperimentelle strukturer. Det viser ikke, om modellen kan finde stoffer, der faktisk binder sig til det ønskede mål i en levende organisme, eller om stofferne er sikre. En præcis forudsigelse af molekylets placering kan hjælpe kemikere med at vælge, hvilke forbindelser de bør undersøge videre, men konsortiet har ikke fremlagt resultater fra den efterfølgende lægemiddeludvikling.

Det tidligere MELLODDY-projekt med ti virksomheder viste, at fødereret læring kunne forbedre forudsigelser af molekylære egenskaber på tværs af konkurrerende medicinalvirksomheder (MELLODDY). AISB overfører princippet til tredimensionel strukturforudsigelse. For at afgøre, om forbedringen også holder uden for konsortiets egen test, kræver næste skridt en offentliggjort videnskabelig artikel og tilstrækkeligt materiale til, at uafhængige forskere kan efterprøve resultaterne.