Privata läkemedelsdata lyfter AI till 52.1%

AI-modeller lär sig av exempel och blir bättre ju mer relevanta träningsdata de får. Det gäller förutsägelser om hur läkemedelsmolekyler binder till proteiner lika väl som ansiktsigenkänning och maskinöversättning. Problemet är att några av de mest användbara exemplen inom läkemedelsutveckling finns inlåsta i läkemedelsbolagens databaser och därför inte kan användas av offentligt tillgängliga AI-system.

Fem bolag – AbbVie, Astex Pharmaceuticals, Bristol Myers Squibb, Johnson & Johnson och Takeda – uppger nu att de gemensamt har tränat en modell på sådana uppgifter utan att något av bolagen behövt lämna ut sina filer. I konsortiets eget test presterade modellen klart bättre än den ursprungliga versionen, som enbart tränats på offentliga data. Varken modellen, testmaterialet eller någon sakkunniggranskad forskningsartikel har dock publicerats (Nature).

Modellen tränas utan en gemensam databas

Utgångspunkten var OpenFold3 Preview 2, ett öppet system som förutsäger hur proteiner och små läkemedelsliknande molekyler ordnar sig tillsammans i tre dimensioner. Förenklat försöker modellen beräkna både låsets form och hur nyckeln passar i det (OpenFold3 repository).

De fem bolagens molekylstrukturer samlades aldrig i en central databas. I stället tränade varje bolag en egen kopia av modellen lokalt och skickade endast de numeriska modelljusteringar som träningen gav till en central samordnare. De bakomliggande molekyluppgifterna stannade hos respektive bolag. Berlinbaserade Apheris skötte samordningen med hjälp av NVIDIAs öppna ramverk för federerad inlärning, medan Mohammed AlQuraishis laboratorium vid Columbia University bidrog med modellkompetens. Enligt konsortiet användes 40 NVIDIA H100-grafikprocessorer i fem separata företagsmiljöer (Apheris, Nature).

Rådata stannade bakom bolagens brandväggar. Konsortiet har däremot inte lagt fram formella belägg för att de delade modelluppdateringarna inte kan röja information om träningsmaterialet. Sådant informationsläckage är en känd teoretisk risk med federerad inlärning.

Vad de privata strukturerna tillförde

Modellen tränades på 20 167 företagsägda strukturer av protein–läkemedelskomplex och testades på en separat, privat samling med 1 056 strukturer (Apheris). Huvudmåttet var hur ofta modellens beräkning av ett läkemedels placering mot ett protein låg nära den struktur som observerats experimentellt. Den federerade modellen nådde hög kvalitet i 52,1 % av testfallen. Motsvarande resultat var 35,6 % för den ursprungliga OpenFold3 och 40,9 % för Boltz-2, en annan ledande öppen modell (Apheris, Nature).

En kontrollmodell som enbart tränades på uppdaterade offentliga data nådde inte samma resultat. Konsortiet tolkar det som att bolagens egna strukturdata innehöll information med prognosvärde som saknas i offentligt tillgängliga register (Apheris).

En möjlig förklaring ligger i hur datamaterialet har samlats in. Den offentliga Protein Data Bank är omfattande men speglar vilka proteiner akademiska laboratorier har valt att undersöka. Läkemedelsbolagens samlingar innehåller, enligt konsortiet och utomstående bedömare, oftare systematiska serier där samma målprotein har testats mot många närbesläktade läkemedelskandidater. Därmed registreras de små skillnader i bindning som är centrala för fortsatt läkemedelsutveckling (Nature, C&EN). Konsortiet uppger också att den federerade modellen överträffade samtliga modeller som tränats av ett enskilt bolag, vilket är förenligt med att kombinationen av data från flera företag gav ett mervärde.

Vad utomstående ännu inte kan kontrollera

Något manuskript har inte lämnats in för publicering. Modellens inlärda numeriska parametrar, teststrukturerna och de enskilda förutsägelserna är inte tillgängliga för oberoende forskare. Inte heller har konfidensintervall eller statistiska tester publicerats. Dessutom har testet utformats och utvärderats av samma organisationer som byggde systemet (Nature).

Det är relevant eftersom tidigare forskning har visat på en särskild felkälla. PoseBusters-gruppen fann att resultat från andra AI-modeller för strukturförutsägelser kan ligga geometriskt nära en referensstruktur men samtidigt placera atomer på fysikaliskt omöjliga sätt, exempelvis med bindningsvinklar som inte förekommer i verkliga molekyler (PoseBusters). Det är ännu okänt om AISB:s förutsägelser klarar sådana kontroller.

Testet mäter hur väl modellen återskapar redan kända experimentella strukturer. Det visar inte om metoden kan identifiera ämnen som verkligen binder till sitt mål i en levande organism eller om dessa ämnen är säkra. En korrekt beräknad bindningsposition kan hjälpa en kemist att välja vilka substanser som bör undersökas vidare, men konsortiet har inte redovisat några resultat från senare steg i läkemedelsutvecklingen.

Det tidigare projektet MELLODDY, som omfattade tio företag, visade att federerad inlärning kunde förbättra beräkningar av molekylära egenskaper hos konkurrerande läkemedelsbolag (MELLODDY). AISB tillämpar samma princip på förutsägelser av tredimensionella strukturer. För att resultaten ska kunna bedömas krävs nu ett publicerat manuskript och tillräckligt med granskningsbart material för att oberoende forskare ska kunna pröva om förbättringen består även utanför konsortiets egen utvärdering.