Bedrijfseigen farmadata tilt OpenFold3 naar 52,1%

AI-modellen leren van voorbeelden: hoe relevanter het oefenmateriaal, hoe beter hun voorspellingen. Dat geldt zowel voor gezichtsherkenning en tekstvertaling als voor het voorspellen van de wisselwerking tussen geneesmiddelmoleculen en eiwitten. Juist de bruikbaarste voorbeelden voor geneesmiddelenontwikkeling liggen echter vaak opgesloten in databanken van farmaceutische bedrijven, buiten het bereik van AI-systemen die uitsluitend met openbare gegevens worden getraind.

Vijf bedrijven, AbbVie, Astex Pharmaceuticals, Bristol Myers Squibb, Johnson & Johnson en Takeda, zeggen een methode te hebben gevonden waarmee zij gezamenlijk op zulke besloten gegevens kunnen trainen zonder hun bestanden onderling te delen. Op de eigen benchmark van het consortium presteerde het resulterende model aanzienlijk beter dan het uitgangsmodel, dat alleen met openbare gegevens was getraind. Het model, de testgegevens en een collegiaal getoetst wetenschappelijk artikel zijn evenwel niet gepubliceerd (Nature).

Een model trainen zonder gegevens samen te voegen

Als uitgangspunt diende OpenFold3 Preview 2, een opensourcesysteem dat voorspelt hoe eiwitten en kleine, geneesmiddelachtige moleculen zich gezamenlijk in drie dimensies rangschikken. Het model probeert zowel de vorm van het slot te bepalen als de manier waarop de sleutel erin past (OpenFold3 repository).

De vijf bedrijven brachten hun molecuulstructuren niet bijeen in één databank. Elke onderneming trainde lokaal een eigen kopie van het model met haar eigen gegevens. Alleen de numerieke aanpassingen die het model tijdens dat proces leerde, gingen naar een centrale coördinator; de onderliggende molecuulgegevens bleven bij het bedrijf. Het Berlijnse Apheris coördineerde dit proces met NVIDIA's open raamwerk voor gefedereerd leren, terwijl het laboratorium van Mohammed AlQuraishi aan Columbia University de expertise over het model leverde. Volgens het consortium draaide de training op 40 NVIDIA H100-GPU's, verdeeld over vijf afzonderlijke bedrijfsomgevingen (Apheris, Nature).

De ruwe structuren bleven dus achter de digitale muren van de bedrijven. Formeel bewijs dat de gedeelde modelaanpassingen geen informatie over de trainingsgegevens kunnen prijsgeven, heeft het consortium echter niet gepubliceerd. Dat risico is immers een bekend theoretisch probleem bij gefedereerd leren.

Wat de besloten structuren toevoegden

Voor de training gebruikte het consortium 20.167 bedrijfseigen structuren van eiwit-geneesmiddelcomplexen. De test vond plaats met een afzonderlijke besloten verzameling van 1.056 structuren (Apheris). De belangrijkste maatstaf was het aandeel gevallen waarin de voorspelde rangschikking van geneesmiddel en eiwit nauw overeenkwam met de experimenteel waargenomen structuur. Het gefedereerde model behaalde bij 52,1% van de testgevallen een score van hoge kwaliteit, tegenover 35,6% voor het oorspronkelijke OpenFold3 en 40,9% voor Boltz-2, een ander vooraanstaand open model (Apheris, Nature).

Een controlemodel dat alleen met bijgewerkte openbare gegevens was getraind, boekte die vooruitgang niet. Volgens het consortium wijst dat erop dat de besloten structuren voorspellende informatie bevatten die in openbare bestanden ontbreekt (Apheris).

Daarvoor bestaat een aannemelijke verklaring. De openbare Protein Data Bank is omvangrijk, maar weerspiegelt vooral welke eiwitten academische laboratoria hebben gekozen om te onderzoeken. Farmaceutische verzamelingen bevatten volgens het consortium en externe deskundigen vaker systematische reeksen waarin één doelwit wordt gekoppeld aan veel verwante kandidaat-geneesmiddelen. Juist zulke reeksen leggen de subtiele verschillen in binding vast die voor het ontwerpen van medicijnen van belang zijn (Nature, C&EN). Volgens het consortium presteerde het gefedereerde model bovendien beter dan ieder model dat met de gegevens van slechts één bedrijf was getraind. Het bijeenbrengen van kennis uit meerdere bedrijfsdatabanken lijkt dus wel degelijk waarde te hebben toegevoegd.

Wat buitenstaanders nog niet kunnen controleren

Er is nog geen wetenschappelijk artikel ingediend. De aangeleerde numerieke instellingen van het model, de structuren uit de benchmark en de afzonderlijke voorspellingen zijn voor externe onderzoekers niet beschikbaar. Ook ontbreken betrouwbaarheidsintervallen en statistische toetsen. Daar komt bij dat dezelfde organisaties het systeem bouwden, de benchmark samenstelden en de resultaten beoordeelden (Nature).

Dat gebrek aan controleerbaarheid weegt mee door een bekende tekortkoming van zulke modellen. Onderzoek van de PoseBusters-groep liet zien dat voorspellingen van andere AI-structuurmodellen geometrisch sterk op een referentiestructuur kunnen lijken, terwijl sommige atomen fysiek onmogelijke posities innemen. Denk bijvoorbeeld aan bindingen onder hoeken die in echte moleculen niet voorkomen (PoseBusters). Of de voorspellingen van AISB deze controles doorstaan, is nog onbekend.

De benchmark meet bovendien alleen hoe goed het model reeds bekende, experimenteel vastgestelde rangschikkingen reconstrueert. Daaruit volgt niet dat het ook stoffen vindt die zich in een levend systeem werkelijk aan hun doelwit binden of veilig blijken te zijn. Een nauwkeurige voorspelling van de bindingspositie helpt een chemicus wel bij de keuze welke stoffen nader onderzoek verdienen. Concrete resultaten verderop in het geneesmiddelenontwikkelingsproces heeft het consortium echter niet gemeld.

Eerder liet het MELLODDY-project van tien bedrijven zien dat gefedereerd leren de voorspelling van moleculaire eigenschappen kan verbeteren wanneer concurrerende farmaceutische ondernemingen hun gegevens afgeschermd houden (MELLODDY). AISB past dat beginsel nu toe op het voorspellen van driedimensionale structuren. Om de gemelde winst op waarde te kunnen schatten, zijn een gepubliceerd wetenschappelijk artikel en voldoende controleerbare gegevens nodig. Pas dan kunnen onafhankelijke onderzoekers vaststellen of de resultaten ook standhouden buiten een evaluatie die het consortium zelf beheert.