Firemní data zvýšila přesnost AI na 52,1 %

Modely umělé inteligence se učí z příkladů a jejich výkon roste s množstvím relevantních dat. Platí to pro rozpoznávání tváří, překlad textu i předpovědi vzájemného působení molekul léčiv a bílkovin. Právě nejcennější příklady pro vývoj léčiv však často zůstávají v databázích farmaceutických společností, k nimž veřejně dostupné systémy AI nemají přístup.

Konsorcium pěti společností — AbbVie, Astex Pharmaceuticals, Bristol Myers Squibb, Johnson & Johnson a Takeda — tvrdí, že našlo způsob, jak model společně trénovat na neveřejných datech, aniž by si firmy musely zpřístupnit své soubory. Ve vlastním srovnávacím testu dosáhl výsledný model výrazně lepších výsledků než jeho původní verze trénovaná na veřejných datech. Konsorcium však dosud nezveřejnilo samotný model, testovací data ani odbornou studii, která by prošla recenzním řízením (Nature).

Jak učit model bez společné databáze

Základem byl OpenFold3 Preview 2, open-source systém, který předpovídá, jak se bílkoviny a malé molekuly podobné léčivům společně uspořádají v trojrozměrném prostoru. Zjednodušeně řečeno odhaduje tvar zámku i způsob, jakým do něj zapadne klíč (OpenFold3 repository).

Namísto sloučení struktur všech pěti firem do jedné databáze trénovala každá společnost vlastní kopii modelu na svých lokálně uložených datech. Centrálnímu koordinátorovi pak předávala pouze číselné úpravy, které se model během trénování naučil, nikoli původní záznamy o molekulách. Koordinaci zajišťovala berlínská společnost Apheris pomocí otevřeného systému NVIDIA pro federované učení, zatímco laboratoř Mohammeda AlQuraishiho na Columbia University poskytla odborné znalosti o modelu. Podle konsorcia bylo v pěti oddělených firemních prostředích nasazeno 40 grafických procesorů NVIDIA H100 (Apheris, Nature).

Původní struktury tak zůstaly za firemními bezpečnostními bariérami. Konsorcium ale nepředložilo formální důkaz, že ze sdílených aktualizací modelu nelze zpětně získat informace o trénovacích datech. U federovaného učení jde o známé teoretické riziko.

Co přinesly neveřejné struktury

K trénování konsorcium použilo 20 167 neveřejných struktur komplexů bílkovin a léčiv a model poté ověřovalo na odděleném soukromém souboru 1 056 struktur (Apheris). Hlavní ukazatel sledoval, v kolika případech se předpovězené uspořádání léčiva a bílkoviny těsně shodovalo s experimentálně pozorovanou strukturou. Vysoce kvalitního výsledku dosáhl federovaný model u 52,1 % testovaných případů. Původní OpenFold3 uspěl u 35,6 % a další přední otevřený model Boltz-2 u 40,9 % případů (Apheris, Nature).

Stejného zlepšení nedosáhl kontrolní model, který se učil pouze z aktualizovaných veřejných dat. Konsorcium to vykládá jako doklad, že soukromé struktury obsahovaly informace využitelné pro předpovědi, jež ve veřejně dostupných záznamech chybějí (Apheris).

Možné vysvětlení spočívá ve skladbě dat. Veřejná Protein Data Bank je rozsáhlá, odráží však především výběr bílkovin, kterým se rozhodly věnovat akademické laboratoře. Firemní sbírky podle konsorcia i externích odborníků častěji obsahují systematické řady jedné cílové bílkoviny spojené s mnoha příbuznými kandidáty na léčivo. Zachycují tedy právě drobné rozdíly ve vazbě, které jsou při navrhování molekul podstatné (Nature, C&EN). Federovaný model navíc podle konsorcia překonal modely trénované na datech kterékoli jednotlivé firmy, což odpovídá předpokladu, že spojení znalostí napříč společnostmi pomohlo.

Co zatím nelze nezávisle ověřit

Konsorcium dosud žádnou odbornou studii nepředložilo k publikaci. Externí výzkumníci nemají k dispozici naučené číselné parametry modelu, struktury použité ve srovnávacím testu ani jednotlivé předpovědi. Zveřejněny nebyly ani intervaly spolehlivosti či statistické testy. Srovnávací soubor navíc vytvořily a vyhodnotily stejné organizace, které systém vyvinuly (Nature).

Ověření je důležité i kvůli známé slabině podobných modelů. Skupina PoseBusters ukázala, že předpovědi jiných systémů AI mohou být geometricky blízké referenční struktuře, a přitom umisťovat atomy do fyzikálně nemožných uspořádání, například do vazeb pod úhly, které se ve skutečných molekulách nevyskytují (PoseBusters). Zda předpovědi AISB těmito kontrolami projdou, zatím není známo.

Použitý srovnávací test měří schopnost modelu rekonstruovat známá experimentální uspořádání. Neověřuje, zda model pomáhá nacházet látky, které se skutečně navážou na svůj cíl v živém organismu, ani zda budou bezpečné. Přesná předpověď prostorového uspořádání může chemikům usnadnit výběr sloučenin pro další zkoumání, konsorcium však neoznámilo žádný navazující výsledek ve vývoji léčiv.

Projekt deseti společností MELLODDY již dříve ukázal, že federované učení může zlepšit předpovědi vlastností molekul i při spolupráci konkurenčních farmaceutických firem (MELLODDY). AISB tento princip rozšiřuje na předpovídání trojrozměrných struktur. K posouzení skutečné hodnoty výsledků nyní bude potřeba zveřejnit odbornou studii a dostatek kontrolovatelných dat, aby nezávislí výzkumníci mohli ověřit, zda udávané zlepšení obstojí i mimo testy řízené samotným konsorciem.