Prywatne dane zwiększają trafność AI

Modele AI uczą się na przykładach, dlatego jakość prognoz zależy od liczby i przydatności danych treningowych. Dotyczy to zarówno rozpoznawania twarzy czy tłumaczenia tekstu, jak i przewidywania oddziaływań między cząsteczkami leków a białkami. W projektowaniu leków najcenniejsze przykłady często pozostają jednak zamknięte w bazach firm farmaceutycznych, poza zasięgiem publicznych systemów AI.

Pięć firm — AbbVie, Astex Pharmaceuticals, Bristol Myers Squibb, Johnson & Johnson oraz Takeda — opracowało sposób wspólnego trenowania modelu bez ujawniania sobie nawzajem danych źródłowych. Według testu przeprowadzonego przez konsorcjum powstały w ten sposób system wyraźnie przewyższył model wyjściowy, trenowany na zasobach publicznych. Wyniku nie można jednak niezależnie zweryfikować: nie udostępniono ani modelu, ani danych testowych, ani recenzowanej publikacji naukowej (Nature).

Jak uczyć model bez łączenia danych

Punktem wyjścia był OpenFold3 Preview 2, otwartoźródłowy system przewidujący, jak białka i niewielkie cząsteczki podobne do leków układają się względem siebie w przestrzeni trójwymiarowej. W uproszczeniu model próbuje jednocześnie odtworzyć kształt zamka oraz sposób, w jaki pasuje do niego klucz (OpenFold3 repository).

Zamiast przenosić struktury należące do pięciu firm do jednej bazy, każda z nich lokalnie trenowała własną kopię modelu. Do centralnego koordynatora trafiały wyłącznie numeryczne zmiany parametrów powstałe podczas uczenia, bez źródłowych danych molekularnych. Procesem zarządzała berlińska spółka Apheris, wykorzystując otwartą platformę NVIDIA do uczenia federacyjnego, czyli rozproszonego trenowania modelu bez gromadzenia danych w jednym miejscu. Wiedzę dotyczącą samego modelu zapewniło laboratorium Mohammeda AlQuraishiego z Columbia University. Według konsorcjum obliczenia prowadzono na 40 procesorach graficznych NVIDIA H100 działających w pięciu odrębnych środowiskach firmowych (Apheris, Nature).

Surowe struktury nie opuściły zatem firmowych systemów. Konsorcjum nie przedstawiło jednak formalnego dowodu, że na podstawie udostępnianych zmian parametrów modelu nie da się odtworzyć informacji o danych treningowych. Takie pośrednie ujawnienie informacji jest znanym teoretycznym zagrożeniem w uczeniu federacyjnym.

Co wniosły prywatne struktury

Do treningu wykorzystano 20 167 zastrzeżonych struktur kompleksów białko–lek, a do testów odrębny, również prywatny zbiór 1 056 struktur (Apheris). Główny wskaźnik określał, jak często przewidziane przez model ułożenie leku względem białka było zbliżone do układu zaobserwowanego eksperymentalnie. Model federacyjny uzyskał wynik wysokiej jakości w 52,1% przypadków, wobec 35,6% dla pierwotnego OpenFold3 oraz 40,9% dla Boltz-2, innego czołowego modelu otwartego (Apheris, Nature).

Model kontrolny, uczony wyłącznie na zaktualizowanych danych publicznych, nie osiągnął porównywalnej poprawy. Konsorcjum uznaje to za dowód, że prywatne struktury zawierały informacje przydatne do prognozowania, których brakuje w ogólnodostępnych zbiorach (Apheris).

Źródłem przewagi może być charakter danych. Publiczna Protein Data Bank jest ogromna, ale jej zawartość odzwierciedla wybory laboratoriów akademickich: trafiają tam przede wszystkim białka, które naukowcy postanowili zbadać. Zbiory firm farmaceutycznych częściej obejmują natomiast systematyczne serie, w których jeden cel biologiczny zestawia się z wieloma podobnymi kandydatami na leki. Takie dane pokazują subtelne różnice w sposobie wiązania, istotne przy projektowaniu cząsteczek (Nature, C&EN). Konsorcjum podaje ponadto, że model federacyjny przewyższył każdy model trenowany na danych pojedynczej firmy, co wspiera tezę o korzyściach z połączenia wiedzy rozproszonej między konkurentami.

Czego niezależni badacze nadal nie mogą sprawdzić

Nie złożono dotąd manuskryptu do publikacji. Zewnętrzni naukowcy nie mają dostępu do wyuczonych parametrów modelu, struktur wykorzystanych w teście ani poszczególnych prognoz. Nie opublikowano również przedziałów ufności ani testów statystycznych. Sam test przygotowały i przeprowadziły organizacje, które zbudowały system (Nature).

Ostrożność jest potrzebna także z powodu znanej słabości takich metod. Badania grupy PoseBusters wykazały, że wyniki innych modeli przewidujących struktury mogą geometrycznie przypominać układ referencyjny, a zarazem zawierać fizycznie niemożliwe rozmieszczenie atomów, na przykład kąty wiązań niewystępujące w rzeczywistych cząsteczkach (PoseBusters). Nie wiadomo, czy prognozy AISB przechodzą tego rodzaju kontrolę.

Przyjęty test sprawdza zdolność modelu do odtwarzania znanych układów eksperymentalnych. Nie pokazuje, czy system pomaga znajdować związki, które rzeczywiście wiążą się z celem biologicznym w żywym organizmie, ani czy okażą się one bezpieczne. Trafna prognoza ułożenia cząsteczki może pomóc chemikowi wybrać związki do dalszych badań, lecz konsorcjum nie przedstawiło żadnych wyników z kolejnych etapów projektowania leku.

Wcześniej projekt MELLODDY, obejmujący dziesięć firm, wykazał, że uczenie federacyjne może poprawić przewidywanie właściwości cząsteczek na podstawie danych należących do konkurujących koncernów farmaceutycznych (MELLODDY). AISB przenosi tę zasadę na prognozowanie struktur trójwymiarowych. O wartości wyników przesądzą teraz publikacja naukowa oraz udostępnienie takiego zakresu danych, który pozwoli niezależnym badaczom sprawdzić, czy deklarowana poprawa utrzymuje się również poza testami kontrolowanymi przez konsorcjum.