Uberjev algoritem sprožil kazen 825 milijonov evrov

Voznik zjutraj odpre aplikacijo Uber in ugotovi, da je račun blokiran. Programska oprema je nekaj označila kot sumljivo: morda neobičajno pot, ki jo je razumela kot umetno napihovanje voznine, morda zaporedje slabih ocen potnikov. Brez opozorila, brez klica, brez človeka, ki bi primer dejansko pregledal. Na zaslonu se prikaže le sporočilo, da danes ne more delati.

Prav takšen mehanizem je v središču globe v višini 825 mio. evrov, ki jo je nizozemski organ za varstvo osebnih podatkov AP ta teden naložil Uberju. Gre za drugo najvišjo kazen doslej po evropski zakonodaji o varstvu osebnih podatkov, takoj za 1,2 mrd. evrov visoko kaznijo za Meto leta 2023 (Reuters via Yahoo Finance, DutchNews). Regulator je ugotovil, da je Uber uporabljal programsko opremo, s katero je začasno ali trajno izključeval voznike po Evropi, ne da bi jim dal dovolj informacij ali zagotovil resničen človeški pregled odločitve (NOS, Euractiv).

Zakon, ki računalniku ne dovoli samostojne odločitve

Pravna podlaga je 22. člen Splošne uredbe o varstvu podatkov, znane kot GDPR. Ta posameznikom daje pravico, da zanje ne velja odločitev, ki jo sprejme izključno programska oprema, kadar ima ta odločitev zanje pomembne posledice (uradno besedilo GDPR). Priporočilo personaliziranega oglasa sem ne spada. Odvzem vira prihodka pa.

Meja je precej jasna. Pod njo lahko programska oprema še vedno razvršča vožnje ali označuje nenavadne vzorce. Nad njo, ko gre za dohodek ali pravni položaj posameznika, GDPR zahteva troje: človek mora primer dejansko pregledati, posameznik mora izvedeti, kateri podatki in katera logika so vodili odločitev, hkrati pa mora imeti uporaben način, da jo izpodbija (uradno besedilo GDPR, smernice, ki jih je potrdil EDPB). »Človeški pregled« ne pomeni, da zaposleni na nadzorni plošči klikne »potrdi«. Smernice regulatorjev določajo, da mora oseba, ki odloča, razumeti izpis programske opreme, videti podatke v ozadju in imeti pooblastilo, da odločitev spremeni (smernice, ki jih je potrdil EDPB).

Namestnica predsednika AP Monique Verdier je povzela bistvo: vozniki so postali neaktivni brez opozorila, računalnik pa ne bi smel samostojno sprejemati odločitev z velikimi posledicami, preden jih pregleda človek (Xinhua).

Francoski vozniki, nizozemska globa

Postopek se je začel s pritožbami francoskih voznikov Uberja. Po poročanju medijev naj bi šlo za 171 pritožnikov, čeprav izvirna pritožba javno ni bila objavljena (Boursorama/AFP, Le Figaro/AFP). Po pravilih GDPR čezmejne zadeve praviloma vodi regulator v državi, kjer ima podjetje evropski sedež. Ker ima Uber sedež v Amsterdamu, je primer prevzel nizozemski organ, zato so pritožbe voznikov iz Francije pripeljale do odločitve z učinkom za celotno Evropo (NRC).

AP je ugotovil, da so Uberjevi sistemi voznike označevali zaradi suma goljufije ali nizkih ocen ter jim blokirali račune brez ustrezne razlage in brez učinkovite možnosti pritožbe. Uber ključne dele ugotovitev zavrača. Trdi, da trajne izključitve niso bile v celoti avtomatizirane in da je bilo leta 2021 zaradi nizkih ocen strank izključenih le 126 evropskih voznikov (Reuters via Yahoo Finance, Quartz). Podjetje globo označuje za »nesorazmerno«, pravi, da je prakse, ki jih preiskuje regulator, opustilo že pred leti, in napoveduje pritožbo (Bloomberg via Yahoo Finance).

Znesek se lahko spremeni, načelo ne

Zaradi pritožbe globa v višini 825 mio. evrov še ni pravnomočna. Sodišča jo lahko potrdijo, znižajo ali v celoti razveljavijo. Ker AP ob objavi novice še ni objavil celotne odločbe, natančen izračun kazni ostaja nejasen (Boursorama/AFP). Po poročanju DutchNews naj bi bila med pritožbenim postopkom zadržana tudi prejšnja nizozemska globa Uberju v višini 290 mio. evrov zaradi prenosa podatkov voznikov v ZDA, kar pomeni, da bi se lahko podobno zgodilo tudi zdaj (DutchNews).

Širši signal presega Uber. Za milijone platformnih delavcev o tem, ali lahko določen dan zaslužijo, vse pogosteje odloča programska oprema, ne vodja izmene ali dispečer. GDPR se že uporablja kot orodje za nadzor nad tem, kako platforme z algoritmi upravljajo delo, še preden bo glavno bojišče postala novejša zakonodaja: akt EU o umetni inteligenci, ki umetno inteligenco na delovnem mestu uvršča med sisteme z visokim tveganjem in zahteva dodatni nadzor, ter direktiva o platformnem delu, ki bo platformnim delavcem dala močnejše pravice pri izpodbijanju avtomatiziranih odločitev (Deutschlandfunk, AI Act, Regulation 2024/1689). Vsa ta pravila platforme potiskajo v isto smer: programska oprema lahko pomaga pri delovni odločitvi, ne more pa biti edini odgovorni odločevalec.

Za vsakogar, ki je dohodkovno odvisen od platforme, je praktična posledica že zdaj jasna. Če algoritem blokira račun, ima posameznik pravico izvedeti, kateri podatki in katera logika so vodili odločitev, zahtevati resničen človeški pregled in odločitev izpodbijati. Ali bo sodišče Uberju zaradi kršitve teh pravic na koncu naložilo 825 mio. evrov ali 82 mio. evrov, ne spreminja bistva: te pravice ostajajo.