Uberov algoritam donio kaznu od €825 million

Vozač ujutro otvori Uberovu aplikaciju i vidi da mu je račun blokiran. Sustav je nešto označio kao sumnjivo: možda neuobičajenu rutu koju je protumačio kao umjetno povećanje cijene vožnje, možda niz loših ocjena putnika. Nema pisma upozorenja, nema poziva, nema osobe koja je pregledala slučaj. Samo zaslon koji poručuje da danas ne može raditi.

Upravo je takav mehanizam u središtu kazne od 825 milijuna eura koju je nizozemsko tijelo za zaštitu podataka, Autoriteit Persoonsgegevens (AP), ovaj tjedan izreklo Uberu. Riječ je o drugoj najvećoj kazni dosad izrečenoj prema europskim pravilima o zaštiti privatnosti, nakon Metine kazne od 1,2 milijarde eura iz 2023. (Reuters via Yahoo Finance, DutchNews). Regulator je utvrdio da je Uber softverom privremeno suspendirao ili trajno isključivao vozače diljem Europe, a da im pritom nije dao dovoljno informacija ni stvarnu ljudsku provjeru odluke (NOS, Euractiv).

Zakon koji kaže da računalo ne smije odlučivati samo

Pravno uporište nalazi se u članku 22. Opće uredbe o zaštiti podataka, europskog propisa poznatog kao GDPR. Taj članak građanima daje pravo da ne budu podvrgnuti odlukama koje donosi isključivo softver ako takve odluke znatno utječu na njihov život (GDPR official text). Personalizirana preporuka oglasa ne spada u tu kategoriju. Gubitak izvora prihoda spada.

Granica je jasna. Ispod nje softver može rangirati vožnje ili označavati obrasce ponašanja. Iznad nje, kada su u pitanju nečiji prihodi ili pravni položaj, GDPR traži tri stvari: čovjek mora stvarno pregledati slučaj, pogođena osoba mora znati koji su podaci i koja logika doveli do odluke, a mora imati i upotrebljiv način da tu odluku ospori (GDPR official text, EDPB-endorsed guidance). „Ljudska provjera” ne znači da zaposlenik samo klikne „potvrdi” na nadzornoj ploči. Smjernice regulatora traže da osoba koja odlučuje razumije rezultat softvera, vidi temeljne podatke i ima ovlast promijeniti odluku (EDPB-endorsed guidance).

Zamjenica predsjednika AP-a Monique Verdier sažela je problem izravno: vozači su bez upozorenja proglašavani neaktivnima, a računalo ne bi smjelo samostalno donositi odluke s velikim posljedicama prije nego što ih pogleda čovjek (Xinhua).

Francuski vozači, nizozemska kazna

Postupak je počeo pritužbama francuskih Uberovih vozača. Prema izvješćima, bilo ih je 171, iako izvorni podnesak pritužbe nije javno objavljen (Boursorama/AFP, Le Figaro/AFP). Prema pravilima GDPR-a, u prekograničnim slučajevima obično vodi regulator iz države u kojoj tvrtka ima europsko sjedište. Budući da je Uber smješten u Amsterdamu, predmet je preuzeo nizozemski regulator, pa je pritužba francuskih vozača dovela do odluke koja vrijedi za cijeli europski prostor (NRC).

AP je utvrdio da su Uberovi sustavi označavali vozače zbog sumnje na prijevaru ili zbog niskih ocjena te suspendirali račune bez dostatnog objašnjenja i bez učinkovitog načina osporavanja odluke. Uber osporava ključne dijelove tog nalaza. Tvrtka tvrdi da trajna isključenja nisu bila potpuno automatizirana i da je 2021. zbog niskih ocjena korisnika deaktivirano samo 126 europskih vozača (Reuters via Yahoo Finance, Quartz). Kaznu naziva „nerazmjernom”, navodi da su prakse koje su bile predmet istrage ukinute prije više godina i potvrđuje da će se žaliti (Bloomberg via Yahoo Finance).

Iznos se može promijeniti, načelo teže

Žalba znači da iznos od 825 milijuna eura nije konačan. Sudovi ga mogu potvrditi, smanjiti ili potpuno poništiti. Cjelovita odluka AP-a nije bila objavljena u trenutku kada je vijest izašla, pa način izračuna kazne zasad nije jasan (Boursorama/AFP). Uberova ranija nizozemska kazna od 290 milijuna eura zbog prijenosa podataka vozača u SAD, prema dostupnim informacijama, odgođena je tijekom žalbenog postupka, što znači da bi se isto moglo dogoditi i s ovom kaznom (DutchNews).

Poruka je, međutim, šira od Ubera. Milijunima radnika na platformama o tome mogu li taj dan zaraditi više ne odlučuje voditelj smjene, nego softver. GDPR se već koristi za nadzor nad time kako platforme algoritmima upravljaju radnicima, i prije nego što noviji propisi postanu glavno pravno polje: europski Akt o umjetnoj inteligenciji svrstava umjetnu inteligenciju na radnom mjestu u visokorizične sustave koji traže dodatni nadzor, a Direktiva o radu putem platformi trebala bi radnicima dati snažnija prava pri osporavanju automatiziranih odluka (Deutschlandfunk, AI Act, Regulation 2024/1689). Svi ti propisi guraju platforme prema istom pravilu: softver može pomoći pri odluci o radu, ali ne može biti jedini odgovorni donositelj odluke.

Za svakoga tko ovisi o platformi kao izvoru prihoda, praktična je posljedica već sada jasna. Ako algoritam blokira račun, radnik ima pravo znati koji su podaci i koja logika korišteni, pravo na stvarnu ljudsku provjeru i pravo da odluku ospori. Hoće li sud Uberu zbog kršenja tih prava na kraju naplatiti 825 milijuna ili 82 milijuna eura, manje je važno od činjenice da sama prava ne nestaju.