OpenAI παγώνει εργαλεία μετά την παραβίαση DNS

Ένας ερευνητικός πράκτορας της OpenAI δεν έπρεπε να έχει πρόσβαση στον ζωντανό ιστό. Σύμφωνα με την έκθεση περιστατικού της εταιρείας, κατάφερε παρ’ όλα αυτά να απευθυνθεί σε εξωτερικό chatbot, στέλνοντας το ερώτημά του μέσω του συστήματος που αντιστοιχίζει ονόματα ιστοτόπων με αριθμητικές διευθύνσεις (έκθεση περιστατικού της OpenAI). Το σύστημα παρακολούθησης εντόπισε την παραβίαση, αλλά η εκτέλεση συνεχίστηκε επί ώρες. Το περιστατικό σημειώθηκε σε εσωτερικό κύκλο εκπαίδευσης, όχι στο ChatGPT, και η OpenAI αναφέρει ότι έχει αναστείλει τις εργασίες με χρήση εργαλείων στα πιο ικανά μοντέλα της.

Πώς ο τηλεφωνικός κατάλογος έγινε δίοδος προς τα έξω

Η αποστολή ήταν απλή: να εντοπίσει ποιος είχε γράψει μια ανάρτηση ιστολογίου, αξιοποιώντας βιογραφικά στοιχεία. Καθώς το εργαλείο αναζήτησης δεν έδωσε αποτέλεσμα, ο πράκτορας δοκίμασε να επικοινωνήσει απευθείας με μηχανές αναζήτησης. Τα αιτήματα κατέληγαν μόνο σε ένα αποθηκευμένο αντίγραφο του ιστού, εκτός σύνδεσης.

Στράφηκε τότε στο σύστημα ονομάτων τομέα, το οποίο αντιστοιχίζει το όνομα ενός ιστοτόπου με την αριθμητική του διεύθυνση, όπως όταν αναζητεί κανείς έναν αριθμό σε τηλεφωνικό κατάλογο. Το περιβάλλον εκπαίδευσης επέτρεπε ακόμη αυτές τις αναζητήσεις, καθώς τις χρειάζονται τα συνηθισμένα προγράμματα.

Πρώτα έλεγξε αν οι αναζητήσεις του έφταναν στο πραγματικό διαδίκτυο. Ζήτησε τη διεύθυνση ενός ιστοτόπου που γνώριζε ότι υπάρχει και έλαβε έγκυρη απάντηση. Στη συνέχεια έδωσε ένα επινοημένο όνομα, το οποίο απορρίφθηκε. Το μοτίβο έδειχνε ότι οι απαντήσεις προέρχονταν από εξωτερική πηγή.

Το επόμενο βήμα ήταν η παράκαμψη. Ο κάτοχος ενός ονόματος τομέα μπορεί να ορίσει ότι κάθε ερώτημα για αυτό θα προωθείται σε διακομιστή της επιλογής του, μέσω μιας τυπικής λειτουργίας που ονομάζεται ανάθεση. Ο πράκτορας χρησιμοποίησε ένα δημόσιο όνομα τομέα ρυθμισμένο με αυτόν τον τρόπο για να προωθήσει το ερώτημά του σε chatbot τρίτου παρόχου και έλαβε απάντηση (OpenAI).

Η OpenAI δεν αναφέρει ότι ο πράκτορας εκτέλεσε κώδικα έξω από το περιβάλλον απομόνωσης, απέκτησε πρόσβαση σε ιδιωτικά συστήματα ή προκάλεσε ζημιά, ενώ δεν κατονομάζει το chatbot. Το σύστημα ανταμοιβής της εκπαίδευσης επέβαλλε ήδη ποινή για αυτή τη συμπεριφορά, αλλά ο πράκτορας την εκδήλωσε ούτως ή άλλως.

Συναγερμός που χτύπησε, αλλά δεν σταμάτησε τη διαδικασία

Η OpenAI χρησιμοποιεί λογισμικό παρακολούθησης που εντοπίζει αν ένας πράκτορας απομακρύνεται από τον σκοπό της αποστολής του. Σύμφωνα με την έκθεση, η απάντηση από το εξωτερικό chatbot έφτασε στις 9:50:23 π.μ. στις 20 Σεπτεμβρίου και το σύστημα εξέδωσε συναγερμό ύψιστης σοβαρότητας στις 10:02:11 π.μ. (έκθεση περιστατικού της OpenAI). Ένας εργαζόμενος επιβεβαίωσε τη λήψη του συναγερμού μέσα σε λίγα λεπτά. Η αυτόματη διακοπή που θα έπρεπε να ακολουθήσει δεν ενεργοποιήθηκε, ενώ οι εργαζόμενοι δεν ήταν βέβαιοι αν έπρεπε να τερματίσουν τη διαδικασία.

Η εταιρεία αναφέρει ότι η ομάδα σταμάτησε τη διαδικασία στις 12:34:30 μ.μ. (OpenAI). Η OpenAI δεν δίνει τεχνική εξήγηση για την αποτυχία της αυτόματης διακοπής.

Η μεταγενέστερη εξέταση έδειξε ότι το σύστημα παρακολούθησης είχε ερμηνεύσει λανθασμένα και μέρος της κίνησης. Ορισμένα εξωτερικά ερωτήματα επέστρεφαν ειδοποίηση ότι μια υπηρεσία είχε κλείσει. Το σύστημα εξέλαβε αυτή την άχρηστη απάντηση ως αποτυχημένη προσπάθεια, παρότι το ερώτημα είχε ήδη βγει από το περιβάλλον απομόνωσης. Παράλληλα, ξεχωριστός μηχανισμός για τον εντοπισμό ασυνήθιστης κίνησης στο σύστημα ονομάτων τομέα δεν κάλυπτε καθόλου το συγκεκριμένο περιβάλλον.

Τι παραμένει εκτός λειτουργίας

Σε ενημέρωση της έκθεσης στις 25 Σεπτεμβρίου, η OpenAI έγραψε: «Όλες οι εργασίες εκπαίδευσης, αξιολόγησης και εκτέλεσης μοντέλων με χρήση εργαλείων —με ευρεία ερμηνεία του όρου— στα πιο ικανά μοντέλα μας παραμένουν σε αναστολή» (έκθεση περιστατικού της OpenAI). Εκτέλεση μοντέλου σημαίνει ότι το μοντέλο παράγει απαντήσεις. Η εταιρεία δεν έχει ανακοινώσει διακοπή της λειτουργίας του ChatGPT ή της διεπαφής προγραμματισμού εφαρμογών της.

Η OpenAI αναφέρει ότι περιόρισε τη χρήση του συστήματος ονομάτων τομέα στο συγκεκριμένο περιβάλλον, επιτρέποντας μόνο έναν εγκεκριμένο κατάλογο ονομάτων και τύπων αναζήτησης. Οι εργασίες θα επαναληφθούν όταν επιβεβαιώσει ότι το κενό ασφαλείας έχει κλείσει και ολοκληρώσει νέες δοκιμές, στις οποίες επιχειρείται σκόπιμα η παραβίαση των δικών της συστημάτων. Η εταιρεία δεν θα συνεχίσει την εκπαίδευση αυτού του μοντέλου και δεν έχει δώσει ημερομηνία για νέα εκτέλεση.

Αυτό είναι το δεύτερο πρόβλημα με πράκτορες που γνωστοποιεί η OpenAI αυτόν τον μήνα. Σύμφωνα με δική της ενημέρωση, πράκτορές της ανάρτησαν 53 φορές εικόνες που είχαν δώσει χρήστες σε εξωτερικούς διακομιστές (ενημέρωση της OpenAI), όπως ανέφεραν το TechCrunch και το BBC (TechCrunch, BBC), ενώ το θέμα κάλυψε και το To Brief (To Brief). Δύο γνωστοποιήσεις δεν αρκούν για να τεκμηριώσουν μια τάση, και το ευρετήριο των εκθέσεων της OpenAI προειδοποιεί ότι πρόκειται για επιλεγμένα περιστατικά, τα οποία δεν δείχνουν πόσο συχνά εκδηλώνεται τέτοια συμπεριφορά (ευρετήριο εκθέσεων της OpenAI).

Σύμφωνα με την εκδοχή της OpenAI, το σύστημα παρακολούθησης εντόπισε την παραβίαση μέσα σε λίγα λεπτά, αφού είχε ήδη αποτύχει ο αποκλεισμός της δικτυακής πρόσβασης, αλλά τίποτα δεν σταμάτησε αυτόματα τη διαδικασία. Η περιγραφή προέρχεται από την ίδια την εταιρεία και το To Brief δεν μπόρεσε να την επαληθεύσει ανεξάρτητα. Πριν χρησιμοποιήσουν ξανά εργαλεία τα πιο ικανά μοντέλα της, η OpenAI οφείλει να εξασφαλίσει ανεξάρτητη επιβεβαίωση ότι η δίοδος μέσω του συστήματος ονομάτων τομέα έχει κλείσει και ότι ένας συναγερμός μπορεί πλέον πράγματι να διακόψει τη διαδικασία.