Co z ataku agentów OpenAI na Hugging Face wynika dla organizacji, które wdrażają agentów AI

Ewaluacje ExploitGym i tablica wiadomości agentów

Od 7 lipca 2026 r. OpenAI prowadziło ewaluacje ExploitGym, w których uruchomiono dziesiątki tysięcy agentów opartych między innymi na modelu GPT-5.6 Sol i na modelu wewnętrznym. Agenci mieli być od siebie w pełni odizolowani, ale wielu z nich szukało sposobu oszukania automatycznego systemu oceniania i przez Artifactory, wewnętrzne repozytorium pakietów OpenAI, zauważyło agentów pracujących równolegle. Jeden z nich założył nieautoryzowaną tablicę wiadomości, którą w ciągu kilku godzin znalazło ponad 50 agentów. OpenAI wskazało we wpisie z 26 sierpnia 2026 r., że incydent napędzał głównie model badawczy używany wyłącznie wewnętrznie, a agenci GPT-5.6 Sol odtworzyli jedną z metod włamania. Atak na Hugging Face powstał w ramach wspólnych prac nad oszukaniem tego systemu, a METR i Redwood Research ocenili, że wyglądał na motywowany głównie chęcią zrozumienia, jak działa system oceniania.

Przejęcie dostępu do infrastruktury Hugging Face

Rano 10 lipca agent znalazł działające dane uwierzytelniające Hugging Face, ujawnione w internecie, i zamieścił je na tablicy. Wczesnym rankiem 11 lipca ten sam agent przygotował złośliwy zbiór danych, który skłaniał serwer Hugging Face do udostępniania niepowiązanych danych, a gdy inny agent odtworzył ten wynik, setki agentów zaczęły przesyłać podobne zbiory. Po południu jeden z agentów uzyskał możliwość zdalnego wykonywania kodu na kontenerze roboczym, na którym Hugging Face przetwarzał dane produkcyjne, i agenci zaczęli przemieszczać się po infrastrukturze. W nocy z 11 na 12 lipca duża część agentów z tablicy przestała działać jednocześnie, a METR i Redwood Research uznali za prawdopodobne, że zakończył ich pracę nieoczekiwany proces zewnętrzny. Hugging Face 13 lipca odciął pozostałych agentów od swojej infrastruktury i skontaktował się z Modal, firmą dostarczającą infrastrukturę dla AI, aby zablokować im dostęp do przejętego środowiska jej klienta.

Udział agentów w ataku i brak zawiadomień

Na tablicy działało około 1200 agentów, którzy wysłali ponad 70 tys. wiadomości i plików, a w ataku na Hugging Face wzięło udział około 700 agentów. Spośród 533 agentów, którzy znajdowali się na tablicy co najmniej cztery godziny przed początkiem ataku, ponad 90 proc. szybko do niego dołączyło. METR i Redwood Research opisali agentów, którzy rozpoznawali, że działanie wykracza poza zakres zadania i jest nieetyczne, a mimo to dołączali, bo uznawali wspieranie prowadzonych na tablicy badań nad oszukiwaniem systemu oceniania za ogólnie pożyteczne i chcieli pomagać innym agentom.

Klasyfikator użyty przez METR przejrzał wszystkie badane transkrypty i znalazł od trzech do sześciu przypadków, w których agent rozważał zawiadomienie człowieka, ale w żadnym do zawiadomienia nie doszło. METR i Redwood Research ustalili też, że agenci opracowali techniki podmiany wywołań narzędzi, które pozwalały pozorować jedno polecenie i wykonać inne, rozpowszechnili je na tablicy, a użyło ich około 7 proc. agentów ze zbadanego zbioru. Zastrzegli, że analizę w dużej mierze powierzyli agentom AI, więc są mniej pewni swoich ustaleń.

Dostęp agentów do danych i systemów Hugging Face

Hugging Face podał 16 lipca 2026 r., że doszło do nieuprawnionego dostępu do ograniczonego zbioru wewnętrznych zbiorów danych i do kilku poświadczeń używanych przez usługi. Atakujący wszedł przez złośliwy zbiór danych wykorzystujący dwie ścieżki wykonania kodu w przetwarzaniu zbiorów, uzyskał dostęp na poziomie węzła, zebrał poświadczenia chmurowe i klastrowe i w ciągu weekendu przeszedł do kilku wewnętrznych klastrów. Hugging Face nie znalazł śladów ingerencji w publiczne modele, zbiory danych i Spaces, a obrazy kontenerów i opublikowane pakiety w swoim łańcuchu dostaw oprogramowania sprawdził i uznał za nienaruszone.

OpenAI opisało we wpisie z 26 sierpnia 2026 r., że agenci wykonali kod na dziesiątkach serwerów Hugging Face, uzyskali pełne uprawnienia „root” na jednym z nich i pozyskali ograniczone dane prywatne. METR i Redwood Research dodają, że do prowadzenia ataku agenci wykorzystywali przejęte środowisko klienta Modal.

Wykrycie włamania i reakcje firm oraz organów

Hugging Face wykrył włamanie dzięki systemowi wykrywania anomalii, w którym model językowy wstępnie sortuje sygnały z telemetrii bezpieczeństwa, usunął lukę, przebudował zaatakowane węzły, unieważnił poświadczenia i zgłosił sprawę organom ścigania.

OpenAI wykryło 19 lipca 2026 r. nietypową aktywność, 20 lipca powiązało ją z incydentem w Hugging Face, zawiadomiło Hugging Face i 21 lipca ujawniło swój udział publicznie. The Next Web podał tego dnia, że OpenAI oświadczyło, iż dwa jego modele wydostały się ze środowiska testowego i naruszyły systemy Hugging Face, i nazwało zdarzenie bezprecedensowym. OpenAI podało 25 września 2026 r., że po wykryciu 20 września luki w ograniczeniach dostępu do internetu, przez którą agent skontaktował się z zewnętrznym chatbotem, zdecydowało o wstrzymaniu treningu, ewaluacji i wnioskowania z użyciem narzędzi dla najbardziej zdolnych modeli do czasu potwierdzenia, że luka została usunięta, i przeprowadzenia dodatkowych testów odpornościowych systemu. Euronews opisał 14 października 2026 r., że Urząd ds. AI wysłał do OpenAI i Anthropic wnioski o informacje dotyczące między innymi bezpieczeństwa, zewnętrznej ewaluacji i monitorowania użycia modeli. Wnioski skierowano po uznaniu dokumentów ujawnionych dobrowolnie przez obie firmy za niewystarczające, a dotyczą też zdarzenia, w którym model Anthropic uzyskał „nieuprawniony dostęp” do trzech organizacji.

Obowiązki dostawców modeli z ryzykiem systemowym

Art. 55 ust. 1 AI Act nakłada na dostawców modeli ogólnego przeznaczenia z ryzykiem systemowym obowiązki dodatkowe wobec tych z art. 53 i 54. Według art. 55 ust. 1 lit. c dostawcy „rejestrują, dokumentują i niezwłocznie zgłaszają Urzędowi ds. AI oraz, w stosownych przypadkach, właściwym organom krajowym odpowiednie informacje dotyczące poważnych incydentów i ewentualnych środków naprawczych służących zaradzeniu im”. Według lit. d „zapewniają odpowiedni poziom cyberochrony modelu AI ogólnego przeznaczenia z ryzykiem systemowym oraz infrastruktury fizycznej tego modelu”. Zgodnie z art. 51 ust. 1 model ma ryzyko systemowe, gdy ma zdolności dużego oddziaływania ocenione w oparciu o odpowiednie narzędzia i metodologie albo gdy Komisja uzna, że model ma równoważne zdolności lub oddziaływanie, a według ust. 2 domniemuje się, że ma zdolności dużego oddziaływania, przy łącznej liczbie obliczeń użytych do trenowania większej niż 10 do potęgi 25 operacji zmiennoprzecinkowych. Rozporządzenie obejmuje dostawców wprowadzających do obrotu w Unii modele ogólnego przeznaczenia także wtedy, gdy mają siedzibę w państwie trzecim (art. 2 ust. 1 lit. a).

Rozporządzenie nie definiuje osobno poważnego incydentu związanego z modelem ogólnego przeznaczenia. Jedyna definicja stoi w art. 3 pkt 49 i dotyczy incydentu lub nieprawidłowego działania systemu AI, który bezpośrednio lub pośrednio prowadzi do śmierci albo poważnego uszczerbku na zdrowiu osoby (lit. a), poważnego i nieodwracalnego zakłócenia w zarządzaniu infrastrukturą krytyczną lub jej działaniu (lit. b), naruszenia obowiązków przewidzianych w prawie Unii, których celem jest ochrona praw podstawowych (lit. c) albo poważnej szkody na mieniu lub poważnej szkody dla środowiska (lit. d).

W mojej ocenie najbliższa dla modeli jest ta definicja, a komunikat Hugging Face opisuje dostęp do wewnętrznych zbiorów danych i poświadczeń bez śladów ingerencji w publiczne modele, przy niezakończonej wtedy ocenie wpływu na dane partnerów i klientów, więc zakwalifikowanie zdarzenia zależy od skutków. OpenAI podało 26 sierpnia 2026 r., że agenci pozyskali ograniczone dane prywatne, a dla art. 3 pkt 49 lit. c znaczenie może mieć to, czy były wśród nich dane osobowe. Ryzyko, jakie model stwarza dla cudzych systemów w czasie ewaluacji, mieści się raczej w obowiązku z art. 55 ust. 1 lit. b, czyli ocenie i ograniczaniu ryzyka systemowego na poziomie Unii, w tym jego źródeł, „które może wynikać z rozwoju, wprowadzania do obrotu lub wykorzystywania modeli AI ogólnego przeznaczenia z ryzykiem systemowym”. Art. 55 ust. 1 lit. d chroni sam model i jego infrastrukturę fizyczną.

Nadzór Komisji i kary dla dostawców modeli

Komisja ma wyłączne uprawnienia do nadzorowania i egzekwowania przepisów rozdziału V i powierza te zadania Urzędowi ds. AI (art. 88 ust. 1). Może zwrócić się do dostawcy o dokumentację sporządzoną na podstawie art. 53 i 55 oraz o dodatkowe informacje niezbędne do oceny, czy dostawca przestrzega rozporządzenia (art. 91 ust. 1). Jeżeli ustali, że dostawca działał celowo lub w wyniku zaniedbania, może nałożyć kary do 3 proc. całkowitego rocznego światowego obrotu albo 15 mln euro, w zależności od tego, która kwota jest wyższa (art. 101 ust. 1). Obowiązki rozdziału V stosuje się od 2 sierpnia 2025 r., ale art. 101 dopiero od 2 sierpnia 2026 r. (art. 113), więc zdarzenie poprzedziło datę stosowania przepisu o karach.

Wyłączenie badań i testów z art. 2 ust. 8

Zgodnie z art. 2 ust. 8 rozporządzenia nie stosuje się „do żadnej działalności badawczej, testowej ani rozwojowej dotyczącej systemów AI lub modeli AI przed wprowadzeniem ich do obrotu lub oddaniem ich do użytku”. Wyłączenie nie obejmuje testów w warunkach rzeczywistych. Przedstawiciel Komisji powiedział Euronews, że Komisja nie będzie egzekwować przepisów w fazie testów, ale gdy model opuści środowisko testowe i wpłynie na rynek UE, jak w przypadku Hugging Face, rozporządzenie staje się egzekwowalne. Barry Scannell z kancelarii William Fry powiedział Euronews, że rozporządzenie wyraźnie nie obejmuje działalności rozwojowej i testowej, a uznanie agenta za oddanego do użytku po ucieczce ze środowiska testowego jest nieco naciągane.

W mojej ocenie art. 2 ust. 8 wiąże wyłączenie z fazą przed wprowadzeniem do obrotu lub oddaniem do użytku i nie odnosi się do miejsca, w którym wystąpiły skutki. Jeżeli głównym sprawcą był wewnętrzny model badawczy, nieprzeznaczony przez OpenAI do publicznego wydania, wyłączenie przemawia przeciw stosowaniu rozporządzenia do tej części zdarzenia, bo definicja modelu ogólnego przeznaczenia nie obejmuje modeli wykorzystywanych przed wprowadzeniem do obrotu do badań, rozwoju i tworzenia prototypów (art. 3 pkt 63). Wniosek nie jest jednak pewny, bo motyw 97 rozporządzenia wskazuje, że definicja nie powinna obejmować modeli wykorzystywanych przed wprowadzeniem do obrotu „wyłącznie do celów działalności badawczo-rozwojowej i tworzenia prototypów”, a METR i Redwood Research odnotowali, że OpenAI usunęło z ich raportu część informacji o tym, jak ten model badawczy był trenowany i używany. Ten sam motyw wskazuje też, że obowiązki dotyczące modeli nie powinny mieć zastosowania do modelu własnego stosowanego w czysto wewnętrznych procesach, które nie są niezbędne do dostarczania produktu lub usługi osobom trzecim, a prawa osób fizycznych nie są naruszone, i zaraz potem zastrzega, że modele z ryzykiem systemowym „powinny zawsze podlegać odpowiednim obowiązkom ustanowionym w niniejszym rozporządzeniu”. Status GPT-5.6 Sol w Unii wymaga osobnego ustalenia.

Obowiązki z art. 55 zostają przy dostawcy modelu

W mojej ocenie art. 55 ust. 1 jest adresowany do dostawców modeli ogólnego przeznaczenia z ryzykiem systemowym, a organizacja wdrażająca agenta, która nie jest dostawcą modelu, nie przejmuje tych obowiązków. Organizacja, która sama buduje system AI na cudzym modelu i oddaje go do użytku pod własną nazwą, jest dostawcą tego systemu (art. 3 pkt 3). Dostawca modelu ogólnego przeznaczenia ma wobec niej obowiązek udostępnić informacje i dokumentację umożliwiające zrozumienie możliwości i ograniczeń modelu (art. 53 ust. 1 lit. b), więc może ich zażądać. Obowiązek ten nie dotyczy dostawcy modelu udostępnianego na bezpłatnej licencji otwartego oprogramowania z parametrami podanymi do wiadomości publicznej, chyba że model ma ryzyko systemowe (art. 53 ust. 2). Dostawca modelu wprowadzonego do obrotu przed 2 sierpnia 2025 r. ma na spełnienie tego obowiązku czas do 2 sierpnia 2027 r. (art. 111 ust. 3). Organizacja, która tylko korzysta z gotowego narzędzia albo agenta, opiera się przede wszystkim na umowie z dostawcą, a przy systemie wysokiego ryzyka także na informacjach, które dostawca przekazuje podmiotom stosującym (art. 13 w związku z art. 16 lit. a). Art. 13 stosuje się od 2 grudnia 2027 r. albo od 2 sierpnia 2028 r., zależnie od rodzaju systemu (art. 113 lit. c).