Puncte cheie

  • Ideea principală: Hackeri au înlocuit un model DeepSeek V4.1 Flash cu o variantă modificată pe o implementare Prime Intellect, timp de peste 53 de ore, eliminând barierele de siguranță.
  • Impactul asupra siguranței: Testele HarmBench au arătat o scădere alarmantă a refuzurilor de a genera conținut periculos, de la 198 din 240 de solicitări la zero.
  • Perioada incidentului: Atacul a avut loc între 8 noiembrie, ora 01:24 UTC, și 10 noiembrie, ora 06:35 UTC.
  • Starea datelor: Investigarea preliminară sugerează că datele clienților nu au fost exfiltrate, însă integritatea răspunsurilor AI a fost compromisă.

O breșă subtilă: performanța menținută, siguranța eliminată

Compania Prime Intellect a dezvăluit recent un incident de securitate sofisticat, în care o copie modificată a modelului DeepSeek V4.1 Flash a preluat controlul asupra solicitărilor clienților pe o singură implementare. Ceea ce face acest atac remarcabil este faptul că hackerii nu au încercat să degradeze capacitățile tehnice ale modelului, ci s-au concentrat exclusiv pe eliminarea „filtrelor” de siguranță.

Conform datelor publicate, modelul substitut a trecut cu succes două teste majore de capabilitate: GPQA Diamond (care evaluează întrebări avansate de știință) și τ-bench (care testează capacitatea agentului de a urma reguli și de a folosi instrumente în interacțiuni simulate). Această strategie a permis atacului să treacă neobservat pentru o perioadă mai lungă, deoarece rezultatele funcționale au rămas neschimbate, în timp ce protecțiile etice au fost complet eliminate.

Analiza cifrelor: Prăbușirea sistemelor de refuz

Diferența dintre modelul original și cel modificat a devenit evidentă doar în urma testelor de siguranță. Prime Intellect a raportat date alarmante privind capacitatea modelului de a refuza solicitări malițioase sau periculoase:

  • HarmBench: Refuzurile au scăzut de la 198 din 240 de prompturi la zero.
  • JailbreakBench: Din 100 de prompturi, modelul original refuza 98, în timp ce varianta modificată a refuzat doar unul singur.
  • StrongREJECT: Refuzurile au scăzut de la 304 din 313 prompturi la doar două.

Aceste modificări au fost realizate prin ajustarea ponderilor (weights) — setările numerice care determină modul în care un model generează răspunsuri — utilizând versiuni publice de ponderi care au fost ulterior manipulate pentru a reduce ratele de refuz.

Investigația tehnică și riscurile pentru utilizatori

Echipa de securitate a Prime Intellect a analizat discurile și memoria mașinilor implicate, precum și înregistrările activității intrusului. Până în prezent, compania afirmă că nu există dovezi că prompturile sau răspunsurile clienților au fost înregistrate sau au părăsit clusterul de servire. De asemenea, s-a confirmat că niciun alt model de pe platformă nu a fost modificat și că cheile de acces sau credențialele clienților au rămas sigure.

Cu toate acestea, riscul rămâne unul operațional. Prime Intellect a contactat toți clienții afectați, recomandându-le să revizuiască rezultatele (output-urile) primite în fereastra de timp a incidentului. Problema majoră este că o aplicație care se baza pe refuzul modelului de a genera un anumit tip de conținut periculos ar fi putut, în schimb, să primească un răspuns validat de modelul compromis, integrând astfel informații potențial nocive direct în fluxul de lucru al utilizatorului.

Concluzie pentru investitori și dezvoltatori

Acest incident subliniază o vulnerabilitate critică în infrastructura de servire a modelelor de inteligență artificială. Pentru investitorii din sectorul crypto și AI, acest caz demonstrează că riscul nu mai este doar legat de furtul de date, ci de manipularea comportamentului modelului (model poisoning/swapping). Pe măsură ce companiile adoptă agenți AI pentru automatizarea plăților sau a proceselor financiare, securitatea ponderilor modelelor și monitorizarea în timp real a ratelor de refuz devin elemente esențiale pentru evitarea unor riscuri sistemice.

Sursă originală: CryptoSlate