Aggiornamenti recenti Luglio 18th, 2025 3:17 PM
Apr 28, 2023 Marina Londei Approfondimenti, Attacchi, Hacking, RSS, Vulnerabilità 0
Le imprese stanno investendo sempre di più su applicazioni basate sui LLM come chatbot e tool generativi, ignorando però la presenza di una vulnerabilità molto importante: la prompt injection. Si tratta di un processo che consiste nel portare il modello generativo a generare l’output desiderato inserendo un testo specifico nella richiesta di un utente o creare input appositi per ottenere informazioni o eseguire azioni.
Nel suo blog Simon Willson ha dettagliato alcune casistiche di attacco che sfruttano la prompt injection, sottolineando che finora non ha individuato sistemi con difese contro questo tipo di attacco.
In uno degli esempi riportati nell’articolo, Willson analizza il caso di un assistente vocale in grado di leggere le email, classificare quelle importanti e riassumerne il contenuto. Poiché il tool legge le singole email per elaborarle, un attaccante può inviare un’email contenente delle specifiche istruzioni per l’assistente vocale e controllarne l’output.
Freepik
Willson menziona anche il search index poisoning come uno degli attacchi più efficaci che sfruttano i modelli generativi: inserendo delle richieste specifiche nelle pagine web, i chatbot e i motori di ricerca basati su IA come Bing possono venire manipolati nel fornire informazioni false all’utente. Similmente, l’indirect prompt injection sfrutta i prompt nascosti nei siti web per imporre nuove istruzioni al tool mentre esegue lo scraping del sito.
Infine, altri attacchi sono in grado di estrarre dati da applicazioni e database collegati ai tool, semplicemente inserendo delle query specifiche nell’input.
Quali sono le reali conseguenze di una prompt injection? Come spiega Willson, nel caso di applicazioni che si interfacciano solo col singolo utente tramite una chat non è un grosso problema. Ciò che può accadere, al massimo, è che un attaccante potrebbe essere in grado di ottenere il prompt originale del modello (prompt leaking), ma non di più.
La situazione cambia quando i tool sono integrati in altre applicazioni e vengono usati per avviare altri processi come l’invio di richieste ad API, ricerche su documenti sensibili e l’esecuzione di codice.
Pixabay
Secondo Willson non esistono metodi di protezione efficaci al 100%, ma è possibile comunque ridurre il rischio implementando dei filtri sull’input e sull’output. Nel caso un attaccante concateni un testo all’input, può essere utile condividere con l’utente il prompt effettivo utilizzato dal tool per assicurarsi che sia quello corretto.
In maniera analoga, se il tool è collegato ad altri servizi, ad esempio a un client di posta, è conveniente proporre il testo generato dell’email e attendere la conferma dell’utente prima di inviarlo.
Lug 18, 2025 0
Lug 16, 2025 0
Lug 15, 2025 0
Giu 26, 2025 0
Lug 18, 2025 0
Lug 17, 2025 0
Lug 14, 2025 0
Lug 11, 2025 0
Lug 17, 2025 0
Gli attacchi DDoS, compresi quelli ipervolumetrici,...Lug 08, 2025 0
In una recente analisi, Group-IB ha approfondito il ruolo...Lug 03, 2025 0
Recentemente il team Satori Threat Intelligence di HUMAN ha...Giu 09, 2025 0
La cybersecurity sta acquisendo sempre più importanza tra...Mag 30, 2025 0
Nel 2024, le piccole e medie imprese, spesso considerate il...Gen 29, 2025 0
Con l’avvento dell’IA generativa...Ott 09, 2024 0
Negli ultimi anni sempre più aziende stanno sottoscrivendo...Ott 02, 2024 0
Grazie al machine learning, il Global Research and Analysis...Set 30, 2024 0
Il 2024 è l’anno delle nuove normative di sicurezza:...Mag 21, 2024 0
Una delle sfide principali delle aziende distribuite sul...Lug 18, 2025 0
Il CERT-UA, agenzia governativa ucraina di cybersicurezza,...Lug 18, 2025 0
Un gruppo APT legato al governo cinese ha mantenuto...Lug 17, 2025 0
Gli attacchi DDoS, compresi quelli ipervolumetrici,...Lug 16, 2025 0
FlashStart, realtà italiana specializzata in soluzioni per...Lug 15, 2025 0
Nuova minaccia per le GPU: secondo un recente comunicato...