Accedi al tuo profilo

Selezione la tua area di interesse

News Recenti

Transparency Center Initiative di Kaspersky Lab: cosa significa per l’Italia
Lazarus ha colpito alcune compagnie europee del settore della difesa
Arriva “Zyxel Commercialisti Italia”, iniziativa per educare i professionisti alla cybersecurity
Cyberattacchi: estorsioni e ransomware dietro la metà delle campagne malevole
Centinaia di estensioni Chrome sfruttate in una campagna di spam
CERT-AGID 11–17 ottobre: PagoPA, MAECI e le amministrazioni regionali tra i bersagli della settimana

IA e sicurezza: lo spettro della prompt injection

Set 04, 2023 Marina Londei Approfondimenti, Attacchi, Hacking, In evidenza, Minacce, RSS, Vulnerabilità 0

I modelli di intelligenza artificiale migliorano a batter d’occhio, ma la comprensione ancora limitata di essi potrebbe esporre le aziende a gravi problemi di sicurezza. Secondo il National Cyber Security Centre (NCSC), agenzia per la cybersicurezza del Regno Unito, ci sono ancora molti aspetti degli LLM che ci rimangono oscuri, in particolare quelli legati ai rischi e alle vulnerabilità intrinseci dei modelli.

L’NCSC mette in guardia dai pericoli associati all’uso di tecnologie che, guardando alla realtà dei fatti, sono ancora in una fase iniziale di sviluppo caratterizzata dalla necessità di comprendere rischi e benefici, valutando quali pesano di più. La maggior parte delle aziende, intanto, ha già integrato questi strumenti nei propri processi, elogiandoli dopo aver riscontrato un significativo aumento della produttività e dell’efficienza.

Ma a che punto siamo con la cybersecurity nell’ambito dell’intelligenza artificiale? Sfortunatamente i progressi non sono ancora soddisfacenti. Oltre ad automatizzare gli attacchi, rendendo il cybercrimine un’attività accessibile a tutti, i sistemi di IA nascondono dei pericoli per i quali non esistono ancora contromisure efficaci.

Pixabay

Secondo l’NCSC, il rischio principale dei modelli è legato alla prompt injection, una tecnica di attacco che usa degli input creati ad hoc per indurre il chatbot a fornire uno specifico risultato o a eseguire determinate azioni.

L’NCSC condivide un esempio che spiega bene la pericolosità di questo tipo di attacco: consideriamo un chatbot di IA di un istituto bancario in grado di assistere i clienti non solo rispondendo alle loro domande, ma anche eseguendo operazioni sulle loro finanze.

Sfruttando il fatto che un modello di IA non riesce a distinguere un’istruzione dai dati condivisi per completarla, un attaccante potrebbe inviare alla vittima una richiesta di transazione (per esempio impersonando un sito di shopping online) nella quale è nascosto un prompt che, analizzato dal modello, indica al chatbot di trasferire il denaro verso il conto dell’attaccante.

La prompt injection è un tipo di attacco nuovo e ancora poco approfondito che necessita di tecniche specifiche per essere contrastato. Gli esperti di sicurezza sono al lavoro per individuare possibili mitigazioni, ma per il momento non ci sono metodi infallibili.

Credits: ramirezoom- Depositphotos

Come proteggersi, allora? Per il momento la soluzione migliore è limitare le operazioni che un chatbot può eseguire in modo che, anche nello scenario peggiore, non si verifichino gravi conseguenze sulla sicurezza dei consumatori. Per quanto le nuove tecnologie siano entusiasmanti, ci sono ancora troppi pericoli irrisolti per adottarle in maniera diffusa e sicura.

Condividi l'articolo

cybercrimine, cybersecurity, ia generativa, ncsc, prompt injection, vulnerabilità

NTLM: rischi e tecniche per procedere alla dismissione di questo protocollo Classiscam, lo scam-as-a-service dilaga: 251 marchi impersonati in 79 Paesi