Aggiornamenti recenti Luglio 26th, 2024 2:16 PM
Apr 06, 2023 Marina Londei Approfondimenti, Attacchi, Minacce, RSS, Tecnologia 0
L’IA generativa non è immune dagli attacchi informatici: uno studio congiunto dei ricercatori di IBM, della National Tsing Hua University di Taiwan e della Chinese University di Hong Kong ha dimostrato che è possibile introdurre delle backdoor nei modelli di diffusione.
Queste reti neurali sono alla base di strumenti text-to-image come DALL-E e rappresentano l’architettura sulla quale sono costruiti questi tool. I modelli di diffusione operano aggiungendo del “rumore”, cioè elementi e caratteristiche non presenti nell’immagine iniziale, ai dati di addestramento e poi invertendo il processo per generare immagini fedeli all’originale.
Freepik
Come riportato da VentureBeat, questo approccio comporta dei rischi di sicurezza che finora non sono stati approfonditi. Nel loro studio i ricercatori descrivono un framework d’attacco chiamato BadDiffusion che consiste nell’inserire una backdoor nel modello per generare un output specifico, diverso da quello atteso dalla vittima.
Un attaccante può modificare gli step del modello per renderlo sensibile a un determinato trigger nei dati di training, e inserire poi questo trigger nel dataset in uso. La particolarità dell’attacco è che funziona solo quando, a fronte della modifica del modello, c’è uno specifico innesco nei dati; ciò significa che in circostanze normali il modello produce l’output atteso dall’utente.
Poiché senza un trigger il modello funziona come dovrebbe gli utenti non sono in grado di individuare la backdoor semplicemente analizzando le immagini generate. Il framework d’attacco è inoltre molto economico da realizzare: è sufficiente ritoccare i modelli di diffusione già disponibili sul web per inserire la backdoor e riproporre il modello compromesso sul web.
Freepik
I ricercatori hanno analizzato due possibili contromisure contro il BadDiffusion: l’Adversarial Neuron Pruning (ANP) e l’Inference-Time Clipping. Il primo si è rivelato piuttosto instabile e troppo sensibile al numero di parametri del modello; il secondo, pur essendo più semplice del primo, ha portato risultati promettenti, anche se potrebbe rivelarsi inefficace contro backdoor complesse.
Visto l’ampio utilizzo di questi modelli e la scarsità di soluzioni contro le minacce è importante investire sulla ricerca e lo sviluppo di nuove linee di difesa. Il primo passo, come sempre, è comprendere i rischi che i modelli di diffusione comportano; inoltre è opportuno verificare sempre l’autenticità dei modelli scaricati dal web.
Lug 25, 2024 0
Lug 22, 2024 0
Lug 10, 2024 0
Lug 01, 2024 0
Lug 26, 2024 0
Lug 25, 2024 0
Lug 24, 2024 0
Lug 24, 2024 0
Lug 26, 2024 0
Parigi è al centro dell’attenzione mondiale per le...Lug 24, 2024 0
Il 19 luglio 2024 è una data che rimarrà impressa per...Lug 24, 2024 0
Con l’obiettivo di assicurare un adeguato livello di...Lug 23, 2024 0
Le password sono ormai universalmente riconosciute come un...Lug 23, 2024 0
Sembra un numero fin troppo elevato, ma è tutto vero:...Mag 21, 2024 0
Una delle sfide principali delle aziende distribuite sul...Mag 08, 2024 0
L’ultimo non è stato un buon anno per Microsoft:...Mag 04, 2018 0
E se vi dicessimo che la saga di Star Wars ...Nov 14, 2016 2
Abbiamo rubato al blog di Kaspersky un vecchio pezzo di...Nov 08, 2016 2
Il numero uno degli scacchi mondiali Magnus Carlsen ha...Lug 26, 2024 0
Parigi è al centro dell’attenzione mondiale per le...Lug 26, 2024 0
Tanti videogiocatori si affidano ai cheat per avere più...Lug 25, 2024 0
I ricercatori di ESET hanno scoperto EvilVideo, una...Lug 25, 2024 0
Daggerfly, gruppo di cybercriminali cinesi conosciuto anche...Lug 24, 2024 0
Il 19 luglio 2024 è una data che rimarrà impressa...