I fenomeni di creazione/diffusione di contenuti multimediali falsi hanno raggiunto livelli mai visti prima, grazie alla disponibilità di strumenti di intelligenza artificiale dedicati a generare contenuti falsi pressoché indistinguibili da quelli veri in modo relativamente semplice. Il progetto FF4LL - Detection of Deep Fake Media and Life-Long Media Authentication si propone di sviluppare strumenti teorici e pratici per limitare la diffusione di contenuti falsi o contraffatti, sia attraverso tecniche di analisi passive che consentano di distinguere i contenuti falsi da quelli veri, sia attraverso tecniche attive, da adottare in fase di creazione dei contenuti, per facilitarne la successiva autenticazione.

All'interno di FF4ALL, il Politecnico di Milano è responsabile di due compiti specifici, più precisamente:

Deepfake audio/video

I deepfake esistono sia per l'audio che per il video, e la loro proliferazione negli ultimi anni ha sollevato notevoli preoccupazioni. I video deepfake implicano l'uso di tecniche avanzate per manipolare o generare contenuti video dall'aspetto realistico (ad esempio, sovrapporre il volto di una persona al corpo di un'altra persona, modificare le espressioni facciali, ecc.).

I deepfake audio utilizzano una tecnologia simile per manipolare o generare contenuti audio (ad esempio, modificare la voce di una persona, imitare il suo stile di parlare, ecc.). Tuttavia, i deepfake non si limitano alla manipolazione di video o audio in modo isolato: possono coinvolgere sia l'audio che il video insieme. In questo contesto, la necessità di sviluppare rilevatori di deepfake audio/video sta diventando più di una necessità urgente. L'obiettivo principale di questo compito è sviluppare tecniche forensi efficaci ed efficienti per l'analisi di deepfake audio/video.

Metodi avanzati per il rilevamento di deepfake

Un deepfake è un tipo di video manipolato digitalmente in cui vengono utilizzate tecniche di intelligenza artificiale e deep learning per creare contenuti iperrealistici che descrivono in modo convincente individui che fanno cose che non hanno mai fatto. L'uso diffuso di video deepfake può essere pericoloso, in quanto possono essere utilizzati per campagne di disinformazione, per frodi o truffe e per erodere la fiducia. È quindi necessario sviluppare tecniche forensi per rilevare i deepfake video.

L'obiettivo di questo compito è sviluppare rilevatori forensi che utilizzino tecniche avanzate per rilevare se un video è un deepfake di nuova generazione. La maggior parte dei rilevatori di deepfake video sviluppati in letteratura si basano su un'analisi frame-by-frame. Ogni frame viene elaborato separatamente e la decisione a livello video viene presa unendo ogni risultato di rilevamento del frame. Tuttavia, per gestire i video deepfake avanzati e aggiornati è necessario estendere l'analisi a livello video. Ciò significa che i frame non dovrebbero essere analizzati come entità separate. Dovrebbero piuttosto essere elaborati tutti insieme. In effetti, gli artefatti deepfake potrebbero essere meglio visibili osservando le incongruenze temporali.