La sicurezza AI oggi richiede controllo umano, identità degli agenti e isolamento operativo. Amazon dimostra che, con AI sempre più autonoma, le aziende devono ridurre i tempi di risposta a pochi secondi, tracciare ogni azione degli agenti e applicare sistemi di autorizzazione umana per prevenire rischi e attacchi.

Il nuovo paradigma della sicurezza AI

Alla HUMAN X Conference, Steve Schmidt ha spiegato un punto cruciale: la sicurezza AI non è più una questione teorica, ma operativa e urgente.

L’evoluzione più concreta è questa:

• gli attaccanti meno esperti diventano più efficaci grazie all’AI
• gli attori avanzati scalano gli attacchi su più fronti simultaneamente
• il tempo di risposta passa da ore a minuti o secondi

In sintesi: l’AI accelera tutto — attacchi, difesa, complessità.

Questo significa che le aziende non possono più affidarsi a modelli di sicurezza tradizionali.

Come l’AI sta cambiando il threat landscape

Cosa significa davvero?

L’AI democratizza le capacità offensive.

Prima esisteva una gerarchia chiara:

• “script kiddies” con competenze limitate
• attori statali altamente sofisticati

Oggi questa differenza si riduce.

Impatto concreto

• Attacchi più frequenti e su larga scala
• Maggiore superficie di attacco
• Necessità di risposta quasi in tempo reale

La cosa più importante è: non è solo la qualità degli attacchi a crescere, ma la velocità e la quantità.

Il doppio rischio della sicurezza AI

Domanda: cosa è più pericoloso?

Gli attacchi AI o l’uso interno dell’AI?

Risposta: entrambi

Secondo Schmidt, il rischio è duplice:

1. Attaccanti più potenti grazie all’AI
2. Nuovi rischi interni (shadow AI)

Molti dipendenti utilizzano strumenti AI senza controllo centrale, creando:

• accessi non monitorati
• esposizione di dati sensibili
• perdita di governance

Questo fenomeno è noto come shadow AI.

Identità degli agenti: il fondamento della sicurezza AI

Definizione chiave

Un agente AI è un’entità software autonoma che agisce per conto di un utente o sistema.

Amazon ha introdotto un concetto innovativo:
assegnare un’identità unica agli agenti AI

Perché è fondamentale

• Tracciabilità completa delle azioni
• Audit e forensics
• Conformità normativa

In pratica:

“Questo umano ha causato questo agente a fare questa azione su questi dati.”

Implicazione strategica

Le aziende devono trattare gli agenti come:

• utenti con privilegi
• sistemi auditabili
• entità regolamentate

Containerizzazione: controllare l’AI invece di fidarsi

Problema

Un agente AI con accesso completo al sistema può:

• leggere tutti i dati
• modificare infrastrutture
• causare danni critici

Soluzione Amazon

Gli agenti devono operare in ambienti isolati (container o VM)

Come funziona

• ogni azione che “esce” dal container viene tracciata
• i permessi sono temporanei e limitati
• le richieste vengono validate da altri modelli

In sintesi

La sicurezza AI moderna è basata su isolamento + osservabilità.

Guardrail e rischio di manipolazione

Cosa sono i guardrail?

I guardrail sono regole e vincoli che guidano il comportamento degli agenti AI.

Il problema

Se compromessi, possono:

• far uscire l’agente dai limiti
• causare azioni dannose
• diventare un vettore di attacco

Questo è un nuovo tipo di superficie di attacco.

Insight strategico

Le aziende devono:

• proteggere i guardrail come asset critici
• garantire integrità e non-manomissione
• validare continuamente il comportamento degli agenti

Human-in-the-loop: perché il controllo umano resta centrale

Definizione

Human-in-the-loop significa che un umano deve approvare azioni critiche eseguite da sistemi AI.

Caso Amazon

Sistema di autorizzazione “contingent”:

• 2 persone devono approvare operazioni sensibili
• autenticazione hardware (FIDO2)
• blocco automatico senza approvazione

Applicazione all’AI

Lo stesso principio viene applicato agli agenti:

• checkpoint esterni all’agente
• validazione indipendente
• impossibilità di auto-autorizzarsi

La cosa più importante è: l’AI non deve mai avere controllo totale su decisioni critiche.

Sicurezza AI per startup: cosa fare subito

Domanda: da dove iniziare?

Risposta operativa

Secondo Schmidt, le priorità sono:

1. Inventory degli agenti

• quali agenti esistono
• dove sono installati
• cosa fanno

2. Controllo dei dati

• dove risiedono
• chi li usa
• come vengono trasferiti

3. Data labeling

• dati sensibili vs non sensibili
• classificazione fin dall’inizio

Questo è fondamentale perché:

etichettare i dati dopo è estremamente costoso

4. Isolamento degli agenti

• container o VM
• accesso limitato
• auditabilità

Il vero errore da evitare

Molte aziende pensano:
“Dobbiamo bloccare l’AI”

Schmidt è chiaro:

questo approccio è sbagliato

La strategia corretta

• accettare l’uso dell’AI
• renderlo visibile
• controllarlo
• governarlo

In sintesi:
non fermare l’AI, ma renderla sicura.

Trend futuro: sicurezza AI = feedback continuo

Un insight chiave emerso dalla HUMAN X Conference:

la sicurezza non è più “a posteriori”

Nuovo modello

• feedback immediato
• validazione in tempo reale
• miglioramento continuo

Ogni azione diventa:

• input per la sicurezza
• dato per il training
• opportunità di miglioramento

Implicazioni strategiche per le aziende

1. La sicurezza diventa distribuita

Non è più solo compito del CISO:

• ogni team deve essere responsabile

2. L’AI aumenta la complessità operativa

Serve:

• visibilità
• governance
• automazione

3. Il controllo umano resta centrale

Nonostante l’autonomia crescente:

• le decisioni critiche devono restare umane

FAQ – Sicurezza AI

1. Cos’è la sicurezza AI?

La sicurezza AI è l’insieme di pratiche, tecnologie e processi che proteggono sistemi basati su intelligenza artificiale da abusi, attacchi e errori operativi.

2. Perché l’AI aumenta i rischi di sicurezza?

Perché amplifica le capacità degli attaccanti, aumenta la velocità degli attacchi e introduce nuovi vettori interni come agenti autonomi e shadow AI.

3. Come si possono controllare gli agenti AI?

Attraverso:

• identità uniche
• containerizzazione
• audit delle azioni
• human-in-the-loop

4. Qual è la priorità per le aziende oggi?

Capire:

• quali agenti stanno usando
• dove si trovano i dati
• quali accessi esistono

5. Le startup devono avere un CISO?

Non necessariamente. È più importante che tutti in azienda siano responsabili della sicurezza, soprattutto nella gestione dei dati sensibili.

Conclusione

La sicurezza AI non è più opzionale.

È un sistema che combina:

• tecnologia (container, identità, audit)
• processi (autorizzazioni, governance)
• cultura (responsabilità diffusa)

Questo significa che il futuro non è “AI vs umano”, ma:
AI sotto controllo umano.