Il sito della tua azienda e l'IA: come decidere chi può usarne i contenuti, prima del 20 novembre

Il sito di una piccola impresa contiene più di quanto sembri: schede prodotto scritte con cura, listini, guide tecniche, articoli del blog, foto. Da anni questi contenuti vengono letti da programmi automatici, i crawler, che li raccolgono anche per addestrare i modelli di intelligenza artificiale. Finora decidere cosa permettere era complicato: ogni azienda dell'IA ha i suoi crawler, con nomi diversi e scopi diversi.

Due novità delle ultime settimane rendono il tema più urgente e, insieme, un po' più semplice. Vediamo cosa cambia e cosa si può fare in un'ora di lavoro.

Le due novità: i termini di Meta e il segnale comune

Meta. Dal 20 novembre 2026 (la data era il 30 ottobre, poi è stata rinviata dopo le proteste degli editori europei) cambiano i termini commerciali che accetta chiunque usi i servizi di Meta per la propria attività. Il testo autorizza Meta a usare programmi automatici per accedere, indicizzare, copiare e aggiornare periodicamente le pagine collegate ai prodotti o servizi dell'azienda, per i suoi prodotti pubblicitari e per le imprese. Dopo le critiche, Meta ha tolto dal testo la frase che parlava esplicitamente di addestramento dell'IA, ma diversi giuristi considerano la formulazione ancora molto ampia. Non si può accettare solo una parte dei termini: continuare a usare i servizi vale come accettazione. Meta dice che si potrà limitare l'accesso con il robots.txt, anche se il testo non lo prevede espressamente (la notizia).

Il segnale comune. Il 30 ottobre Google ha annunciato che supporterà una regola condivisa per il robots.txt, nata dal gruppo di lavoro sulle preferenze per l'IA dell'IETF, l'organismo che definisce gli standard di Internet. La bozza è firmata da Kevin Kelley di Anthropic. OpenAI ha detto che la rispetterà nei prossimi mesi, Google prevede di farlo nel 2027 insieme agli altri fornitori, e anche Microsoft ha aderito (la notizia). Google ricorda che il Codice di condotta europeo per i fornitori di modelli per finalità generali, legato all'AI Act, riconosce il robots.txt come strumento principale per esprimere queste preferenze.

Tre usi diversi dei tuoi contenuti

Prima di bloccare qualcosa conviene distinguere tre cose che i crawler dell'IA fanno, perché le conseguenze sono diverse:

• Addestramento: i testi entrano nei dati con cui si costruiscono i modelli. Una volta usati non si possono "togliere".
• Ricerca e citazione: il sito viene indicizzato per comparire, con il link, nelle risposte di ChatGPT, Claude, Gemini o Meta AI. È una fonte di visite, sempre più importante.
• Visita su richiesta: un utente chiede a un assistente di leggere una pagina precisa. Questi accessi spesso non seguono il robots.txt, perché li avvia una persona.

Per la maggior parte delle PMI la scelta ragionevole è dire no (o sì) all'addestramento e lasciare aperta la ricerca, così da restare visibili dove i clienti cercano informazioni. Ma è una decisione d'impresa: chi vende contenuti (formazione, banche dati, editoria) può voler chiudere di più.

I crawler da conoscere

Nel caso di Meta, i termini del 20 novembre riguardano la scansione per pubblicità e servizi alle imprese, cioè il crawler Meta-ExternalAds; quello dichiarato per l'addestramento dei modelli è Meta-ExternalAgent. Meta non spiega che effetti abbia bloccare il primo sulle campagne pubblicitarie: chi investe molto in annunci su Facebook e Instagram dovrebbe valutarlo con attenzione.

Cosa scrivere nel robots.txt

Il file robots.txt si trova all'indirizzo www.tuosito.it/robots.txt. Se non esiste, si crea un semplice file di testo nella cartella principale del sito; molti CMS (WordPress, Shopify, Wix) permettono di modificarlo dal pannello o con un'estensione. Un esempio per dire no all'addestramento e restare visibili nella ricerca:

# Segnale comune (in arrivo)
User-agent: __usage_ai-training
Disallow: /

# Singole aziende (gia' valido)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Meta-ExternalAgent
Disallow: /

Tre dettagli che contano:

• La regola generica User-agent: * non vale per il nuovo segnale: la bozza dell'IETF lo esclude espressamente. Va scritto per nome.
• Si possono fare eccezioni. Per esempio Allow: /comunicati/ sotto il segnale comune lascia usare per l'addestramento solo la cartella dei comunicati stampa.
• Le regole per singola azienda prevalgono sul segnale comune. Google, per esempio, tratta il segnale come un blocco di Google-Extended solo se Google-Extended non è già indicato nel file.

Le modifiche non sono immediate (Meta, per esempio, può conservare la vecchia versione del file fino a 24 ore) e valgono per il futuro: non cancellano i contenuti già raccolti.

I limiti: una richiesta, non un lucchetto

Il robots.txt funziona perché le grandi aziende si impegnano a rispettarlo. Non ferma chi non lo rispetta, né i programmi che si presentano con un nome falso. Il nuovo segnale è ancora una bozza, scade a maggio 2027 se non viene aggiornata, e le date di attuazione variano da un'azienda all'altra.

Ha però un valore anche giuridico. La legge italiana sul diritto d'autore (articolo 70-quater) consente l'estrazione di testi e dati dalle opere salvo che i titolari dei diritti se la siano espressamente riservata; la legge 132/2025 sull'IA ha confermato che l'uso per addestrare i modelli deve rispettare queste regole. Una riserva scritta in forma leggibile dalle macchine, come il robots.txt, è il modo più diffuso per esercitarla. Per casi specifici, per esempio contenuti a pagamento o banche dati, conviene sentire un legale: questo articolo non è una consulenza.

Cosa significa per le imprese

• Decidete prima del 20 novembre cosa volete permettere: addestramento sì o no, ricerca sì o no, pubblicità di Meta sì o no. È una scelta di marketing oltre che di tutela.
• Controllate il robots.txt attuale. Spesso nessuno in azienda sa cosa contiene: chiedetelo a chi gestisce il sito o all'agenzia.
• Aggiungete il segnale comune e le regole per nome, come nell'esempio. Costa pochi minuti e resterà valido quando il segnale sarà adottato.
• Scrivetelo anche nelle condizioni d'uso del sito: una frase che riserva l'estrazione di testi e dati rafforza la scelta fatta nel robots.txt.
• Non bloccate tutto per paura: chiudere i crawler di ricerca riduce la visibilità del sito proprio negli strumenti che i clienti usano sempre di più. Per capire come funzionano, il nostro glossario e la pagina Normativa.