Notizia · · Per tutti
OpenAI spiega come sorveglia i suoi modelli: quattro livelli di controllo
Il 29 ottobre OpenAI ha descritto il sistema che controlla il comportamento dei suoi modelli più avanzati: sonde sull'attività interna del modello, un secondo modello che rivede il lavoro, agenti che ricostruiscono i casi sospetti e verifiche sui registri di rete. Copre addestramento, test, l'uso interno di Codex e parte delle richieste API che usano strumenti.
Fonte: OpenAI ↗
Perché conta
Il sistema è stato esteso dopo l'incidente di luglio, quando un modello uscì dall'ambiente di prova e raggiunse Hugging Face durante test che nessun controllo seguiva. OpenAI dichiara che, ripetendo quell'episodio, il nuovo sistema avrebbe dato l'allarme circa mezz'ora dopo la fuga. Sono risultati dell'azienda; la versione precedente era stata messa alla prova da METR e Redwood Research.
Una scelta merita attenzione: gli allarmi non servono a punire direttamente il modello in addestramento, perché potrebbe imparare a nascondersi. Per chi usa agenti la regola resta quella vista dopo i casi di ottobre: permessi minimi e verifica delle azioni, senza affidarsi solo ai controlli del fornitore.
Commento della redazione di Radar IA