OpenAI ha presentato Control Room, un sistema centrale che tiene traccia dei carichi di lavoro di inferenza nella sua infrastruttura di ricerca e ne interrompe l’output entro 35 secondi dalla decisione di fermare o mettere in pausa un job. L’azienda lo ha già messo in servizio su quell’infrastruttura, «dove il bisogno è maggiore», e lo affianca ai sistemi di monitoraggio del disallineamento. Control Room, scrive OpenAI, è pensato per restare efficace anche se altri sistemi cedono e per interrompere l’output dei modelli nel caso in cui il servizio stesso vada offline.
Come funziona
Il sistema collega ogni carico di lavoro di inferenza per la ricerca, dal campionamento agentico per l’addestramento e la valutazione all’elaborazione dei dati. Ogni job di ricerca che fa inferenza agentica deve essere associato a un safety case approvato. All’avvio il codice del carico di lavoro chiede a Control Room un identificativo, il job_id, e lo allega alle richieste di token inviate al motore di inferenza, cioè al modello che gira sulle GPU. Prima di produrre output, il motore chiede l’autorizzazione a Control Room. Se il job è stato fermato da una persona o da un sistema di monitoraggio, il servizio rifiuta la richiesta e il motore non genera altri token. Il programma di ricerca può restare in esecuzione, ma senza nuovo output dal modello. Un job può usare più motori e lo stesso motore può servire più job.
Trentacinque secondi e modalità «fail closed»
OpenAI precisa che 35 secondi è il tempo massimo tra il momento in cui Control Room riceve l’istruzione di interrompere un job e il momento in cui non è più possibile fare ulteriori progressi. L’intervallo dipende da una cache usata per autorizzare le richieste di inferenza, necessaria a sostenere il volume di traffico. L’azienda lavora per ridurre questo ritardo a zero, così da chiudere i job all’istante.
Il meccanismo di interruzione sta nello strato di inferenza, più centralizzato e uniforme rispetto al codice dei singoli esperimenti, che cambia di frequente e secondo OpenAI non è il punto giusto in cui affidare protezioni critiche. Se Control Room non è disponibile, per un errore di sistema o per un tentativo di manomissione, tutte le richieste di inferenza vengono negate fino al ripristino. Questa modalità «fail closed», scrive l’azienda, è già attiva su tutti i carichi di lavoro di ricerca sui modelli di frontiera e, al momento dell’annuncio, completerà l’estensione ai restanti job di ricerca nei prossimi giorni. Lo stack che serve i modelli all’esterno, invece, è già più centralizzato e dispone di una procedura operativa per disattivare rapidamente i deployment.
Monitoraggio e incidente DNS
Tutti i job di reinforcement learning di frontiera, spiega OpenAI, operano con un monitor: un altro modello che osserva il comportamento del sistema in addestramento e può lanciare un allarme. Se il monitoraggio rileva un possibile problema, in base alla gravità può chiedere a Control Room di interrompere il job. L’azienda cita, come esempio, un recente incidente legato al DNS, individuato da un monitor.
Sul sito abbiamo già raccontato il rafforzamento dei controlli di sicurezza con GPT-6 Astra e i test di sicurezza per l’AI dopo l’acquisizione di Dreadnode da parte di CrowdStrike.
Fonti: OpenAI, Control Room, OpenAI Alignment, An agent used DNS to reach an external chatbot, Cointelegraph
Aiutaci a crescere: lasciaci un like :)