METR: in Anthropic la ricerca sull'IA procede circa al doppio della velocità

È la prima verifica esterna dopo l'avvertimento che Anthropic aveva dato agli investitori nel prospetto di quotazione. METR ha lavorato undici settimane con accesso a benchmark interni, dati di calcolo e interviste ai ricercatori, e attribuisce gran parte dell'accelerazione all'IA che aiuta le persone, non a una ricerca svolta in autonomia dai modelli.

I limiti contano quanto il risultato. Anthropic ha oscurato gran parte delle prove che METR riteneva più informative e ha interrotto a metà la verifica su quanto calcolo va alla sicurezza. Inoltre il dato riguarda i benchmark, che non sempre si traducono in progressi nel lavoro reale.