Notizia · · Per tutti
Stanford: il 44% dei risultati noti sui modelli linguistici non vale più
Due ricercatori di Stanford hanno rifatto 50 esperimenti molto citati sui modelli linguistici usando 20 modelli usciti tra luglio 2024 e settembre 2026. Il 44% dei risultati non si ripete più, il 34% si è attenuato e solo il 22% resta valido o si è rafforzato.
Perché conta
Molte idee diffuse sull'IA vengono da studi su modelli di due o tre anni fa. Il caso più chiaro sono le citazioni inventate: nel 2023 succedeva in più di metà dei casi, nei test di Stanford Claude Sonnet 5.5 le inventa nell'1,37% dei casi e GPT-6.1 Sol mai. Resistono meglio i difetti di comportamento, come la tendenza a dare ragione all'utente.
Il consiglio pratico è guardare sempre quale modello e quale data stanno dietro un risultato. Vale per gli studi e per i benchmark, come spieghiamo nella guida su come leggerli; resta comunque utile controllare le fonti che l'IA indica.
Commento della redazione di Radar IA