Rediscount

Intelligenza artificiale

METR aggiorna il grafico AI: i modelli restano indietro nei compiti che richiedono giudizio

Il nuovo report di METR mostra progressi esponenziali nelle capacità verificabili, ma evidenzia un divario significativo rispetto agli umani nei task aperti e complessi, come la progettazione di valutazioni o la scelta di direzioni di ricerca.

METR aggiorna il grafico AI: i modelli restano indietro nei compiti che richiedono giudizio
Foto di Rafael Minguet Delgado · Pexels

La nonprofit METR ha pubblicato un aggiornamento del suo celebre "time horizon plot", uno dei grafici più discussi e spesso fraintesi nel settore dell'intelligenza artificiale. Il report conferma che le capacità dei modelli AI continuano a migliorare lungo una traiettoria esponenziale, raddoppiando ogni quattro mesi la lunghezza dei compiti che riescono a completare con successo. Tuttavia, l'analisi introduce una distinzione cruciale: i modelli eccellono ancora nei task "verificabili", dove il successo è misurabile automaticamente, ma mostrano limitazioni significative in quelli che richiedono giudizio umano.

Cosa è successo e cosa cambia in pratica

Il nuovo set di test include compiti più aperti e complessi, storicamente esclusi dalle valutazioni precedenti perché difficili da quantificare. Questi task sono fondamentali per capire se l'AI potrà davvero automatizzare la ricerca e lo sviluppo (R&D). I risultati principali evidenziano:

  • Scarsa utilità pratica: Nessun modello ha progettato valutazioni AI sufficientemente buone da essere considerate utili dai ricercatori di METR, nonostante l'eccellenza dimostrata nell'ingegneria del software.
  • Giudizio filosofico: Anche nel valutare argomenti filosofici, un proxy per il buon giudizio, i modelli restano al di sotto delle prestazioni umane.
  • Progresso lento ma presente: I modelli più recenti, come Opus 5.5, raggiungono una performance "borderline" in questi task, un miglioramento rispetto all'anno scorso quando tutti i modelli erano "chiaramente sotto la soglia", ma non ancora sufficienti per un uso autonomo.

Questa divergenza tra task facili da verificare (come la programmazione) e task complessi (come la scelta di un esperimento promettente) è al centro del dibattito attuale. Il reinforcement learning, che ha reso i modelli bravi in matematica e codice, fatica ad applicarsi a scenari dove il successo non è definito in modo binario o richiede ore per essere confermato.

Cosa significa per chi compra in Italia

Per gli utenti e le aziende italiane che integrano strumenti di AI nel flusso di lavoro, questo report offre una prospettiva realistica. L'intelligenza artificiale è attualmente uno strumento potente per compiti tecnici, ripetitivi e con esiti verificabili, come la scrittura di codice o l'analisi dati strutturata. Tuttavia, non dovrebbe essere affidata la piena autonomia in decisioni strategiche, creative o di ricerca, dove il giudizio contestuale è determinante.

Chi acquista licenze o hardware per l'AI dovrebbe considerare che l'efficienza risiede nell'uso assistito dall'umano. L'automazione completa della R&D, un tema spesso iperbolizzato dai comunicati stampa, rimane lontana. La prudenza nell'interpretare le capacità dei modelli è consigliata: se un software promette di sostituire il pensiero critico o la direzione della ricerca, è probabile che stia esagerando le sue attuali capacità reali. Per chi cerca soluzioni concrete, è utile confrontare le offerte disponibili nella nostra sezione magazine per aggiornamenti su strumenti pratici e verificati.

Il progresso sui task verificabili non sembra rallentare, ma la capacità di generalizzare questo successo ai domini aperti rimane incerta. Gli esperti concordano sul fatto che servono metodi di valutazione più creativi e meno dipendenti da metriche puramente temporali per avere un quadro chiaro delle future capacità dell'AI.

Domande frequenti

I modelli AI possono sostituire i ricercatori nella scelta degli esperimenti?

No, al momento i modelli non sono in grado di esercitare un giudizio sufficiente per scegliere direzioni di ricerca promettenti. Restano utili per l'esecuzione di compiti tecnici, ma la direzione strategica richiede ancora supervisione umana.

Perché i modelli sono bravi nel codice ma meno nel giudizio?

Perché il codice ha esiti verificabili automaticamente, permettendo un addestramento efficace tramite reinforcement learning. I compiti di giudizio sono aperti, difficili da valutare oggettivamente e richiedono una comprensione contestuale che i modelli attuali non possiedono ancora a livello umano.

Questo significa che l'AI non migliorerà nelle attività creative?

Non necessariamente. I dati mostrano un miglioramento graduale, con i modelli più recenti che si avvicinano alla soglia di utilità. Tuttavia, la difficoltà nel misurare questi progressi rende difficile prevedere quando raggiungeranno la piena autonomia in questi ambiti.

Visualizza cookie policy completa

Questo pannello consente di esprimere il consenso alle tecnologie di tracciamento utilizzate da ReDiscount.it. Maggiori informazioni nella Informativa Cookie. Puoi modificare la scelta in qualsiasi momento tramite Preferenze Cookie nel piè di pagina.

Strettamente necessari

Questi strumenti di tracciamento sono strettamente necessari per garantire il funzionamento e la fornitura del servizio che ci hai richiesto e, pertanto, non richiedono il tuo consenso.

  • rd_consent — preferenze Cookie, 180 giorni, prima parte
  • rd_list_view — vista elenco o griglia, 1 anno, prima parte

Cookie analitici — Google Analytics 4

Google Analytics 4 raccoglie informazioni statistiche sull’utilizzo del Sito (pagine visitate, durata delle visite, dispositivo, provenienza del traffico). Non viene utilizzato per pubblicità comportamentale o retargeting. Si attiva soltanto dopo il consenso.

  • _ga — Google Analytics 4, 2 anni, terza parte (Google)
  • _ga_* — Google Analytics 4, 2 anni, terza parte (Google)