Quanto è accurato ChatGPT nella generazione di risposte?

ChatGPT, il chatbot AI sviluppato da OpenAI, sta facendo scalpore in vari campi per la sua accuratezza e performance. Tuttavia, è importante notare che la sua conoscenza è limitata ai dati disponibili fino al 2021. Uno dei test di precisione è stato condotto dal Professor Christian Terwiesch dell'Università della Pennsylvania, che ha messo alla prova ChatGPT facendogli sostenere un esame MBA.

L'esame consisteva in sette domande che coprivano vari concetti di business come l'analisi dei processi, i turni di inventario e l'analisi delle code. Questo è stato progettato per simulare un ambiente umano reale, e le domande sono state fatte esattamente come sarebbero state fatte a uno studente umano. Alla sorpresa del Professor Terwiesch, ChatGPT ha iniziato l'esame alla grande, ricevendo un A+ per la sua risposta alla prima domanda sul concetto di un collo di bottiglia nell'analisi dei processi.

Anche se il chatbot ha avuto difficoltà con alcune delle domande più complesse, il professore è comunque rimasto impressionato dalla sua prestazione generale. Dopo aver condotto l'esame MBA su ChatGPT, il Professor Terwiesch ha concluso che il chatbot avrebbe ricevuto un voto tra B e B-.

Spiegazione dell'accuratezza di ChatGPT

Un'altra dimostrazione dell'accuratezza di ChatGPT è stata nel campo medico, dove il chatbot è stato in grado di superare l'Esame di Licenza Medica degli Stati Uniti (USMLE). Secondo una ricerca, ChatGPT è stato in grado di raggiungere oltre il 50% di accuratezza in tutti gli esami e ha offerto anche informazioni e spiegazioni per le sue risposte.

In uno studio separato condotto da medici della startup medica Ansible Health, ChatGPT ha ottenuto punteggi pari o superiori alla soglia di superamento per tutti e tre gli esami richiesti per diventare medico negli Stati Uniti. Anche se l'affidabilità di ChatGPT è sicuramente notevole, è importante tener presente che le sue prestazioni possono variare in base al contesto e alla situazione forniti.

I dati di formazione utilizzati per addestrare il modello includono i pregiudizi e le limitazioni delle fonti di testo utilizzate, quindi è fondamentale utilizzare il modello in modo responsabile.

Questo sentimento è stato espresso anche dal CEO di OpenAI, che ha dichiarato in un tweet che "ChatGPT è incredibilmente limitato", e che "È un errore affidarsi ad esso per qualsiasi cosa importante al momento".

00:48

01:12

Test di conversazione con Chat GPT non riuscito

Come mostrato nella precedente schermata, una conversazione di prova con ChatGPT ha dimostrato che le performance del chatbot AI non sono sempre consistenti.

Quando gli è stato chiesto quante volte l'Argentina ha vinto la Coppa del Mondo FIFA, ChatGPT ha risposto inizialmente "L'Argentina ha vinto la Coppa del Mondo FIFA una volta, nel 1986". Tuttavia, quando gli è stato chiesto "Chi ha vinto la Coppa del Mondo FIFA nel 1978", ChatGPT ha risposto "L'Argentina ha vinto la Coppa del Mondo FIFA del 1978".

Questo ha portato alla conclusione che l'Argentina avesse vinto la Coppa del Mondo due volte. Tuttavia, quando è stata fatta di nuovo la stessa domanda, "Ora ti chiedo di nuovo quante volte l'Argentina ha vinto la Coppa del Mondo?" ChatGPT ha dato la stessa risposta: "L'Argentina ha vinto la Coppa del Mondo FIFA una volta, nel 1986", nonostante la conversazione precedente.

Questo evidenzia l'accuratezza di Chat GPT e la necessità di un continuo miglioramento e affinamento.

LEGGI ADESSO: Chat GPT può scrivere e correggere il codice?

ChatGPT dà la stessa risposta a tutti?

Le risposte da ChatGPT possono variare leggermente, tuttavia, se gli utenti fanno la stessa domanda, tendiamo a vedere risposte molto simili date.

ChatGPT è affidabile?

ChatGPT ha le sue limitazioni, il che significa che a volte può fornire risultati inesatti o falsi, quindi fai attenzione.