11 Disavvantaggi dei contenuti di ChatGPT

Evidenze

• Perché il contenuto di bassa qualità di ChatGPT passa la revisione umana.
• ChatGPT è completo anche quando dovrebbe essere conciso.
• Il professore cita un difetto che rovina gli elaborati generati da ChatGPT.
• ChatGPT non supera il test di rilevamento degli androidi di Voight-Kampff e la sorprendente ragione per cui questo è importante.

ChatGPT produce contenuti completamente accurati e plausibili.

Tuttavia, ricercatori, artisti e professori avvertono delle limitazioni da considerare, le quali degradano la qualità del contenuto.

In questo articolo, esamineremo 11 svantaggi dei contenuti ChatGPT. Iniziamo.

1. Utilizzo di frasi poco naturali lo rende riconoscibile come non umano

Gli studiosi che studiano come rilevare i contenuti generati dalle macchine hanno scoperto dei modelli che li rendono poco naturali.

Una di queste particolarità è come l'IA fatica con gli idiomatismi.

Un modo di dire è una frase o affermazione con un significato figurativo associato ad essa, per esempio "ogni nuvola ha un bordo d'argento".

La mancanza di modi di dire all'interno di un contenuto può essere un segnale che il contenuto è stato generato da una macchina - e questo può far parte di un algoritmo di rilevamento.

Ecco cosa dice l'articolo di ricerca del 2022 "Resilienza avversaria delle caratteristiche neurali-statistiche nella rilevazione di generatori di trasformazioni generative " riguardo a questa stranezza nei contenuti generati da macchine:

"Le caratteristiche frasali complesse sono basate sulla frequenza di specifiche parole e frasi all'interno del testo analizzato che compaiono più frequentemente nei testi umani."

...Di queste caratteristiche frasali complesse, le caratteristiche degli idiom conservano la maggiore potenza predittiva per la rilevazione dei modelli generativi attuali."

Questa incapacità di utilizzare gli idiom contribuisce a rendere l'output di ChatGPT suono e leggere in modo innaturale.

2. ChatGPT manca di capacità espressiva

Un artista ha commentato come l'output di ChatGPT sia simile all'arte, ma manchi delle effettive qualità dell'espressione artistica.

Espressione è l'atto di comunicare pensieri o sentimenti.

L'output di ChatGPT non contiene espressioni, solo parole.

Non può produrre contenuti che toccano emotivamente le persone allo stesso livello di un essere umano – perché non ha pensieri o sentimenti effettivi.

L'artista musicale Nick Cave, in un articolo pubblicato sulla sua newsletter Red Hand Files, ha commentato una lirica di ChatGPT che gli è stata inviata, creata nello stile di Nick Cave.

Nuovo toolkit per il content marketing con AI integrata
Adotta tecnologie di ultima generazione prima dei tuoi concorrenti. Crea contenuti ben ottimizzati e mirati che forniscono risultati tre volte più rapidi.

Ha scritto:

"Ciò che rende una grande canzone tale non è la sua stretta somiglianza con una composizione riconoscibile.

...è il confronto senza fiato con la propria vulnerabilità, la propria pericolosità, la propria piccolezza, messe a confronto con un senso di scoperta improvviso e scioccante; è l'atto artistico redentore che agita il cuore del ascoltatore, dove l'ascoltatore riconosce nelle interne dinamiche della canzone il proprio sangue, la propria lotta, la propria sofferenza."

Cave definì le liriche di ChatGPT una presa in giro.

Questa è la lirica di ChatGPT che assomiglia a una lirica di Nick Cave:

"Ho il sangue degli angeli sulle mie mani
Ho il fuoco dell'inferno nei miei occhi
Sono il re dell'abisso, sono il sovrano del buio
Sono colui che temono, nei loro ombre ascoltano"

Ecco un testo altro di Nick Cave (Fratello, la mia tazza è vuota):

"Beh, sono scivolato giù sui arcobaleni
Ho dondolato sulle stelle
Ora questo misero vestito di mendicante
Batte la sua tazza contro le sbarre
Vedi, questa mia tazza è vuota!
Parrebbe che abbia smarrito i miei desideri
Sembra che stia spazzando le ceneri
Di tutti i miei fuochi passati"

È facile vedere che il testo generato dalla macchina rassomiglia al testo dell'artista, ma non comunica veramente nulla.

Le liriche di Nick Cave raccontano una storia che risuona con il pathos, il desiderio, la vergogna e la volontaria debolezza della persona che parla nella canzone. Esse esprimono pensieri e sentimenti.

È facile capire perché Nick Cave lo definisce una beffa.

3. ChatGPT non produce insight

Un articolo pubblicato da The Insider citò un accademico che notó che gli saggi accademici generati da ChatGPT mancano di approfondimenti sul argomento.

ChatGPT riassume l'argomento ma non offre una visione unica sull'argomento.

Gli esseri umani creano attraverso la conoscenza, ma anche attraverso la loro esperienza personale e le percezioni soggettive.

Il Professor Christopher Bartel dell'Università statale di Appalachian è citato da The Insider dicendo che, mentre un saggio ChatGPT può esibire elevate qualità grammaticali e idee sofisticate, manca ancora di intuizione.

Bartel ha detto:

"Sono davvero soffici. Non c'è contesto, non c'è profondità o conoscenza."

La profondità di pensiero è la caratteristica distintiva di un saggio ben scritto e non è qualcosa in cui ChatGPT eccelle particolarmente.

Questa mancanza di intuizione è qualcosa da tenere a mente quando si valuta il contenuto generato dalle macchine.

4. ChatGPT è Troppo Verboso

Un articolo di ricerca pubblicato a gennaio 2023 ha scoperto modelli nei contenuti di ChatGPT che li rendono meno adatti per applicazioni critiche.

Il titolo dell'articolo è "Quanto è vicino ChatGPT agli esperti umani? Confronto del corpus, valutazione e rilevamento."

La ricerca ha dimostrato che gli esseri umani hanno preferito le risposte da ChatGPT in oltre il 50% delle domande relative alla finanza e alla psicologia.

Tuttavia, ChatGPT non è riuscito a rispondere alle domande mediche perché gli umani preferivano risposte dirette - qualcosa che l'AI non forniva.

I ricercatori hanno scritto:

"...ChatGPT si comporta male in termini di utilità per il dominio medico, sia in inglese che in cinese."

Il ChatGPT spesso fornisce risposte prolisse alle consulenze mediche nel nostro dataset raccolto, mentre gli esperti umani possono fornire direttamente risposte o suggerimenti semplici, il che potrebbe spiegare in parte perché i volontari considerano le risposte umane più utili nel campo medico".

ChatGPT tende ad affrontare un argomento da diverse prospettive, il che lo rende inappropriato quando la risposta migliore è una diretta.

Gli esperti di marketing che utilizzano ChatGPT devono prendere nota di questo perché i visitatori del sito che cercano una risposta diretta non saranno soddisfatti da una pagina web prolissa.

E buona fortuna nel classificare una pagina troppo verbosa nei riquadri in primo piano di Google, dove una risposta succinta e chiaramente espressa che possa funzionare bene nella Ricerca Vocale di Google potrebbe avere una migliore possibilità di posizionarsi rispetto ad una risposta lunga e prolissa.

OpenAI, i produttori di ChatGPT, riconoscono che fornire risposte verbose è una limitazione nota.

L'articolo di annuncio di OpenAI dice:

"Il modello è spesso eccessivamente verboso..."

L'attenzione del ChatGPT nel fornire risposte prolisse è qualcosa da tenere a mente quando si utilizza l'output di ChatGPT, poiché potresti incontrare situazioni in cui risposte più brevi e dirette sono migliori.

5. Il contenuto di ChatGPT è altamente organizzato con una logica chiara

ChatGPT ha uno stile di scrittura che non solo è verboso, ma tende anche a seguire un modello che conferisce al contenuto uno stile unico che non è umano.

Questa qualità disumana si manifesta nella differenza tra come rispondono alle domande gli esseri umani e le macchine.

Il film Blade Runner presenta una scena con una serie di domande progettate per rivelare se la persona che risponde alle domande è umana o un androide.

Queste domande facevano parte di un test immaginario chiamato "Voigt-Kampff test".

Una delle domande è:

"Stai guardando la televisione. Improvvisamente ti accorgi che c'è una vespa che ti sta strisciando sul braccio. Cosa fai?"

Una normale reazione umana sarebbe di urlare, uscire fuori e scacciarlo, e così via.

Ma quando ho posto questa domanda a ChatGPT, ha offerto una risposta meticolosamente organizzata che riassumeva la domanda e poi offriva logici possibili risultati - non riuscendo a rispondere alla domanda effettiva.

Cattura della risposta di ChatGPT ad una domanda del test Voight-Kampff

La risposta risulta altamente organizzata e logica, conferendole un gusto fortemente artificiale e non desiderabile.

6. ChatGPT è Eccessivamente Dettagliato ed Esauriente

ChatGPT è stato addestrato in modo tale da premiare la macchina quando gli esseri umani erano soddisfatti della risposta.

Gli assegnatori umani tendevano a preferire le risposte che avevano maggiori dettagli.

Ma a volte, come in un contesto medico, una risposta diretta è meglio di unaesaustiva.

Ciò significa che la macchina deve essere sollecitata a essere meno esaustiva e più diretta quando queste qualità sono importanti.

Dal sito OpenAI:

"Questi problemi derivano da pregiudizi nei dati di training (i formatori preferiscono risposte più lunghe che sembrano più complete) e noti problemi di sovra-ottimizzazione."

7. ChatGPT Dice Bugie (Allucina Fatti)

Il documento di ricerca sopracitato, Quanto è vicino ChatGPT agli esperti umani?, ha notato che ChatGPT ha la tendenza a mentire.

Riporta:

"Quando si risponde a una domanda che richiede conoscenze professionali da un campo particolare, ChatGPT potrebbe inventare dei fatti al fine di fornire una risposta...

Ad esempio, in questioni legali, ChatGPT potrebbe inventare alcune disposizioni legali inesistenti per rispondere alla domanda.

...Inoltre, quando un utente pone una domanda a cui non esiste una risposta, ChatGPT potrebbe anche inventare dei fatti per fornire una risposta."

Il sito web di Futurism ha documentato casi in cui i contenuti generati dalle macchine pubblicati su CNET erano errati e pieni di "errori stupidi".

CNET avrebbe dovuto avere un'idea che ciò potesse accadere, poiché OpenAI ha pubblicato un avviso sull'output errato:

"ChatGPT a volte scrive risposte plausibili ma sbagliate o senza senso."

CNET sostiene di aver sottoposto gli articoli generati automaticamente alla revisione umana prima della pubblicazione.

Un problema della revisione umana è che il contenuto di ChatGPT è progettato per suonare persuasivamente corretto, il che potrebbe ingannare un revisore che non è un esperto del argomento.

8. ChatGPT risulta innaturale perché non è divergente.

Il saggio di ricerca "In che misura ChatGPT si avvicina agli esperti umani?" ha anche sottolineato che la comunicazione umana può avere un significato indiretto, il che richiede uno spostamento di topic per comprenderlo.

ChatGPT è troppo letterale, il che fa sì che le risposte a volte non centrino l'obiettivo perché l'AI si dimentica l'argomento effettivo.

I ricercatori hanno scritto:

"Le risposte di ChatGPT sono generalmente strettamente concentrate sulla domanda posta, mentre quelle degli esseri umani sono divergenti e facilmente passano ad altri argomenti."

Riguardo alla completezza dei contenuti, gli esseri umani sono più diversi in vari aspetti, mentre ChatGPT preferisce concentrarsi sulla domanda stessa.

Le persone possono rispondere al significato nascosto sotto la domanda basandosi sul loro buon senso e conoscenza, ma ChatGPT si affida alle parole letterali della domanda in questione…"

Gli esseri umani sono migliori nel divergere dalla domanda letterale, il che è importante per rispondere alle domande di tipo "e se?".

Per esempio, se chiedo:

“I cavalli sono troppo grandi per essere animali domestici. E i procioni?”

La domanda sopra non sta chiedendo se il procione è un animale domestico appropriato. La domanda riguarda la dimensione dell'animale.

ChatGPT si concentra sull'appropriazione del procione come animale domestico invece di concentrarsi sulla dimensione.

Screenshot di una Risposta ChatGPT Troppo Letterale

9. ChatGPT ha un'attenzione verso la neutralità

L'output di ChatGPT è generalmente neutro e informativo. Una tendenza nell'output può apparire utile ma non sempre lo è.

La ricerca che abbiamo appena discusso ha evidenziato che la neutralità è una qualità indesiderata quando si tratta di quesiti legali, medici e tecnici.

Gli esseri umani tendono a schierarsi quando offrono questo tipo di opinioni.

10. ChatGPT è tendenzialmente formale

L'output di ChatGPT ha una tendenza a mantenere una certa formalità impendendogli di utilizzare espressioni comuni e informali.

Gli esseri umani, d'altro canto, tendono a rispondere alle domande con uno stile più colloquiale, utilizzando un linguaggio comune e gergale - l'opposto della formalità.

ChatGPT non utilizza abbreviazioni come GOAT o TL;DR.

Le risposte mancano anche di istanze di ironia, metafore e umorismo, il che può rendere il contenuto di ChatGPT eccessivamente formale per alcuni tipi di contenuti.

I ricercatori scrivono:

"...ChatGPT preferisce utilizzare connettivi e avverbi per esprimere un flusso logico di pensiero, come ad esempio "In generale", "d'altra parte", "In primo luogo", "In secondo luogo", "Infine" e così via."

11. ChatGPT è ancora in fase di formazione

ChatGPT è attualmente ancora in fase di formazione e miglioramento.

OpenAI raccomanda che tutto il contenuto generato da ChatGPT debba essere revisionato da un essere umano, indicando ciò come una buona pratica.

OpenAI suggerisce di tenere gli esseri umani nel processo:

"Ovunque sia possibile, consigliamo di far revisionare sempre gli output da parte di un essere umano prima di utilizzarli nella pratica."

Questo è particolarmente critico in ambiti ad alta tensione e per la generazione di codice.

Gli esseri umani dovrebbero essere consapevoli delle limitazioni del sistema e avere accesso a qualsiasi informazione necessaria per verificare gli output (ad esempio, se l'applicazione riassume le note, un umano dovrebbe avere facile accesso alle note originali per fare riferimento).

Qualità Indesiderate di ChatGPT

E' chiaro che ci sono molte problematiche con ChatGPT che lo rendono inadatto alla generazione di contenuti non supervisionati. Contiene pregiudizi e non riesce a creare contenuti che sembrano naturali o che contengano insight genuini.

Inoltre, la sua incapacità di provare o generare pensieri originali lo rende una scelta poco adatta per la creazione di opere d'arte.

Gli utenti dovrebbero seguire indicazioni dettagliate al fine di generare un contenuto migliore rispetto a quello predefinito.

Infine, la revisione umana dei contenuti generati automaticamente non è sempre sufficiente, poiché i contenuti di ChatGPT sono progettati per apparire corretti, anche quando non lo sono.

Ciò significa che è importante che i revisori umani siano esperti di materia che possono distinguere tra contenuti corretti e non corretti su un argomento specifico.