Gli esperti Microsoft stanno utilizzando ChatGPT per istruire robot e droni

Il ChatGPT di OpenAI non è solo in grado di generare risposte di testo coerenti a prompt di linguaggio naturale - può anche giocare un ruolo nelle interazioni uomo-robot e utilizzare il feedback dei sensori per scrivere codice per le azioni del robot.

Microsoft ha recentemente condotto una ricerca per "vedere se ChatGPT può pensare al di là del testo e ragionare sul mondo fisico per aiutare con le attività di robotica". L'obiettivo era comprendere se le persone possono usare ChatGPT per istruire robot senza imparare i linguaggi di programmazione o capire i sistemi robotici.

In Profondità: Questi esperti stanno cercando di proteggere l'AI dagli hacker. Il tempo stringe.

"La sfida chiave qui è insegnare a ChatGPT come risolvere problemi considerando le leggi della fisica, il contesto dell'ambiente operativo e come le azioni fisiche del robot possono cambiare lo stato del mondo", scrive un team di Autonomus Systems e Robotics Research di Microsoft in un articolo sul blog.

I ricercatori di Microsoft hanno esplorato la capacità di ChatGPT di generare codice, principalmente in Python, per scenari di robotica, come la pianificazione e la generazione di codice zero-shot, dopo che a ChatGPT è stato dato accesso ai dati di rilevamento oggetti e distanza degli oggetti attraverso le interfacce di applicazione.

ChatGPT può produrre codice perché è stato addestrato su grandi quantità di codice e testo scritto. Il sistema si è dimostrato in grado di risolvere problemi di codifica e debug dei programmi, con la particolare capacità di rispondere al dialogo e cercare chiarimenti. C'è anche Codex, il modello basato su GPT-3 di OpenAI che sta alla base del servizio di programmazione in coppia di GitHub's Copilot, che completa automaticamente il codice per gli sviluppatori in più lingue ().

Inoltre: Cosa è ChatGPT? Ecco tutto ciò che devi sapere

Tenendo in considerazione queste capacità di dialogo e chiarimento, Microsoft ha testato la capacità di ChatGPT come interfaccia linguistica tra un utente non tecnico e un drone. Come notano i ricercatori in un documento, mentre GPT-3, LaMDA e Codex hanno mostrato promesse in compiti di pianificazione robotica e generazione di codice, ChatGPT in particolare è "uno strumento potenzialmente più versatile per il dominio della robotica, in quanto incorpora i punti di forza dei modelli di linaggio naturale e di generazione di codice insieme alla flessibilità del dialogo."

Gli ricercatori notano nel loro post di blog: "ChatGPT ha posto domande di chiarimento quando le istruzioni dell'utente erano ambigue e ha scritto strutture di codice complesse per il drone come un modello a zig-zag per ispezionare visivamente gli scaffali."

Microsoft ha testato ChatGPT per utilizzare un braccio robotico per spostare dei blocchi e formare il logo di Microsoft. I ricercatori hanno anche incaricato ChatGPT di scrivere un algoritmo per far raggiungere un punto a un drone senza scontrarsi con gli ostacoli. Hanno inoltre testato se ChatGPT può decidere dove far andare un robot basandosi sui feedback dei sensori in tempo reale.

Gli esperti di Google Research e di Everyday Robots, controllata da Alphabet, hanno affrontato sfide robotiche simili utilizzando modelli linguistici di grande portata chiamati PaLM, ovvero Pathways Language Model, che hanno permesso a un robot di elaborare indicazioni indefinite e di rispondere in modo adeguato.