L'esperimento dovrebbe comportare l'assegnazione ai modelli GPT di una serie di compiti in linguaggio naturale e la valutazione delle loro prestazioni. Queste attività possono comportare la classificazione, la generazione a tempo indeterminato, la comprensione e la modifica. I compiti dovrebbero comportare un mix di domande a risposta breve e in stile saggio con vari livelli di complessità. Esempi di possibili compiti potrebbero includere: tradurre una frase, riscrivere una frase per renderla grammaticalmente corretta, generare una descrizione per un'immagine o rispondere a una domanda a scelta multipla su un dato passaggio. Le attività dovrebbero essere progettate in modo che l'output dei modelli GPT sia facilmente determinabile. La valutazione dovrebbe considerare anche altri aspetti come fluidità, leggibilità e correttezza grammaticale.
Progetta un esperimento per testare la capacità dei modelli GPT di comprendere il linguaggio naturale.