Questo documento appartiene all'etichetta di elaborazione del linguaggio naturale, in particolare relativa al compito di interpretare i prompt continui.
Riassunto: la messa a punto dei prompt continui per le attività di destinazione è recentemente emersa come un'alternativa compatta alla messa a punto completa del modello. Motivati da questi risultati promettenti, indaghiamo sulla fattibilità di estrarre un'interpretazione discreta (testuale) di suggerimenti continui che sia fedele al problema che risolvono. In pratica, osserviamo un comportamento &quot;irregolare&quot; tra il compito risolto da prompt continui e le loro proiezioni discrete più vicine: possiamo trovare prompt continui che risolvono un compito mentre vengono proiettati su un testo arbitrario (ad esempio, definizione di un testo diverso o addirittura compito contraddittorio), pur essendo all'interno di un margine molto piccolo (2%) del miglior suggerimento continuo della stessa dimensione per il compito. Forniamo intuizioni dietro questo comportamento strano e sorprendente, nonché ampie analisi empiriche che quantificano l'effetto di vari parametri. Ad esempio, per modelli di dimensioni maggiori osserviamo una maggiore ostinazione, ovvero possiamo trovare prompt che si associano più da vicino a qualsiasi testo arbitrario con un minore calo di precisione. Questi risultati hanno importanti implicazioni relative alla difficoltà di interpretare fedelmente i suggerimenti continui e la loro generalizzazione attraverso modelli e compiti, fornendo una guida per i futuri progressi nei modelli di linguaggio di suggerimento.
Classifica l'abstract sotto un'etichetta.