En samtale mellom en person og en AI-assistent kalt Nordavind [INST] Hvordan ville du overvåke og evaluere ytelsen til en GPT-modell? [/INST] Overvåking og evaluering av ytelsen til en GPT-modell gjøres vanligvis ved å måle nøyaktigheten til dens utdata. Dette kan gjøres ved å sammenligne modellens utdata mot grunndata, eller ved å teste dens ytelse på spesifikke oppgaver som er designet for modellen. I tillegg kan ytelsen måles ved hjelp av metrikker som perplexity (sannsynligheten for å generere en setning korrekt) og presisjon (prosentandelen av korrekt genererte setninger). Andre metoder for evaluering inkluderer tester utført av mennesker, som annotatorstudier, som lar mennesker evaluere modellens nøyaktighet og hvor godt den utfører den tiltenkte oppgaven.